网页浏览总次数

星期四, 三月 21, 2024

sd-webui-ControNet插件安装和使用

大概23年2月左右跑的流程可以参考。

模型下载网站

https://huggingface.co/models

 


 






https://rentry.org/sdmodels


 

 












C站 模型下载 和 AI图查询

https://civitai.com/

 

真人写实风格:

https://civitai.com/models/6424/chilloutmix

二次元:

https://civitai.com/models/5414/pastel-mix-stylized-anime-model

https://civitai.com/models/4468/counterfeit-v25

https://civitai.com/models/8351/nice-line

 

*ControlNet安装和使用

使用Extensions(扩展插件)

安装sd-webui-controlnet插件





点击加载自 从源地址自动加载


 

 


默认源地址

https://raw.githubusercontent.com/wiki/AUTOMATIC1111/stable-diffusion-webui/Extensions-index.md

国内源地址 网络不好可以使用这个

https://gitee.com/akegarasu/sd-webui-extensions/raw/master/index.md

 

Ctrl+f 搜索ControlNet


 



点击安装

安装完毕 点击重启


 

 




点击





打开界面

插件安装完毕


拓展插件安装不上ControlNet的时候手动下载

*拓展插件可以安装成功的不需要下载

sd-webui根目录 执行命令

pip install opencv-python





目录下右键 git bash here

输入命令(网络不好的可以开启代理)

git clone https://github.com/Mikubill/sd-webui-controlnet 

 


 






国内地址

git clone https://jihulab.com/hunter0725/sd-webui-controlnet

 

sd-webui-contronet 目录结构


 

 

 

 

 

 

 




ControlNet-main项目地址 论文及示例

https://github.com/lllyasviel/ControlNet

项目目录结构


 

 

 

 

 

 

 

 

 

 

 

 









插件安装完毕后

ControNet模型放到指定目录

下载地址 https://huggingface.co/lllyasviel/ControlNet/tree/main/models

把八个contronet模型放到

stable-diffusion-webui\extensions\sd-webui-controlnet\models 目录下


 

 





从新运行sd-webui




 

正确运行后 文本转图像中 多出


UI



勾选后启动ControlNet的对应功能



sd-webui  AI生成图片和关键字和设置查询网站

https://civitai.com/

找到图片后点击图片 进入详细信息界面 复制信息

或者图片缩略图右下角


 然后点击 copy


 


复制到文本转图片 描述词位置 点击





应用 自动配置全部参数

 

性能较差显卡 可以取消勾选





高清修复 对脸部效果明显

显存允许推荐开启

 

使用注意


 





想要一次生成多张图 修改生成次数,每次数量默认为1


ControlNet的使用

拖入一张参考图片,启动插件


 


*出图的分辨率设置成和参考图一样


 


颜色反转


颜色通道反转


显存不足的使用




低性能出图


 




不填写描述词 勾选后 ai自由发挥controlnet的最大潜力


 


引导系数范围内有效





预处理图的分辨率 越高 预处理图越精细






预处理 读取参考图片的宽高

参数使用默认即可,查看具体参数变化可以用 X/Y/Z plot工具批量生产图片查看

预处理模型可以选none 输出的预处理图为原图


 



应用强度


 



显示预处理结果         

隐藏预处理结果


 



canny 边缘检测 提取线稿 AI自由度较低 完全按照线稿生成

Depth 深度检测 提取景深 AI自由度较高

Hed  模糊(边缘)检测

mlsd 线段识别 适用于建筑物 不适合曲线多的图

normal_map 法线贴图识别

openpose 骨骼姿势识别 用于人体

Scribble 提取黑白稿

Fake_scribble 涂鸦风格提取 自由度更高一些

segmentation 语义识别



 

 

 

 

 

 

 

 


Openpose

生成一张角色图片后,想要这个角色的某个动作 使用openpose,输入一张想要的pose参考图,得到参考pose的角色


 


 

 

 

 

 

 

 

 





骨骼编辑插件安装

点击





查询所有可以安装的插件 出结果后 只勾选models类型的插件

可以按ctrl+f搜索

找到




点击安装即可(网络不通开启代理)


 











如果网络有问题无法安装 可以直接 git

stable-diffusion-webui\extensions 目录下 git bash here 输入命令

git clone -v https://github.com/fkunn1326/openpose-editor.git 

目录结构


 








安装完成好重启一下webui


 










手动调整


 

 


 


保存 json 或者PNG文件 方便复用

 

Canny 边缘检测




 













比较细致的线稿检测,ai会重新按照线稿进行作图,自由度较低


Depth 深度检测


 









存在空间关系适合使用

轮廓内特征 细节 没有被捕捉到

 

 

Hed 模糊(边缘)检测



 

 

 

 

 

 

 

 




MLSD 线段识别

适用于建筑物结构 不适合曲线多的图 不适合生成角色

 


 













例:原图尺寸1024x768 修改画布和出图尺寸1024x768

 


 


 












生成的一些图 基本构图不变

 

Normal 法线贴图



 













可以捕捉内部细节 ,比如头发丝

主体以外ai自由发挥

 

Scribble 涂鸦



 














黑白稿

Fake_scribble 伪涂鸦



 













预处理使用Scribble

 

Segmentation 分块检测



 


 

           

 

 

 

 

 



ControlNet设置

开启多个ControlNet


 



多个ControlNet 可以切换 可以融合使用


 

 


 

Wildcards插件

插件路径

stable-diffusion-webui\extensions\stable-diffusion-webui-wildcards\wildcards


 









从配置的wildcards中随机(有范围的可控随机)选择关键字


 


调用语法:双下划线+wildcards的文件名+双下划线

 

例:使用wildcards+controlnet批量生成三视图

 

画布宽高和出图宽高设置 1024x512 步骤28

显卡好的启动


 


三视图关键字

solo, (simple background, white background:1.3), multiple views