大概23年2月左右跑的流程可以参考。
模型下载网站
C站 模型下载 和 AI图查询
真人写实风格:
https://civitai.com/models/6424/chilloutmix
二次元:
https://civitai.com/models/5414/pastel-mix-stylized-anime-model
https://civitai.com/models/4468/counterfeit-v25
https://civitai.com/models/8351/nice-line
*ControlNet安装和使用
使用Extensions(扩展插件)
安装sd-webui-controlnet插件
默认源地址
https://raw.githubusercontent.com/wiki/AUTOMATIC1111/stable-diffusion-webui/Extensions-index.md
国内源地址 网络不好可以使用这个
https://gitee.com/akegarasu/sd-webui-extensions/raw/master/index.md
Ctrl+f 搜索ControlNet
点击安装
安装完毕 点击重启
点击
打开界面
插件安装完毕
拓展插件安装不上ControlNet的时候手动下载
*拓展插件可以安装成功的不需要下载
在sd-webui根目录 执行命令
pip install opencv-python
在
目录下右键 git bash here
输入命令(网络不好的可以开启代理)
git clone https://github.com/Mikubill/sd-webui-controlnet
国内地址
git clone https://jihulab.com/hunter0725/sd-webui-controlnet
sd-webui-contronet 目录结构
ControlNet-main项目地址 论文及示例
https://github.com/lllyasviel/ControlNet
项目目录结构
插件安装完毕后
把ControNet模型放到指定目录
下载地址 https://huggingface.co/lllyasviel/ControlNet/tree/main/models
把八个contronet模型放到
stable-diffusion-webui\extensions\sd-webui-controlnet\models 目录下
从新运行sd-webui
sd-webui AI生成图片和关键字和设置查询网站
找到图片后点击图片 进入详细信息界面 复制信息
或者图片缩略图右下角
然后点击 copy
复制到文本转图片 描述词位置 点击
应用 自动配置全部参数
性能较差显卡 可以取消勾选
高清修复 对脸部效果明显
显存允许推荐开启
使用注意
想要一次生成多张图 修改生成次数,每次数量默认为1
ControlNet的使用
拖入一张参考图片,启动插件
*出图的分辨率设置成和参考图一样
颜色反转
颜色通道反转
显存不足的使用
低性能出图
引导系数范围内有效
预处理图的分辨率 越高 预处理图越精细
预处理 读取参考图片的宽高
参数使用默认即可,查看具体参数变化可以用 X/Y/Z plot工具批量生产图片查看
预处理模型可以选none 输出的预处理图为原图
应用强度
显示预处理结果
隐藏预处理结果
canny 边缘检测 提取线稿 AI自由度较低 完全按照线稿生成
Depth 深度检测 提取景深 AI自由度较高
Hed 模糊(边缘)检测
mlsd 线段识别 适用于建筑物 不适合曲线多的图
normal_map 法线贴图识别
openpose 骨骼姿势识别 用于人体
Scribble 提取黑白稿
Fake_scribble 涂鸦风格提取 自由度更高一些
segmentation 语义识别
Openpose
生成一张角色图片后,想要这个角色的某个动作 使用openpose,输入一张想要的pose参考图,得到参考pose的角色
骨骼编辑插件安装
点击
查询所有可以安装的插件 出结果后 只勾选models类型的插件
可以按ctrl+f搜索
找到
点击安装即可(网络不通开启代理)
如果网络有问题无法安装 可以直接 用git
在stable-diffusion-webui\extensions 目录下 git bash here 输入命令
git clone -v https://github.com/fkunn1326/openpose-editor.git
目录结构
安装完成好重启一下webui
手动调整
保存 json 或者PNG文件 方便复用
Canny 边缘检测
比较细致的线稿检测,ai会重新按照线稿进行作图,自由度较低
Depth 深度检测
存在空间关系适合使用
轮廓内特征 细节 没有被捕捉到
Hed 模糊(边缘)检测
MLSD 线段识别
适用于建筑物结构 不适合曲线多的图 不适合生成角色
例:原图尺寸1024x768 修改画布和出图尺寸1024x768
生成的一些图 基本构图不变
Normal 法线贴图
可以捕捉内部细节 ,比如头发丝
主体以外ai自由发挥
Scribble 涂鸦
黑白稿
Fake_scribble 伪涂鸦
预处理使用Scribble
Segmentation 分块检测
ControlNet设置
开启多个ControlNet
多个ControlNet 可以切换 可以融合使用
Wildcards插件
插件路径
stable-diffusion-webui\extensions\stable-diffusion-webui-wildcards\wildcards
从配置的wildcards中随机(有范围的可控随机)选择关键字
调用语法:双下划线+wildcards的文件名+双下划线
例:使用wildcards+controlnet批量生成三视图
画布宽高和出图宽高设置 1024x512 步骤28
显卡好的启动
三视图关键字
solo, (simple background, white background:1.3), multiple views