StableDiffusion扩展之ControlNet

原项目来自：/Mikubill/sd-webui-controlnet(github.com)

昨天出了一个StableDiffusion的本地部署教程，发现又有了新的技术突破，于是决定写一个ControNet的插件教程，该插件用于给AI绘画的人物指定姿势进行绘制

StableDiffusion安装

详细请见上一篇文章StableDiffusionAI本地部署

ControlNet插件安装

首先我们需要启动webui-user.bat并进入扩展中的从网址安装，在扩展的git仓库网址中填写

https://github.com/Mikubill/sd-webui-controlnet

并点击安装

然后进入设置页面依次点击保存设置和Reload UI，在生成界面即可看到ControlNet插件已经生效

ControlNet模型安装

进入ControlNet-diff-modules并下载8个文件模型

下载后放入/stable-diffusion-webui/extensions/sd-webui-controlnet/models文件夹下即可

ControlNet功能简介

建议使用text2img

ScribbleMode：当图片为白底黑线的线稿时使用

预处理方法：

• canny：边缘检测，线稿
• hed：HED边缘提取
• depth：深度图
• mlsd：线段识别，建筑和物体
• openpose：姿势
• fake_scribble：涂鸦
• normal_map：法线贴图
• openpose_hand：有手部的姿势
• scribble：主体去杂色
• segmentation：区域分割
• none：参考图直接输入

模型：

• canny：线稿，轮廓精准绘制
• depth：深度图，体现透视关系
• hed：HED边缘
• mlsd：M-LSD线段，建筑，物体
• normal：法线贴图，立体效果
• openpose：姿态图（建议使用eular a采样方法）
• scribble：涂鸦
• seg：区域标注，利用色块，适合草图

姿势模板（PSD）：百度云下载