模型：control_v11e_sd15_ip2p
可以执行我们指定的局部命令
我们需要它修改什么元素
它就可以修改什么元素
而保持其他元素结构不变
IP2P可用于环境背景天气的更改以及单独修改人物
导入原图
提示词输入让他变成什么样子
模型：t2i-adapter_xl_canny
模型：t2i-adapter_xl_openpose
模型：t2i-adapter_xl_sketch
像素化处理
将参考图像缩小64倍
然后将其扩展回原始大小
生成局部平均颜色的网格状态
适合需要固定主题颜色时使用
处理后
手绘边缘处理
可提取图像的大体轮廓
适合需要固定主要构图时使用
处理后
风格迁移处理
将输入图像转化为CLIP视觉嵌入
此嵌入包含有有关图像内容和风格的丰富信息
可以参考颜色、构图、细小元素。参考强度比Reference更强
CLIP视觉嵌入
仅参考：将参考图像直接链接到注意力层。
（从潜空间开始影响）
通过自适应实例规范化进行样式转换（基本算法）
以上的组合（参考幅度更大）
可以生成与参考图像相似的图像
但图像依然可以被大模型和提示词影响
模型：control_v11f1e_sd15_tile
blur_gaussian
tile_colorfix
tile_colorfix+sharp
tile_resample
忽略细节，并产生新的细节
通常与放大器协同使用
在放大图像并增加细节的同时
不改变原有的基本构图
原图
添加细节
模型：control_v11p_sd15_inpaint
inpaint_global_harmonious
inpaint_only
调整输入分辨率
缩放后填充空白
配合提示词图生图
可以让我们在重绘中
使用高去噪强度来生成较大的变化
而不会牺牲与整个图片的一致性
模型：control_v11p_sd15_seg
ADE20K
coco
seg_ufade20k
可以通过现有图像提取图像类元素的精确位置
可使用ADE20K或者COCO颜色对照表用色块进行控图
模型：control_v11e_sd15_shuffle
shuffle
将整个图像构图打乱
重新进行组合
受到单独随机噪声影响，不受选择噪声影响
保留输入图像颜色，打乱构图
适合需要提取颜色，但产生大幅构图变化使用
原图
处理后
抽到配色不错的卡的时候，不要改变提示词，试试使用它
待续
通用老式边缘检测器，用于提取图像轮廓
更好的保留原始图像的构图，图像线条性更好更不易变形
更适合将字体嵌入到不同背景融合的效果或者制作LOGO
也适合线稿上色
再生图
线稿上色
control_v11p_sd15_canny
control-lora-canny-rank256
controlnet-canny-sdxl-1.0
t2i-adapter_xl_canny
canny
invert (from white bg & black line)
根据输入的图像，猜测深度信息
适用于对场景的描绘还原
尤其是富有多层次的空间图形
白近黑远
深度图
模型：control_v11f1p_sd15_depth
模型：control-lora-depth-rank256
模型：controlnet-depth-sdxl-1.0
模型：controlnet-zoe-depth-sdxl-1.0
检测构图，细节偏少
检测构图，环境主体细节更多
主体细节更多，环境细节更少
主体细节少，环境细节多
根据输入的图像，提取像素表面的方向
使用方式类似于深度图
输入图像为3D图像时，法线提取效果比深度图更好
预览图
模型：control_v11p_sd15_normalbae
预览图
预览图
检测人体各部位的关键点
只提取姿态信息不提取其他细节
生图
模型：control_v11p_sd15_openpose
SD1.5适用
OpenPoseXL2
t2i-adapter_xl_openpose
thibaud_xl_openpose
DW，强烈推荐
手指和脸都包括检测
人体姿态检测
头部（非面部）、肩部、腿部等位置
姿态检测+面部检测
仅面部检测
全部检测
姿态检测+手部检测
提取线条，只提取直线条
会忽略曲线信息
更适用于建筑或室内装饰等直线元素较多的图像扩散
记得使用建筑大模型和lora
模型：control_v11p_sd15_mlsd
mlsd
invert (from white bg & black line)
提取图像的轮廓，类似于canny
常用之一
提取轮廓或线稿上色渲染
效果图
模型：control_v11p_sd15_lineart
模型：control_v11p_sd15s2_lineart_anime
lineart_standard (from white bg & black line)
标准线稿（白底黑线用）
复刻3D或写实类人物的五官有奇效
invert (from white bg & black line)
反转（白底黑线转黑底白线用）
同样是提取图像轮廓信息
相对于canny整体的细节把控
hed更侧重于把图形的大致轮廓保存下来
整体的融合性相对于canny要柔和
模型：control_v11p_sd15_softedge
软边缘检测HED算法
保守HED算法
软边缘检测pidinet算法
保守pidinet算法
带hed的质量要比pid的程度高
带safe提取的细节程度更高
带safe的型号占用的显存和处理时间都更多
可将图片变成涂鸦
模型：control_v11p_sd15_scribble
模型：control-lora-sketch-rank256
模型：t2i-adapter_xl_sketch
涂鸦手绘
检测曲线和直边，结果类似于合成
线条更清晰，细节更少。
更依靠提示词等其他参数
强化边缘
使用高斯扩展差分，提取细节更多
构图还原度更高
t2ia_sketch_pidi
invert (from white bg & black line)
标准线稿（白底黑线用）
复刻3D或写实类人物的五官有奇效
说明：
本导图使用B站UP主“灵仙儿和二狗子”的相关视频内容整理。以便于后续快速查询。UP主主页地址：
https://space.bilibili.com/19723588
0
0
分享
