一张图替代 LoRa：ControlNet 发布重大更新 Reference Only

这是昨天ControlNet发布的重大更新，是基于一张图片作为参加就可以生成对应风格和特定人物的图片，而不需要调用特定的LoRa。

https://github.com/Mikubill/sd-webui-controlnet/discussions/1236

ControlNet 的野心好大，上个月我在清华美院分享的 AI绘画可控性研究与应用 里提到最新的 ControlNet 把图片参考和图片修改也包含进去了，这一次它想把LoRa的功能也包含进去。

其实以一张图片作为风格参考，这个功能在Midjourney上就有，MJ的垫图就可以识别出图片的人物和画风，但是controlnet这次的不同点在于：它可以结合其它的控制模型一起使用，用图片提取的画风和人物可以通过openpose这样的控制功能，实现同一人物的不同姿势，或者同一画风的不同人物。这个在过去只能通过LoRa才能实现。

而LoRa训练毕竟还是相当麻烦且贵，controlnet的Reference Only大大简化了这个流程。

接下来分享一些官方的介绍和测试样例。

输入（实际上这是一张人工绘制的图像）

输出

为了比较，这是T2I适配器风格，使用相同的输入、提示和参数。

这是使用CN 1.1 Shuffle的结果，输入、提示和参数都是相同的。

SD1.5 (Realistic Vision V20):

推特上有人用这个方法制作视频风格迁移的，这个也是之前需要训练特定的Lora，但是现在只需要一张图片作为参考就可以了。

https://twitter.com/TDS_95514874/status/1657862852122931202

左侧是没有使用 Reference Only，中间是参考图，右侧是使用了Reference Only的结果。

下面是一个日本推特写的测评：

①第一张图是512*768的原图，经过ControlNet的tile处理变成了1024*1536。

②第二张图是在原图的基础上，使用 Reference Only，无提示词，输出为1024*1536。可以看到，与参考图像相比，直接输出的图像特征更加突出。 

③第三张图是在原图的基础上，使用 Reference Only，使用了与第一张图相同的提示，大小为512*768。颜色风格相当保留，服装图案也保留了下来。我现在想要增加i2i的降噪强度。 

④第四张图是在原图的基础上，使用 Reference Only，将提示从花卉变为城市街道。颜色风格相似，身体方向也被继承了下来，因此在同一人物穿不同衣服或背景时非常实用！我认为结构看起来很好！

因此，当颜色也被继承时，感觉有点羡慕呢。我觉得在多个ControlNet中巧妙地操作可能会行得通。

https://twitter.com/AIGirl_Photo/status/1657650034459152384