Dreambooth 炼丹术流程速览-微调 Stable Diffusion大模型训练画风（一）

DreamBooth是一种微调Stable Diffusion大模型的炼丹方式，和Lora最直观的区别就是这种微调方式产生的都是大模型，有2-4G大，对电脑性能要求和和存储空间比较高。而Lora方式产生的文件基本在144M以下，对电脑性能和存储空间要求比较低。其他具体效果上区别我还在研究，本篇文章主要聚焦在跑通流程，深度解读各项参数在后面的文章中讨论。

我看的教程是星空大佬的【AI绘画 Stable Diffusion 使用DreamBooth&LoRA Bucket功能 训练画风】，在学习过程中积累了一些小知识点与错误解决方案，在此和大家讨论一下。

https://www.bilibili.com/video/BV1AT411a78g/?spm_id_from=333.999.0.0&vd_source=dd89b6e46a1b4a550522a9581af00b10

第一步是准备训练集，也就是素材图。位置在哪里没关系，反正是填文件夹链接的，支持子文件夹里有图片，训练集图片可以直接用自己收藏的图片，也可以精细化处理一下，裁剪成512*512的，建立同名文件打tag。以下是我的文件路径，每个训练模型匹配一个训练集。

第二步是配置好插件，该更新的更新。

准备插件过程中最经常出现的问题是，更新插件后 Web UI 界面没显示对应插件标签页。这个问题的解决方案如下：

先使用cmd或者powershell进入webui目录，例如我就是用powershell 输入 cd D:\aigc\xingkong\stable-diffusion-webui_23-03-10

然后再运行 python\python.exe launch.py 就解决了。

如果还报错的话装一下Git，地址链接：https://git-scm.com/downloads

然后还有其他问题的话就问chatGPT吧

准备完插件就可以开始训练了：

第一步是新建模型，底模推荐1.5版本默认底模,，是512就勾选，不是就取消。

第二步是选择模型并设置参数，这里的参数后面的文章再详细解释。

下图的参数默认不动也可一个，想多训练一些步数就把100改大，对应时间会变长，想快速训练就把Batch Size改大，但是注意显存消耗。

这里是学习率优化器等，新手照着设置就行。

这里是训练集图片设置和提示词设置，Instance Prompt 是要训练的风格名词，可以把3dicon 换成自己命名的单词，Class prompt是提醒ai 原本的style怎么画的，不要学了新的就忘记了旧的。最后一个Sample Image Prompt 是训练过程中生成提示词用的，可以预览一下训练成果，但并不准确，真正成果还是得生成模型后自己测试。

这是保存模型的相关设置。

训练完成后，模型文件会出现在对应的stable-diffusion-webui\models\Stable-diffusion 文件夹，点击webui界面的刷新按钮就可以看到训练完的模型了，然后就可以愉快的开始使用新模型了。

建议使用xy轴功能生成一张对比图，能比较全面的感受到模型的质量，例如下图。

扩展阅读：

【AI绘画】cudnn替换，为你的40系显卡开启满血模式（4090加速）-秋葉aaaki

https://www.bilibili.com/read/cv22170274?spm_id_from=333.999.0.0

【AI绘画】插件安装/更新/设置/卸载教程：基础教程补完计划-秋葉aaaki

https://www.bilibili.com/read/cv22316068?spm_id_from=333.999.0.0

【AI绘画】LoRA训练与正则化的真相：Dreambooth底层原理-秋葉aaaki

https://www.bilibili.com/read/cv22578510?spm_id_from=333.999.0.0

【轻科普】StableDiffusion那些事儿，关于LoRA、DreamBooth、模型分层融和等-飞鸟白菜

https://www.bilibili.com/video/BV1RT411D7h7/?spm_id_from=333.999.0.0&vd_source=dd89b6e46a1b4a550522a9581af00b10