🌍我的SDXL写实大模型"HelloWorld新世界"现已正式在Civitai发布(https://civitai.com/models/43977/leosams-helloworld-sdxl-model-historical-version-moonfilm-and-moonmix-sd15-model),欢迎大家体验与反馈!
最近新建了一个SDXL模型和绘画作品的**交流群:835297318(入群答案:兔狲)。已经开始使用/制作SDXL模型,或者对SDXL版本很感兴趣的朋友,欢迎******!希望能和大家在群里一起交流使用体验、发掘SDXL的更多潜力!
🤝如您有模型定制或其他合作需求,请联系微信: 13439222668。请简单注明来意,时间宝贵不闲聊哈,谢谢理解!
📖这是一个调节所绘制对象衣物多少的功能性LoRA。通过将LoRA权重从-1.0调节至1.0,可以实现绘制对象衣物的逐步减少。本模型在生成竖图时效果最好。
本模型受青龙大佬介绍差异炼丹法时所介绍的第一种方法“复印学习法”启发。我进行了一些改进以实现多张图情况下的批量训练。具体的步骤如下:
步骤一:挑选N组不同人物的状态A与状态B对比图片,并形成状态A图像训练集与状态B图像训练集。保证相同人物的状态A与状态B两张图片的文件名相同。
步骤二:对状态A训练集添加txt标签,每个图片只打一个可以区分不同人物的特殊词汇标签。比如有10个人物,那就给每个人物从jinitaimei1至jinitaimei10分配各自的标签。然后将状态A训练集的所有标签复制粘贴进状态B图像训练集中。
步骤三:选择与训练集画风相近的底模C,使用状态A图像训练集进行Lora训练直至模型过拟合,输入人物N的对应标签后,只能生成人物N的状态A照片。
步骤四:将训练得到的过拟合LoRA模型以1.0的比例融合进底模C中(更新:经进一步测试,勾选上same to strength效果会更好),然后用状态B图像训练集基于新底模进行Lora训练。该训练过程不一定要训练至严重过拟合,可以选择LoRA过程文件进行AI绘图测试,只要能通过调节权重,实现状态A至状态B的过渡即可。(更新:经进一步测试,甜蜜点大概在每张图片400在800步范围内)
步骤五:如果训练的LoRA所涉及场景较复杂,在高权重下会出现过拟合的情况。有两种改良的建议:一是进行LoRA分层调节,降低LoRA中与A/B状态切换无关的层数的权重;二是压缩LoRA的维度,比如从64压缩至4。