lumi_鹿鸣——人工桌面(米哈游)

LORA
Original


Updated:

433

米哈游人工桌面鹿鸣的LoRA模型,因为没有类似质感的底模,最终选择SD1.5官方模型作为底模,这样与各种衍生模型契合度都比较好。本来一开始只打算训练最新直播中的两套服装的,一共六十多张截图,结果由于同一段直播中背景和服饰相似度太大,导致训练结果loss值很低的情况下背景和服饰已经过拟合了,脸部却还是欠拟合状态,因此后面又从鹿鸣抖音号中下载短视频进行多样化图片的截取,一共三百多张截图,有的视频清晰度较低,截图质量不高,然后基于之前一轮训练的模型继续训练,得出现在的结果,整体来说效果还不错,包含多套服饰。但是因为鹿鸣视频背景都是浅色为主,与肤色过于接近,导致手部很难分辨,因此出图手部不重绘的情况下需要看脸抽卡。权重在0.8左右效果比较稳定,配合EasyNegative等负面提示词模型效果更好。

权重在0.4时,能保留模型主体特征,并提供更大的自由度以更***姿势、服装及背景,画出更通用但不那么还原的图。

不开高清修复:我一般先使用文生图批量绘制低分辨率图,然后通过图生图SDupscale脚本进行超分辨率放大,540x960的图经过两次放大可得到效果更好的4k图片,此方法比直接高清修复更不吃显卡,可以使配置较低的硬件更快生成更高清的图片,放大时需要微调参数,因为是多张图放大后拼接,所以重绘幅度不宜过大,否则会导致图片不同部分毫无关联。动漫人物用真人底模绘制时,如果太还原可能没有那么好看,真人底模应该降低权重生成类似cosplay的图片。

开高清修复:初始分辨率540x960,采用R-ESRGAN4x+放大算法,重绘幅度0.3放大2倍进行高清修复,然后图生图用SDupscale脚本,选择同样的算法,重绘幅度0.1进行超分放大,可以得到效果不错的4k高清图片。(此方法第一步直接生成1080P的图片,比较看脸,不易批量操作,16G显存最多只能同时生成4张图片,出图及修图效率较低,但是质量较高)

2.0介绍*********:

2.0版本是以SDXL1.0为底模炼制的Lora模型,训练集在原有数据的基础上替***了部分模糊的图片,新加入了半夏等服装,及最新一期直播的短发相关造型,需要结合SDXL1.0模型来运行,这是本人第一次炼制SDXL模型,经历了两天二十多个小时的炸炉之后,终于炼出了勉强能用的模型,只能说SDXL模型炼制要比SD1.5难很多,包括方式和硬件等,要求都提升了不止一个档次,而且最终效果可能还不如1.5的版本,但是SDXL在语义理解上会比SD1.5强很多,以至于模型很难达到过拟合的状态,对于想要通过tag来还原造型更加困难。

在权重为0.8~1时,会有较还原的效果,低权重时自由度更大,但是服装之类的造型会差的比较远,大家可以自己试试,怎样出的效果比较好。SDXL模型炼制流程还不是很成熟,好的底模也不多,因此可能会存在各种各样的问题,请见谅。

2.0提示词参考封面那套tag模板,这套tag是别人炼的另一个鹿鸣模型用的,我试了一下,发现效果很不错。底模推荐就用SDXL1.0原版模型,比其他模型效果还好些。剩下的各个服装tag,我会慢慢发帖上来。

Version Detail

SDXL 1.0
2.0版本是以SDXL1.0为底模炼制的Lora模型,训练集在原有数据的基础上替换了部分模糊的图片,新加入了半夏等服装,及最新一期直播的短发相关造型,需要结合SDXL1.0模型来运行,这是本人第一次炼制SDXL模型,经历了两天二十多个小时的炸炉之后,终于炼出了勉强能用的模型,只能说SDXL模型炼制要比SD1.5难很多,包括方式和硬件等,要求都提升了不止一个档次,而且最终效果可能还不如1.5的版本,但是SDXL在语义理解上会比SD1.5强很多,以至于模型很难达到过拟合的状态,对于想要通过tag来还原造型更加困难。 在权重为0.8~1时,会有较还原的效果,低权重时自由度更大,但是服装之类的造型会差的比较远,大家可以自己试试,怎样出的效果比较好。SDXL模型炼制流程还不是很成熟,好的底模也不多,因此可能会存在各种各样的问题,请见谅。

Project Permissions

    Use Permissions

  • Use in TENSOR Online

  • As a online training base model on TENSOR

  • Use without crediting me

  • Share merges of this model

  • Use different permissions on merges

    Commercial Use

  • Sell generated contents

  • Use on generation services

  • Sell this model or merges

Comments

Related Posts

No posts yet
Describe the image you want to generate, then press Enter to send.