样例都是用High+Low+Lightning-low做出来的效果,这是个LoRA,这不是工作流.
大家好,好久不见.由于最近一个月都在研究Wan2.2-I2V模型Lora的创新功能,没有发更多的模型,抱歉.最近终于有了一些研究结果,向大家介绍这个系列的Wan2.2-I2V LoRA,我自己称为ConsistencyLoRA系列.这个系列的LoRA功能是通过输入图像,通过Wan2.2-I2V模型直接生成与输入图像高度一致性的视频.
ClothConsistency是该系列的第二个模型.该模型希望通过直接输入衣服的白底图,通过prompt(样例中有一些Prompt可以参考)直接生成人物穿着对应衣服的视频.从我个人测试的来看(推荐强度:high0.7,low0.9,lightning low:1.0).在写好prompt和使用lightning low lora加速的情况下,ClothConsistency的效果很不错,比如:滑板少年的衣服的一致性,汉服上的花纹,女生跳舞下衣物的光影,LV外套上的花纹等.关于怎么写Prompt,因为训练的时候加入了衣服的种类,coat,skirt,shirt,jacket,dress,pants等,所以prompt指定衣物的种类的话,可以获得更好的效果,比如:”used the jacket in the first frame, generate a video of a model wearing the jacket”.如果是一套的,建议分别标注上类型,比如”used the sweater and trousers in the first frame, generate a video of a model wearing the sweater and trousers”.这样的效果比较稳定.缺点:有些random seed会出现前置帧数过长的问题,需要换random seed或者换Prompt.
做ConsistencyLoRA系列的LoRA是希望拓宽I2V模型商业应用的场景.ConsistencyLoRA的训练在Wan Fun VACE和Wan Animate发布之前,相比Wan Fun VACE和Wan Animate,ConsistencyLoRA的缺点在于视频有输入图像的前置帧,可以通过帧剪切去除(我上传了CutFrame.ipynb的脚本可以直接去除),然后生成有时候会有模糊情况.而ConsistencyLoRA优点在于:1.因为是基于Wan I2V工作流,所以简单方便,显存门槛低,各种基于I2V的lora也适用.2.通过Prompt生成,不需要替换视频.Prompt生成的优势在于,可以通过Prompt将画面快速通过T2V实现,不需要进行替换,比如ClothConsistency,通过Prompt可以生成不同族裔,不同肤色,不同身材的模特穿着对应的衣服.且因为不需要替换视频,所以光影会更自然.3.训练成本相对较低,可以对特定的一致性任务进行训练.因为是基于特定任务进行的训练,所以在特定任务上的稳定性也会比Wan Animate和VACE高,比如CarConsistency场景.
因为从LoRA概念,数据集处理,训练和超参调整,都由我一个独立完成.由于4090 24G的显存限制,现在还只能用[360,360]的latent进行训练,所以还是处于原型机阶段,如果效果不太理想,请多谅解和反馈,我争取改进.感谢您能看到这里,该模型商用需要授权(希望能把训练的电费平了,哭).如果您有更大显存的算力支持我做一些实验(更大的latent尝试去解决模糊问题),或者有商业合作去训练特定产品LoRA的意向,请联系我QQ:3387286448,感谢感谢,如果你想买杯咖啡:https://ko-fi.com/ghostshell