2中文 https://tensor.art/articles/894214741432519505
3中文 https://tensor.art/articles/894475285959803996
4中文 https://tensor.art/articles/894482801078873091
前情提要,先前发布的文章讲述了自己如何入坑ai生图,并尝试制作lora的心路历程和一些心得。
( https://tensor.art/articles/868883505357024765 )
以现在的时间点来看,这第一篇中的许多观点已经有些过时,有些依然适用,本篇后文中会有部分提到,请参考第一篇的中相关部分。
我将兑现文中承诺—若以后有了新的心得体会将继续更新,于是本篇会探讨这些时日我一直沉迷的,制作2boys的同人图和lora的一些理解。
在文章开始时,我必须声明,英语并非我的母语,且个人英文水平较差,本文依然是使用ai辅助翻译完成,原文使用中文编写,之后也会上传中文版方便大家自行翻译。至于第一篇就不会再补传中文原版了,因为第一篇我是完成翻译后在英文版中进行校对、增添与删改的,并未再重写中文版。
如你所知,当前ai生图随机性是绝对主导,每个人的常用参数不尽相同,生图的内容更是千差万别,审美也各有偏好。本文只是我个人的一些体验、或者说感受,以及在这基础上的一些经验,远远不是一个严肃的教程,其中可能提到一些原理上的概念只是浅薄的体会,且无论生图还是lora制作都只探讨acg作品中的男孩角色的同人,是已知的来自acg作品的二次元角色,不包括ai随机生成的boys和任何非虚拟人物。生图方面只基于noobai和illustrious的衍生模型,制作lora方面也只基于illustrious2.0官方版本,后文中如无特别声明则全部基于此。
最近几个月,各种社交媒体如X,还有pixiv,civitai等网站,以及多到数不胜数的赞助“图包”的宣传,“2boys”的内容越来越流行,还有一些多男孩的图片出现,当然绝大多数是nsfw,多数只是一秒划走的瞬时的快感,经不起细看,其中也有不少非常精美挑不出毛病的,很难让人不好奇是如何制作的。当时还是非常新手的我第一反应这肯定是用两个角色的lora制作的,当然要尝试一下,正好当时有我非常喜欢的两个男孩的lora,不仅动画非常冷门、角色cp更是无人问津(maki X arashi),没想到还算顺利的直接就做出来了,yeah,是r-18的图,当时的兴奋远超理智,根本没有在意生成质量,但角色似乎是正确的,我就误把这当成正确答案,于是又做同一个动画的另一对cp(tsubasa X shingo),也算是成功了,角色虽然很多时候会混合,但是相对正确的也不是没有,这加深了我对“2boys同人图”生成方法的误解。此时圈内的一位大大大前辈做了yuta X yomogi的双人lora,我大为震撼,原来可以有这种用一个lora的方式来生成双人图,当时发了好多他俩的图(已被tensor隐藏),我又误解了以为这样一个双人lora是很简单的事,我当时非常兴奋以为之后会有很多双人lora的出现,制作喜欢的cp将易如反掌。
我想读到这你已经发笑了,这真的是个天大的误会,你一定试过,男孩的个人特征实际上全都混在一起,不管是加载两个lora或是使用这些仅有的双人lora,想做出正确的图实在是太难了,双人lora还好,加载多个lora那就不能用难来形容,几乎就是不可能,无论怎么改变提示词顺序,无论用多少“BREAK”或是“different boys”,无论如何调整lora权重,人物特征永远混在一起。反过来审视这些我制作过的,和社媒上的图,全是被一时的兴奋掩盖的错误,那些相对“完美”的,我又不好意思去问作者,而全网几乎没多少对此制作方法的讨论,女孩们或是男女之间可能还有些信息,男孩之间的就完全没有。那就省略多余的心路历程直奔主题,经过摸索,我大概整理了以下几种方式:
1、实际上底模本身就认识很多角色了,只要写出他们的名字。查询检查点的说明去查找支持的角色,对于检查点已含有信息的角色,直接“2boys”加上他们能被检查点识别的名字就可以了,一些热门角色或者经典角色是完全不需要使用lora的,而且可以任意组合,并不局限于同一个作品。这本应是最常用的,但往往人们想做的cp们并不包含在检查点之内,角色的还原程度也各不相同。有些角色只能还原大概,但是加上额外的瞳色、发色、发型或是其他特征提示词之后,质量会显著提高,但这种方法只适用于1boy,两个男孩会被这些提示词干扰。
2、图生图,局部重绘,这个是很常见的方法,也不用做过多解释,加载两个lora生图做个基础,然后单独加载单个lora重做混合的地方,这只是其中一种流程,这种思路有很多种方法去实现。
3、区域控制。这需要在webui或comfyui中使用一些插件和复杂工作流,作用是将画面分区,并指定lora在分区中的权重,具体名称我就不提了,您可以自行查找,这种方式效果有时非常好,但是我放弃这种方式的理由将在后文中解释。
4、双人或多人lora,目前虽然很少,但你能用到的基本都能工作,有些不稳定,有些效果还不错。后文会展开如何制作2boys的lora,此处也不做更多说明。
5、非常重要!“NovelAI”。这是最最强大的“二次元”商业图像模型。本身支持的角色之多是开源模型无法比拟的,相比起来开源模型只有一些作品的主角罢了,而NovelAI可能连一些冷门作品的配角都可以生成,新角色的生成数据添加也相对较快,而且自带区域控制,不止两个男孩,更多的男孩都可以指定位置指定动作。非常强大,当然会员费也相对贵一些。你在社媒上看到的各种“crossover”很多都是novelai生成的,也很容易分辨novelai生成的图,任何角色的画风都很稳定,跟开源模型的画风区别明显。
6、其他技术,比如最新的Flux kontext。可能是今年最突破性的图像模型。我暂时没有更多时间去详细学习,但用它制作同人图是可行的,如果你还没有使用过,请尝试尝试。人们都知道flux制作真实内容当前第一,实际上制作二次元也十分强大,只是它的使用成本和lora制作成本相比基于sdxl的那些模型太高了。
好像就这么多了,可能还有更多方法我没有探索到,而在这些我发现的方法中我最终选择制作双人lora,那为什么novelai如此强大却不选择它呢,作为闭源的商业模型,它无法使用lora,这千万种lora的吸引力要更大一些,同时它包含的角色信息虽然多,但终归“只有那么多”,而且在某一版本的某一时间曾经无法制作nsfw内容,而tensor的现状能保证不会发生在novelai上吗?如果你想制作的同人不是那么冷门,比如说奇犽x小杰,或小智x太一的crossover等等,推荐使用novelai,简单易用、画风繁多、主题类型丰富等等、是真的比开源模型强的多。就刚才举的两个例子,其实用开源检查点也能生成,但是请注意,不同的检查点效果也不尽相同,而且使用时加载使用同名触发词质量较好的单人lora有时会在保证角色不混合的前提下提升质量,下面举几个例子吧。

使用这个手势当然是因为tensor等网站最近发生的事情。
如图,在检查点本身包含人物信息的时候,使用lora并不会造成多少混乱。
那些动画火爆且画面制作水平较高的大热角色,比如说炭治郎等人,就完全不需要使用lora。
重要的事说两遍,如果你想制作非绝对冷门的“2boys”或者包含更多角色的同人图,我强烈推荐使用“novelai”,其次可以尝试用检查点直接生成试试,有很多角色你以为需要lora实际却不需要,只是单人时效果更好,搭配生成“2boys”时,相对数据更少的一方会被影响,再举个例子:
Edward Elric和Alphonse Elric兄弟俩,都是可以直接生成的,单人时al也是男孩而不是盔甲的形态,但双人时因为绝大部分元数据他俩在一起时都是ed+盔甲al,所以al真正的样子几乎无法生成。

当检查点两个角色信息不对称,一方详细另一方缺少细节时,效果较差。

搭配lora使用时,虽然可以增加人物细节,但也会将一些人物特征融合,画风也会影响,不过粗看不容易察觉。当检查点没有信息的角色搭配lora生成时,特征将会完全融合,就不举例了,网络上比比皆是。

Novelai的效果,完全没有使用质量和负面提示词,需要更多的调试和尝试来生成细节丰富、风格更精美的图像。你可以看到leonhardt的服装比大多数lora还原的要好很多,青砥作为冷门角色还原也还可以,两个完全八竿子打不着的角色随意搭配。但毕竟是商业模型,每一个算力都要精打细算,不能无限制的试错。
对于图生图和区域控制,有个缺陷,对于角色亲密接触的地方,很容易看出来模糊,而且流程繁琐,不论是部署时还是使用时,所以有些作者的社媒,明明有着看起来效果还不错的双人图,却数量极少,绝大部分还是1boy为主,因为使用lora加分区工作流实在太麻烦了。而且如果你正好经过某个地方突然有了灵感,想到一些提示词,用在线app很简单就做了,这些工作流你起码需要一台配置还不错的电脑来进行本地部署,而且恼人的是,每个插件每个工作流很可能需要的运行环境版本不一样,真的很麻烦,所以我尝试之后立刻放弃,运行环境部署好以后折腾越多bug越多。图生图、区域控制等技术有着更高的入门门槛,需要一定耐心学习后使用,效果也不一定好,有条件的话可以试试。
还有一些平时发布ai图的大佬,有些看着没有瑕疵的双人图、多人图,又不像novelai生成的,质量也远非使用lora+重绘能达到的,不用怀疑,就是大佬手绘的,谁说ai生成和手绘技能不能同时在一人身上呢?
综上所述,制作一个双人lora来生成你喜爱的cp的同人图,是一个更合适的选择,几乎可以是任何角色,任何画风,使用简单、只需要提示词。一个双人lora的“原理”很简单,只要有充足的双人同框的图,然而难点在如何制作以实现使用时稳定的生成。如果你使用过双人或多人lora一定被以下问题困扰:
1、人物特征依然会交换、混合,完全正确的只是有概率出现。
2、人物之间的体型差异完全随机,除非原人物体型差异巨大、比如奇尔查克和莱欧斯等。哪怕是身材一致的两个角色也忽大忽小,下意识会在提示词中加入“same size”等等其实完全没有用的词汇。
3、生成质量较差,必须搭配额外画风或是细节lora,以及使用高清重绘或adetailer等。
4、其他单人lora会出现的缺陷都会出现。等。
在第一篇文章中我已讲述我制作的第一个lora的心路历程,那是一个双人lora,不过并没有过多展开具体制作方式,这次就好好聊一聊。依然需要道个歉,关于2boys lora的制作网络上并未见有过讨论,可能在一些更私人的聊天群如discord等有人讨论过,但这我无从而知,所以我的思路起源是基于曾有的少有的双人lora或是含多人的画风lora等的使用经验和其公开的训练参数,在此基础上进行探索实验,有一种可能就是我的思路从一开始就走歪了是错的,无论经过大量实验后目前成果如何,我的方法仅仅只能当做参考,若您有意制作双人lora却无从下手,可以试一试当做一种对比方案。
时间倒回我做“lagoon engine”lora的开始,首先当然是训练集的准备,第一反应肯定是要准备双人图,虽然素材较少,但好在兄弟俩都是成双成对出现,单人反而几乎没有,于是再将图片分别裁剪出相同数量的单人部分,放入不同的文件夹,指定相同的repeats,从第一个alpha版本无论后续怎么再添加新图制作新的小修版本,直到beta版的完成,基本上都遵循这个思路,所以当beta版本完成后看到还不错的质量,自然欣喜若狂想要复制同样的训练集设置和参数来制作下一个双人lora,然而完全失败了,之后做了几个不同角色的双人lora无一不是要么特征混合,要么人物都没有学会。当时真的非常沮丧,为什么,到底是哪里错了,难道仅仅是因为运气才正好让我从alpha到beta中间经历多个过度版本都没有出现夸张的人物融合甚至没学会的情况吗?之后通过简单的控制变量进行穷举的方式,又做了好多试制品,想从其中找出一些线索。这个过程写出来将是一堆废话就按下不表了,直接说我得出的结论吧,双人lora想要完全稳定可控几乎是不可能的,所做的一切工作都是为了让正确的内容存在于lora之中,以提高正确几率。