PSYREN fans

Currently no English version in this article, please use translator if you want to read. 前言：我最初是玩SD1.5的Textual Inversion(即是embedding)，基本上只要3張圖，100步就可以練完一個勉強可以用的過擬合模型。所以我開始用TensorArt後一直有在研究怎麼用少量圖片少量步數下可以訓練一個可以用的LoRA。目前我每次練LoRA基本上都是用5張或10張圖來練的，極限上試過只用每日免費的50算力+10張圖就練了一個包含4個角色的LoRA ，(訓練集是4張單人圖，其餘雙人圖。單人的話完全大致上練好，雙人才有機會錯亂)。正文：冷門角色訓練集準備的方法：古早時期基本上是要靠不斷訓練LoRA並不斷疊代來取得一個高質量訓練集的，有了生成式AI chatbot後，可以讓AI用一張圖進行圖生圖生出類似圖片，所以現在只要有一張彩色圖，就可以訓練了一個LoRA了。為了讓LoRA在訓練過程中能快速收斂，除了訓練集應該要用高質量訓練集外，tag一定要打好（人手打tag）。有些時侯還要用上正則訓練，甚至為正則集打好tag。圖片比例我最近基本上沒管，好像 １：１，２：３，４：５，９：１６等主流尺寸都能用於訓練。如果不想把背景學進去，背景要選乾淨的，然後打Tag時要打上clean backgrond或者simple background之類。如果是用純色背景，千萬不要用黑色背景或者紅色背景的，我個人一般用白色或者淺灰色背景。只要不要有特別的服飾，基本上是訓練髮型以及上半身服裝為主，如果要訓練全身服裝，可以考慮混入chibi。trigger word以及模型初始化的小知識：這裡要先說下LoRA的trigger word，LoRA的trigger words其實只代表訓練器會把填在trigger words欄的tag放在最前面，實際上LoRA的微調訓練是圍繞所有你打過的tag進行的。Embedding為主流的年代的訓練基本上會建議只保留不想要的元素的tag的方式來訓練。（雖然我不是用這方法ＸＤ）我們可以簡單把Textual Inversion訓練當成類似數學上的＂求解方程式中的未知數＂（只要初始vector設置得好，例如我會使用minimalistic當initial word）；LoRA訓練則是工程學上的對著一個目標物件從垃圾堆中開始塑形不斷進行對比學習，說成是垃圾堆是因為LoRA訓練的初始vector是抽取一組亂數來初始化的。取亂數當初始的好處是有不少機會生成出 和訓練集相似，但質素卻好於訓練集的東西，但卻有個對免費仔來說的致命缺點，就是收斂過程慢...如果只用低步數，LoRA可能會欠擬合。打tag心得：主流LoRA訓練教學似乎保留了Embedding為主流的年代的訓練習慣，會建議人刪去所有想保留的元素的tag，這是想把所有想要保留的元素全部堆到一個tag上，希望只用一個tag就能召喚出目標角色。我一開始也試過這種做法，但我發現低步數下完全行不通，就算用上和訓練集相同的tag組合仍然會欠擬合。所以現在我基本上不會刪tag（除了bangs或者與white shirt重復了的shirt之類），反而是會手動補tag。從例圖可以看出打全tag的話收斂速度會快很多，因為學少了很多東西。不過對訓練集的質素要求也提升了，如果訓練集有不好的東西，會很快學進去。訓練設置：基礎模型（SD1.5系列)：忘了，我只記得我一般是用13.5算力11個Epch跑一個LoRA訓練，完全看底模夠不夠強的，那時Epch1是免費跑圖的。基礎模型（FLUX.1）：FLUX.1 - dev-fp8 (fast)訓練集10張圖，或者訓練集5張圖然後用上正則集（防欠擬合用途或者防過擬合用途兩者均可）Repeat : 4次，Epoch : 20，每兩輪保存一次，總共54算力有40張圖，比起用生成器生成要便宜。基礎模型(illustirous系列或者pony系列)：TensorArt只有兩次免費，如果要訓練建議去citivai訓練。我目前用，訓練集5張圖，Repeat : 40次，Epoch : 20，Batch : 4，總共1000step基礎模型(SD XL)：AnimaTensor - Regular (Animagine XL團隊在TensorArt上的獨家版本，Animagine XL 4.0上的進化)訓練集5張圖，Repeat :10次，Epoch : 11，每一輪保存一次，總共49.5算力。10張圖或者5張圖+正則訓練，則是Repeat調低至5次。constant_with_warmup，lr_scheduler_num_cycles：1，num_warmup_steps：50 (或者總步數的10%)基礎模型(NoobAI)：我最近才開始研究，可以參考AnimaTensor篇配置。