[AIDXL] Anime Illust Diffusion XL/动漫插画设计XL

CHECKPOINT
Original


Updated:

我不是模型作者。我仅被授权负责搬运和汉化。

模型介绍

I 引言

在本介绍中,您将了解:

  1. 模型介绍(见 II部分);

  2. 使用指南(见 III部分);

  3. 训练参数(见 IV部分);

  4. 触发词列表(见附录 A部分)

II 模型介绍

动漫插画设计XL,或称 AIDXL是一款专用于生成二次元插图的模型。它内置了 200种以上(随着更新越来越多)的插画风格,依靠特定触发词(见附录 A部分)触发。

优点:构图大胆,没有摆拍感,主体突出,没有过多繁杂的细节,认识很多动漫人物(依靠角色日文名拼音触发,例如,“ayanamirei”对应角色“绫波丽”,“kamadonezuko”对应角色“祢豆子”)。

模型难度较大,不推荐入门者使用。

III 使用指南(将与时俱进)

推荐使用 ComfyUI生成图像……

现在,WebUI和ComfyUI在生成式无明显差别。

1 生成参数

如果您无法生成与预览图相似的图像,请参照以下指南。

  1. 建议图像总分辨率(总分辨率=高度x宽度)大于 1024x1024且小于1024x1024x1.5,否则生成的图像可能质量不高。此为经验法则,即生成图像的总分辨率应高于训练集图像的总分辨率,且同时低于训练集图像总分辨率的 1.5倍,以防止模糊和畸变。例如,本模型在 1024x1024总分辨率上训练,因此您最大可以生成1024x1536(以 2:3为例)分辨率的图像。

  2. 推荐使用 tag +自然语言的形式书写正面提示词。提高自然语言中的名词密度,避免使用抽象形容词,或用多个形容词叠加地修饰名词。另外,无需使用过多负面提示词。建议负面提示词数量不超过10个。

  3. 不进行“ClipSkip”操作,即 Clip Skip =1。

  4. 采用 “dpmpp_2m”采样器(sampler),搭配 “karras”调度器(scheduler),该组合在 webui里称为 DPM++ 2MKarras。在 7 CFG Scale上采样 35步以上。

  5. 仅需要使用模型本身,而不使用精炼器(Refiner)。

  6. 使用基底模型 vae或sdxl-vae。

  7. 使用附录部分提供的触发词以活用风格化。注意,从v0.5版本开始将支持部分质量提示词,如 best quality, masterpiece等。使用它们将提高图像平均的美学质量(并不总是)。

2 注意事项

  • 使用 SDXL支持的 VAE模型、文本嵌入(embeddings)模型和 Lora模型。注意:sd-vae-ft-mse-original不是支持 SDXL的 vae;EasyNegative、badhandv4等负面文本嵌入也不是支持 SDXL的embeddings。

  • 生成图像时,强烈推荐使用模型专用的负面文本嵌入(下载参见  https://civitai.com/models/144327/negative-embeddings-aidxl-series-models),因其为模型特制,故对模型几乎仅有正面效果。

  • 由于初步训练,版本新增触发词将在当前版本效果相对较弱或不稳定。

3 实验

  • 触发词所指向的风格能够相互融合而产生新的风格。

  • 自 v0.5版本开始,新增了质量提示词。

IV 训练参数

以 SDXL1.0为底模,使用大约 2w张自己标注的图像在 5e-6学习率,总长为 1的余弦调度器上训练了约 100期得到模型A。之后在 2e-7学习率,其余参数相同的条件下,训练得到模型B。将模型 A与 B混合后得到 AIDXLv0.1模型。

V 对比基于 SD1.5的 AID

2023/08/08:AIDXL使用与 AIDv2.10完全相同的训练集进行训练,但表现优于 AIDv2.10。AIDXL更聪明,能做到很多以 SD1.5为底模型无法做到的事。它还能很好地区分不同概念,学习图像细节,处理对 SD1.5来说难于登天的构图,几近完美地学习旧版 AID无法完全掌握的风格。总的来说,它绝对拥有比 SD1.5更高的上限,我会继续更新AIDXL。

附录

A. 触发词列表

非常抱歉。基于安全原因,本页面不提供任何提示词列表。完整提示词列表请参见 CivitAI模型页面的附录A部分: https://civitai.com/models/124189/anime-illust-diffusion-xl

The model already exists. If you are the creator, please contact us to claim it.
View duplicate model

Version Detail

SDXL 1.0
<p>v0.1 是 AIDXL 的首个 beta 测试版本。他比基于 SD1.5 的 AID 更能够精准地还原某些画风,但仍有许多缺陷。</p><p>已知的缺陷:细节轻微凌乱,人体轻微崩坏,线条扭曲,光影不足,部分风格有模糊或还原不佳。</p><p>v0.1 is the first beta release of AIDXL. It can restore some styles more accurately than SD1.5-based AID, but still has many shortcomings.</p><p>Known defects: messy detailed (slightly), bad anatomy (slightly), distorted lines, insufficient light and shadow, blurry and noisy for some styles.</p>

Project Permissions

    Use Permissions

  • Use in TENSOR Online

  • As a online training base model on TENSOR

  • Use without crediting me

  • Share merges of this model

  • Use different permissions on merges

    Commercial Use

  • Sell generated contents

  • Use on generation services

  • Sell this model or merges

Comments

Related Posts

No posts yet
Describe the image you want to generate, then press Enter to send.