AnimaLoraToolkitでWAI-Anima向けLoRAを学習したらサイドポニーの左右がプロンプトで動かなかった

掃除した53枚で再学習 でWAI-Illustrious v17向けにLoRAを作り直した。同じデータが手元にあるなら、Anima系（WAI-Anima v1）にも流してみたい。i2iでキャラの原型が崩れる問題を回避できるか試したかった。

Anima向けのLoRA学習ツールはGUI付きのAnima-LoRA-Factoryが出たばっかりだが、リリース直後でv2.0betaの不安定さもあるので、2月のAnima初検証以降にコミュニティから整備されてきたAnimaLoraToolkitを使う。YAML設定 + sd-scriptsベースで、ComfyUI形式直接出力。CLI慣れしていればこっちの方がはるかに速い。

ベースは WAI-Anima v1 を選ぶ

WAI-Anima v1 はAnima preview3-baseのファインチューン。素のpreview3-baseはi2iで顔がアメコミ調に引っ張られるが、WAI-Animaはタグ応答性とキャラ一貫性が改善されてる。LoRAを乗せる土台としてはこっちの方が安定してる。

WAI-Anima自体は3.9GBのsafetensorsで、anima_train.py の --pretrained_model_name_or_path= に指定する想定。アーキテクチャはpreview3-baseと同じ（DiT 2B + Qwen3 0.6B TE + Qwen Image VAE）なので、AnimaLoraToolkitもそのまま受け付けてくれる。

RunPod環境

前回のIL学習と同じCPU+GPU二段構成。

Pod	用途	スペック	単価
CPU Pod	モデル転送・準備	2 vCPU / 8GB RAM	$0.08/h
GPU Pod	学習本体	RTX 6000 Ada (48GB)	$0.77/h
Network Volume	50GB	us-wa-1	$0.005/h

GPU選びはA40/L40SがLow在庫だったので、RTX PRO 6000 Blackwellではなく旧Ada世代のRTX 6000を確保した。Blackwell（sm_120）は素のCUDA 12.4スタックでは動かず、torch + cu128/130 nightly環境を組む必要があるので、安定優先ならAda世代までで止めるのが無難。

リージョンはus-wa-1。Network Volumeはリージョンロックなので、先にGPUの空き状況を見てからVolumeを作るのが事故らない手順。

モデル配置

AnimaLoraToolkitは models/text_encoders/ をHugging Face形式のフォルダ構造で受け取る。circlestone-labs/Anima が公開しているComfyUI用の単体safetensors（qwen_3_06b_base.safetensors）はそのままでは使えない。

正しい配置:

AnimaLoraToolkit/
├── models/
│   ├── transformers/
│   │   └── waiANIMA_v10.safetensors   ← /workspace/models/ にシンボリックリンク
│   ├── vae/
│   │   └── qwen_image_vae.safetensors
│   ├── text_encoders/                  ← HF形式フォルダ
│   │   ├── config.json                 (リポジトリ同梱)
│   │   ├── merges.txt                  (リポジトリ同梱)
│   │   ├── tokenizer_config.json       (リポジトリ同梱)
│   │   ├── tokenizer.json              ← Qwen/Qwen3-0.6B-Base からDL
│   │   ├── vocab.json                  ← 同上
│   │   └── model.safetensors           ← 同上（1.2GB）
│   └── t5_tokenizer/                   (リポジトリ同梱、操作不要)

WAI-Anima本体（3.9GB）はローカルのComfyUIフォルダからscpで上げた。CivitAI APIトークンを発行するのが面倒だったので、家のアップロード帯域を使った。3.9GBで5分くらい。

text_encoders/のQwen3部分はHF公式の Qwen/Qwen3-0.6B-Base から hf CLIで取得:

hf download Qwen/Qwen3-0.6B-Base \
  tokenizer.json vocab.json model.safetensors \
  --local-dir models/text_encoders

VAEとTEのComfyUI形式（split_files）はNetwork Volumeに残しておくと、後でRTX 4060 Laptopでも動かすような環境で再利用できる。

xformersがtorchをcu130に置き換える依存地雷

ここが今回の最大の踏み抜きポイント。AnimaLoraToolkitの requirements.txt をそのまま pip install すると、xformersが新しいtorchを引っ張ってきて、ベースイメージのtorch 2.4.1+cu124がアンインストールされる。

Attempting uninstall: torch
  Found existing installation: torch 2.4.1+cu124
  Uninstalling torch-2.4.1+cu124:
    Successfully uninstalled torch-2.4.1+cu124
...
Successfully installed torch-2.11.0+cu130

直後に import torch するとこうなる:

UserWarning: CUDA initialization: The NVIDIA driver on your system is too old (found version 12080).
torch: 2.11.0+cu130
cuda available: False

ドライバはCUDA 12.8まで、torchはcu130を要求。Adaカードが完全に死ぬ。

復旧手順:

# cu13系を全部剥がす
pip uninstall -y torch torchvision torchaudio xformers triton \
  nvidia-cublas-cu13 nvidia-cuda-cupti-cu13 nvidia-cuda-nvrtc-cu13 \
  nvidia-cuda-runtime-cu13 nvidia-cudnn-cu13 nvidia-cufft-cu13 \
  nvidia-cufile-cu13 nvidia-curand-cu13 nvidia-cusolver-cu13 \
  nvidia-cusparse-cu13 nvidia-cusparselt-cu13 nvidia-nccl-cu13 \
  nvidia-nvjitlink-cu13 nvidia-nvshmem-cu13 nvidia-nvtx-cu13

# torch cu124 を再インストール
pip install torch==2.4.1 torchvision==0.19.1 \
  --index-url https://download.pytorch.org/whl/cu124

# cudnn 9 を入れる（torch 2.4 が要求）
pip install --upgrade 'nvidia-cudnn-cu12>=9.0'

# 動作確認
python -c 'import torch; print(torch.__version__, torch.cuda.is_available())'
# → 2.4.1+cu124 True

xformersは諦めて xformers: false で回す。RTX 6000 Adaの48GB VRAMがあれば、Anima 2B + LoRA程度ならmemory-efficient attentionなしでも余裕。

ついでに tiktoken と sentencepiece が無いとT5 tokenizerが落ちるので入れておく:

pip install tiktoken sentencepiece

学習設定

config/train_kanachan.yaml:

transformer_path: "models/transformers/waiANIMA_v10.safetensors"
vae_path: "models/vae/qwen_image_vae.safetensors"
text_encoder_path: "models/text_encoders"
t5_tokenizer_path: "models/t5_tokenizer"

data_dir: "/workspace/training-data/kanachan"
resolution: 1024
repeats: 4
shuffle_caption: true
keep_tokens: 1            # 先頭の "kanachan" を固定
flip_augment: true
prefer_json: false        # キャプションは .txt 形式
cache_latents: true

lora_type: "lora"
lora_rank: 32
lora_alpha: 32.0

epochs: 12
batch_size: 1
grad_accum: 4              # 実効batch 4
learning_rate: 1.0e-4
mixed_precision: "bf16"
grad_checkpoint: true
xformers: false

output_dir: "/workspace/output"
output_name: "kanachan-waianima"
save_every: 4
seed: 42

sample_every: 4
sample_prompt: "kanachan, 1girl, solo, standing, smile, white background"

設定	理由
repeats: 4	53枚 × 4 = 212サンプル/epoch
keep_tokens: 1	キャプション先頭の kanachan がトリガー語
lora_rank: 32	AnimaLoraToolkit公式推奨
learning_rate: 1.0e-4	同上
epochs: 12	save_every 4で ep04 / ep08 / ep12 の3スナップショット
xformers: false	torch環境を守るため非導入

公式READMEには「LLMアダプタ（TEとDiTを繋ぐ6層Transformer）は学習に含めると劣化する」とあるが、AnimaLoraToolkitの既定値で除外される設定になっているので明示する必要はない。

起動:

cd /workspace/AnimaLoraToolkit
python anima_train.py --config ./config/train_kanachan.yaml

macOSの ._* AppleDouble がデータセットに混入する

ローカル（macOS）のFinder経由で作ったフォルダを tar で固めてアップロードした場合、._kanachan_maidcafe.png のようなAppleDouble拡張属性ファイルが紛れ込む。tar --exclude='.DS_Store' だけでは除外できない。

dataset側は *.txt を片っ端からサンプル登録するので、._kanachan_*.txt（53個）も加わって 106 samples / TXT: 106 になる。VAE latentキャッシュ生成時に Image.open('._kanachan_maidcafe.png') で UnidentifiedImageError 落ち。

# RunPod側で一掃
cd /workspace/training-data/kanachan
find . -name '._*' -delete
find . -name '*.npz' -delete  # 失敗時に残るキャッシュも消す

tar で固める時に --exclude='._*' を入れるか、COPYFILE_DISABLE=1 tar ... で発生源から防ぐのが本筋。

学習結果

項目	値
学習時間	35分49秒（モデルロード等含めると約45分）
総ステップ	636（53 steps × 12 epochs）
学習速度	0.30 it/s
最終loss	0.0095（min 0.0076 / max 0.1095）
LoRAサイズ	各 93MB（rank 32）

サンプル画像は学習中に毎4 epoch自動生成される。プロンプトは kanachan, 1girl, solo, standing, smile, white background（髪型・服装の指定なし）。

baselineはLoRA注入前のWAI-Anima v1にプロンプトをそのまま投げた結果。kanachan トークンは未知語として無視されて、Animaのデフォルト傾向の金髪ツインテールが出る。

ep04 → ep12 では髪色（茶）と目の色（茶）はキャラ素材に寄った。一方で髪型は安定しない。素材はキャラ視点で左サイドのサイドポニーテール（画像右側）にアホ毛つきだが、サンプルではep08で1回サイドポニーがハマった以外、ep04とep12はツインテールに戻っている。

ぱっと見ではep04でも結構それっぽく見える。色が出ているので印象だけで判定すれば ep04 でも合格点。

WAI-IL LoRAとの観測差

WAI-IL用に同じ素材セットで学習したLoRA でも kanachan トリガーだけで髪型まで安定するわけではなく、ローカルのComfyUIワークフロー側で:

positive:
kanachan, 1girl,
left side ponytail, left side up, medium hair, double parted bangs, ahoge,
...

negative:
right side ponytail, twin tails, twintails, low twintails, high ponytail,
two side up, half updo, right side up,
blue hair, grey hair, silver hair, ...

のように髪型をポジティブに明示してネガで誤った髪型を弾く運用にしている。AnimaLoraToolkitのトレーナー内蔵samplerは髪型タグなしの最小プロンプトで1枚ずつ出すだけなので、これだけでLoRAの性能を判定するのは早すぎる。

ローカルComfyUIで本気プロンプトを当てる

M1 Max（64GB）のComfyUIで、ep04 / ep08 / ep12 × seed 42 / 100 の6枚を生成。設定は832×1216、er_sde + simple、30steps、CFG 4.0、LoRA strength model=1.0 / clip=0.8。

ポジティブ:

kanachan, 1girl, solo,
safe, general,
left side ponytail, left side up, medium hair, double parted bangs, ahoge,
medium breasts,
white collared shirt, red necktie, navy pleated skirt,
black pantyhose,
black leather loafers,
standing, looking at viewer, full body,
white background, simple background,
masterpiece, best quality, amazing quality, absurdres,

ネガティブ（ツインテ系・誤った髪色・露出系・崩れポーズを全部弾く）:

right side ponytail, twin tails, twintails, low twintails, high ponytail, two side up, half updo, right side up,
huge breasts, large breasts, navel,
nsfw, nipples, panties, panty pull, panty shot, lifted skirt, skirt lift, skirt pull, from below, upskirt, ass, butt, thigh gap,
squatting, sitting, lying, kneeling, bent over, leaning forward,
blue hair, grey hair, silver hair,
... (定型のlowres, bad anatomy, watermark等は省略)

1枚あたり約4〜5分、合計28分半で6枚揃った。

6枚とも全身立ち姿で安定。サイドポニー・アホ毛・ダブルパーテッドバング・髪色（茶）・目の色（茶）・制服一式（白シャツ + 赤ネクタイ + ネイビープリーツスカート + 黒タイツ + 黒ローファー）まで一貫して再現できている。トレーナー内蔵samplerが見せていた「ツインテに戻る」現象は最小プロンプトでの解釈ブレでしかなかった。

epoch間の差はプロンプト忠実度にはほぼ出ない。表情の硬さや顔の輪郭が ep04 → ep12 で微妙に変わる程度で、構図の安定性も同等。ep04時点ですでにキャラ造形は十分乗っているので、過学習を避けたいなら ep04 〜 ep08 を本命にする方針でよさそう。

ただし致命的な問題が一つある。サイドポニーの位置が学習素材と逆になっている。素材は53枚すべてキャラ視点で左側（viewerから見て右側）のサイドポニーだが、LoRA出力は全6枚とも反対のキャラ視点で右側（viewer左側）に出る。プロンプトの left side ponytail を right side ponytail に差し替えても出力位置は変わらず、Danbooruタグの方向指示はLoRAに無視されている。

原因はYAMLの flip_augment: true と推測。水平flip augmentationが学習中に画像を反転して両方向のサンプルを生成し、LoRAは「サイドポニー」概念は学んだが向きは忘れて、推論時にAnima基底のバイアスでviewer左側に倒れた可能性が高い。同じ素材・同じ設定で flip_augment: false だけ変えて再学習した。

flip_augment: false で再学習

学習設定は flip_augment: true → false と output_name: kanachan-waianima-noflip の2箇所だけ変更。RTX 6000 Adaの再起動 + 再学習で 約45分・$0.58の追加コスト。出力された noflip LoRA で同じプロンプト + seed 42 で生成した結果（左がflip版、右がnoflip版）。

結果は予想と違って、flip版と何も変わらなかった。3つのepoch全てで素材と反対向き（viewer左 = キャラ右）にポニーが出る。3/4のアングル違いで一瞬「ep04は向きが正しい？」と見えるカットがあるが、よく見るとどれもキャラ右側に固定。

つまり flip_augment を切っても方向は学習されなかった。今回の素材は53枚すべて同じ向きのキャラ立ち絵にも関わらず、LoRAは方向情報をまったく取り込めていない。

考えられる原因:

• Anima基底モデルが「side ponytail」の標準位置をviewer左固定で持っていて、LoRAではrank 32程度では上書きできない
• Qwen3 TEを通った時点で位置情報がアテンションに乗らず、LoRAも空間特徴を学べていない
• 53枚という枚数では DiT の方向性バイアスをくつがえす学習量に達していない

どれが効いているかは追加検証が必要だが、少なくとも「同じ素材セット + AnimaLoraToolkitのデフォルト設定」では、サイドポニーの左右位置を学習素材通りに再現できないことは確定。WAI-IL（CLIP + UNet）では同じデータでこの問題が出ていなかったので、Anima系（DiT + Qwen3 TE）固有のクセと言ってよさそう。

次に試す手は rank を 64 / 128 に上げる、learning_rate を上げる、トリガー語を kana_chr_001 のような完全な未知トークンに切り替える、あたり。

Anima推奨プロンプト形式での追加検証

その後、Animaコミュニティのプロンプト推奨構造を読んで、今回のプロンプトが Anima系の推奨形式から外れていることに気付いた。Anima系では:

• 順序は [品質/レーティング], 1girl, キャラクター, 自然言語+タグ が推奨
• general ではなく safe（SDXL時代の general から変更）
• 自然言語は最低2文程度が望ましい
• 日本語・中国語の指示は不可（英語のみ）
• アンダースコアを含むタグは効きが激減

これに沿った形で再生成し、ついでに原因切り分けを進めた。テストはすべて 832×1216 / er_sde + simple / 30 steps / CFG 4.0 / seed 42 / LoRA strength model=1.0 clip=0.8 で固定。

A. Anima推奨形式 + noflip ep08 LoRA + kanachan トリガー

ベースは waiANIMA_v10.safetensors + kanachan-waianima-noflip_epoch8.safetensors。

Positive:

masterpiece, best quality, amazing quality, absurdres, safe, year 2024,
1girl, solo, kanachan,
A girl with medium brown hair tied in a side ponytail on the left side of her head, with a blue scrunchie. She has double-parted bangs and a small ahoge.
brown eyes, medium breasts,
white collared shirt, red necktie, navy pleated skirt, black pantyhose, black leather loafers,
standing, looking at viewer, full body,
white background, simple background,

Negative:

worst quality, low quality, score_1, score_2, score_3, 6 fingers, 6 toes, ai-generated, bad eyes, bad pupils, bad iris, bad hands, bad fingers, watermark, patreon logo,
twin tails, twintails, high ponytail, two side up, half updo,
nsfw, panties, panty pull, lifted skirt,

B. Aから kanachan トリガーだけ削除、black pantyhose も削除

LoRAの効果がトリガー語経由なのか、ロードしただけで全体に乗るのかを確認。pantyhose は panty + hose でトークン分割される疑いがあるので外した。

C. LoRA外し、base WAI-Anima + Bと同じプロンプト

LoRAを抜いて WAI-Anima base 自体の挙動を確認。プロンプトはBと同一。

D. CからさらにdanbooruタグをほぼAlpha化、純自然言語で方向描写

Positive:

masterpiece, best quality, amazing quality, absurdres, safe, year 2024,
1girl, solo,
A young girl with medium-length brown hair. Her hair is tied into a single side ponytail with a blue scrunchie. The ponytail is on her left side, which means it appears on the right side of the image when she faces the viewer. She has small bangs parted in the middle and a single tuft of hair sticking up like an antenna.
brown eyes,
white collared shirt, red necktie, navy pleated skirt, black leather loafers,
standing, looking at viewer, full body,
white background, simple background,

「左右の解釈」の曖昧性を完全に潰した英文で指示。danbooruタグの side ponytail は使わない。

観測結果

• A〜C のすべてでサイドポニーは viewer左側（キャラ右側）に出る。学習素材の方向（キャラ左側）と反対のまま
• B（kanachanトリガー削除）でも、髪色・目の色・髪型・服装まで kanachan の特徴が出る。LoRAの影響がトリガー語を超えて全体にリークしている
• C（LoRAなし、base Anima 単体）でも同じ位置に出る。LoRAは無罪で、Anima base 自体に「side ponytail = viewer左」の決定論的バイアスがある
• D（純自然言語）はサイドポニーを単数で指定したのにツインテール風になった。Qwen3 TEは danbooru タグの side ponytail がないと「単数のサイドポニー」を概念として理解できない

E. ベースを Anima preview3-base に差し替え（Cと同プロンプト）

WAI-Animaの fine-tune 由来のクセではなく、Anima 共通のバイアスかどうかを切り分けるため、ベースだけ waiANIMA_v10.safetensors → animaOfficial_preview3Base.safetensors に差し替えてCと同プロンプトで生成。

preview3-base でも viewer左側にポニーが出る。WAI-Animaと完全に同じ位置。つまり方向バイアスは WAI のfine-tuneで持ち込まれたものではなく、Anima preview3-base時点（あるいは更に上流のCosmos-Predict2 / Qwen3 TE）から継承されたAnima系全体の問題だった。

結論（暫定）

サイドポニーの方向制御問題は LoRA の責任ではなく、Anima base + Qwen3 TE のアーキテクチャレベルの制約だった。

• Qwen3 0.6B TE は左右の方向トークンを区別して下流に流せていない可能性が高い
• 「side ponytail」という danbooru タグは概念として通じるが、left side ponytail と right side ponytail の差は読まれていない
• 自然言語で「left side of her head, which means it appears on the right side of the image」と曖昧性ゼロに書いても結果は変わらない
• LoRAをロードした時点で kanachan の特徴がトリガー語なしでも全体に染み出すので、「キャラ寄せ」自体は強く効いている

対症療法としては:

• 生成後に画像を水平反転して向きを揃える
• ControlNetでポーズ・髪型を強制
• 学習素材を全部水平反転して学習し直し、right side ponytail で出すよう仕込む
• Qwen 3.5 4B のコミュニティ製 TE に差し替えて方向解像度が改善するかを試す

このあたりは別記事で扱う。今回の記事は「AnimaLoraToolkitでLoRAは普通に学習できた、ただし方向制御は別途課題」という記録として一旦締める。

学習側のキャプション形式も Anima 推奨外だった

ついでに気付いた点として、今回の学習素材のキャプションも Anima 推奨形式に従っていなかった:

kanachan, 1girl, solo, angry, portrait, front view, white background

順序が kanachan トリガー → 1girl → 属性タグの SDXL 時代の書き方で、Anima 推奨の [品質/レーティング], 1girl, キャラ, 自然言語+タグ から外れている。safe などのレーティングタグも入れていない。自然言語による方向描写も一切なし。

53枚すべてこの形式なので、Qwen3 TE が学習中に方向情報を抽出できる材料がそもそもキャプション側に存在しなかった可能性が高い。次回の再学習では:

• キャプション順序を Anima 推奨に揃える
• 自然言語で方向情報を含むサンプル説明を入れる（手作業で53枚）
• レーティング・品質タグを追加する

の3点を改善してから再検証する予定。Network Volumeにモデル・ベース素材・toolkit を残してあるので、キャプションだけ差し替えて再学習を回せる。

プロンプトの言語を変えても向きは変わらない

LoRA側のバイアスを疑う前に、Qwen3 TEのプロンプト解釈の問題ではないかを切り分けたく、ep08を固定して言語別の3パターン（英語タグ・日本語自然言語・中国語自然言語）で再生成した。Qwen3はAlibaba製のLLMなので、中国語ネイティブの方が方向指示が通る可能性も含めて検証。

言語	ポジティブの方向指定
EN	right side ponytail, right side up（左に出てたので逆を指定）
JP	左側頭部にサイドポニーテール, ponytail on the left side of the head
CN	头部左侧的侧马尾, 左侧侧马尾

ネガ側もそれぞれ反対側を弾くように差し替えてある。

3枚とも同じくviewer左側にポニーが出ている。プロンプトの方向指示は完全に無視された。EN（danbooruタグ）でもJP/CN（自然言語）でも、Qwen3は方向トークンを理解できているはずなのに、LoRAのバイアスがそれを上書きしている。

副作用として日本語と中国語の自然言語版は右上に「！？」のマンガエフェクト記号が追加された。Qwen3 LLMが日本語・中国語の文を「漫画的なシーン描写」として解釈し、感情記号を勝手に追加した可能性。danbooruタグの英語版にはこの副作用がない。プロンプト言語を変えるとシーン雰囲気まで変わるので、Qwen3 TEは多言語対応しているがdanbooruタグ風の英語の方が制御性が高いという結論になる。

絵柄面では Anima ベースの清潔感のあるアニメ塗りに引っ張られていて、学習素材の落ち着いた色合いはあまり継承していない。LoRAはキャラ特徴を学ぶが画風は基底モデル支配というのは経験則通り。Animaらしい仕上がりを許容できるなら、WAI-IL LoRAより画として綺麗に出ている印象もある。

本記事を書いた本来のモチベーションは、WAI-IllustriousでLoRAを使って生成したキャラクター画をAnima系にi2iで通すと、Anima側の画風バイアスで顔が幼くなったり丸くなったりして、キャラクターの同一性が崩れる問題を、Anima向けにキャラLoRAを学習することで解決できるか確かめることだった。i2iの流入元（WAI-IL + 既存LoRA）と通過先（WAI-Anima + 今回のLoRA）の両方でキャラLoRAを当てれば、キャラを保ったままAnima絵柄に乗せ替えられるかもしれない。検証は別記事で扱う。

コスト内訳

項目	単価	使用量	小計
Network Volume 50GB	$0.005/h	約1時間	$0.005
CPU Pod（モデル準備）	$0.086/h	約10分	$0.014
RTX 6000 Ada（環境構築 + 学習）	$0.77/h	約48分	$0.62
RTX 6000 Ada（noflip 再学習）	$0.77/h	約45分	$0.58
合計			約$1.22（≒¥186）

WAI-IL用のIllustrious LoRAがRTX 4090で約$1で回ったのと比べると、RTX 6000 Adaはレートが上がる代わりに学習が早く、1本あたりのコストはむしろ少し安い。Anima 2BはSDXL 3.5BよりVRAM要求が低く、48GBはオーバースペック気味なので、24GBクラス（RTX 4090）が空いてればそっちで回したほうが更に安く済んだ可能性はある。