参照画像1枚でキャラを保つSnapRef v1bをRef Adapter v2・Role-Ref-KVと同じ条件でM1 Maxに当てて比べる

前回のAnima Ref Adapter v2とRole-Ref-KVを比べた記事を出す直前に、同じ用途のアダプターがもう1つ公開された。
SnapRefで、参照画像1枚からキャラクターの特徴を保ったまま、別の構図や場面を出すためのものだ。
READMEの比較表には、Ref Adapter v2やRole-Ref-KVより速く、v2より正解画像に近いという数字が載っている。

ただ、この数字はA100で計測したものだ。
前回と同じ8条件で当てると何が起きるのか、README独自の機能がMacのMPSでも同じように動くのかは、数字からは分からない。
そこで、前回の記事と同じ参照画像、プロンプト、シードでv1bを当て、M1 Max 64GBのComfyUIで確かめた。

SnapRefの概要

仕組みはRef Adapter v2やRole-Ref-KVと同じ系統だ。
参照画像を専用の経路で1回だけモデルに通し、各ブロックの注目機構のkey/valueをキャッシュして、生成中の各ステップで読ませる。
ComfyUIのモデルにラッパーとして入るので、サンプラーは標準のものを選べる。

v1aとv1bの違いは次のとおり。

READMEはv1bを「rankが2倍」と説明し、迷ったらv1aから始めるよう勧めている。
重みのキーを数えると、違いはrankだけではなかった。
LoRAのモジュールはv1aが336個、v1bが392個で、v1bは生成側のmlpにも当たっている。

READMEの比較表には、ほかのアダプターの値も載っている。

正解画像は、同じキャラが指定のポーズをとった別の画像で、52例の平均だ。
配布されている scores_v1a_v1b.json で値を確かめると、参照画像そのものとのDINOv2類似度はv2が0.552、v1aが0.515、v1bが0.510で、順番が逆になる。
どちらの指標を見るかで、順位は変わる。

READMEの推奨設定。

検証環境

ref_guidance_on はMPSでそのまま動かない。
Cannot convert a MPS Tensor to float64 dtype で止まるので、前回のRef Adapterと同じくAPG補正の .double() 2行を .float() にした。
それ以外のノードのコードは、黒画像の節で1回だけ試した変更を除いて元のままだ。

当てたモデルは前回と同じ8条件で、推奨設定はBaseの30ステップ・cfg 4.5に合わせた。

2.9Bの付け替えは、40ブロックのうち差し込まれた12ブロックを避けるようにキーの番号を振り直すものだ。
ノードはキーのあるモジュールにだけLoRAを当てるので、Role-Ref-KVのときのようなゼロ埋めは要らなかった。

SnapRefの既定では、参照を読むのは正プロンプト側だけだ。
cfg 1.0のTurboなら1ステップのモデル呼び出しは1回で、cfg 4.5なら2回になる。

公式設定のまま動かしてみる

READMEのプロンプト、ワークフローのネガティブ、832×1216、28ステップ、cfg 4.5でBaseに当てた。

かなちゃん

ref_girl

masterpiece, best quality, score_7, safe, 1girl, solo, full body, sitting, crossed legs, bench, street, night

worst quality, low quality, score_1, score_2, score_3, artist name, blurry, jpeg artifacts, chromatic aberration

前回と同じ ref_girl のケーキの場面も、前回と同じ条件で出した。
結果は赤いソファ席でフォークを口に運ぶ絵で、髪色・メッシュ・服が残り、時間は302.6秒だった。

SnapRef v1b

Ref Adapter v2（前回）

Role-Ref-KV（前回）

Base・Aesthetic v1.1・2.9Bに当てた結果

以降の節は、特に書かない限り参照がかなちゃんの立ち絵で、ネガティブは前回と同じだ。

Base 走る

Base ケーキ

Aesthetic v1.1 走る

Aesthetic v1.1 ケーキ

2.9B（付け替えあり）走る

2.9B（付け替えあり）ケーキ

2.9B（付け替えなし）走る

2.9B（付け替えなし）ケーキ

ケーキの場面は3条件とも、アホ毛、画像右側のサイドポニー、白シャツ、赤ネクタイが参照どおりに出た。
前回のRole-Ref-KVでケーキの場面に出た、髪のオレンジ寄りはここでは出ていない。

2.9Bは付け替えなしだと動かない。
v2のように格子状に崩壊するのではなく、人物だけは参照の立ち姿のまま鮮明で、場面がほとんど反映されなかった。

走る場面のBaseとAestheticは後ろ姿になった。
プロンプトに向きの指定がないのでおかしな結果とは言えないが、前回のv2とRole-Ref-KVは同じシードで正面向きだったので、別の節で詳しく掘り下げた。

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, full body, running, wind, hair blowing, dynamic pose, fantasy landscape, castle in background, sunset sky, dramatic clouds, grass field

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, upper body, sitting, eating, cake, cafe, indoors

worst quality, low quality, score_1, score_2, score_3, blurry, jpeg artifacts, chromatic aberration, bad anatomy, bad hands, extra arms, extra fingers, missing fingers, text, watermark, signature, artist name, multiple views, split screen, comic, 2koma, 4koma

Turbo系に当てた結果

Turbo v1.1 走る

Turbo v1.1 ケーキ

Turbo v1.0 走る

Turbo v1.0 ケーキ

Base＋Turbo LoRA 走る

Base＋Turbo LoRA ケーキ

2.9B非公式Turbo 走る

2.9B非公式Turbo ケーキ

Turbo系は走る場面が4条件とも正面向きで、Baseの後ろ姿は出なかった。
READMEが対象にしているのはAnima base v1.0だが、Turboのフルモデル、Turbo LoRA、付け替えた2.9Bのどれでも問題なく動いた。
ケーキの場面で赤ネクタイが腕に隠れるのは構図によるもので、次の節の設定では見えている。

ref_guidance 4.5で4コマに崩れるか

前々回のpilotは、Turbo系をcfg 1.0・ref_guidance 4.5で回すと4コマに崩れた。
前回のv2は4コマにならなかったが、色がくすんだ。
SnapRefにも ref_guidance_on があるので、同じ設定でケーキの場面を出した。

Turbo v1.1

Turbo v1.0

Base＋Turbo LoRA

2.9B非公式Turbo

4条件とも4コマには分かれなかった。
1ステップのモデル呼び出しが2回になるので時間は1.5倍ほどかかるが、シード1つでは効果と揺れを区別できない。

Baseでも ref_guidance_on を試した。
READMEは6〜8で参照に近づくと書き、時間は約1.4倍、ref_end 0.6なら速くて結果はほぼ同じとしている。

ref_guidance 4.5

ref_guidance 7

ref_guidance 7、ref_end 0.6

Turbo v1.1、ref_guidance 2

手元の時間はオフの約1.5倍で、ref_end 0.6でも1.4倍弱だった。
ref_end 0.6の絵がほぼ同じという点は、READMEのとおりだった。

寝そべり・俯瞰構図を試す

Turbo v1.1

Base

正面の立ち絵1枚から、キャラを保ったまま仰向け・俯瞰に変わった。

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, full body, lying on back, on grass, from above, looking at viewer, flowers, daytime

シードを変えて走る場面を出す

前回と同じくシード20261028・20261029を足し、Turbo系4条件と、Base・2.9B（付け替えあり）で出した。

Turbo v1.1 s20261027

Turbo v1.1 s20261028

Turbo v1.1 s20261029

Turbo v1.0 s20261027

Turbo v1.0 s20261028

Turbo v1.0 s20261029

Base＋Turbo LoRA s20261027

Base＋Turbo LoRA s20261028

Base＋Turbo LoRA s20261029

2.9B非公式Turbo s20261027

2.9B非公式Turbo s20261028

2.9B非公式Turbo s20261029

Base s20261027

Base s20261028

Base s20261029

2.9B 付け替えあり s20261027

2.9B 付け替えあり s20261028

2.9B 付け替えあり s20261029

18枚とも、見える範囲で髪型と服は参照のままだった。
正面の14枚はサイドポニー、白シャツ、赤ネクタイ、黒タイツがそろい、後ろ姿の4枚もシュシュのサイドポニーとタイツが残っている。
前回のRole-Ref-KVにあった、ポニーやネクタイが消えるシードはなかった。
一方でBaseは3シードとも後ろ姿で、前回のv2とRole-Ref-KVは同じ3シードすべて正面向きだった。

Baseの走る場面が後ろ姿になる

後ろ姿がv1bの癖なのかBaseの癖なのかを切り分けるため、シードと条件を足した。

参照なし s20261030

v1b s20261030

v1a s20261030

Ref Adapter v2 s20261030

Role-Ref-KV s20261030

参照なし s20261031

参照なしのBaseも2シードとも後ろ姿なので、このプロンプトで後ろ向きになるのはBase自体の傾向と思われる。
参照の正面の立ち絵に引っ張られるv2やRole-Ref-KVと違って、v1bはそれを変えなかったことになる。
READMEの「参照を構図としてコピーせず見た目として読む」という説明とは合っているが、シード数は少ない。

参照の効きを強めても、向きは変わらなかった。
プロンプトに looking at viewer を足すと正面になった。

strength 1

ref_guidance 7

looking at viewer を追加

v1a・v1b・FP8を比べる

v1b Turbo v1.1 走る

v1a Turbo v1.1 走る

v1b FP8 Turbo v1.1 走る

v1b s20261028

v1a s20261028

v1a s20261029

v1b Turbo v1.1 ケーキ

v1a Turbo v1.1 ケーキ

v1b FP8 Turbo v1.1 ケーキ

v1b Base 走る

v1a Base 走る

v1b FP8 Base 走る

Turbo v1.1の走る場面3シードでは、v1aの服の崩れが2回で、v1bは0回だった。
READMEの正解画像との類似度はほぼ同じだが、少なくともこの参照とシードでは、v1bのほうが服を保った。

FP8はサイズが約半分で、READMEの「実質的に同じ画像」のとおりだった。
同じシードのbf16との差は、0〜255の画素値の平均で1.8〜3.0だ。
構図は変わらず、並べて見て細部が少し違う程度だった。
時間は56.5〜58.6秒（Turbo）、312秒台（Base）で、bf16と変わらない。
--bf16-unet で起動しているので、FP8の重みをどの精度で計算しているかまでは見ていない。

strengthの効き方

Advancedノードの strength は対数スケールで、参照のkeyの重みを変える。
ツールチップには、+1で約2.7倍、-1で約2.7分の1とある。
READMEは細部（飾り、袖、アクセサリ）を増やしたいときに1〜2を勧めている。

Turbo 走る -1

Turbo 走る 0

Turbo 走る 1

Turbo 走る 2

Turbo ケーキ -1

Turbo ケーキ 0

Turbo ケーキ 1

Turbo ケーキ 2

Base ケーキ -1

Base ケーキ 0

Base ケーキ 1

Base ケーキ 2

上げるほど、ポーズが参照の立ち姿に寄り、走る動きや表情が小さくなった。
Baseの2は色も薄くなる。
かなちゃんの立ち絵には細かい飾りがないので、READMEの言う細部が増えるかどうかはこの参照では確かめられなかった。

strength は時間を増やさなかった。
Turbo v1.1のケーキが56.5秒、走る場面が45.4〜45.5秒、Baseのケーキが301.8〜302.0秒で、0のときと差がない。
READMEには「strengthと重みは遅くならなくなった」とあり、ツールチップには古い「約1.3倍遅い」が残っている。
MPSでは高速な計算経路を使えず、マスク付きの経路を通るが、それでも遅くならなかった。

なお、簡単なほうの SnapRef ノードの strength はスケールが違う。
こちらは1が学習どおり、0がオフ、2が2倍で、対数ではない。
SnapRef の1.0とAdvancedの0は、ピクセル単位で同じ画像になった。
READMEの「1〜2を試す」はAdvancedの値で、SnapRef の2はAdvancedの約0.7に当たる。

fidelityはMacでは切り替えスイッチになる

fidelity は下げるほどプロンプトに自由に従う設定で、ノードのコードを読むとCUDAとそれ以外で動きが違う。
CUDAでは負プロンプト側に参照を 1 - fidelity の重みで読ませるが、高速な計算経路が必要だ。
それ以外では、1未満ならどの値でも負プロンプト側が参照を完全に読む、というフォールバックになっている。

実際にBaseのケーキの場面で比べた。

fidelity 1.0

fidelity 0.5（0.0・ref_in_uncondも同じ画像）

コードのとおり、Macでは0.5でも0.0でも ref_in_uncond と同じ画像になり、途中の値は作れない。
cfg 1のTurboは負プロンプト側を計算しないので、何も変わらなかった。

modeのcharで画風を変える

mode の cs は既定でキャラと画風の両方を参照から取り、char はキャラだけを取る。
READMEは char と絵師タグの組み合わせを挙げている。
ここでは絵師タグは使わず、一般的な画風のタグで試した。

Base watercolor cs

Base watercolor char

Base 1990s cs

Base 1990s char

cs ではタグを足しても画風はほとんど変わらなかった。
char では変わるが、watercolor は水彩にならず、キャラの髪色まで変わった。
READMEのWhat’s nextには、次のv2aで mode char を強化するとある。

2キャラを1枚の参照で出す

READMEのやり方どおり、2人の立ち絵を横に並べた1枚を参照にして、1216×832で出した。

参照（1664×1216）

Turbo v1.1 s20261027

Turbo v1.1 s20261028

Turbo v1.1 s20261029

Base s20261027

Base s20261028

5枚とも2人とも出て、左右も髪の色も入れ替わらず、黒タイツと白ソックスの違いも保った。
ただ、かなちゃんのネクタイは5枚中4枚で右のキャラと同じリボンになった。
Baseでは右のキャラにも、左のキャラのサイドポニーが付いてしまった。
READMEは「参照からはっきり見えない属性が2人の間で混ざることがある」としている。
今回はネクタイやスカートのように、参照にはっきり描かれている部分でも混ざった。

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 2girls, brown hair girl on the left, blonde girl on the right, standing side by side, full body, looking at viewer, park, day

横に並べた参照でstrengthを動かすと黒画像になる

混ざりを減らそうと strength 2にすると、真っ黒な画像が出た。
シードを変えても、Baseにしても、strengthを1や-1にしても同じだった。
一方で、同じ参照でもstrength 0なら正常に出る。

条件を絞っていくと、キャラが2人かどうかは関係なく、参照の大きさで決まっていた。
ノードは参照を約1MP以下、16の倍数に縮小する。
1664×1216は1184×864になる。
かなちゃん1人を余白付きで同じ大きさにした画像でも黒くなり、ほかのサイズでは出なかった。

16ピクセルが1トークンに当たる。
MPSが通る _masked_attention は、キーの数を16の倍数にそろえるために端を埋め、その部分のマスクを float("-inf") にしている。
strengthが0ならこの経路を通らないので、黒くならない。
この1行を -1e4 に変えて同じ条件（1184×864の参照、strength 2、シード20261027）で出すと、黒画像は出なかった。
この1枚は上下に白い帯が入ったが、ネクタイ、リボン、無地と格子柄のスカートが2人とも参照どおりだった。
ただ、同じ大きさの乱数テンソルをPyTorchの注目機構だけに通しても NaN は再現しなかったため、黒くなる直接の要因までは特定できていない。
修正は1回試したあと元に戻している。

マスクを -1e4 に変えたノード、strength 2

ノードを変えずに避けるなら、合計が16の倍数になるサイズに参照を合わせればよい。
2人の参照を余白を足して1216×832にすると、strength 1でも2でも出た。

strength 0

strength 1

strength 2

strength 2、s20261028

ネクタイが残ったのはstrength 1の1枚で、2では戻っているので、混ざりを安定して防げるとは言えない。
READMEにある黒画像の項目はfp16が原因のもので、これとは別だ。
CUDAは別の経路を通るので、この黒画像はMPSなどでfused kernelが使えない環境で起きる挙動とみられる。
SnapRef ノードのstrengthを1以外にしたときや、複数参照の weight を変えたときも同じ経路を通るので、サイズによっては同じことが起きると思われる。

同じキャラの参照を複数入れる

11月1日のノード更新で、同じキャラの参照を最大3枚入れられるようになった。
READMEの例は、上半身の画像に全身の画像を足す使い方だ。
かなちゃんの上半身の画像を足して試した。
この上半身の画像はブレザーにリボンで、全身の立ち絵の白シャツにネクタイとは服が違う。
どちらの情報が使われるかが見分けやすい。

上半身の参照

全身の参照

上半身だけ

separate

stitch

上半身の weight 0.4

上半身だけ ケーキ

separate ケーキ

全身の weight 0.4 ケーキ

全身を1枚目 ケーキ

全身の参照を足すと、上半身だけでは参照にない服になっていた下半身が、全身の参照どおりになった。
READMEの使い方が効いている。
どの組み合わせも1人だけが出て、2人に分かれることはなかった。

服が違う2枚を混ぜると、走る場面もケーキの場面も、重みが同じなら上半身の画像のブレザーが勝った。
入れる順番を入れ替えても同じで、上半身の画像を0.4に下げて初めて全身の服になった。
画面の大きな割合を占めるほうが強く反映される可能性がある。
Baseの separate は350.4秒で、1枚のときより約40秒長い。

3Dポーズと組み合わせる

前回は、CharRef-LLLiteを介さないとRef AdapterとLLLiteを組み合わせられないことを確かめた。
SnapRefは参照のkey/valueを別に持ち、生成側の計算には参照のトークンが混ざらないので、標準のノードで動くかもしれない。
ComfyUI標準の AnimaLLLiteApply と、CharRef-LLLiteの ExperimentalAnimaLLLiteRefApply で比べた。
ポーズの入力は前回と同じ 3dpose_example.png、768×1152、LLLiteの強さは1.0だ。

ポーズ画像

SnapRefの参照だけ

標準のLLLite s20261027

標準のLLLite s20261028

標準のLLLite s20261029

標準のLLLite Base

標準のノードだけでポーズどおりに座り、CharRef-LLLiteのノードと3シードともピクセル単位で一致した。
SnapRefでは接続用のノードを足さなくてよい。
Turboの時間は45.3〜45.4秒で、前回のv2との組み合わせの86.4秒より短かった。
Base（30ステップ、cfg 4.5）も272.5秒でポーズどおり、ローファーも出た。
靴が消えたのはTurboのs20261027の1枚で、前回のv2でも同じシードで靴が消えている。

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, full body, sitting, looking at viewer, simple background

READMEの既知の制限を試す

READMEには、場面が服を上書きする例として beach で水着になること、屋外の全身で足元が白い床になり、地面を書くと直ることが挙げられている。

beach Base

beach Base strength 2

beach Turbo v1.1

beach Turbo v1.1 strength 2

outdoors Base

outdoors, grass Base

シードは1つだが、水着は4枚とも出なかった。
Baseでシャツが半袖に変わったのが、服の上書きに当たる。
grass を足すと、足元だけ草の島のようになり、地面としては描かれなかった。
READMEの「地面を書けば直る」は、この1枚では当てはまらなかった。

小さな細部の簡略化や、肌の濃い参照が明るくなる制限の確認は、手元に合う参照がないため割愛した。

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, full body, standing, beach, ocean, day

masterpiece, best quality, score_7, newest, highres, absurdres, safe, 1girl, solo, full body, standing, looking at viewer, outdoors, day

生成速度の実測

M1 Max 64GBで、896×1152を1枚出す時間。
同じ日に、走る場面でシードを変えながら続けて出した。

それ以外の条件は次のとおり。

Baseでの参照の追加分は約50秒で、参照なしの約1.2倍だった。
READMEのA100の値は約1.3倍（9.9秒と7.7秒）で、近い。
Baseのv1bはv2の約3分の2の時間で、これはREADMEの比（9.9秒と14.4秒）とも合う。

Role-Ref-KVは推奨の28ステップなので、総時間はv1bと同じくらいになった。
1ステップあたりではv1bが約10.3秒、Role-Ref-KVが約10.6秒でほぼ差がない。
READMEのA100ではv1bが9.9秒、Role-Ref-KVが12.5秒なので、Macではこの差はあまり出ていない。
Turboでは、Role-Ref-KVがcfg 1でも毎ステップ2回計算するので、v1bが約1.7倍速かった。
v2とはほぼ同じだ。

v1aとv1bの差は、Turboでは1秒ほどで、シードによるブレの範囲だった。
Baseでも298.0〜308.3秒と、v1bの約1〜5％短い程度だった。

試していないもの

• READMEが修正済みとするfp16での黒画像。--bf16-unet で起動しているので再現条件を通らない
• Anzhc・sorryhyunのMod Guidance、Spectrumとの組み合わせ
• FP8のAnima base
• ref_caption、use_batch、correction の rescale、ref_megapixels の変更
• CUDAでの動作全般（fidelityの途中の値、黒画像の条件を含む）
• 実写寄りの参照、肌の濃い参照、細かい飾りの多い参照
• メモリ使用量の比較

シードは条件ごとに1〜5個で、かなちゃんと ref_girl の2枚の参照に偏っている。
「出なかった」は、この範囲で出なかったという意味だ。

使い分け

参考リンク

• snapref-v1b（Hugging Face）
• snapref-v1a（Hugging Face）
• SnapRef（GitHub）
• ComfyUI-Anima-Ref-Adapter（GitHub）
• Anima-Role-Ref-KV（Hugging Face）
• ComfyUI-Anima-CharRef-LLLite（GitHub）
• Anima_ControlNet-LLLite（Hugging Face）
• Anima（Hugging Face）
• Anima-2.9B（Hugging Face）
• anima29b-turbo-unofficial（Hugging Face）
• Anima Ref Adapter v2とRole-Ref-KVを比較する
• Base専用のAnima Ref AdapterをTurbo・Aesthetic・2.9Bで試す