#Qwen

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

新しい事実を覚えさせると暗記は0.998まで届くのに、その事実を中継に使う2段推論は0.078。隠れ状態を中間層に移すだけで0.793まで戻る。Knowing–Using Gapの原因を層のズレとして示した論文（arXiv 2607.08393）を読んだ。

3キャラ合体LoRAに化粧オンオフ持ちの4人目(くらら)を追加、518枚(配分複製896)・rank256・約21.5時間で合体学習しep100を採用。AI生成マルチ素材の頭身インフレ実測と対策、エポック進行で起きるキャラ意匠の低率漏れと採用範囲の決め方、複数人ではmakeoffが効かない理由、プロンプト全指定で4人立ち・密着とも一発率6/6まで。

顔の造形は同一のまま化粧だけをオンオフする切り替えをキャラLoRAに焼き込めるか、Anima-Base+RunPodで3回学習して検証。無記述で焼き込んだ属性をタグで引き算する設計はcfg1.0で原理的に効かず、存在タグの足し算に転換して両方向の切り替えを達成(採用ep140)。RunPodのpod速度ガチャ対策も。

AnthropicのJ-lens実装をQwen3-4B-Instruct-2507用に自作（4090で51分・約1ドル）し、単一層SFT文体校正器の差し込みモデルを層ごとに読む。出力は入力そのままなのに、内部はベースと大きく違っていた。

RL限定だった単一層訓練の層局在（arXiv 2607.01232）をSFTで追試する。Qwen3-4Bの深さ25/50/75%を1層ずつフルランク学習し、同一データで再学習したLoRAベースラインと比較。eval_lossには論文と同じ中間層の局在が出たが、書き換えを実際に流すと数字と別の顔になった。

RLの利得は深さ40〜60%の中間層に集中し、最良の1層だけ訓練すると全パラメータ訓練を上回ることもある。Qwen3系で層番号と数値まで出ている論文（arXiv 2607.01232）を読んだ。

Xで見かけた「ノード改造でピクセル位置パーフェクト編集」の主張をM1 Max + ComfyUIで測定した。ずれの原因はTextEncodeQwenImageEditPlusの内部リスケールで、ReferenceLatentを足せばカスタムノードなしで再現できる。表情・衣装・ポーズ差分の量産テストと等身維持の計測、2.3MPや非16倍数寸法の境界条件まで。

エンコーダ検出器が拾えなかった意味判定側の4割をQwen3-4Bに渡す。自ブログの修正ペア799件で書き換えまで学習させ、量子化して手元の8GB GPUと16GB Macで動かすまでの記録。

3キャラ合体LoRA(trio_v2)で、同じ日本語指示10シーンを3つのLLMに英語プロンプト化させ、同一シード60枚をM1 MaxのローカルComfyUIで生成して照合した。Qwen-DiT系だから変換もQwenが有利という仮説の検証と、人数ロック付きブリーフで直る崩れ・どう書いても直らない崩れの切り分け。

Un-0に触発された学習なしのtoy generator。QwenにプロンプトをJSON化させ、M1 MaxのNumPyだけで2D蔵本モデルを時間発展させて抽象画像を出す。写実は無理でも構図・色・動きはプロンプトで実際に変わった。実装と出力例、詰まった所まで。

けい・かな・こはるの3キャラを1本のAnima(Qwen-DiT) LoRA(rank256・294枚)に合体し、学習を初めてBlackwell(RTX 5090, sm_120)で走らせた実機ログ。4090から差し替える環境スタック(cu128/torch2.8/SDPA)、最弱キャラがキャプション非対称で他キャラに吸収される原因と直し方、ControlNetなしでトリガーのみ＋ep143で密着3人を描き分けるまで。AnimaやQwen-DiTでマルチキャラLoRAを学習する人向け。