#Qwen

音声を受け取って返答音声で返すサーバーをRTX 3050 Ti 4GBの一台構成で組んだ。kotoba-whisperとQwen3-ASR-0.6BのSTT比較、文単位ストリーミングTTS、フィラー音声で待ち時間を埋めた設計、実測タイムラインまでまとめた。

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

新しい事実を覚えさせると暗記は0.998まで届くのに、その事実を中継に使う2段推論は0.078。隠れ状態を中間層に移すだけで0.793まで戻る。Knowing–Using Gapの原因を層のズレとして示した論文（arXiv 2607.08393）を読んだ。

3キャラ合体LoRAに化粧オンオフ持ちの4人目(くらら)を追加、518枚(配分複製896)・rank256・約21.5時間で合体学習しep100を採用。AI生成マルチ素材の頭身インフレ実測と対策、エポック進行で起きるキャラ意匠の低率漏れと採用範囲の決め方、複数人ではmakeoffが効かない理由、プロンプト全指定で4人立ち・密着とも一発率6/6まで。

顔の造形は同一のまま化粧だけをオンオフする切り替えをキャラLoRAに焼き込めるか、Anima-Base+RunPodで3回学習して検証。無記述で焼き込んだ属性をタグで引き算する設計はcfg1.0で原理的に効かず、存在タグの足し算に転換して両方向の切り替えを達成(採用ep140)。RunPodのpod速度ガチャ対策も。

AnthropicのJ-lens実装をQwen3-4B-Instruct-2507用に自作（4090で51分・約1ドル）し、単一層SFT文体校正器の差し込みモデルを層ごとに読む。出力は入力そのままなのに、内部はベースと大きく違っていた。

RL限定だった単一層訓練の層局在（arXiv 2607.01232）をSFTで追試する。Qwen3-4Bの深さ25/50/75%を1層ずつフルランク学習し、同一データで再学習したLoRAベースラインと比較。eval_lossには論文と同じ中間層の局在が出たが、書き換えを実際に流すと数字と別の顔になった。

RLの利得は深さ40〜60%の中間層に集中し、最良の1層だけ訓練すると全パラメータ訓練を上回ることもある。Qwen3系で層番号と数値まで出ている論文（arXiv 2607.01232）を読んだ。

Xで見かけた「ノード改造でピクセル位置パーフェクト編集」の主張をM1 Max + ComfyUIで測定した。ずれの原因はTextEncodeQwenImageEditPlusの内部リスケールで、ReferenceLatentを足せばカスタムノードなしで再現できる。表情・衣装・ポーズ差分の量産テストと等身維持の計測、2.3MPや非16倍数寸法の境界条件まで。

エンコーダ検出器が拾えなかった意味判定側の4割をQwen3-4Bに渡す。自ブログの修正ペア799件で書き換えまで学習させ、量子化して手元の8GB GPUと16GB Macで動かすまでの記録。

3キャラ合体LoRA(trio_v2)で、同じ日本語指示10シーンを3つのLLMに英語プロンプト化させ、同一シード60枚をM1 MaxのローカルComfyUIで生成して照合した。Qwen-DiT系だから変換もQwenが有利という仮説の検証と、人数ロック付きブリーフで直る崩れ・どう書いても直らない崩れの切り分け。

Un-0に触発された学習なしのtoy generator。QwenにプロンプトをJSON化させ、M1 MaxのNumPyだけで2D蔵本モデルを時間発展させて抽象画像を出す。写実は無理でも構図・色・動きはプロンプトで実際に変わった。実装と出力例、詰まった所まで。