#LLM

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

総パラメータ2.8TのMoEで100万トークンコンテキスト。発表時点で重みは未公開、7月27日までにModified MITで公開予告。KDA・AttnResなどのアーキテクチャ、ベンチマーク、API価格、推論トークン肥大の論点まで発表内容を整理した。

新しい事実を覚えさせると暗記は0.998まで届くのに、その事実を中継に使う2段推論は0.078。隠れ状態を中間層に移すだけで0.793まで戻る。Knowing–Using Gapの原因を層のズレとして示した論文（arXiv 2607.08393）を読んだ。

AnthropicのJ-lens実装をQwen3-4B-Instruct-2507用に自作（4090で51分・約1ドル）し、単一層SFT文体校正器の差し込みモデルを層ごとに読む。出力は入力そのままなのに、内部はベースと大きく違っていた。

RL限定だった単一層訓練の層局在（arXiv 2607.01232）をSFTで追試する。Qwen3-4Bの深さ25/50/75%を1層ずつフルランク学習し、同一データで再学習したLoRAベースラインと比較。eval_lossには論文と同じ中間層の局在が出たが、書き換えを実際に流すと数字と別の顔になった。

クモの概念をアリに書き換えると回答が8本足から6本足に変わる。モデル内部から発話前の概念を読み出すJ-lensの仕組みと、テスト中だけ行儀よくする演技の検出、Qwenでの追試まで論文の実験を追う。

RLの利得は深さ40〜60%の中間層に集中し、最良の1層だけ訓練すると全パラメータ訓練を上回ることもある。Qwen3系で層番号と数値まで出ている論文（arXiv 2607.01232）を読んだ。

エンコーダ検出器が拾えなかった意味判定側の4割をQwen3-4Bに渡す。自ブログの修正ペア799件で書き換えまで学習させ、量子化して手元の8GB GPUと16GB Macで動かすまでの記録。

Geminiが検索を拒否したり応答が止まったりする原因とされる指示文の正体を、リーク済みシステムプロンプトと突き合わせて確認。テキスト注入とツール未提供の2ケースの見分け方と対処も

ブログの文体チェックが取りこぼすAI文体を小型エンコーダに学習させる前段。Claude Codeの会話履歴からEditツールの修正前後1,560ペア、WordPress時代の日記600文、公開済み記事622本の一括スキャンで学習データを集めた記録。

3キャラ合体LoRA(trio_v2)で、同じ日本語指示10シーンを3つのLLMに英語プロンプト化させ、同一シード60枚をM1 MaxのローカルComfyUIで生成して照合した。Qwen-DiT系だから変換もQwenが有利という仮説の検証と、人数ロック付きブリーフで直る崩れ・どう書いても直らない崩れの切り分け。

富士通PHOTONの「最大475倍」をarXiv論文のTPMと1.2B評価条件から読む。単発が速いのではなく、品質を少し落としてGPUメモリあたりの生成量を増やし、9クエリー統合でTransformer水準に戻すマルチクエリー前提の数字だった。