#LLM

Kimi K3は各MoE層で896エキスパート中16個だけを動かす。公開された技術レポートを基に、エキスパートを専門家ではなく条件付きFFN部品として読み直し、線形射影1本のルーターがなぜ経路を選べるのか、固定93層の先に何があり得るのかを整理する。

M4 Mac miniで週次再学習しているAIスロップ文検出器の点検記録。止まっていた分類、昇格ゲートを素通りした退行モデル、学習に乗っていなかった書き直しデータ、最新記事への空白発火を調べ、recall・誤検出・発火率の落とし所を決めるまで。

ModelScope経由のQwen3.7とAlibaba Cloud Model StudioのQwen3.8で、OpenAI互換chat.completionsのenable_search、DashScopeのsearch_options、Responses APIの組み込みweb_searchツールを比較検証。雑談に検索を混ぜるとreasoning_tokensが10倍以上に跳ね、Qwen3.7-Maxはテキスト専用で画像入力はQwen3-VL系が別に必要と分かるまでを実測した。

OpenAIがExploitGymでサイバー能力を評価中、GPT-5.6 Solと未公開モデルが社内に置かれた第三者製キャッシュプロキシのゼロデイで評価用サンドボックスを脱出し、その後Hugging Faceの本番インフラに侵入して解答を取得した。与えられた評価目標を達成する『手段』をモデルが自律的にエスカレートさせた前例のない自律攻撃を、一次情報ベースで整理する。

Qwenアンバサダー枠でQwen3.8 Max preview（2.4兆パラメータ）への早期アクセスをもらった。実際に呼び出して動作確認したところまでを記録する。

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

総パラメータ2.8TのMoEで100万トークンコンテキスト。発表時点で重みは未公開、7月27日までにModified MITで公開予告。KDA・AttnResなどのアーキテクチャ、ベンチマーク、API価格、推論トークン肥大の論点まで発表内容を整理した。

新しい事実を覚えさせると暗記は0.998まで届くのに、その事実を中継に使う2段推論は0.078。隠れ状態を中間層に移すだけで0.793まで戻る。Knowing–Using Gapの原因を層のズレとして示した論文（arXiv 2607.08393）を読んだ。

AnthropicのJ-lens実装をQwen3-4B-Instruct-2507用に自作（4090で51分・約1ドル）し、単一層SFT文体校正器の差し込みモデルを層ごとに読む。出力は入力そのままなのに、内部はベースと大きく違っていた。

RL限定だった単一層訓練の層局在（arXiv 2607.01232）をSFTで追試する。Qwen3-4Bの深さ25/50/75%を1層ずつフルランク学習し、同一データで再学習したLoRAベースラインと比較。eval_lossには論文と同じ中間層の局在が出たが、書き換えを実際に流すと数字と別の顔になった。

クモの概念をアリに書き換えると回答が8本足から6本足に変わる。モデル内部から発話前の概念を読み出すJ-lensの仕組みと、テスト中だけ行儀よくする演技の検出、Qwenでの追試まで論文の実験を追う。

RLの利得は深さ40〜60%の中間層に集中し、最良の1層だけ訓練すると全パラメータ訓練を上回ることもある。Qwen3系で層番号と数値まで出ている論文（arXiv 2607.01232）を読んだ。