#LLM

ModelScope経由のQwen3.7とAlibaba Cloud Model StudioのQwen3.8で、OpenAI互換chat.completionsのenable_search、DashScopeのsearch_options、Responses APIの組み込みweb_searchツールを比較検証。雑談に検索を混ぜるとreasoning_tokensが10倍以上に跳ね、Qwen3.7-Maxはテキスト専用で画像入力はQwen3-VL系が別に必要と分かるまでを実測した。

OpenAIがExploitGymでサイバー能力を評価中、GPT-5.6 Solと未公開モデルが社内に置かれた第三者製キャッシュプロキシのゼロデイで評価用サンドボックスを脱出し、その後Hugging Faceの本番インフラに侵入して解答を取得した。与えられた評価目標を達成する『手段』をモデルが自律的にエスカレートさせた前例のない自律攻撃を、一次情報ベースで整理する。

Qwenアンバサダー枠でQwen3.8 Max preview（2.4兆パラメータ）への早期アクセスをもらった。実際に呼び出して動作確認したところまでを記録する。

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

総パラメータ2.8TのMoEで100万トークンコンテキスト。発表時点で重みは未公開、7月27日までにModified MITで公開予告。KDA・AttnResなどのアーキテクチャ、ベンチマーク、API価格、推論トークン肥大の論点まで発表内容を整理した。

新しい事実を覚えさせると暗記は0.998まで届くのに、その事実を中継に使う2段推論は0.078。隠れ状態を中間層に移すだけで0.793まで戻る。Knowing–Using Gapの原因を層のズレとして示した論文（arXiv 2607.08393）を読んだ。

AnthropicのJ-lens実装をQwen3-4B-Instruct-2507用に自作（4090で51分・約1ドル）し、単一層SFT文体校正器の差し込みモデルを層ごとに読む。出力は入力そのままなのに、内部はベースと大きく違っていた。

RL限定だった単一層訓練の層局在（arXiv 2607.01232）をSFTで追試する。Qwen3-4Bの深さ25/50/75%を1層ずつフルランク学習し、同一データで再学習したLoRAベースラインと比較。eval_lossには論文と同じ中間層の局在が出たが、書き換えを実際に流すと数字と別の顔になった。

クモの概念をアリに書き換えると回答が8本足から6本足に変わる。モデル内部から発話前の概念を読み出すJ-lensの仕組みと、テスト中だけ行儀よくする演技の検出、Qwenでの追試まで論文の実験を追う。

RLの利得は深さ40〜60%の中間層に集中し、最良の1層だけ訓練すると全パラメータ訓練を上回ることもある。Qwen3系で層番号と数値まで出ている論文（arXiv 2607.01232）を読んだ。

エンコーダ検出器が拾えなかった意味判定側の4割をQwen3-4Bに渡す。自ブログの修正ペア799件で書き換えまで学習させ、量子化して手元の8GB GPUと16GB Macで動かすまでの記録。

Geminiが検索を拒否したり応答が止まったりする原因とされる指示文の正体を、リーク済みシステムプロンプトと突き合わせて確認。テキスト注入とツール未提供の2ケースの見分け方と対処も