#LLM

Anima-2.9Bが使ったLLaMA Proの層拡張（コピーした層を挟んで出力をゼロにし、新層だけ学習）をQwen3-0.6B-Baseで再現。自分のブログの技術記事722本を学習させ、新層のみ・LoRA・フルFTで覚えたかと忘れたかをperplexityで比較した。新層だけで学習外の記事は14.7から10.5に下がったが、Wikipedia日本語版は13.5から17.9に上がってフルFTより忘れた。1.7Bでも比率は同じで、Wikipediaを2割混ぜるとほぼ消える。28層で焼いたLoRAの番号付け替えも数字で再現。M1 Max 64GBのMLXで実測。

前日のM1 Max検証に続き、EVO-X2（Ryzen AI Max+ 395）のllama.cpp ROCmビルドでQwen3.8-27B Q8_0を検証。思考だけでmax_tokensを使い切って本文が返らない現象と、MTP投機的デコードの採択率がコードと日本語会話で大きく割れる実測まで。

8月14日公開のQwen3.8-27BをM1 Max 64GBでテスト。Ollamaは0.17.7だとpull自体が拒否され0.32.14への更新が必要だった。mlx-community/Qwen3.8-27B-4bitはmlx-vlm経由ですんなり動作。

2025年夏に拡散したGeminiの自己嫌悪ループを一次情報で確認した。完全修正の発表は確認できず、Gemini CLI側の対策は自己会話の修正とループ検出の停止装置。2026年もGemini 3.1 Proの停止不能ループや65Kトークン課金の報告が続いている。

M1 Max 64GBでQwen3.6-35B-A3BのMoEルーターをモンキーパッチして層ごとのエキスパート選択を実測し、観測ベースの事前ウォームアップと素のmmapキャッシュの生成速度を比較した。Qwen3.5-122B-A10B-4bitがこの環境でMetalのOOM例外を出す実測込み。

Kimi K3は各MoE層で896エキスパート中16個だけを動かす。公開された技術レポートを基に、エキスパートを専門家ではなく条件付きFFN部品として読み直し、線形射影1本のルーターがなぜ経路を選べるのか、固定93層の先に何があり得るのかを整理する。

M4 Mac miniで週次再学習しているAIスロップ文検出器の点検記録。止まっていた分類、昇格ゲートを素通りした退行モデル、学習に乗っていなかった書き直しデータ、最新記事への空白発火を調べ、recall・誤検出・発火率の落とし所を決めるまで。

ModelScope経由のQwen3.7とAlibaba Cloud Model StudioのQwen3.8で、OpenAI互換chat.completionsのenable_search、DashScopeのsearch_options、Responses APIの組み込みweb_searchツールを比較検証。雑談に検索を混ぜるとreasoning_tokensが10倍以上に跳ね、Qwen3.7-Maxはテキスト専用で画像入力はQwen3-VL系が別に必要と分かるまでを実測した。

OpenAIがExploitGymでサイバー能力を評価中、GPT-5.6 Solと未公開モデルが社内に置かれた第三者製キャッシュプロキシのゼロデイで評価用サンドボックスを脱出し、その後Hugging Faceの本番インフラに侵入して解答を取得した。与えられた評価目標を達成する『手段』をモデルが自律的にエスカレートさせた前例のない自律攻撃を、一次情報ベースで整理する。

Qwenアンバサダー枠でQwen3.8 Max preview（2.4兆パラメータ）への早期アクセスをもらった。実際に呼び出して動作確認したところまでを記録する。

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

総パラメータ2.8TのMoEで100万トークンコンテキスト。発表時点で重みは未公開、7月27日までにModified MITで公開予告。KDA・AttnResなどのアーキテクチャ、ベンチマーク、API価格、推論トークン肥大の論点まで発表内容を整理した。