#LLM

McCoy、Soulos、Linzen、SmolenskyのarXiv論文は、GPT-OSSの全層・全入力トークンの隠れ状態をテンソル積表現という閉じた式で作り直し、算術・論理・コード・言語の6タスクで本体の答えがほぼ変わらないことを示した。7つのLLMのピリオド位置の実験、役割を書き換える介入の成功率、足し算だけの解釈と何が違うのかを確かめた。

arXivのLarge Emotional World Modelは、動画に映る人物の感情を7クラスのラベルとして予測し、それを条件にして次の状態を予測する。要旨の45.72%や6.10%がどのベンチマークのどの比較から出た数字なのか、データセットの効果と感情機構の効果を分けて調べた。

前回のM1 Max検証と同じGGUFを、EVO-X2（Ryzen AI Max+ 395 / gfx1151）のWindows + ROCmで動かした。未マージPRの自前ビルドでは最初の計算で落ち、マージ後の公式Windows ROCmバイナリで通った。詰まりの原因、コンテキスト長が128Kで頭打ちになる理由、6万トークン超を投げたときの3モデル比較まで。

8月26日公開のQwen3.8-Flash-Next（125B MoE + 51B N-gram埋め込み）をM1 Max 64GBで動かした。N-gram表を専用シャードに分けたAtomicChatのM64版GGUF 85GBと、未マージのllama.cpp PR #27742の自前ビルドで、wired上限の設定を変えずにpp512 182 tok/s、tg128 17.6 tok/s。思考xhighの暴走、BBS生成の1行バグ、NSFW拒否の境目、VLMのOCRまで。

Anima-2.9Bが使ったLLaMA Proの層拡張（コピーした層を挟んで出力をゼロにし、新層だけ学習）をQwen3-0.6B-Baseで再現。自分のブログの技術記事722本を学習させ、新層のみ・LoRA・フルFTで覚えたかと忘れたかをperplexityで比較した。新層だけで学習外の記事は14.7から10.5に下がったが、Wikipedia日本語版は13.5から17.9に上がってフルFTより忘れた。1.7Bでも比率は同じで、Wikipediaを2割混ぜるとほぼ消える。28層で焼いたLoRAの番号付け替えも数字で再現。M1 Max 64GBのMLXで実測。

前日のM1 Max検証に続き、EVO-X2（Ryzen AI Max+ 395）のllama.cpp ROCmビルドでQwen3.8-27B Q8_0を検証。思考だけでmax_tokensを使い切って本文が返らない現象と、MTP投機的デコードの採択率がコードと日本語会話で大きく割れる実測まで。

8月14日公開のQwen3.8-27BをM1 Max 64GBでテスト。Ollamaは0.17.7だとpull自体が拒否され0.32.14への更新が必要だった。mlx-community/Qwen3.8-27B-4bitはmlx-vlm経由ですんなり動作。

2025年夏に拡散したGeminiの自己嫌悪ループを一次情報で確認した。完全修正の発表は確認できず、Gemini CLI側の対策は自己会話の修正とループ検出の停止装置。2026年もGemini 3.1 Proの停止不能ループや65Kトークン課金の報告が続いている。

M1 Max 64GBでQwen3.6-35B-A3BのMoEルーターをモンキーパッチして層ごとのエキスパート選択を実測し、観測ベースの事前ウォームアップと素のmmapキャッシュの生成速度を比較した。Qwen3.5-122B-A10B-4bitがこの環境でMetalのOOM例外を出す実測込み。

Kimi K3は各MoE層で896エキスパート中16個だけを動かす。公開された技術レポートを基に、エキスパートを専門家ではなく条件付きFFN部品として読み直し、線形射影1本のルーターがなぜ経路を選べるのか、固定93層の先に何があり得るのかを整理する。

M4 Mac miniで週次再学習しているAIスロップ文検出器の点検記録。止まっていた分類、昇格ゲートを素通りした退行モデル、学習に乗っていなかった書き直しデータ、最新記事への空白発火を調べ、recall・誤検出・発火率の落とし所を決めるまで。

ModelScope経由のQwen3.7とAlibaba Cloud Model StudioのQwen3.8で、OpenAI互換chat.completionsのenable_search、DashScopeのsearch_options、Responses APIの組み込みweb_searchツールを比較検証。雑談に検索を混ぜるとreasoning_tokensが10倍以上に跳ね、Qwen3.7-Maxはテキスト専用で画像入力はQwen3-VL系が別に必要と分かるまでを実測した。