#MoE

M1 Max 64GBでQwen3.6-35B-A3BのMoEルーターをモンキーパッチして層ごとのエキスパート選択を実測し、観測ベースの事前ウォームアップと素のmmapキャッシュの生成速度を比較した。Qwen3.5-122B-A10B-4bitがこの環境でMetalのOOM例外を出す実測込み。

Kimi K3は各MoE層で896エキスパート中16個だけを動かす。公開された技術レポートを基に、エキスパートを専門家ではなく条件付きFFN部品として読み直し、線形射影1本のルーターがなぜ経路を選べるのか、固定93層の先に何があり得るのかを整理する。

Qwenアンバサダー枠でQwen3.8 Max preview（2.4兆パラメータ）への早期アクセスをもらった。実際に呼び出して動作確認したところまでを記録する。

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

総パラメータ2.8TのMoEで100万トークンコンテキスト。発表時点で重みは未公開、7月27日までにModified MITで公開予告。KDA・AttnResなどのアーキテクチャ、ベンチマーク、API価格、推論トークン肥大の論点まで発表内容を整理した。

Hugging Faceに出たDeepSeek-V4-Pro-DSparkは新しい基盤モデルではなく、V4-Proに投機的デコード（DSpark）用モジュールを足した約893GBの派生。config.jsonとDeepSpec、HFのストレージ差から中身を確認し、速度ベンチがまだ無いことまで整理した。

2026年6月16日時点で、Claude Fable 5停止後の代替候補を中華系AIの最新リリースから見る。Kimi K2.7 Code、Qwen3.7 Max、DeepSeek V4、GLM-5.1の差分と、Claude Code互換ハーネスで使うときの制約を整理した。

LaxharのSenseNova U1 LoRA trainerのREADMEとSETUPを読んだ。4bit学習は画像崩れで断念しbf16 + tower offloadでVRAM約20GB、32GB GPU必須。公式8-step LoRAスタック構成とA3B MoE互換レイヤーの現状、公式training codeとの違いまで。

M1 Max 64GBでHy-MT2 1.8B Q4_K_M (1.08GB) をllama-serverに載せ、JSON・SRT・HTML・用語拘束・少数言語まで投げて入出力を確認。1.25bit 440MB版は標準llama.cppでロード不可、30B-A3B (hy_v3) もMacの標準ルートで動かない。

Xiaomi MiMo-V2.5のウェイト公開後、Mac/ROCmとクラウドGPU（RunPod/GCE）での実行可否を調べた。手元機ではまだ厳しいが、RunPodの4x H200で約14ドル/時間、GCE SpotのH100なら約1.6ドル/時間で動かせる。

Inclusion AIがLLaDA2.0-Uniを公開した。16B MoEの拡散LLMを中核に、画像理解、1024px画像生成、画像編集、テキストと画像の交互生成を単一モデルで扱う。

Ant Group系列のinclusionAIが公開したLing-flash-2.0（bailing_moe、100B A6.1B、MXFP4量子化）をSwiftLMで食わせてみた記録。mlx-swift-lmのbailing_moe対応状況の確認から起動までを追う。