#推論最適化

Hugging Faceに出たDeepSeek-V4-Pro-DSparkは新しい基盤モデルではなく、V4-Proに投機的デコード（DSpark）用モジュールを足した約893GBの派生。config.jsonとDeepSpec、HFのストレージ差から中身を確認し、速度ベンチがまだ無いことまで整理した。

M1 Max 64GBにoMLX 0.3.9.dev2を入れて、SSD KVキャッシュ2回目prefill短縮、Gemma 4 VLM MTPオン/オフ、DFlash vs 通常エンジン、omlx launch copilotの実動作を順に測る。VLM入力はWAI-Animaで生成したかなちゃん画像で揃えた。

oMLX 0.3.9.dev2のリリースノートを読む。Gemma 4 VLMのMTP、DFlash対応、SSD KVキャッシュ、`omlx launch copilot`まわりが、Codex/Copilotなど常駐エージェントをMacローカルLLMに繋ぐ時にどこへ効くかを整理した。

arXivに出たTRACERは、LLM分類エンドポイントの入出力ログをそのまま訓練データに転用し、parity gateで合格した領域だけ軽量な代理モデルに差し替えて推論コストを下げる仕組みだ。77クラスの意図分類で83〜100%、150クラスでは100%のトラフィックを代理モデルが吸収できることを示した一方、NLIタスクでは「配備不可」と正しく拒否した挙動が面白い。

AMD Lemonade v10.0.1をRyzen AI Max+ 395環境で検証。LLM・画像生成・音声認識・音声合成の4モデル同時起動、NPU Hybrid実行、Vulkan vs ROCmの実測比較と共有メモリ漏れの発見まで。

AMDが開発するオープンソースのローカルAIサーバーLemonadeは、llama.cppやFastFlowLMなど複数バックエンドをGPU/NPU/CPU横断で管理し、OpenAI互換APIでテキスト・画像・音声を統合提供する。

Apple Silicon専用のMLX推論サーバーSwiftLMが、TurboQuant V2+V3ハイブリッドKVキャッシュ圧縮とNVMe SSDエキスパートストリーミングをネイティブMetal実装で提供する。

Ollama 0.19がApple SiliconでのバックエンドをMLXに切り替え、プリフィル1810トークン/秒・デコード112トークン/秒を達成。NVFP4量子化サポートとキャッシュ改善も同時投入された。

llama.cppのmmap設計を脱却してNVMe 3層配置でDenseモデルもストリーミングするHypuraと、極座標変換で量子化定数オーバーヘッドを排除するTurboQuant。Flash-MoEとの設計比較、KVキャッシュ圧縮が実際に効くシナリオの整理も。

GPT-5.3 Instantのハルシネーション削減と安全性退行、GPT-5.4のcomputer use・Tool Search・1Mトークンコンテキスト、そしてSaguaroが実現した推論5倍高速化をまとめた。

Together AIのConsistency DLM（最大14.5倍高速化）と、MIT・HarvardのAttention Matching KV圧縮（50倍圧縮を数秒で）。2026年2月に出た推論コスト削減の2本。