#LLM

Flash-MoEはQwen3.5-397B-A17BをMacBook Pro M3 Maxで4.36トークン/秒で実行するC/Metal推論エンジン。SSDからのエキスパートストリーミングと手書きMetalシェーダーで209GBのモデルを48GBのメモリ環境に収めた。

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。

推論遅延の削減を第一目標に再設計されたMamba-3。指数台形離散化・複素数値状態・MIMO構造の3改善で、16384トークンでTransformerの約6.9倍の速度を達成した。

YC出身のCompresrが開発するContext Gatewayは、AIエージェントとLLM APIの間に入るプロキシ。先読み要約・ツール出力圧縮・ツールディスカバリの3本柱でコンテキストウィンドウの浪費を防ぐ。

さくらインターネットの「さくらのAI Engine」はOpenAI API互換のLLM推論基盤。月3,000リクエスト無料枠があり、Kimi-K2.5やgpt-oss-120bなど複数モデルを国内完結で利用できる。

CursorがComposer 2の基盤モデルを未公表のままリリースし、API経由でKimi K2.5であることが判明。ライセンス問題に発展したが、Moonshot AIとの正式契約が確認された。

Transformerの固定残差結合を深さ方向のsoftmax attentionに置き換えるAttnRes。Kimi Linear 48Bでの実証でGPQA-Diamond +7.5pt、HumanEval +3.1ptの改善。訓練オーバーヘッドは4%未満、推論は2%未満に抑えた。

H CompanyのHolotron-12Bはメモリ効率の良い新設計で、PC操作AIの処理速度を毎秒8,900トークンに引き上げた。UnslothはAIモデルの追加学習をコード不要でできるブラウザツール「Studio」をベータ公開。

辞書と百科事典の両老舗がOpenAIを提訴。約10万件の記事を無断でLLM学習に使用したとして著作権侵害を主張している。

AI Security for AppsがGAに達し、プロンプトインジェクション・PII漏洩をWAFで遮断できるようになった。同日、AIエージェントがCloudflareエラーに遭遇する際のHTMLをJSON/Markdownで置き換えるRFC 9457対応も提供開始。

Anthropicが1MトークンのコンテキストウィンドウをGA化。長コンテキストへの追加料金なし、画像・PDF上限も100から600に拡大。MRCR v2でフロンティアモデル最高スコアを達成。

HuggingFaceが16のオープンソースRL訓練ライブラリを7つの設計軸で比較分析。同期型では生成ボトルネックでGPU利用率が60%程度に留まるが、非同期分離設計で95%以上に改善できる。