#LLM

Apple Silicon専用のMLX推論サーバーSwiftLMが、TurboQuant V2+V3ハイブリッドKVキャッシュ圧縮とNVMe SSDエキスパートストリーミングをネイティブMetal実装で提供する。

HuggingFaceのLLMポストトレーニングライブラリTRLがv1.0に到達。Stable/Experimental二層モデルの導入、GRPO・DPO・SFTなど主要手法の安定化、非同期GRPOのロードマップが示された。

Cloudflareがクライアントサイドの悪意あるスクリプト検出にGNNとLLMの2段カスケードを導入し、ユニークスクリプトあたりの誤検知率を1.39%から0.007%に削減。有料アドオンだったAdvanced機能をセルフサーブ顧客にも開放した。

Ollama 0.19がApple SiliconでのバックエンドをMLXに切り替え、プリフィル1810トークン/秒・デコード112トークン/秒を達成。NVFP4量子化サポートとキャッシュ改善も同時投入された。

Qwen3.5-35B-A3BはSSM+Attentionハイブリッドで40層中10層しかKVキャッシュを使わない。llama-serverでctx-sizeを4096→65536に拡張してもVRAM増加は800MB、速度低下ゼロ。q8_0 KV量子化の実測とTurboQuantの現状も。

GMKtec EVO-X2 (Ryzen AI Max+ 395) 環境でAMD Software 26.3.1更新後、Vulkanバックエンドがデバイスメモリを正常に確保できなくなりCPUフォールバックする問題の調査と解決記録。BIOS VRAM配分を32GB/32GBに変更することで解決。

LangChain CoreとLangGraphに3件の独立した脆弱性が公開された。デシリアライゼーションによる秘密情報窃取、SQLインジェクションによる会話履歴漏洩、パストラバーサルによる任意ファイル読み取りと、それぞれ異なるデータクラスを侵害する。

Chromaが公開した20Bパラメータの自己編集型検索エージェント。コンテキストを動的にプルーニングしながらマルチホップ検索を行い、フロンティアモデルの1/10コスト・最大10倍速のレイテンシで同等以上の精度を示す。重みはApache 2.0で公開。

llama.cppのmmap設計を脱却してNVMe 3層配置でDenseモデルもストリーミングするHypuraと、極座標変換で量子化定数オーバーヘッドを排除するTurboQuant。Flash-MoEとの設計比較、KVキャッシュ圧縮が実際に効くシナリオの整理も。

LiteLLM 1.82.7/1.82.8がPyPIで約46分間汚染された。TeamPCPがTrivyのCI/CDを通じてPyPIトークンを盗み、SSHキー・AWS・Kubernetes・Docker認証情報など50種以上を収集するマルウェアを注入。フォークボムの副作用で発覚した。

NVIDIAがGTC 2026で発表したCosmos 2.5系世界モデルは産業用途が中心だが、2Bパラメータモデルが500ドル以下のJetson Orin Nanoで動く段階まで来ている。産業ロボットからペットロボットまで、物理AIのエッジ展開を整理した。

Composio社がOpenClawのセキュリティ分析を公開。SkillHub配布スキルの約7.1%に重大な脆弱性が見つかり、初期段階でインターネットに公開された30,000以上のインスタンスがプロンプトインジェクションや認証情報窃取のリスクにさらされていた。