#LLM

Cloudflareがクライアントサイドの悪意あるスクリプト検出にGNNとLLMの2段カスケードを導入し、ユニークスクリプトあたりの誤検知率を1.39%から0.007%に削減。有料アドオンだったAdvanced機能をセルフサーブ顧客にも開放した。

Ollama 0.19がApple SiliconでのバックエンドをMLXに切り替え、プリフィル1810トークン/秒・デコード112トークン/秒を達成。NVFP4量子化サポートとキャッシュ改善も同時投入された。

Qwen3.5-35B-A3BはSSM+Attentionハイブリッドで40層中10層しかKVキャッシュを使わない。llama-serverでctx-sizeを4096→65536に拡張してもVRAM増加は800MB、速度低下ゼロ。q8_0 KV量子化の実測とTurboQuantの現状も。

GMKtec EVO-X2 (Ryzen AI Max+ 395) 環境でAMD Software 26.3.1更新後、Vulkanバックエンドがデバイスメモリを正常に確保できなくなりCPUフォールバックする問題の調査と解決記録。BIOS VRAM配分を32GB/32GBに変更することで解決。

LangChain CoreとLangGraphに3件の独立した脆弱性が公開された。デシリアライゼーションによる秘密情報窃取、SQLインジェクションによる会話履歴漏洩、パストラバーサルによる任意ファイル読み取りと、それぞれ異なるデータクラスを侵害する。

Chromaが公開した20Bパラメータの自己編集型検索エージェント。コンテキストを動的にプルーニングしながらマルチホップ検索を行い、フロンティアモデルの1/10コスト・最大10倍速のレイテンシで同等以上の精度を示す。重みはApache 2.0で公開。

llama.cppのmmap設計を脱却してNVMe 3層配置でDenseモデルもストリーミングするHypuraと、極座標変換で量子化定数オーバーヘッドを排除するTurboQuant。Flash-MoEとの設計比較、KVキャッシュ圧縮が実際に効くシナリオの整理も。

LiteLLM 1.82.7/1.82.8がPyPIで約46分間汚染された。TeamPCPがTrivyのCI/CDを通じてPyPIトークンを盗み、SSHキー・AWS・Kubernetes・Docker認証情報など50種以上を収集するマルウェアを注入。フォークボムの副作用で発覚した。

NVIDIAがGTC 2026で発表したCosmos 2.5系世界モデルは産業用途が中心だが、2Bパラメータモデルが500ドル以下のJetson Orin Nanoで動く段階まで来ている。産業ロボットからペットロボットまで、物理AIのエッジ展開を整理した。

Composio社がOpenClawのセキュリティ分析を公開。SkillHub配布スキルの約7.1%に重大な脆弱性が見つかり、初期段階でインターネットに公開された30,000以上のインスタンスがプロンプトインジェクションや認証情報窃取のリスクにさらされていた。

Flash-MoEはQwen3.5-397B-A17BをMacBook Pro M3 Maxで4.36トークン/秒で実行するC/Metal推論エンジン。SSDからのエキスパートストリーミングと手書きMetalシェーダーで209GBのモデルを48GBのメモリ環境に収めた。

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。