技術2026年5月13日(水)更新oMLX 0.3.9.dev2はMacローカルLLMをCodexやCopilotに寄せてきたoMLX 0.3.9.dev2のリリースノートを読む。Gemma 4 VLMのMTP、DFlash対応、SSD KVキャッシュ、`omlx launch copilot`まわりが、Codex/Copilotなど常駐エージェントをMacローカルLLMに繋ぐ時にどこへ効くかを整理した。AILLMローカルLLMApple SiliconMLX推論最適化Codex
技術2026年5月11日(月)OllamaのCVE-2026-7482は公開API化したローカルLLMのメモリを読むOllama 0.17.1未満のGGUFローダーに境界外読み取り脆弱性。公開API化したローカルLLMでは、環境変数、APIキー、system prompt、会話断片の漏えいまで疑う必要がある。Ollamaセキュリティ脆弱性CVEローカルLLMLLM
技術2026年5月7日(木)Gemma 4 MTP drafterをM1 Max 64GBで実測、26B A4Bだけ速くなって31BとE4Bは遅くなったM1 Max 64GB + mlx-vlm 0.5.0でGemma 4 MTP drafterを実測。26B A4B (MoE) だけ+13%速くなり、公式が一番効くと言った31B DenseとE4Bは逆に遅くなった。コード生成と短文haikuで結論が反転する。AILLMGoogleGemmaローカルLLM推論MLX実験
技術2026年5月6日(水)更新Gemma 4のMTP drafterで最大3倍高速化、ただし26B MoEはbatch 1で伸びにくいGoogle公式のGemma 4 MTP drafter公開を読む。最大3倍高速化の仕組み、vLLMの推奨設定、26B A4Bがbatch 1で伸びにくい理由まで確認した。AILLMGoogleGemmaローカルLLM推論
技術2026年5月5日(火)OllamaとローカルLLMでMCPサーバーを使うならブリッジが要るM1 Max 64GBでOllama経由のローカルLLMにMCPサーバーをつなぐと、MCPHostの非メンテ化、tool calling精度、コンテキスト消費で詰まる。公式SDKでの自作サーバー最小構成も載せた。OllamaMCPローカルLLMLLMAIエージェント
技術2026年5月2日(土)FastAPI・Chroma・Open WebUI・Ollamaでマルチモーダル日本語RAGをM1 Maxで組んだDEV記事のPDF RAGをM1 Max 64GBで実装し、CLIPで画像、bge-m3 + Qwen3.6 35Bで日本語まで通した実験ログ。モダリティギャップ、推論サーバー並走クラッシュ、LLM-jp 4-8Bの指示追従失敗まで実機の挙動を記録。AILLMRAGローカルLLMFastAPIllama.cppChromaPythonApple SiliconOllama日本語LLM実験
技術2026年5月2日(土)更新FastAPI・llama.cpp・Chroma・Open WebUIでPDF用ローカルRAGを組む記事を読んだDEV Communityの記事をもとに、FastAPIでOpenAI互換RAG APIを作り、llama.cpp、Chroma、Open WebUIをつなぐ構成の位置づけと実装上の落とし穴を整理する。AILLMRAGローカルLLMFastAPIllama.cppChromaPythonDocker
技術2026年4月30日(木)Xiaomi MiMo-V2.5はMacやROCmで動かせるのかXiaomi MiMo-V2.5のウェイト公開後、Mac/ROCmとクラウドGPU(RunPod/GCE)での実行可否を調べた。手元機ではまだ厳しいが、RunPodの4x H200で約14ドル/時間、GCE SpotのH100なら約1.6ドル/時間で動かせる。AILLMローカルLLMXiaomiMoEApple SiliconROCmllama.cpp
技術2026年4月25日(土)SwiftLMで非Qwen系MoEのLing-flash-2.0 MXFP4をM1 Max 64GBで動かすAnt Group系列のinclusionAIが公開したLing-flash-2.0(bailing_moe、100B A6.1B、MXFP4量子化)をSwiftLMで食わせてみた記録。mlx-swift-lmのbailing_moe対応状況の確認から起動までを追う。Apple SiliconLLMMLXローカルLLMSwiftSwiftLMMoEMXFP4Ant Group実験
技術2026年4月24日(金)SwiftLMをM1 Max 64GBで動かしてOllama/MLX-lmと比べてみたSwift製LLM推論サーバーSwiftLMをM1 Max 64GBで実際にビルド・起動して、Qwen3.6-35B-A3Bと122B-A10Bの挙動を確認。BST・簡易BBS・かなちゃんペルソナの3系統で既存のOllama・MLX-lm検証と突き合わせた。Apple SiliconLLMMLXローカルLLMSwiftSwiftLMMoE実験
技術2026年4月24日(金)更新Tencent Hy3-previewとAnt Ling-2.6-flashが同週公開、中華系オープンMoEが295Bと104Bで別方向に走る2026年4月22日にAnt LingがLing-2.6-flash(104B/7.4B active)を、翌23日にTencent HunyuanがHy3-preview(295B/21B active)をそれぞれオープンウェイトで公開した。片やDeepSeek-V3やGLM-4.5と同じフロンティア帯を狙う重量級、片やトークン効率7倍を打ち出す高効率エージェント特化型で、同じ週に出てきた中華系MoEでも方向性がはっきり分かれている。LLM中華系AIMoEオープンモデルAIエージェントローカルLLMOpenRouter
技術2026年4月23日(木)open-notebookをDockerもクラウドAPIも使わずM1 Maxで動かしてqwen3.6:35bに自分の記事を読ませたNotebookLMクローンのopen-notebookはデフォルトがDocker前提+クラウドAPI前提。SurrealDBをネイティブで入れて4プロセスをtmuxで立ち上げ、Ollamaのqwen3.6:35bとbge-m3だけでRAGを回した。自分が今朝書いたQwen3.6比較記事を食わせたら、正しい数値で答えた。AILLMローカルLLMOllamaQwenApple SiliconRAGOSS実験