技術2026年11月12日(木)Gemma 4 31B ARA-hereticをEVO-X2のROCm環境で動かしたHeretic v2のARAで拒否を外したGemma 4 31Bを、EVO-X2のllama.cpp ROCm版で実測した。短文は8 t/s台で動作する一方、長文処理での出力破損やメモリ枯渇に直面し、ビルド更新とオプション設定で切り分けて解決した経緯をまとめる。AILLMローカルLLMGemmaGoogleAMDROCmWindowsllama.cppabliterated実験
技術2026年10月28日(水)更新M1 Maxで5つのローカルLLM推論エンジンの速度を比べてみたM1 Max 64GBでOllama・llama.cpp・Magnitude・uzu・Localsの速度を比較。GGUFとMLXでの実効速度、投機的デコードの効果、並列リクエスト時のスケーリング差を実機で検証した。LLMローカルLLMQwenOllamallama.cppApple SiliconMLX実験
技術2026年10月14日(水)MiniCPM-V 4.7の35Bモデルを16GBのMac miniで動かしてみたM4・16GBのMac miniでMiniCPM-V 4.7 35B-A3Bを検証。表画像の読み取りでは転記と計算の分離が有効で、thinkingやDSparkによる速度とメモリの変化も実測した。AILLMMoEローカルLLMApple SiliconQwenClaudeCodexDeepSeekModelScope実験
技術2026年8月28日(金)125BのQwen3.8-Flash-NextをEVO-X2のROCmで動かす前回のM1 Max検証と同じGGUFを、EVO-X2(Ryzen AI Max+ 395 / gfx1151)のWindows + ROCmで動かした。未マージPRの自前ビルドでは最初の計算で落ち、マージ後の公式Windows ROCmバイナリで通った。詰まりの原因、コンテキスト長が128Kで頭打ちになる理由、6万トークン超を投げたときの3モデル比較まで。LLMローカルLLMQwenllama.cppAMDROCm実験
技術2026年8月27日(木)更新125BのQwen3.8-Flash-NextをM1 Max 64GBで動かせるか8月26日公開のQwen3.8-Flash-Next(125B MoE + 51B N-gram埋め込み)をM1 Max 64GBで動かした。N-gram表を専用シャードに分けたAtomicChatのM64版GGUF 85GBと、未マージのllama.cpp PR #27742の自前ビルドで、wired上限の設定を変えずにpp512 182 tok/s、tg128 17.6 tok/s。思考xhighの暴走、BBS生成の1行バグ、NSFW拒否の境目、VLMのOCRまで。LLMローカルLLMQwenllama.cppApple Silicon実験
技術2026年8月19日(水)Qwen3.8-27BをEVO-X2のllama.cpp ROCmビルドとMTP投機的デコードで動かした前日のM1 Max検証に続き、EVO-X2(Ryzen AI Max+ 395)のllama.cpp ROCmビルドでQwen3.8-27B Q8_0を検証。思考だけでmax_tokensを使い切って本文が返らない現象と、MTP投機的デコードの採択率がコードと日本語会話で大きく割れる実測まで。LLMローカルLLMQwenllama.cppAMDROCm実験
技術2026年8月18日(火)更新Qwen3.8-27BをM1 Max 64GBでMLXとOllama両方から動かした8月14日公開のQwen3.8-27BをM1 Max 64GBでテスト。Ollamaは0.17.7だとpull自体が拒否され0.32.14への更新が必要だった。mlx-community/Qwen3.8-27B-4bitはmlx-vlm経由ですんなり動作。LLMローカルLLMQwenOllamaMLXApple Silicon実験
技術2026年8月6日(木)QwenのMoEルーターを観測してホットエキスパートを先読みしても速くならなかったM1 Max 64GBでQwen3.6-35B-A3BのMoEルーターをモンキーパッチして層ごとのエキスパート選択を実測し、観測ベースの事前ウォームアップと素のmmapキャッシュの生成速度を比較した。Qwen3.5-122B-A10B-4bitがこの環境でMetalのOOM例外を出す実測込み。Apple SiliconLLMMLXローカルLLMMoEQwen実験
技術2026年6月8日(月)LFM2.5 1.2B JP 202606をM1 Max 64GBで動かしたらデコード208tok/sでJSON守るがモデル名をハルシネーションしたLiquid AIのLFM2.5-1.2B-JP-202606をM1 Max 64GBで実測。llama.cpp/Ollama/MLXの3系統でデコード速度・JSON構造化・ツール呼び出し・会話のナチュラルさ・長文入力を検証した。Q4_K_Mで208tok/s、Q8_0で157tok/sだがモデル名ハルシネーションが消える差も出た。AILLMローカルLLMMLXOllamaApple SiliconエッジAI実験日本語LLM
技術2026年6月4日(木)Gemma 4 12B UnifiedがVision Encoder 16層を行列積1回に置き換えたencoder-free設計Gemma 4 12B UnifiedはVision Encoderを持たない。E4Bの150M 16層Transformerが35Mの線形投影に変わり、パッチ間アテンションはLLM本体48層の双方向アテンションに吸収されている。Fuyu、EVE、Mono-InternVLの先行研究から、encoder-free設計が何を捨てて何で補っているかを掘った。AILLMGoogleGemmaマルチモーダルローカルLLM
技術2026年5月26日(火)Hy-MT2 1.8BをM1 Maxで動かす、1.25bit 440MB版は標準llama.cppでまだ動かないM1 Max 64GBでHy-MT2 1.8B Q4_K_M (1.08GB) をllama-serverに載せ、JSON・SRT・HTML・用語拘束・少数言語まで投げて入出力を確認。1.25bit 440MB版は標準llama.cppでロード不可、30B-A3B (hy_v3) もMacの標準ルートで動かない。AILLM翻訳ローカルLLMHuggingFace量子化MoEオープンソースMacApple Silicon実験
技術2026年5月14日(木)oMLX 0.3.9.dev2をM1 Max 64GBで実測、SSD KVキャッシュ・Gemma 4 VLM MTP・DFlash・omlx launch copilotM1 Max 64GBにoMLX 0.3.9.dev2を入れて、SSD KVキャッシュ2回目prefill短縮、Gemma 4 VLM MTPオン/オフ、DFlash vs 通常エンジン、omlx launch copilotの実動作を順に測る。VLM入力はWAI-Animaで生成したかなちゃん画像で揃えた。AILLMローカルLLMApple SiliconMLX推論最適化Codex実験