#ollama

Ollama 0.19がApple SiliconでのバックエンドをMLXに切り替え、プリフィル1810トークン/秒・デコード112トークン/秒を達成。NVFP4量子化サポートとキャッシュ改善も同時投入された。

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。

Qwen 3.5がROCm/Vulkanで動かない原因をCPU推論・llama-server・LM Studioで切り分けた結果、AMDドライバの更新で全て解決した。

huihui-aiのQwen 3.5 abliteratedは全バリアントでゴミトークンを吐いて全滅。GLM-4.7-Flash abliteratedもテンプレート崩壊で使い物にならず、最終的に公式版+thinking無効が正解だった。

LUKE/BERTのfill-maskファインチューニングから始めて、perplexityベースの誤字検出→Qwen2.5 7Bでの修正判定→不一致時エスカレーションのパイプラインに至るまでの実験ログ。VRAM 8GBのRTX 4060 Laptopで完結する構成。

NDLOCR-LiteのCLI版をApple Silicon Macにセットアップし、Qwen 3.5やSwallowでOCR結果を校正してみた記録。画像直読みやアンカリング効果など、いろいろ試した。

Mac mini M4 ProとDifyを使った社内ヘルプデスクRAGシステムの構築計画。2025年版Difyの進化ポイントと、ローカルLLM運用のコツをまとめました。