#量子化

M1 MaxでINT8ConvRotに近い量子化行列積をPyTorch、Metal、MPSMatrix、MLXから直接測定し、fp16との速度差とMPS経路の制約を確認した。

M1 MaxのComfyUIでAnima-Turbo INT8ConvRot量子化版をロードし、MPS未対応エラー、CPUフォールバック、逆量子化回避策の生成時間を検証した。

M1 Max 64GBでHy-MT2 1.8B Q4_K_M (1.08GB) をllama-serverに載せ、JSON・SRT・HTML・用語拘束・少数言語まで投げて入出力を確認。1.25bit 440MB版は標準llama.cppでロード不可、30B-A3B (hy_v3) もMacの標準ルートで動かない。

llama.cppのmmap設計を脱却してNVMe 3層配置でDenseモデルもストリーミングするHypuraと、極座標変換で量子化定数オーバーヘッドを排除するTurboQuant。Flash-MoEとの設計比較、KVキャッシュ圧縮が実際に効くシナリオの整理も。

推論モデルでメモリをどう配分すべきか。1700実験から導かれた量子化・KVキャッシュ・推論長のトレードオフを解説する。