#量子化

Not All Bits Are Equal: 推論モデルのメモリ配分に万能解はない

推論モデルでメモリをどう配分すべきか。1700実験から導かれた量子化・KVキャッシュ・推論長のトレードオフを解説する。