#ローカルLLM

EVO-X2でローカルLLM環境を構築した

GMKtec EVO-X2（Strix Halo）でNSFW対応のローカルLLMを構築した記録。LM StudioとMS3.2-24B-Magnum-Diamondで約11 tokens/sのGPU推論を実現するまで。