#AMD

GMKtec EVO-X2（Strix Halo）でローカルLLMを動かす際のVRAM/メインメモリ配分問題と解決策。VRAM 8GBでも29.6GBモデルが動いた実証付き。

GMKtec EVO-X2（Strix Halo）でNSFW対応のローカルLLMを構築した記録。LM StudioとMS3.2-24B-Magnum-Diamondで約11 tokens/sのGPU推論を実現するまで。