#メモリ最適化

CPUメモリを主記憶、GPUを一時的な計算装置として扱う逆転の発想で、100B超のLLMをシングルGPUでフル精度訓練するシステムMegaTrain。DeepSpeed ZeRO-3比で最大12.2倍のスループットを達成した。

GMKtec EVO-X2（Strix Halo）でローカルLLMを動かす際のVRAM/メインメモリ配分問題と解決策。VRAM 8GBでも29.6GBモデルが動いた実証付き。

Qwen-Image-EditのVAE推論が重い理由と、HunyuanImage 2.1が採用した32x高圧縮VAEの設計思想の違いを解説。Kohya氏によるVAEメモリ最適化の動向も追う。