#ファインチューニング

Gradience: LoRAアダプタのランクが本当に必要か、スペクトル監査で測定するツール

LoRAのrank設定が過剰かどうかを特異値分解で定量化するツールGradienceの紹介。Mistral-7Bでの実験ではrank半減で精度が向上した。