#機械学習

AIやLLM、画像生成の解説で見かける数式を、解けるようになるためではなく読めるようになるために整理。重み付きの足し算、S字カーブ、確率、学習の修正だけに絞って追う。

CPUメモリを主記憶、GPUを一時的な計算装置として扱う逆転の発想で、100B超のLLMをシングルGPUでフル精度訓練するシステムMegaTrain。DeepSpeed ZeRO-3比で最大12.2倍のスループットを達成した。

HuggingFaceのLLMポストトレーニングライブラリTRLがv1.0に到達。Stable/Experimental二層モデルの導入、GRPO・DPO・SFTなど主要手法の安定化、非同期GRPOのロードマップが示された。

Cloudflareがクライアントサイドの悪意あるスクリプト検出にGNNとLLMの2段カスケードを導入し、ユニークスクリプトあたりの誤検知率を1.39%から0.007%に削減。有料アドオンだったAdvanced機能をセルフサーブ顧客にも開放した。

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。

HuggingFaceが16のオープンソースRL訓練ライブラリを7つの設計軸で比較分析。同期型では生成ボトルネックでGPU利用率が60%程度に留まるが、非同期分離設計で95%以上に改善できる。

LUKE/BERTのfill-maskファインチューニングから始めて、perplexityベースの誤字検出→Qwen2.5 7Bでの修正判定→不一致時エスカレーションのパイプラインに至るまでの実験ログ。VRAM 8GBのRTX 4060 Laptopで完結する構成。

LoRAのrank設定が過剰かどうかを特異値分解で定量化するツールGradienceの紹介。Mistral-7Bでの実験ではrank半減で精度が向上した。

8年前はCで外部ライブラリと格闘してた表情認識。今ならクラウドAPIで一発では？と思って調べたら、1社は倫理問題で撤退してた。

Windows 11 / RTX 3060 Laptop (6GB VRAM) でkohya_ssを使ったLoRA学習環境の構築手順。キャプションの書き方からVRAM節約設定まで。