#機械学習

TRACERはLLM分類APIのログから代理モデルを学習してparity gateで置き換える

arXivに出たTRACERは、LLM分類エンドポイントの入出力ログをそのまま訓練データに転用し、parity gateで合格した領域だけ軽量な代理モデルに差し替えて推論コストを下げる仕組みだ。77クラスの意図分類で83〜100%、150クラスでは100%のトラフィックを代理モデルが吸収できることを示した一方、NLIタスクでは「配備不可」と正しく拒否した挙動が面白い。

AIの記事を読むための数学入門、全5本シリーズのまとめ

AIやLLMの記事に出てくる数学記号を『解けるのではなく読めるように』整理した全5本シリーズのハブ。数式・ベクトル/行列・確率統計・微分・勾配降下と逆伝播を、どの順番で読むとラクかも添えて並べる。

AIの学習を動かしている勾配降下と逆伝播、ここだけ読めれば怖くない

勾配降下、SGD・Adam、逆伝播、勾配消失・残差接続、学習率スケジュールあたりを「何をまとめてやっているか」の視点で整理。解けるようになるのではなく、学習ログやモデルカードの数字を読めるようになることが目的。

AIの記事でよく出る微分、ここだけ読めれば怖くない

AIやLLMの記事に出てくる微分まわりの記号を、解けるようになるためではなく読めるようになるために絞って整理。d/dx、e、連鎖律、偏微分、勾配までを「何をやっているか」の視点で読む。

AIの記事でよく出る確率と統計、ここだけ読めれば怖くない

AIやLLMの記事に出てくる確率・統計まわりの記号を、解けるようになるためではなく読めるようになるために絞って整理。条件付き確率、交差エントロピー、パープレキシティ、temperatureあたりまでを「何をまとめてやっているか」の視点で読む。

AIの記事でよく出るベクトルと行列、ここだけ読めれば怖くない

AIやLLMの記事に出てくるベクトルと行列を、計算できるようになるためではなく読めるようになるために絞って整理。内積と行列積は拾い、行列式や固有値は省略する。

AIの記事でよく見る数式、ここだけ読めば怖くない

AIやLLM、画像生成の解説で見かける数式を、解けるようになるためではなく読めるようになるために整理。重み付きの足し算、S字カーブ、確率、学習の修正だけに絞って追う。

MegaTrainはシングルGPUで120BパラメータLLMをフル精度訓練する

CPUメモリを主記憶、GPUを一時的な計算装置として扱う逆転の発想で、100B超のLLMをシングルGPUでフル精度訓練するシステムMegaTrain。DeepSpeed ZeRO-3比で最大12.2倍のスループットを達成した。

TRL v1.0がメジャーリリース、LLMポストトレーニングの安定基盤へ

HuggingFaceのLLMポストトレーニングライブラリTRLがv1.0に到達。Stable/Experimental二層モデルの導入、GRPO・DPO・SFTなど主要手法の安定化、非同期GRPOのロードマップが示された。

CloudflareがClient-Side SecurityのGNN+LLM検出を全ユーザーに開放、誤検知を200分の1に削減

Cloudflareがクライアントサイドの悪意あるスクリプト検出にGNNとLLMの2段カスケードを導入し、ユニークスクリプトあたりの誤検知率を1.39%から0.007%に削減。有料アドオンだったAdvanced機能をセルフサーブ顧客にも開放した。

BERT+Qwen OCR校正パイプラインをPythonツールにした

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。

16のオープンソースRLライブラリで見えたLLM非同期訓練の設計パターン

HuggingFaceが16のオープンソースRL訓練ライブラリを7つの設計軸で比較分析。同期型では生成ボトルネックでGPU利用率が60%程度に留まるが、非同期分離設計で95%以上に改善できる。