#機械学習

山火事避難AIの蒸留は制約を学習に混ぜる話だった

山火事避難ルーティングAIで、通行止めやAQI制約を後処理ではなく蒸留ロスに入れる手法。ルールエンジンとの違い、画像を見ない生徒モデルの限界、エッジ推論23msの実用性を検討した

NIIの48,000時間音声音響データセットはTTSの材料になる

NII/LLMCが公開したCC AudioとArchive.org Audio Datasetを、URLリスト、メタデータ、TTS学習、Embedding解析の違いから読む。

TRACERはLLM分類APIのログから代理モデルを学習してparity gateで置き換える

arXivに出たTRACERは、LLM分類エンドポイントの入出力ログをそのまま訓練データに転用し、parity gateで合格した領域だけ軽量な代理モデルに差し替えて推論コストを下げる仕組みだ。77クラスの意図分類で83〜100%、150クラスでは100%のトラフィックを代理モデルが吸収できることを示した一方、NLIタスクでは「配備不可」と正しく拒否した挙動が面白い。

AIの記事を読むための数学入門、全5本シリーズのまとめ

AIやLLMの記事に出てくる数学記号を『解けるのではなく読めるように』整理した全5本シリーズのハブ。数式・ベクトル/行列・確率統計・微分・勾配降下と逆伝播を、どの順番で読むとラクかも添えて並べる。

AIの学習を動かしている勾配降下と逆伝播、ここだけ読めれば怖くない

勾配降下、SGD・Adam、逆伝播、勾配消失・残差接続、学習率スケジュールあたりを「何をまとめてやっているか」の視点で整理。解けるようになるのではなく、学習ログやモデルカードの数字を読めるようになることが目的。

AIの記事でよく出る微分、ここだけ読めれば怖くない

AIやLLMの記事に出てくる微分まわりの記号を、解けるようになるためではなく読めるようになるために絞って整理。d/dx、e、連鎖律、偏微分、勾配までを「何をやっているか」の視点で読む。

AIの記事でよく出る確率と統計、ここだけ読めれば怖くない

AIやLLMの記事に出てくる確率・統計まわりの記号を、解けるようになるためではなく読めるようになるために絞って整理。条件付き確率、交差エントロピー、パープレキシティ、temperatureあたりまでを「何をまとめてやっているか」の視点で読む。

AIの記事でよく出るベクトルと行列、ここだけ読めれば怖くない

AIやLLMの記事に出てくるベクトルと行列を、計算できるようになるためではなく読めるようになるために絞って整理。内積と行列積は拾い、行列式や固有値は省略する。

AIの記事でよく見る数式、ここだけ読めば怖くない

AIやLLM、画像生成の解説で見かける数式を、解けるようになるためではなく読めるようになるために整理。重み付きの足し算、S字カーブ、確率、学習の修正だけに絞って追う。

MegaTrainはシングルGPUで120BパラメータLLMをフル精度訓練する

CPUメモリを主記憶、GPUを一時的な計算装置として扱う逆転の発想で、100B超のLLMをシングルGPUでフル精度訓練するシステムMegaTrain。DeepSpeed ZeRO-3比で最大12.2倍のスループットを達成した。

TRL v1.0がメジャーリリース、LLMポストトレーニングの安定基盤へ

HuggingFaceのLLMポストトレーニングライブラリTRLがv1.0に到達。Stable/Experimental二層モデルの導入、GRPO・DPO・SFTなど主要手法の安定化、非同期GRPOのロードマップが示された。

CloudflareがClient-Side SecurityのGNN+LLM検出を全ユーザーに開放、誤検知を200分の1に削減

Cloudflareがクライアントサイドの悪意あるスクリプト検出にGNNとLLMの2段カスケードを導入し、ユニークスクリプトあたりの誤検知率を1.39%から0.007%に削減。有料アドオンだったAdvanced機能をセルフサーブ顧客にも開放した。