#機械学習

BERTはキーワード検索から文脈検索へ何を変えたか

DEV CommunityのBERT解説を、Google Searchでの2019年導入、masked language model、OCR校正やEmbedding検索との違いから読み直す。生成ではなく文脈を読むエンコーダーとして見ると使いどころがはっきりする。

xAIのx-algorithm更新でXのFor Youフィードが手元で少し動かせるようになった

2026-05-15のx-algorithm更新を確認した。Phoenixの実行パイプライン、約3GBのモデル成果物、Grox、広告混合が入り、1月公開版より検証できる範囲が広がっている。

山火事避難AIの蒸留は制約を学習に混ぜる話だった

山火事避難ルーティングAIで、通行止めやAQI制約を後処理ではなく蒸留ロスに入れる手法。ルールエンジンとの違い、画像を見ない生徒モデルの限界、エッジ推論23msの実用性を検討した

NIIの48,000時間音声音響データセットはTTSの材料になる

NII/LLMCが公開したCC AudioとArchive.org Audio Datasetを、URLリスト、メタデータ、TTS学習、Embedding解析の違いから読む。

TRACERはLLM分類APIのログから代理モデルを学習してparity gateで置き換える

arXivに出たTRACERは、LLM分類エンドポイントの入出力ログをそのまま訓練データに転用し、parity gateで合格した領域だけ軽量な代理モデルに差し替えて推論コストを下げる仕組みだ。77クラスの意図分類で83〜100%、150クラスでは100%のトラフィックを代理モデルが吸収できることを示した一方、NLIタスクでは「配備不可」と正しく拒否した挙動が面白い。

AIの記事を読むための数学入門、全5本シリーズのまとめ

AIやLLMの記事に出てくる数学記号を『解けるのではなく読めるように』整理した全5本シリーズのハブ。数式・ベクトル/行列・確率統計・微分・勾配降下と逆伝播を、どの順番で読むとラクかも添えて並べる。

AIの学習を動かしている勾配降下と逆伝播、ここだけ読めれば怖くない

勾配降下、SGD・Adam、逆伝播、勾配消失・残差接続、学習率スケジュールあたりを「何をまとめてやっているか」の視点で整理。解けるようになるのではなく、学習ログやモデルカードの数字を読めるようになることが目的。

AIの記事でよく出る微分、ここだけ読めれば怖くない

AIやLLMの記事に出てくる微分まわりの記号を、解けるようになるためではなく読めるようになるために絞って整理。d/dx、e、連鎖律、偏微分、勾配までを「何をやっているか」の視点で読む。

AIの記事でよく出る確率と統計、ここだけ読めれば怖くない

AIやLLMの記事に出てくる確率・統計まわりの記号を、解けるようになるためではなく読めるようになるために絞って整理。条件付き確率、交差エントロピー、パープレキシティ、temperatureあたりまでを「何をまとめてやっているか」の視点で読む。

AIの記事でよく出るベクトルと行列、ここだけ読めれば怖くない

AIやLLMの記事に出てくるベクトルと行列を、計算できるようになるためではなく読めるようになるために絞って整理。内積と行列積は拾い、行列式や固有値は省略する。

AIの記事でよく見る数式、ここだけ読めば怖くない

AIやLLM、画像生成の解説で見かける数式を、解けるようになるためではなく読めるようになるために整理。重み付きの足し算、S字カーブ、確率、学習の修正だけに絞って追う。

MegaTrainはシングルGPUで120BパラメータLLMをフル精度訓練する

CPUメモリを主記憶、GPUを一時的な計算装置として扱う逆転の発想で、100B超のLLMをシングルGPUでフル精度訓練するシステムMegaTrain。DeepSpeed ZeRO-3比で最大12.2倍のスループットを達成した。