#論文

arXivに出たTRACERは、LLM分類エンドポイントの入出力ログをそのまま訓練データに転用し、parity gateで合格した領域だけ軽量な代理モデルに差し替えて推論コストを下げる仕組みだ。77クラスの意図分類で83〜100%、150クラスでは100%のトラフィックを代理モデルが吸収できることを示した一方、NLIタスクでは「配備不可」と正しく拒否した挙動が面白い。

exp(x) - ln(y) という1つの二項演算子と定数1だけで、四則演算・三角関数・対数・円周率まで表現できるという論文を読んだ。NANDゲートの連続数学版という触れ込みだが、実際どこまで使えるのか調べた。

Transformerの謎の挙動「特定トークンへの注意集中」と「特定次元での大きな活性化」が、実は同じ機構だったという論文の解説。