#論文

exp(x) - ln(y) という1つの二項演算子と定数1だけで、四則演算・三角関数・対数・円周率まで表現できるという論文を読んだ。NANDゲートの連続数学版という触れ込みだが、実際どこまで使えるのか調べた。

Transformerの謎の挙動「特定トークンへの注意集中」と「特定次元での大きな活性化」が、実は同じ機構だったという論文の解説。