#MoonshotAI

MoonshotAI（Kimi）がTransformerの残差接続をAttentionで置き換えるAttnResを提案、1.25倍の計算効率

Transformerの固定残差結合を深さ方向のsoftmax attentionに置き換えるAttnRes。Kimi Linear 48Bでの実証でGPQA-Diamond +7.5pt、HumanEval +3.1ptの改善。訓練オーバーヘッドは4%未満、推論は2%未満に抑えた。