#論文

QwenチームのGated Attention論文を読み解く。SDPA出力にヘッドごとのシグモイドゲートを掛けるだけで先頭トークンへのAttentionの集中が46.7%から4.8%に落ちる。その理由と、Qwen3-Next全体での使われ方まで。

arXiv論文「One Developer Is All You Need」を読んだ。Itaú Unibancoでベテラン1人がAI4役割を使い4人チーム18週間分の開発を9週間で完了。速くなったのはコーディングではなく工程間の待ち時間で、コードベース熟知のベテラン前提という限界も整理する。

arXiv:2604.27707の主張を、CTXやOCR-Memoryのような検索系メモリと並べて読む。RAG、vector store、scratchpadは便利な検索棚だが、経験からルールを重みに畳み込む学習とは別物だ。

arXiv:2605.03723の人間・LLM共著テキスト分割手法をM1 MaxとQwen3-8B-Baseで動かした。重み付きCUSUMは標準Pythonで動くが、生log-likelihoodだと人間文単独でも境界が量産される。

GPT-4o、Gemini 2.5 Pro、DeepSeek-V3.1を対象に、要約から全文展開するファインチューニングで著作権書籍の逐語再現が増えると報告したarXiv論文を読んだ。

arXiv:2604.26622のOCR-Memoryを読んだ。エージェントの長い実行履歴を画像化し、Set-of-Markで該当箇所だけ選ばせ、元ログから逐語テキストを戻すメモリ方式だ。

arXivに出たTRACERは、LLM分類エンドポイントの入出力ログをそのまま訓練データに転用し、parity gateで合格した領域だけ軽量な代理モデルに差し替えて推論コストを下げる仕組みだ。77クラスの意図分類で83〜100%、150クラスでは100%のトラフィックを代理モデルが吸収できることを示した一方、NLIタスクでは「配備不可」と正しく拒否した挙動が面白い。

exp(x) - ln(y) という1つの二項演算子と定数1だけで、四則演算・三角関数・対数・円周率まで表現できるという論文を読んだ。NANDゲートの連続数学版という触れ込みだが、実際どこまで使えるのか調べた。

Transformerの謎の挙動「特定トークンへの注意集中」と「特定次元での大きな活性化」が、実は同じ機構だったという論文の解説。