#強化学習

RLの利得は深さ40〜60%の中間層に集中し、最良の1層だけ訓練すると全パラメータ訓練を上回ることもある。Qwen3系で層番号と数値まで出ている論文（arXiv 2607.01232）を読んだ。

OpenAIがGPT-5.1以降で増えた特定の比喩表現について、人格カスタマイズ、報酬信号、SFTデータへの混入、Codexでの抑制まで調査結果を公開した。

HuggingFaceのLLMポストトレーニングライブラリTRLがv1.0に到達。Stable/Experimental二層モデルの導入、GRPO・DPO・SFTなど主要手法の安定化、非同期GRPOのロードマップが示された。

Meta AIのHyperAgentsは改善戦略そのものを最適化するメタ認知的自己修正を実現。コーディング以外の4ドメインで自己改善が動き、別ドメインで獲得した改善戦略の転移や永続メモリの自発的獲得が観察された。

Chromaが公開した20Bパラメータの自己編集型検索エージェント。コンテキストを動的にプルーニングしながらマルチホップ検索を行い、フロンティアモデルの1/10コスト・最大10倍速のレイテンシで同等以上の精度を示す。重みはApache 2.0で公開。

CursorがComposer 2の基盤モデルを未公表のままリリースし、API経由でKimi K2.5であることが判明。ライセンス問題に発展したが、Moonshot AIとの正式契約が確認された。

HuggingFaceが16のオープンソースRL訓練ライブラリを7つの設計軸で比較分析。同期型では生成ボトルネックでGPU利用率が60%程度に留まるが、非同期分離設計で95%以上に改善できる。

Microsoftが公開した、ほぼコード変更なしであらゆるAIエージェントを強化学習で最適化できるフレームワーク。LangChain、AutoGen、Claude Agent SDKなど任意のフレームワークに対応。

RLで学習させなくても、推論時のサンプリング戦略を変えるだけでLLMの推論性能が向上する。Haitham Bou Ammar氏の記事をもとに、Power Samplingの仕組みと実務的なインパクトを解説する。