英語版で読む
技術約6分で読めます

Transformerを1層だけRL訓練しても全パラメータ学習に匹敵するという論文、検証はQwen系7モデル

AILLM強化学習Qwen
いけさん目次

Transformerの1層だけをRL訓練しても全パラメータ訓練に匹敵する、という論文「Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training」がarXivに出ていた（arXiv:2607.01232）。
7モデル×3アルゴリズムで検証している。

著者はミネソタ大学を中心に、北京大学とAmazonの研究者。
研究自体はAmazonの業務とは独立とのこと。

何を主張している論文か

LLMのRL訓練（GRPO系の推論強化訓練）では通常、全パラメータを更新する。
この論文は、その利得がどの層に分散しているのかを層ごとに分解して調べている。
結果、最良の1層だけの訓練で全パラメータRL訓練の利得をほぼ完全に回復できた。上回るケースも多い。
貢献は深さ40〜60%の中間層に集中し、入出力に近い層はほとんど寄与しない。
この形は7モデル・3アルゴリズム・複数タスク領域で変わらなかった。

GRPOは、1つのプロンプトに対して複数の応答をまとめて生成し、グループ内の相対的な報酬から優位性を計算するPPO系のRL手法で、DeepSeek-R1の訓練で使われて広まった。
価値関数モデルが不要な分、PPOよりメモリ効率がいい。
RL訓練のインフラ・ライブラリ側の話は以前書いた。

層貢献度という指標

方法は単純で、L層のモデルに対して「層kだけ勾配を流し、残りを全部凍結してRL訓練する」をkを変えて繰り返す。
実装としては対象層以外に requires_grad=False を立てるだけ。

flowchart TD
    A[事前学習済みモデル L層] --> B[層kだけ勾配を有効化<br/>残りの全層を凍結]
    B --> C[GRPO等でRL訓練]
    C --> D[ベンチマーク評価でスコアS_kを取得]
    D --> E[層貢献度C_kを算出]
    E -->|kを変えて全層分繰り返す| B

評価スコアから層貢献度を計算する。

C(k)=Sk−SbaseSfull−SbaseC(k) = \frac{S_k - S_{\mathrm{base}}}{S_{\mathrm{full}} - S_{\mathrm{base}}}

SbaseS_{\mathrm{base}} は訓練前のベースモデル、SfullS_{\mathrm{full}} は全パラメータRL訓練後、SkS_k は層kだけ訓練したモデルのスコア。
C(k)=1.0C(k) = 1.0 なら、単一層訓練が全パラメータ訓練の利得を完全に再現したことを意味する。

検証対象は以下の7モデル。DeepSeekの蒸留版もベースはQwenなので、全部Qwenファミリーになる。

モデルサイズ層数
Qwen3-1.7B-Base1.7B28
Qwen3-4B-Base4B36
Qwen3-8B-Base8B36
Qwen2.5-Math-1.5B1.5B28
Qwen2.5-1.5B-Instruct1.5B28
Qwen2.5-3B-Instruct3B36
DeepSeek-R1-Distill-Qwen-7B7B28

RLアルゴリズムは、上述のGRPOに加えて、その応答長バイアス等を補正した変種のDr. GRPO、エージェントタスク向けにグループを入れ子にしたGiGPO（ALFWorldの実験で使用）の3種類。

訓練データはNuminaMath-CoTとDeepScaleR（数学）、DeepCoder（コード）、ALFWorld（エージェント）など。
評価はMATH500、GSM8K、AIME 2024/2025、OlympiadBenchの数学系から、HumanEval+、GPQA-Diamond、IFEvalといったドメイン外まで含む。

7モデルすべてで中間層に集中した

まずQwen3系の数学ベンチマーク平均から。

モデルベース全パラメータRL最良の単一層回復率
Qwen3-1.7B-Base44.150.851.8（10層目）1.14
Qwen3-4B-Base52.263.764.3（16層目）1.06
Qwen3-8B-Base58.066.567.1（16層目）1.07

3モデルとも、最良の1層だけを訓練したほうが全パラメータ訓練よりスコアが高い。
回復率1.0超は「利得を全部回収した上でさらに上乗せがある」状態を指す。

アルゴリズムを変えても同じで、Dr. GRPOのQwen2.5-Math-1.5Bで回復率1.01、GiGPOのALFWorldではQwen2.5-1.5B-Instructの単一層訓練が成功率89.1%（全パラメータは87.8%）。
蒸留モデルのDeepSeek-R1-Distill-Qwen-7Bでも1.05だった。

一方で端の層は寄与が小さい。
Qwen3-8Bでは0層目（入力側）だけの訓練でベースモデルより悪化した（回復率 -0.51）。

層の位置を深さ0〜1に正規化して比べても、貢献度が最も高いのはどのモデルでも40〜60%帯の層だった。
訓練データをNuminaMathからDeepScaleRに変えても層ごとの貢献度ランキングはSpearman相関0.76で保たれ、数学からコードへのタスク跨ぎでも0.59。
著者は、層貢献度はデータではなくモデル構造側に紐づいた性質だと解釈している。

重み変化量は層間でほぼ均一だった

論文は、全パラメータRL訓練での層ごとの重み変化量も測っている。
変化量は層間でほぼ均一（0.5〜0.8）で、大きく偏る層貢献度とは対応していなかった。

貢献度を決めているのは変化の大きさではなく、その層のパラメータ部分空間がタスク改善に対してどれだけ有効か。
なぜ中間層の部分空間が有効なのかの理論的説明は、未解決の問題として残されている。

全層スキャンなしで使う方法

層貢献度のフルスキャンには、層数と同じ回数のRL訓練が必要になる。
論文は貢献度情報の使い方を3つ試している。

1つ目は層別の適応学習率で、貢献度の高い層だけ学習率を1e-5に上げ、他は5e-6のままにする。
Qwen3-1.7Bで50.82→53.70と、全パラメータ訓練を2.88ポイント上回った。

2つ目は貢献度上位10層だけを更新する選択訓練で、Qwen3-8Bで66.43→69.11。

3つ目はスキャンを省いて最初から中間層だけを訓練するヒューリスティックで、Qwen3-1.7Bで50.82→51.35だった。

3つとも、更新するパラメータを減らしながらスコアは全パラメータ訓練を上回った。

この中でスキャンがいらないのは3つ目だけで、著者はこれをデフォルトの設定として勧めている。

単一層モデルの多数決が全パラメータ訓練を超える

論文はもう1つ、多数決の分析も載せている。
Qwen3-1.7Bで貢献度上位7層それぞれの単一層訓練モデルを作り、OlympiadBenchで多数決させた。

構成OlympiadBench
単一最良層モデル28.3%
全パラメータRL26.9%
上位7層モデルの多数決33.6%
単一モデルのself-consistency投票（参考）31.3%

各層モデルが解ける問題集合のJaccard類似度（2つの集合の重なりを積集合÷和集合で測る指標）は34.1%しかない。
どの層を訓練するかで、解ける問題の集合が変わる。
著者はこれを、事前学習済み重みの周りに多様なタスク特化解が密に存在する状態だと解釈している。

LoRAとの関係と限界

LoRA等の既存のパラメータ効率化手法との直接比較は論文にない。
LISA（訓練する層をサンプリングする手法）などは関連研究として言及されるだけ。

LoRAが「全層に低ランクの差分を足す」のに対し、こちらは「1層だけフルランクで動かす」で、削り方がまったく違う。
併用できるのか、単一層LoRAでも同じ局在が出るのかは論文の範囲外。

制限も著者が明示している。
先ほどの3つのやり方を検証したのは数学推論のタスクが中心で、コードやエージェントでの確認は今後の課題とされている。
層貢献度は特定の訓練構成に対して定義される量なので、構成を変えれば値も変わる。
なぜ中間層なのかの理論的説明がないのは前述の通り。

それと、ぱっと見は「効率よく学習できる」という論文に見えるが、そんなことは言っていない。
RL訓練のコストの大半は応答を大量に生成するロールアウト側で、そこは1層訓練でも変わらない。
逆伝播も対象の層までは流すので、確実に減るのはオプティマイザ状態（AdamWならパラメータの約2倍）くらいで、削減量の数値も論文にはない。
言っているのは、RLの利得が中間層に局在していて、そこだけ動かしても全パラメータ訓練と同等以上になる、というところまで。