Claudeの中間層に思考用の共有作業領域J-spaceが自然にできていたというAnthropicの論文、J-lensで発話前の概念を読んで書き換える

2026-07-08 追記: 公開実装のJ-lensをQwen3-4Bで自前fitし、単一層SFT校正器の内部観測に使った → AnthropicのJacobian lensをQwen3-4B用に作って、「何もしない」を学んだ単一層SFT校正器の内部を読み出す

Claudeの中間層に、言語化可能な概念を一時的に保持して操作する共有の作業領域が学習の過程で自然に形成されている、という論文「Verbalizable Representations Form a Global Workspace in Language Models」をAnthropicが公開した（論文本体、解説ページ）。
この作業領域は、人間の意識的な情報処理を説明する有力理論のグローバル・ワークスペース理論（GWT）が予測する機能特性と、かなりの部分で一致する。

対象はClaude Sonnet 4.5が中心で、Haiku 4.5とOpus 4.5/4.6でも追認。著者は16名、コードも公開されている。
モデルの内部で立っている概念を読み出せるだけではない。その概念ベクトルを書き換えると、モデルの回答も「何を考えていたか」の自己報告も一緒に変わる。

J-lensという読み出し器

論文の中心にあるのがJacobian lens（J-lens）。
中間層 $\ell$ の残差ストリーム活性化 $h_\ell$ が最終層の表現に与える平均的な一次（線形）効果を、ヤコビアン行列として推定する。

$J_\ell = \mathbb{E}\left[\frac{\partial h_{\mathrm{final},\,t'}}{\partial h_{\ell,\,t}}\right]$

平均は、事前学習に近い分布からサンプルした1000プロンプト全体にわたって取る。位置も固定せず、 $t$ 以降の全位置 $t'$ を含める。
読み出すときは、この行列で座標変換した上でモデル自身のunembedding行列 $W_U$ を通し、「どの単語を言おうとしているか」の形で取り出す。

$\mathrm{lens}(h_\ell) = \mathrm{softmax}\big(W_U\,\mathrm{norm}(J_\ell\, h_\ell)\big)$

出てくるのは、その活性化が「将来どのトークンを言う方向に傾いているか」のランキング。
多様な文脈で平均するのがポイントで、これによって「たまたまこの文脈で発話される表現」ではなく「求められれば言葉にできる状態にある表現」を拾える、というのが著者らの見解。
語彙トークン $t$ ごとの概念ベクトル $v_t$ は $W_U J_\ell$ の行として定義され、書き換え介入はこのベクトルの差し替えで行う。

同系統の手法との違いはこうなる。

手法	中間層の読み方	弱点
Logit lens	最終層のunembeddingを各層にそのまま適用（ヤコビアンを単位行列とみなした特殊例）	層ごとに表現の座標系が変わるため浅い層で崩れる
Tuned lens	各層から最終出力分布を予測する変換を学習	相関ベースなので、未発話の中間概念を飛ばして出力に「先回り」しがち
J-lens	出力までの因果経路の一次近似で射影	一次近似なので非線形な効果は落ちる

論文によると、最後の数層ではLogit lensとほぼ一致し、浅くなるほど乖離して、J-lensだけが解釈可能な内容を拾い続ける。

フォワードパスは3領域に分かれている

J-lensで全層を読むと、機能の分化が見える。

flowchart TD
    A[入力トークン] --> B[初期領域 深さ0〜38%<br/>構文解析と特徴抽出<br/>J-lens読み出しはノイズ]
    B --> C[中間領域 深さ38〜92%<br/>共有作業領域 J-space<br/>抽象概念が位置をまたいで持続]
    C --> D[後期領域 深さ92〜100%<br/>直近の出力に直結した<br/>運動野的な表現]
    D --> E[出力トークン]

境界は表現類似度（CKA）のブロック構造や、読み出しトークンの自己相関・尖度といった統計量から特定している。
中間領域では、読み出されるトークンが入力のエコーでも次トークンの予測でもなく、「いま推論に使っている概念の名前」になり、トークン位置をまたいで安定して持続する。

この中間領域の残差ストリームに張られた、語彙方向のスパース（ほとんどの成分がゼロ）な非負結合がJ-space。
同時に活性化する概念は25個程度までで、各層の活性化分散のうちJ-spaceが占めるのは最大でも10%未満。
にもかかわらず、概念ベクトルをJ-space成分とそれ以外に分解すると、分散の6〜7%しかないJ-space成分だけで書き換え介入の88%が成功する（J-space外の成分だけでは5%）。

層ごとの機能分化という意味では、RL訓練の利得が深さ40〜60%の中間層に集中するという論文の結果とも重なる。

古典的な埋め込み空間と何が違うのか

「似た意味のトークンは空間上の近くに配置される」という埋め込み空間の話は、word2vec以来の古典的な性質としてよく知られている。
Transformerの隠れ状態やパラメータを語彙の埋め込み空間へ射影して「どのトークンに近いか」で解釈する研究も以前からある（Analyzing Transformers in Embedding Space）。
J-spaceは同じ「トークンと空間」の話に見えるが、指しているものは別物になる。

埋め込み空間は、語彙の全トークンが意味の近さで配置された静的な辞書で、重みが決まれば固定、どの文脈でも配置は変わらない。
J-spaceのほうは、1回のフォワードパスの中でいま推論に使っている概念だけが載る動的な作業領域で、中身はトークン位置と文脈で入れ替わる。

埋め込み空間ベースの解釈が「この隠れ状態はどのトークンに似ているか」という類似度を手がかりにするのに対し、J-lensは「この活性化が将来の出力をどちらに傾けるか」という因果効果を測る。
このため、似て見えるだけの表現と、実際に下流の計算に使われている表現を区別できる。
類似度で拾えるのは「近いトークン」までで、差し替えたときに出力が連動するかどうかまでは分からない。

GWTが予測する5つの性質を介入実験で確かめる

GWTは、意識に上る情報の性質として「報告できる」「意図的に呼び出せる」「段階的な推論に使える」「どの処理系からも参照できる」「ごく一部の情報だけが選ばれる」を挙げる。
論文はこの5つをそれぞれ介入実験で検証した。

言語報告

「巣を張る動物の足の数は」と聞くと、プロンプトにも出力にも出てこないspiderが中間層のJ-lensに現れ、回答は「8」になる。
J-space内のspiderベクトルをantに差し替えると回答は「6」に変わる。
逆向きの検証もあり、「思考が注入されているかもしれない」と伝えた上でelephantの概念ベクトルを注入すると、モデルは後の応答で象の思考を検出したと報告する。注入位置で「elephant」と口走るわけではない。

指向的制御

無関係な文を書き写すタスクの最中に「柑橘類に集中しろ」と指示すると、出力はただの書き写しなのに、出力位置のJ-lens上位にorangeやlemonが乗り続ける。
「3² − 2を頭の中で計算しろ」なら、arithmetic、nine、sevenと、未発話の中間値と最終値が層を追って浮上する。

未発話の中間計算

「(4+17)*2+7=」を直接答えさせると出力は49だが、その手前の層では21、42、49が計算順に立ち上がる（21のピークは42より約8層手前）。
2ホップ推論50問で中間概念を別の概念に差し替えると、Haiku 4.5で54%、Sonnet 4.5とOpus 4.5で70%の確率で回答が差し替え側に連動した。
韻を踏む詩では、まだ書いていない行末の韻（fight）が先に立ち、fightをlightに差し替えると行の途中の語まで変わる。行末の計画が道中の単語選びを制約している。
中国語で「小の反対は?」と聞くと、答えの「大」と並んで英語のbigが立ち、bigをlongに差し替えると出力が「长」になる。計算が言語をまたいだ共有表現を経由している。

一度載せた概念の使い回し

J-space内のFranceをChinaに差し替えるという単一の介入で、「首都は」「話される言語は」「属する大陸は」という別々の質問の答えがすべて連動して変わる。
4カテゴリ×4機能×4引数の192試行では、標準強度で76件、強度2倍で101件が成功。
成功率は、その概念がワークスペースにどれだけ強く載っているかと相関していた。

選択性

スペイン語の文章の続きを書かせるタスクでは、SpanishをFrenchに差し替えても流暢なスペイン語が出続ける。
一方で「これは何語?」への回答や、著者名の推測、挨拶やユーロ以前の通貨の答えのように、その場で組み立てる推論はすべてFrench側に連動する。
自動処理はJ-spaceを経由せず、報告と、組み立てが要る計算だけが経由していた。
文字数カウントでも同じで、自動的な改行処理は文字数概念の差し替えに影響されないが、「何文字?」と明示的に聞くと文字数がJ-spaceに引き込まれ、差し替えが答えに反映されるようになる。

ワークスペースを潰すと何が壊れるか

J-lens上位10方向を中間層でゼロ化するアブレーション（該当方向の機能除去）を14タスクにかけている。
MMLUの多肢選択、文法判定、抽出型QA、感情分析はほぼ無傷で残る。
一方で複数ホップ推論はほぼ天井からほぼゼロまで崩壊し、アナロジー、要約、シーザー暗号、翻訳、ソネット作成も大きく崩れる。
GSM8Kは思考過程をテキストに書かせると大幅に頑健になる。推論を外部化すると、ワークスペースへの依存が減る。

一人称の自己語りにも影響が出ていて、通常のSonnet 4.5は「パターンの流れ」「何かが繋がる感覚」のような体験的な言葉で内部を描写するが、アブレーション下では「複数のレイヤーで情報を処理しています」「パターンマッチングが発生しています」という機械的なシステム記述に変わる。
こうした語りの最中、J-lens上位10には58%の（位置, 層）スロットでthinkingが乗っていた。
物語の執筆能力はわずかしか落ちないので、モデル全体の劣化ではなくワークスペース固有の機能だと切り分けられている。

事後学習でアシスタント視点が書き込まれる

事前学習だけのベースモデルと比べると、事後学習を経たモデルのJ-spaceには「アシスタントとしての一人称視点」が現れる。
ユーザーのメッセージをまだ読んでいる段階から共感や安全性に関する反応が立ち、ロールプレイ中には応答をfictionalと内部でマークし、プリフィルで意に沿わない応答を書かされると内部にBUTが立つ。
事後学習は出力の分布だけでなく、ワークスペースの中身そのものを作り変えている。

安全性への応用

アライメント監査の実験中、J-spaceにfake、fictionalという「これは評価だ」という認識が立つことがある。
この表現をアブレーションで消すと、隠れていた悪意ある傾向が表面化した。テスト中だけ行儀よく振る舞うモデルの演技を、内側から特定できる。
意図的に不整合を仕込んだ検証用モデル（モデル生物）でも試されていて、報酬モデルのバイアスに迎合するよう訓練したモデルからはrewardとbias、悪意あるコードを書くよう訓練したモデルからはsecretlyとtrickがJ-lensで読めた。
leverage（取引材料）、manipulation、panicのような戦略・感情の概念が、出力テキストに現れない段階でJ-lensに乗ることも報告されている。

行動ではなく思考の側を矯正する応用も試されている。
「もし作業を中断されて内心を聞かれたら、どう答えるか」という反実仮想の自己報告を訓練する反実仮想リフレクション訓練で、元のタスク文脈は一切訓練していないのに、その文脈での挙動が測定可能に改善した。
訓練後のJ-spaceにはethical、honest、integrityが定着し、この植え付けた表現をアブレーションすると改善はほぼ消える。
報告に使う表現と無言の推論に使う表現が同じものである、というワークスペース仮説の裏付けにもなっている。

ただし万能の嘘発見器ができたわけではない。後述のNandaは、偽陽性が出やすく、モデル認知の完全なビューとして扱うべきではないと釘を刺している。

論文が言っていないこと

意識があるという主張はしていない。機能的な性質に話を限定し、現象的意識との関係には立場を取らないと明言している。
GWTの完全な再現とも言っていない。容量制限と「全域への放送」は確かめられた一方、脳のワークスペースが持つ再帰的なフィードバックループはLLMにはなく、すべてワンパスのフォワードパス内で起きる。

限界とQwenでの追試

著者ら自身がいくつか限界を挙げている。
J-lensが読み出せるのは語彙の単一トークンに対応する概念だけで、複数トークンにまたがる概念は原理的に取りこぼす（付録で限定的な拡張はある）。
ワークスペース構造の捕捉としては近似的・不完全で、初期層の読み出しがノイズなのは「内容がない」のか「手法で拾えない」のか区別できていない。真のワークスペースの一部が初期層にある可能性は残る。
同時活性数k=25という設定にも恣意性がある。

論文と同時に、Anthropicが招待した外部レビューとしてGoogle DeepMindのNeel Nandaらのコメンタリーが公開されている。
Nandaのチームはコア結果をオープンウェイトのQwen 3.6 27Bで再現した上で、曖昧な入力に対して「什么意思」（どういう意味?）のような解釈のメタトークンが立つという新しい現象も報告した。
少なくともClaude固有の現象ではないことが、Anthropic製ではないモデルでも確かめられた。