「LLMに感情や自我の自覚を与えると性能が出る」と紹介された論文を読んでみた

Xで「最近の研究だとLLMに感情や自我の自覚を与えたほうが性能が出るとされています」と書いて、arXivの Large Emotional World Model を挙げている人がいた。
天津大学のChanghao Songらの論文で、v1が2025年12月30日、v2が2026年7月29日に出ている。

読んでみたら、動画に映っている人物の感情を7クラスの離散ラベルとして予測して、そのラベルを条件にして次の世界状態を予測するという作りで、モデル自身に感情を持たせる話ではなかった。
「自我」や「自己認識」に当たる語も本文に一度も出てこないので、要旨の数字がどこから出ているのかも含めて確かめてみた。

LEWMの問題設定

論文は、Sora、Genie、Cosmosのように映像のフレームやシーン、行動に応じた先の展開をそのまま生成する系統と、DreamerやJEPAのように内部表現の先を予測する系統を挙げ、どちらも感情を状態の1つとして持っている例はまれだとしている。

時刻 $t$ の観測状態 $\mathcal{S}_t$ 、感情状態 $\mathcal{E}_t$ 、その間の行動軌跡 $\mathcal{H}_t$ （その間に起きた行動をテキストで書いたもの）を与えて、 $t+1$ の状態と感情をまとめて予測する。

p(\mathcal{S}_{t+1}, \mathcal{E}_{t+1} \mid \mathcal{S}_t, \mathcal{E}_t, \mathcal{H}_t)

LEWMはこれを2段に分ける。

p(\mathcal{E}_{t+1} \mid \mathcal{S}_t, \mathcal{E}_t, \mathcal{H}_t) \times p(\mathcal{S}_{t+1} \mid \mathcal{S}_t, \mathcal{E}_t, \mathcal{H}_t, \mathcal{E}_{t+1})

前半が未来の感情の予測、後半がその感情を条件にした未来状態の予測にあたる。
$\mathcal{S}_t$ は同期した動画・音声・画像の組で、 $\mathcal{E}_t$ は画面に映る人物の感情ラベルを指す。

EWHデータセットの作り方

EWH（Emotion-Why-How）はこの論文が新しく作ったデータセットで、TikTokとDouyinから感情や行動の転換点がある一人称動画を2,258本集め、さらに8本のテレビドラマから1,583エピソード、630時間超を足している。
使っているのはDesperate Housewives、Frasier、Friends、How I Met Your Mother、Modern Family、The Big Bang Theory、The Office、This Is Usで、対人のやり取りと感情的な行動が多いという理由で選んでいる。場面は家庭・職場・教育・食事・旅行・医療・公共の場が入っている。

ショット境界を検出して5〜15秒のクリップに切り、Qwen3.5-VLに主役の人物を特定させて行動のタイムラインを作らせる。
そのタイムラインを読んだGPT-5が、各フェーズの感情をneutral、happiness、sadness、anger、fear、surprise、disgustの7ラベルのどれかに決める。
neutralがどういう状態かは論文に書いていないが、残り6つのどれでもないときにつけるラベルと読める。
データセットに入れるのは、neutral以外の感情から別の感情に変わって、そのあと動きや作業への集中、人との接し方や相手まで変わり、それがしばらく続いたものだけ。一瞬の表情や軽い姿勢の変化、いつもどおりの行動、作業の都合や外から言われてやった行動は入れていない。
同じクリップにこの処理を5回かけ、変わる前と変わった後の感情の組が3回以上同じになったものだけを残した。
24万221件の候補から1万850件が残り、3人の作業者が1割を検証したFleissの $\kappa$ （評価者どうしの一致度）は、感情の変化の妥当性、感情ラベルの妥当性、クリップの区切りの正しさの順に0.82、0.76、0.65だった。

つまりここでの「感情」は、クリップに映る主役1人にこの7つのどれか1つを当てたラベルを指す。

感情ラベルの入れ方と損失

入力側では、モダリティ（動画・音声・画像といった入力の種類）ごとの特徴を線形層を1つ通してLLMの埋め込み空間へ移す。
感情状態は学習可能な感情埋め込みテーブルを引いて同じ空間のベクトルにし、<eBOS> と <eEOS> という境界トークンで挟んで文脈に並べる。

未来の感情は、LLMが文脈を読んで出した隠れ表現 $z_t$ に感情ヘッド $W_e$ をかけ、 $\mathrm{Softmax}(W_e z_t)$ で7クラスの分布として出し、その中で最も確率の高い1つを選ぶ。
選んだラベルを同じテーブルでベクトルへ戻し、文脈の末尾へ追加する。
あとはその文脈から未来状態の生成トークンを自己回帰で出力させ、モダリティごとのデコーダーが動画・音声・画像へ復元する。

flowchart TD
    A[動画・音声・画像の現在状態] --> B[モダリティごとのエンコーダと線形層]
    C[現在の感情ラベル] --> D[感情埋め込みテーブル]
    F[行動軌跡のテキスト] --> E[LLMバックボーン]
    B --> E
    D --> E
    E --> G[感情ヘッドが7クラスの分布を出す]
    G --> H[最も確率の高い1ラベルを選ぶ]
    H --> I[同じテーブルでベクトル化して文脈へ追加]
    I --> J[生成トークン列から未来の動画・音声・画像を復元]

学習では、言語モデリング損失に、未来状態と正解状態の埋め込み空間での距離と、未来感情のクロスエントロピー（予測した分布と正解のずれ）を足し合わせる。

\mathcal{L} = \mathcal{L}_{\mathrm{LM}} + \alpha \mathcal{L}_{\mathrm{state}} + \lambda \mathcal{L}_{\mathrm{emotion}}

論文自身、予測した感情だけで状態が決まらないように、隠れ表現 $z_t$ もそのまま文脈に残して状態を予測する、と書いている。
感情の予測が完全でないときのための作りだという説明だ。

論文中の自我・自己認識の語

v2のHTML全文で語を数えると、awareness、consciousness、self-aware、subjective、theory of mindはいずれも0件だった。
selfの付く語は参考文献のSelf-supervisedが1件しかない。

論文が導入するとしているのは人間の感情（human emotion）で、要旨には「we introduce human emotion as a key state variable in world models」とある。
モデル自身の内部状態ではなく、モデルが当てにいく対象としての人間の感情を指している。

モデル側の内部状態を扱った研究なら、Anthropicが2026年4月に出した感情ベクトルの論文がある。Claude Sonnet 4.5の内部に感情へ対応する171個の表現パターンを見つけたものだ。
あちらはモデルの内部表現を測っていて、LEWMのほうは画面に映る人間の感情を予測している。

読んだ限りでは、AIが感情を持ったという話ではどう考えてもなく、どちらかというと人の感情の流れを読んで次を見立てさせる、空気を読ませるような方向の研究に思える。

要旨の数字がどこから出ているか

要旨に出てくる45.72%、3.94%、17.47%、6.10%は、ベンチマークも比較の相手もそれぞれ違う。

数字	ベンチマーク	何の比較か
45.72%	EWH	音声と画像から動画を予測するタスクでのWorldGPTとの差
3.94%	WorldNet（WorldGPT側の物理世界データセット）	3モダリティから音声を予測するタスクでのWorldGPTとの差
17.47%	MELD（Friendsの会話を使った感情認識データセット）	感情極性（肯定・中立・否定）の3クラス設定でのWeighted-F1の差
6.10%	MMLU	政治学カテゴリ単体の差

論文の表3（WorldNetとEWHの比較表）の指標はコサイン類似度で、要旨が使っている「accuracy improvement」という語とは一致しない。
45.72という数字も、表3の該当行を引くと 0.6727 − 0.2155 = 0.4572 で、割合ではなく類似度の差をそのまま100倍したものだ。
本文には45.73%という別の値も出てくるが、こちらは3モダリティ入力の行の 0.6723 − 0.2150 にあたる。

MMLUの6.10%は、感情を加えたことで一般推論の性能が落ちていないかを確認する節に出てくる。
論文の書き方は「performance fluctuates across individual categories, LEWM remains overall comparable to WorldGPT」で、全体としては同等と書いたうえで、一番伸びたカテゴリとして政治学の6.10%を挙げている。
VQAv2では動物カテゴリの5.95%が最大、HellaSwagは最大1.24%、NExT-QAは2.36%だった。

MELDの17.47%も粒度で数字が変わる。
感情極性の3クラス設定では正解率で15.78ポイント、Weighted-F1（クラスごとのF1を件数で重み付けした平均）で17.47ポイント伸びるが、細かい感情ラベルの設定になるとMELDで3.37ポイント、中国語のマルチモーダル感情データセットCMMAで2.92ポイントまで下がる。

データセットの効果と感情機構の効果を分ける

論文にはLEWM*という比較対象があって、WorldGPTのアーキテクチャを変えずにEWHでファインチューニングしただけのもので、データセットの効果と感情機構の効果を分けるために用意されている。

EWHで、画像から画像、動画から動画のように入出力が同じモダリティの予測をコサイン類似度で比べると、内訳はこんな感じ。

モダリティ	WorldGPT	LEWM*（EWHで学習）	LEWM（感情機構あり）
画像	0.4157	0.5950	0.5967
動画	0.2232	0.5572	0.6732
音声	0.2544	0.2974	0.4949

画像は、EWHで学習した時点で0.4157から0.5950まで上がった。そこへ感情機構を加えて増えるのは0.0017で、伸びのほぼ全部がデータセット側にある。
動画のほうは、データセットで33.40ポイント、機構で11.60ポイント伸びた。
音声だけは4.30ポイントがデータセットで19.75ポイントが機構と、機構側の効果が上回った。

感情を条件から外したときの並び

要素を外して効果を測るアブレーションでは、感情の入れ方を変えた条件が並んでいる。
感情入力を全部落としたNo Emotion、現在の感情だけを使うCurrent Only、予測した未来感情のラベル1つを条件にするHard Future、その分布全体を条件にするSoft Future、それに正解の未来感情をそのまま与えるOracle Futureがある。

条件	画像	動画	音声
WorldGPT	0.4226	0.2175	0.2493
No Emotion	0.5950	0.5572	0.2974
Current Only	0.5378	0.6649	0.2912
Hard Future	0.5407	0.6606	0.2884
Soft Future	0.5594	0.6593	0.3069
Oracle Future	0.4690	0.7515	0.4100
LEWM	0.5967	0.6732	0.4949

画像列では、感情を全部落としたNo Emotionの0.5950が、感情を入れた中間の3条件より高い。
このNo Emotionの3つの値は、表3のLEWM*と同じ数字になっている。

論文がOracle Futureについて書いているのはSoft Futureとの比較だけで、動画が9.22ポイント、音声が10.31ポイントの上積みという記述にとどまる。
その表の音声列では、正解の未来感情を与えたOracle Futureが0.4100で、完全版のLEWMの0.4949を下回る。この逆転への言及は本文にない。

ちなみにラベルはデータセット構築の節で7つと定義されているのに、感情を別の値に置き換える介入の節では「each of the eight emotions」と書かれ、感情の移り変わりの分析ではjoyという7つに含まれない語まで出てくる。