AnimeGamer: ゲーム状態を理解してアニメ動画を生成するAI
Tencent ARC Labと香港城市大学が共同開発したAnimeGamerは、アニメスタイルのゲームシミュレーション動画生成に特化したモデル。ICCV 2025に採択された研究で、SoraやRunwayのような汎用動画生成AIとは根本的に異なるアプローチを取っている。
何が違うのか
一般的な動画生成AIは「テキストから動画を生成する」汎用ツール。一方AnimeGamerは「ゲームの状態を理解しながら動画を生成する」ことに特化している。
| 観点 | AnimeGamer | Sora/Runway等 |
|---|---|---|
| 特化領域 | アニメゲームのライフシミュレーション | 汎用動画生成 |
| 状態追跡 | ゲーム状態予測を統合 | なし |
| コンテキスト | 過去フレームを明示的に組み込む | フレーム間の連続性が弱い |
デモ動画: ジブリキャラが登場
公開されているデモ動画では、以下のジブリ作品のキャラクターが題材として使われている:
- 崖の上のポニョ: 宗介がゲーム世界を探索する動画
- 魔女の宅急便: キキが空を飛ぶ動画
- 天空の城ラピュタ: パズーが登場する動画
面白いのは、異なるアニメ作品のキャラクターを同じ世界に登場させた動画を生成できること。例えばパズーがキキの箒で飛ぶ、といった組み合わせの動画が作れる。
なお、リアルタイムで操作する「ゲーム」ではない。テキストで指示を与えると、それに応じた動画クリップが生成される仕組み。
キャラクター状態の管理
AnimeGamerはゲームらしく、キャラクターに複数のステータス値を持たせている:
- スタミナ: 行動で消費、休憩で回復
- 社交値: 他キャラとの交流で変動
- エンターテイメント値: 楽しい活動で上昇
これらの値がゲームの進行に影響し、一貫性のあるシミュレーションを実現している。
技術的な特徴
次のゲーム状態予測（Next Game State Prediction）
キャラクターの動きと状態変化を同時に生成する。例えばRPGなら、キャラクターの位置、HP、行動状態などを追跡しながら、それに対応したアニメーションを生成できる。
コンテキスト一貫性の維持
過去のフレーム情報を明示的に取り込んで、シーン全体の連続性を保証する。一般的な動画生成AIでありがちな「途中でキャラクターの見た目が変わる」問題を軽減。紫の車や森の背景といった要素が、複数ターンにわたって一貫して描かれる。
マルチモーダルLLMの活用
テキストプロンプトと過去のビジュアルコンテキストを組み合わせて、アクションを認識・生成する。単純なText-to-Videoではなく、ゲーム的な文脈を理解した生成が可能。
試してみる
ローカルでGradioデモを動かせる。要件はそこそこ重いが、興味があればGitHubからセットアップ可能。
python app.py