#マルチモーダル

arXivのLarge Emotional World Modelは、動画に映る人物の感情を7クラスのラベルとして予測し、それを条件にして次の状態を予測する。要旨の45.72%や6.10%がどのベンチマークのどの比較から出た数字なのか、データセットの効果と感情機構の効果を分けて調べた。

QwenLM公式のQwen-MM-Pluginsからcoreだけを16GBのM4 Mac miniに入れた。Claude Codeはプラグイン経由だとツール名にplugin_が付いて許可設定が通らず、Codexはexecの既定でMCP呼び出しが承認待ちで落ちる。画像・PDF・SVG・CSV・STL・動画をAPIキーなしで読ませた記録。

Gemma 4 12B UnifiedはVision Encoderを持たない。E4Bの150M 16層Transformerが35Mの線形投影に変わり、パッチ間アテンションはLLM本体48層の双方向アテンションに吸収されている。Fuyu、EVE、Mono-InternVLの先行研究から、encoder-free設計が何を捨てて何で補っているかを掘った。

ByteDanceのLanceを一次情報で確認。3Bの統合マルチモーダルモデルで、画像・動画の理解、生成、編集を1つのCLIから扱える一方、推論には40GB以上のVRAMが要求される。

山火事避難ルーティングAIで、通行止めやAQI制約を後処理ではなく蒸留ロスに入れる手法。ルールエンジンとの違い、画像を見ない生徒モデルの限界、エッジ推論23msの実用性を検討した

XiaomiがMiMo-V2.5系列を2モデル同時公開。MiMo-V2.5-ProはSWE-bench Pro 57.2、Claw-Eval 63.8、τ3-Bench 72.9でフロンティア級、MiMo-V2.5はネイティブオムニモーダル＋1M context。現時点ではAPI専用でローカル実行は不可、オープン化は予告のみ。

Sentence Transformers v5.4がマルチモーダル対応を追加。Qwen3-VL、NVIDIA Nemotronなど8つのEmbeddingモデルと4つのRerankerを統一APIで扱えるようになった。

Google DeepMindがGemma 4をリリース。31B Dense、26B MoE（A4B）、E4B、E2Bの4モデルで、256Kコンテキスト、マルチモーダル入力、ツール呼び出し、140言語をサポートする。

Alibabaが公開したQwen3-Omni-30B-A3Bの技術解説。30Bパラメータ中3Bのみアクティベートするオムニモーダルモデルで、テキスト・画像・音声・動画の入力から音声付きで応答する。Thinker-Talkerアーキテクチャ、ベンチマーク、Qwen3 MoEファミリーの全体像を整理した。