#LLM

LFM2.5 — Transformerでもない、Mambaでもないハイブリッドアーキテクチャ

Liquid AIのLFM2.5は、短距離畳み込みとAttentionのハイブリッドで、SSMを使わずにエッジ最適化を実現した。アーキテクチャの仕組み、ベンチマーク、コミュニティ活用例をまとめた。

Qwen3-TTS - pip一発で使えるオープンソース音声合成

Alibaba Qwenチームが公開したQwen3-TTSの技術解説。pip install一発でセットアップ完了、3秒のボイスクローン、自然言語での声デザイン、日本語含む10言語対応。Apache 2.0ライセンス。

Qwen3-Omni: 3BアクティブのMoEでテキスト・画像・音声・動画を統合処理するオムニモーダルモデル

Alibabaが公開したQwen3-Omni-30B-A3Bの技術解説。30Bパラメータ中3Bのみアクティベートするオムニモーダルモデルで、テキスト・画像・音声・動画の入力から音声付きで応答する。Thinker-Talkerアーキテクチャ、ベンチマーク、Qwen3 MoEファミリーの全体像を整理した。

UI-TARS-1.5-7B: GUIグラウンディングでSOTAを達成したVision AIエージェント

ByteDanceが公開したUI-TARS-1.5-7Bの技術解説。スクリーンショットからGUI要素を特定する精度でOpenAI CUAやClaude 3.7を大幅に上回る。デスクトップアプリも提供され、ローカルで動作可能。

Qwen3-Coder-Next: 3Bアクティブパラメータでローカル動作するコーディングエージェント

Alibabaが公開したQwen3-Coder-Nextの技術解説。80Bパラメータながら3Bのみアクティベートする超効率MoEで、RTX 4090単体でも動作。SWE-Bench 70%超えの実力をローカルで。

Attention SinksとResidual Sinksの統一的理解 ― LLMの「外れ値」は訓練安定化の仕組みだった

Transformerの謎の挙動「特定トークンへの注意集中」と「特定次元での大きな活性化」が、実は同じ機構だったという論文の解説。

MarkItDown — MicrosoftのドキュメントをMarkdownに変換するPythonツール

PDF、Word、Excel、PowerPointなど多様なファイル形式をMarkdownに変換するMicrosoft製ツール。LLMパイプラインとの統合やMCPサーバー対応も。

OpenRouterの無料モデルとFreeルーターを調べた

OpenRouterが提供する無料モデルの仕組み、レート制限、エージェント利用時の注意点についてまとめた

Power Sampling：強化学習なしでLLMの推論能力を引き出す

RLで学習させなくても、推論時のサンプリング戦略を変えるだけでLLMの推論性能が向上する。Haitham Bou Ammar氏の記事をもとに、Power Samplingの仕組みと実務的なインパクトを解説する。

PageIndex — ベクトル検索なしでLLM推論だけのツリーRAG

チャンキングもベクトルDBも使わず、LLMの推論で文書の階層ツリーを構築するRAGシステム「PageIndex」を調べた。段組認識やOCRパイプラインとの接続も考察。

Gradience: LoRAアダプタのランクが本当に必要か、スペクトル監査で測定するツール

LoRAのrank設定が過剰かどうかを特異値分解で定量化するツールGradienceの紹介。Mistral-7Bでの実験ではrank半減で精度が向上した。

Kimi K2.5: 1兆パラメータMoEのネイティブマルチモーダルエージェントモデル

Moonshot AIがリリースしたKimi K2.5の技術的特徴を紹介。1TパラメータMoEアーキテクチャ、MoonViTビジョンエンコーダー、Agent Swarm（PARL）、ベンチマーク結果など。