#LLM

Attention SinksとResidual Sinksの統一的理解 ― LLMの「外れ値」は訓練安定化の仕組みだった

Transformerの謎の挙動「特定トークンへの注意集中」と「特定次元での大きな活性化」が、実は同じ機構だったという論文の解説。

MarkItDown — MicrosoftのドキュメントをMarkdownに変換するPythonツール

PDF、Word、Excel、PowerPointなど多様なファイル形式をMarkdownに変換するMicrosoft製ツール。LLMパイプラインとの統合やMCPサーバー対応も。

OpenRouterの無料モデルとFreeルーターを調べた

OpenRouterが提供する無料モデルの仕組み、レート制限、エージェント利用時の注意点についてまとめた

Power Sampling：強化学習なしでLLMの推論能力を引き出す

RLで学習させなくても、推論時のサンプリング戦略を変えるだけでLLMの推論性能が向上する。Haitham Bou Ammar氏の記事をもとに、Power Samplingの仕組みと実務的なインパクトを解説する。

PageIndex — ベクトル検索なしでLLM推論だけのツリーRAG

チャンキングもベクトルDBも使わず、LLMの推論で文書の階層ツリーを構築するRAGシステム「PageIndex」を調べた。段組認識やOCRパイプラインとの接続も考察。

Gradience: LoRAアダプタのランクが本当に必要か、スペクトル監査で測定するツール

LoRAのrank設定が過剰かどうかを特異値分解で定量化するツールGradienceの紹介。Mistral-7Bでの実験ではrank半減で精度が向上した。

Kimi K2.5: 1兆パラメータMoEのネイティブマルチモーダルエージェントモデル

Moonshot AIがリリースしたKimi K2.5の技術的特徴を紹介。1TパラメータMoEアーキテクチャ、MoonViTビジョンエンコーダー、Agent Swarm（PARL）、ベンチマーク結果など。

Not All Bits Are Equal: 推論モデルのメモリ配分に万能解はない

推論モデルでメモリをどう配分すべきか。1700実験から導かれた量子化・KVキャッシュ・推論長のトレードオフを解説する。

Claude Code Best PracticesとAgent SDKの公式ガイドまとめ

AnthropicがClaude Codeの使い方とAgent SDKによるエージェント構築について公式ガイドを公開した。2つのドキュメントの要点を解説。

AIと喋れる環境を作る（3）キャラクター設定編

Gemini、Claude、OpenAIの各APIでキャラクター設定を行い、ロールプレイ的な会話を実現する方法を比較。System Prompt、Prefill、構造化出力などの実装例を紹介。

【RAG】Mac mini M4 Pro + Difyで社内ヘルプデスクを構築する2025（前編）

Mac mini M4 ProとDifyを使った社内ヘルプデスクRAGシステムの構築計画。2025年版Difyの進化ポイントと、ローカルLLM運用のコツをまとめました。

【生成AI】仕事でLLM / RAG導入するので空き時間でLoRA作ってみる2025（前編）

社内RAG構築のためにMac mini M4 Proを導入予定。仕様が固まるまでの空き時間でLoRA学習環境を構築する計画をまとめました。