#LLM

RLで学習させなくても、推論時のサンプリング戦略を変えるだけでLLMの推論性能が向上する。Haitham Bou Ammar氏の記事をもとに、Power Samplingの仕組みと実務的なインパクトを解説する。

チャンキングもベクトルDBも使わず、LLMの推論で文書の階層ツリーを構築するRAGシステム「PageIndex」を調べた。段組認識やOCRパイプラインとの接続も考察。

LoRAのrank設定が過剰かどうかを特異値分解で定量化するツールGradienceの紹介。Mistral-7Bでの実験ではrank半減で精度が向上した。

Moonshot AIがリリースしたKimi K2.5の技術的特徴を紹介。1TパラメータMoEアーキテクチャ、MoonViTビジョンエンコーダー、Agent Swarm（PARL）、ベンチマーク結果など。

推論モデルでメモリをどう配分すべきか。1700実験から導かれた量子化・KVキャッシュ・推論長のトレードオフを解説する。

AnthropicがClaude Codeの使い方とAgent SDKによるエージェント構築について公式ガイドを公開した。2つのドキュメントの要点を解説。

Gemini、Claude、OpenAIの各APIでキャラクター設定を行い、ロールプレイ的な会話を実現する方法を比較。System Prompt、Prefill、構造化出力などの実装例を紹介。

Mac mini M4 ProとDifyを使った社内ヘルプデスクRAGシステムの構築計画。2025年版Difyの進化ポイントと、ローカルLLM運用のコツをまとめました。

社内RAG構築のためにMac mini M4 Proを導入予定。仕様が固まるまでの空き時間でLoRA学習環境を構築する計画をまとめました。