#Chroma

DEV記事のPDF RAGをM1 Max 64GBで実装し、CLIPで画像、bge-m3 + Qwen3.6 35Bで日本語まで通した実験ログ。モダリティギャップ、推論サーバー並走クラッシュ、LLM-jp 4-8Bの指示追従失敗まで実機の挙動を記録。

DEV Communityの記事をもとに、FastAPIでOpenAI互換RAG APIを作り、llama.cpp、Chroma、Open WebUIをつなぐ構成の位置づけと実装上の落とし穴を整理する。

RAGの基礎とベクトルDBの仕組みから解説し、MintlifyがRAGを捨ててUNIXコマンドをChromaDBクエリに変換する仮想ファイルシステムChromaFsに切り替えた設計と実装を掘り下げる。

Chromaが公開した20Bパラメータの自己編集型検索エージェント。コンテキストを動的にプルーニングしながらマルチホップ検索を行い、フロンティアモデルの1/10コスト・最大10倍速のレイテンシで同等以上の精度を示す。重みはApache 2.0で公開。