#検索

StackChan用の音声チャットサーバーで、ModelScope経由のQwen3.8-Maxが「今日の東京の天気」に答えられなかった原因を調べた。内蔵の検索は動いていたが当日のデータが無く、関数呼び出しとddgs・気象庁の予報JSON・ニュースのRSSに置き換えた。前日夜の予報が混ざる問題や、「調べるね」で返事が終わる問題の直し方まで。

DEV CommunityのBERT解説を、Google Searchでの2019年導入、masked language model、OCR校正やEmbedding検索との違いから読み直す。生成ではなく文脈を読むエンコーダーとして見ると使いどころがはっきりする。

Andrew Quinnのフィンランド語辞書tskで、3GBのSQLite FTSが10MBのRust FSTになった話を読む。前方一致、語形変化、静的データ、接尾辞の共有が揃うと何が起きるか。

辞書引き、全文検索、オートコンプリートなど検索系処理で使われるデータ構造を網羅的に解説する。Trie、ダブル配列、転置インデックス、接尾辞配列、B+木、LSM木など10種類のデータ構造の仕組みと使い分けを整理した。