#BERT

ブログの文体チェックが取りこぼすAI文体を小型エンコーダに学習させる前段。Claude Codeの会話履歴からEditツールの修正前後1,560ペア、WordPress時代の日記600文、公開済み記事622本の一括スキャンで学習データを集めた記録。

Qwen3.7 Max/PlusのAPIで、BERT抽出した139候補を日本語小説校正の4分類で判定。両モデルともほとんど直さず、閉じ括弧の句点や固有名詞の解釈、思考モードのオンオフでMaxとPlusの判定が割れた。

DEV CommunityのBERT解説を、Google Searchでの2019年導入、masked language model、OCR校正やEmbedding検索との違いから読み直す。生成ではなく文脈を読むエンコーダーとして見ると使いどころがはっきりする。

BERT perplexityスキャン→LLM判定→エスカレーションの3段パイプラインを、Win/Mac/Linux対応のPythonツールにパッケージング。インストーラーがllama-serverとGGUFモデルまで自動で落としてくる。

LUKE/BERTのfill-maskファインチューニングから始めて、perplexityベースの誤字検出→Qwen2.5 7Bでの修正判定→不一致時エスカレーションのパイプラインに至るまでの実験ログ。VRAM 8GBのRTX 4060 Laptopで完結する構成。