#TTS

話しかけると絵を描くSGP611に中継の受付を入れ、時刻1440通りとRSSネタの音声を事前生成して約10秒の応答を2〜3秒に短縮した実機記録。会話をLLM履歴へ書き戻すPOST /turnや、Voskでのオフライン・ウェイクワード常時認識、Ubuntu常駐とTailscaleによるPCレス化まで。

Qwen3-EmbeddingとQdrantの長期記憶をStackChan用の音声チャットサーバーに組み込み、会話から事実文を自動で抜き出して後から聞き返すテストを音声で通した。ラーメンとギターは思い出せたが、箱根の予定だけは疑問符の全角と半角で判定が変わるほど、しきい値0.45すれすれのスコアだった。

M5Stack CoreS3を載せたStackChan Bodyで、頭のタッチで話しかける音声チャットを組んだ。起動直後にタッチの誤検出で録音が走り、サーバーのQwen3-ASRが無音からヒント語を書き起こして返事まで作っていた現象の切り分け。端末・中継・サーバーの対策から表情切り替え、フィラーの作り直し、声の途切れで送る操作への変更まで。

M5Stack CoreS3を載せたStackChan Bodyで、上面の3ゾーン静電タッチをKeyユニットの代わりに使えるか実機で確認した。叩く・撫でるの判定ログ、撫でる速さの範囲、首振りのあとタッチが触れっぱなしのまま戻らない現象と、再キャリブレーションでの回避まで。

RTX 3050 Ti 4GBノートで動かしている音声チャットサーバーにQwen3.8-Omni-Flashを導入した。ModelScope APIでの音声直接入力でSTTとLLMをまとめ、CPU常駐のQwen3-ASRを外してサーバープロセスのメモリを1.3GBから118MBへ削減。アイドル復帰待ちの解消と応答速度を実測した。

Windows 11、AMD Ryzen 7 5800HS、RAM16GBの本番機で、Qwen3-Embedding-0.6BのローカルCPU実行とModelScope API経由を実測し、TTS・ASRが常駐した実運用状態で同時に動かした場合の干渉も測った。ローカルは音声応答も道連れに遅くしたが、API経由は劣化しなかった。

RTX 3050 TiノートとCoreS3の既存音声チャットへ、Qwen3-EmbeddingとQdrantによる長期記憶を足す。StackChanWorldのAPIへ依存せず、会話ログ、検索用メモリ、人格、身体を分離する実装前の設計をまとめた。

資格試験教科書のPDF抽出テキストをQwen3.8 Max previewで整形し、RunPodの4090上のIrodori-TTS 5プロセスで素読み15時間と掛け合い23時間の音声教材を生成した。reasoning_effortの18倍高速化、CUDA故障ホストの切り分け、実効13倍速の並列構成まで全部書く。

音声を受け取って返答音声で返すサーバーをRTX 3050 Ti 4GBの一台構成で組んだ。kotoba-whisperとQwen3-ASR-0.6BのSTT比較、文単位ストリーミングTTS、フィラー音声で待ち時間を埋めた設計、実測タイムラインまでまとめた。

Flow MatchingベースのローカルTTS「Irodori-TTS」をWindows + RTX 3050 Ti Laptop（VRAM 4GB）で実行。通常のTTS生成とボイスクローンの音声サンプル、所要時間、MP3のお手本でFFmpegのDLLエラーが出る問題の回避策をまとめた。

ZyphraのZONOS2を、VRAM 8GBのRTX 4060 Laptop（WSL2）でローカル実行した記録。システムメモリフォールバック＋KVキャッシュ手動指定＋CUDAツールキットで日本語音声の生成まで到達したが、速度は実時間の約1/20。人名「かな」が「仮名」アクセントになる問題と表記での回避も、聞き比べ音声つきで検証した。

VoxCPM2のtokenizer-free方式を起点に、F5-TTSやCosyVoice2など7モデルの方向の違い、Irodori-TTSやStyle-Bert-VITS2など日本語特化TTSの位置づけ、台本+OpenJTalkで音素を作る学習データの仕組み、ボイスクローン悪用リスクまでを整理した。