#STT

Qwen3-EmbeddingとQdrantの長期記憶をStackChan用の音声チャットサーバーに組み込み、会話から事実文を自動で抜き出して後から聞き返すテストを音声で通した。ラーメンとギターは思い出せたが、箱根の予定だけは疑問符の全角と半角で判定が変わるほど、しきい値0.45すれすれのスコアだった。

M5Stack CoreS3を載せたStackChan Bodyで、頭のタッチで話しかける音声チャットを組んだ。起動直後にタッチの誤検出で録音が走り、サーバーのQwen3-ASRが無音からヒント語を書き起こして返事まで作っていた現象の切り分け。端末・中継・サーバーの対策から表情切り替え、フィラーの作り直し、声の途切れで送る操作への変更まで。

RTX 3050 Ti 4GBノートで動かしている音声チャットサーバーにQwen3.8-Omni-Flashを導入した。ModelScope APIでの音声直接入力でSTTとLLMをまとめ、CPU常駐のQwen3-ASRを外してサーバープロセスのメモリを1.3GBから118MBへ削減。アイドル復帰待ちの解消と応答速度を実測した。

Windows 11、AMD Ryzen 7 5800HS、RAM16GBの本番機で、Qwen3-Embedding-0.6BのローカルCPU実行とModelScope API経由を実測し、TTS・ASRが常駐した実運用状態で同時に動かした場合の干渉も測った。ローカルは音声応答も道連れに遅くしたが、API経由は劣化しなかった。

RTX 3050 TiノートとCoreS3の既存音声チャットへ、Qwen3-EmbeddingとQdrantによる長期記憶を足す。StackChanWorldのAPIへ依存せず、会話ログ、検索用メモリ、人格、身体を分離する実装前の設計をまとめた。

音声を受け取って返答音声で返すサーバーをRTX 3050 Ti 4GBの一台構成で組んだ。kotoba-whisperとQwen3-ASR-0.6BのSTT比較、文単位ストリーミングTTS、フィラー音声で待ち時間を埋めた設計、実測タイムラインまでまとめた。

NII/LLMCが公開したCC AudioとArchive.org Audio Datasetを、URLリスト、メタデータ、TTS学習、Embedding解析の違いから読む。

キャラ付けAI+アバター+音声会話を目指して、まずは音声APIを比較調査してみた