リアルタイム音声AIの課題を解決：STT確定ログによる「発話確定権」の設計
本稿は、リアルタイム音声対話AI（AIコンパニオン、音声アシスタントなど）において、音声認識（STT）の不安定な出力が原因で、大規模言語モデル（LLM）が同じ発話に対して複数の回答を生成してしまう「二重起動」の問題を解決するための技術的アプローチを解説しています。従来のパイプラインでは、STTが提供する`partial`（途中経過）、`final`（確定候補）、`revision`（訂正）といったイベントをそのままLLMに渡すため、AIがどの文字列を一つのユーザー発話として確定すべきか判断できず、誤作動を引き起こします。
この問題を解決するため、筆者はSTTとLLMの間に「確定ログ（Turn Ledger）」という新しい役割を導入することを提案しています。このログは、単なるテキストの受け渡し役ではなく、発話の「確定権」をアプリケーション側に持たせるゲートウェイとして機能します。具体的な仕組みとして、以下の点が挙げられます。第一に、古い認識結果（revision）は破棄し、`partial`段階ではLLMを起動しません。第二に、`final`を受信した後、設定可能な短い確定待ち時間（`settle_ms`）を設けることで、連続する訂正を吸収します。第三に、この確定ログを経由したターンのみをLLMへ一度だけリクエストします。これにより、LLMは常に単一で確定した文脈に基づいて応答を生成できます。さらに、LLM障害時も固定の復旧文を使用し、同じターンを無制限に再送することを防ぐなど、堅牢な復旧条件の設計が重要であると強調しています。この設計により、AIの応答能力と、発話の確定・制御という人間の判断を明確に分離することが可能になります。
背景
リアルタイム音声対話AIの普及に伴い、ユーザーの自然な発話の揺らぎや、STT（音声認識）の認識結果の更新（partial/final/revision）が課題となっています。従来のシステムでは、これらの流動的なデータをそのままLLMに渡すため、AIが文脈を誤認し、同じ発話に対して複数の矛盾した回答を生成してしまうという、実用上の大きな障壁が存在していました。
重要用語解説
- STT: Speech-to-Textの略。ユーザーの音声入力をテキストデータに変換する技術。リアルタイム音声AIの入力源となる。
- LLM: Large Language Modelの略。大量のデータで学習した大規模言語モデル。文脈に基づいた自然な応答生成を担うAIの中核技術。
- 確定ログ（Turn Ledger）: STTの流動的なイベントとLLMの処理の間を挟む中間層。発話の確定タイミングや、LLMへのリクエストを単一化し、AIに「発話確定権」を与える役割を果たす。
- 影響: 本アプローチは、単にLLMの性能向上に依存するのではなく、システムアーキテクチャの設計段階で「発話の確定条件」と「エラー時の復旧条件」を明確に定義することの重要性を示しています。これにより、AIコンパニオンや音声アシスタントの信頼性が飛躍的に向上し、実用的な会話体験の実現に大きく貢献すると予想されます。今後の開発では、この確定ログの設計が標準的なインターフェースとなる可能性があります。