Gemini 3.5 TranscribeとAgora Conversational AIによるリアルタイム音声AIエージェント構築ガイド
本記事は、Google Gemini 3.5 TranscribeとAgora Conversational AIを組み合わせ、高度なリアルタイム音声AIエージェントを構築する技術的な手順を詳細に解説しています。音声AIエージェントは通常、「ユーザー音声 $ ightarrow$ STT $ ightarrow$ LLM $ ightarrow$ TTS $ ightarrow$ ユーザー」というカスケード型のパイプラインで構成されます。本システムでは、Agora Conversational AIがこの一連の処理をリアルタイムRTCセッション内で管理することを可能にしています。
【Who/What】開発者は、Agora Agents SDK for TypeScriptを利用し、Gemini 3.5 TranscribeをSpeech-to-Text (STT)として、GeminiやOpenAI互換のLLMを応答生成に、ElevenLabsやGoogle TTSを音声出力に組み込むことで、柔軟なAIエージェントを構築できます。この構成の最大の利点は、特定のプロバイダーに依存しないモジュール性の高さにあります。
【How/Architecture】処理は、ユーザーがマイク音声（マイクロフォン）をAgora RTC経由でPublishすることから始まります。この音声はGemini 3.5 Transcribeに渡され、テキスト化（Transcript）されます。このテキストがLLMに入力され、応答が生成された後、TTSによって音声化され、再びRTCを通じてユーザーに返されます。一方、RTM（Real-Time Messaging）は、Transcript、Agent State、Metrics、Errorといったアプリケーションイベントのデータパスとして独立して利用されます。この分離により、音声データと制御データが明確に役割分担されています。
【Implementation】実装はサーバー側で行うことが必須であり、Google API Keyなどの機密情報はクライアント（ブラウザ）に渡されません。開発プロセスは、サーバー側でAgent Sessionを起動し、RTCおよびRTMのトークンを生成することから始まります。ブラウザ側は、このトークンを用いてRTCとRTMの両方に接続し、Agent Client Toolkitを初期化することで、リアルタイムの文字起こしやエージェントのメトリクスをイベントとして受信します。また、Gemini 3.5 Transcribeの利用時には、言語指定やカスタム語彙（custom_vocabulary）を設定することで、専門用語や固有名詞の認識精度を大幅に向上させることが可能です。
背景
近年、AI技術の進化に伴い、単なるチャットボットに留まらない、自然な音声対話が可能なAIエージェントの需要が高まっています。この技術は、音声認識（STT）、大規模言語モデル（LLM）、音声合成（TTS）という複数の高度な技術を、リアルタイムかつシームレスに連携させる必要があり、そのためのプラットフォーム構築が課題でした。
重要用語解説
- Agora Conversational AI: リアルタイム通信プラットフォームAgoraが提供する、音声AIエージェントの構築を支援するサービス。STT、LLM、TTSのパイプラインをRTCセッション内で統合的に管理できる点が特徴です。
- Gemini 3.5 Transcribe: Googleが提供する高性能な音声認識（STT）モデル。ユーザーの生音声を高精度にテキストデータに変換し、AIエージェントの入力として利用します。
- RTC/RTM: RTC（Real-Time Communication）はリアルタイムの音声・映像通信、RTM（Real-Time Messaging）はアプリケーションイベントやメタデータをリアルタイムで送受信するための通信プロトコルです。役割分担が明確です。
今後の影響
本技術の普及は、コールセンターや顧客サポート、教育分野における対話型AIの実現を加速させます。特に、サーバー側での機密情報管理と、複数のAIコンポーネントを柔軟に組み合わせられるモジュール性が、企業が独自の業務プロセスに合わせた高度なAIソリューションを迅速に導入することを可能にします。