EVA-Bench Data 2.0が公開：航空、IT、医療の3分野で213のシナリオを提供
本記事は、音声エージェントの評価ベンチマーク「EVA-Bench」のバージョン2.0のリリースについて詳細に解説しています。音声エージェントの性能は、特定の業務領域（ドメイン）に強く依存するため、EVA-Benchは評価範囲を単一のエンタープライズドメインから3つに大幅に拡大しました。具体的には、「航空顧客サービス管理（CSM）」、「エンタープライズITサービス管理（ITSM）」、そして「ヘルスケアHRサービス提供（HRSD）」の3つのドメインをカバーしています。これにより、評価シナリオは合計213に及び、元のリリースから約4倍の網羅性を実現しました。
このベンチマークは、単にシナリオを増やすだけでなく、高い信頼性と公平性を確保するために設計されています。すべてのシナリオは、OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6という3つの最先端モデルを用いて解決可能性が検証されています。また、単なる「ハッピーパス」な成功事例だけでなく、ユーザーの目標が達成不可能であるケースや、ユーザーがトラブルシューティング手順を回避しようとする「敵対的（adversarial）」なコールなど、現実の複雑なコールパターンを網羅しています。
データ設計においては、「ボイスファースト」の原則に基づき、実際に電話で処理されるタスクに焦点を当てています。さらに、シナリオ生成にはSyGraというグラフベースの合成データ生成パイプラインが用いられ、ユーザーの目標、初期データベース、期待される最終データベース状態の3つの要素を共同で生成（Joint generation）することで、データ間の矛盾を徹底的に排除しています。この厳格なプロセスにより、評価の再現性が保証されています。今後は、英語圏に留まらない多言語対応の拡張も予定されています。
背景
音声エージェント（ボイスエージェント）の性能評価は、単一のタスクでは限界があります。本ニュースは、複数の異なる業務領域（ドメイン）におけるエージェントの適応能力を測るための、より包括的で信頼性の高いベンチマークの必要性から生まれました。
重要用語解説
- EVA-Bench: 音声エージェントの性能を評価するためのベンチマークデータセット。複数の異なる業務ドメイン（航空、IT、医療など）における現実的なシナリオを網羅している。
- Joint generation: シナリオの3つの主要コンポーネント（ユーザー目標、初期DB、最終DB）を独立ではなく、相互に一貫性を持たせて同時に生成するプロセス。データの信頼性を高める。
- Adversarial calls: コール担当者が、トラブルシューティング手順を回避したり、緊急度を誤分類したりするなど、意図的に困難な状況を作り出す、現実的なコールパターン。
今後の影響
本ベンチマークの公開により、企業は自社のボイスエージェントが特定の業務領域だけでなく、多様な現実のシナリオでどの程度の汎用性とロバスト性を持つかを客観的に測定できるようになります。これにより、AIエージェントの信頼性向上と、より実用的なエンタープライズAI導入が加速すると予想されます。