AIエージェントの利用状況を可視化：OpenTelemetryとAWSで「誰が、何を、どれだけ」使ったかを追跡する手法
AIエージェントを組織に導入した後、単に「利用者が増えた」という表面的な指標だけでは、真の運用改善やコスト最適化は困難です。本記事は、この課題を解決するため、OpenTelemetry (OTel) を利用してAIエージェントの利用データを詳細に可視化する技術的な手法を解説しています。
具体的には、AWS環境上にOTelの受け口（Collector）を構築し、すべての利用イベントを単一のテレメトリパイプラインに集約します。このシステムは、Claude CodeなどのAIエージェントから送信されるAPIリクエストイベントやツール実行イベントをキャッチし、CloudWatch Logsへ保存します。これにより、利用状況を「ユーザー」「モデル」「ツール」という3つの軸で同時に分析することが可能になります。
ダッシュボードでは、以下の5つの重要な問いに答えることができ、運用判断の材料となります。①ユーザー別・日別の推定コスト、②モデル別の利用状況、③入出力トークン数の推移、④使用されたツールランキング、⑤アクティブセッション数です。特に、どのツールが実際に使われているかという定量的なデータは、利用者への聞き取りよりも早く、具体的な改善点を発見する鍵となります。
この仕組みを構築するには、AWS CDKを用いてVPC、ALB、ECS Fargate、CloudWatchなどのリソースを定義し、OTel Collectorを設定します。セキュリティ面では、Bearer Token認証とHTTPS化が必須であり、個人情報（user.emailなど）の取り扱いには、保持期間やアクセス権限の厳格な管理が求められます。本手法は、AIエージェントの導入を「終わり」ではなく、「利用方法を観測し、改善するプロセス」として捉え直すための重要な基盤となります。
背景
AIエージェントの企業導入が進む中で、単なる利用回数やコストの合計だけでは、どの機能が真に価値を提供しているのか、また利用が偏っていないかといった深い洞察を得ることが難しくなっています。本記事は、この「ブラックボックス化」した利用状況を、技術的に可視化し、運用改善サイクルを回すための具体的なデータ基盤構築法を提示しています。
重要用語解説
- OpenTelemetry (OTel): 分散トレーシングやメトリクスを標準化されたプロトコルで収集するための仕組み。これにより、異なるAIエージェントやシステムから発生する利用データを統一的に収集できます。
- OTel Collector: OpenTelemetryのデータを実際に受け取り、認証やデータ形式の変換（処理）を行い、最終的な保存先（CloudWatchなど）へ振り分ける役割を担う常駐プロセスです。
- CloudWatch Dashboard: AWSが提供する監視サービス。集約されたログやメトリクスを、ユーザー別、モデル別、ツール別といった多角的な視点からグラフ化し、運用判断を支援します。
今後の影響
本手法を導入することで、AIエージェントの利用状況が「感覚的」な判断から「データドリブン」な運用改善へと移行します。これにより、利用コストの最適化、使われていない機能の特定、そしてユーザーへの適切なトレーニングや機能改善の優先順位付けが可能となり、AI投資対効果（ROI）の最大化に直結します。