AIエージェントの回答精度が低い原因はモデルか？別モデルへの交換実験で「文脈設計」に構造的な問題が判明
本記事は、企業内の実務タスクにおいてAIエージェントが生成する回答の網羅率（recall）が著しく低い問題の原因を、AIモデルの性能に求めるか、それとも入力された文脈（コンテキスト）の設計に求めるかを切り分けるための統制実験の結果を報告しています。実務タスクの回答精度を評価したところ、網羅率（recall）は平均2.3/10という低い水準に留まっていました。当初、筆者はより高性能な最新モデルへの乗り換えが解決策だと推測していましたが、原因究明のため、正解基準AIと採点AIを固定し、回答生成AI（取得エージェント）のモデルのみを「Claude Sonnet」から「Codex（GPT系）」へと交換する実験を実施しました。その結果、モデルを系統的に変えたにもかかわらず、網羅率、そして具体的に見落とした項目やそのパターンが完全に一致するという結果が得られました。この「モデル非依存性」の事実は、回答の欠落が個々のモデルの推論能力の差によるものではなく、モデルに共通して渡されている入力データ（案件台帳の1行サマリ）の構造的な欠陥に起因することを決定的に示しました。特に、この台帳は「どの一次情報（メールや議事録）を根拠にしたか」という出典情報が欠落しており、AIは単なる古い記述を最新の事実として誤認していました。また、単に「最終更新日」が新しいという情報だけでは、記述内容の鮮度を保証できないことも判明しました。したがって、AIの回答精度を向上させるための投資先は、モデルの買い替えではなく、①台帳の各主張に一次情報への出典を義務付けること、②手動更新ではなく実作業ログからの機械的な書き戻し経路の確立、③参照ログを用いた欠落情報の検知メカニズムの構築という「文脈の出典設計」の改善に絞られるべきだと結論付けています。
背景
近年、企業内データ（一次情報）を活用したAIエージェントの導入が進んでいますが、単にモデルを高性能化するだけでは、実務的な課題解決には限界があります。AIが提供する回答の信頼性や網羅性を高めるためには、AIが参照する「情報源（コンテキスト）」の質と構造を設計することが、技術的なボトルネックとなっています。
重要用語解説
- AIエージェント: 特定のタスクを自律的に実行するAIシステム。本記事では、企業内のデータ（案件台帳など）を読み込み、実務的な回答を生成する仕組みを指します。
- recall（網羅率）: 正解基準に含まれるべき情報のうち、AIの回答がどれだけ拾い上げられているかを示す指標。数値が低いほど、重要な情報を見落としていることを意味します。
- 統制実験: 特定の変数を意図的に固定し、他の変数を一つずつ変更しながら、原因と結果の関係を科学的に切り分けて検証する実験手法。本記事では、モデルを交換し、原因がモデルか文脈かを切り分けました。
今後の影響
本知見は、AI導入における投資の優先順位を「モデル性能の向上」から「データ構造とプロセス設計の改善」へと大きくシフトさせることを示唆しています。今後は、AIの回答精度を上げるためには、単なる情報集約ではなく、情報源の出典（どの情報から来たか）を明確に紐づけるデータガバナンスの構築が必須となります。