AI対話ログを掘り起こす：提案の「推し」の的中率は場面で12倍も変動、却下パターンから学習法を改善
筆者は、AIコーディングエージェント（Claude Code）との3.7ヶ月間にわたる対話ログ（候補361件、ペア1,470組）を分析し、AIの提案（「推します」）がどの場面で最も有効かを検証した。AIとの対話では、採用された提案は記録に残るが、却下された提案は会話の流れの中で消えてしまうため、筆者は生ログから「提案→私の返事」のペアを掘り出し、却下パターンを分類した。その結果、AIの「推します」という提案の的中率が、場面によって最大12倍も異なるという驚くべき事実を発見した。
具体的には、技術的な実装方針や着手順など「技術・実装の推し」の場合、的中率は73%（15回中11回）と非常に高いことが判明した。一方、一般的な「アイデア出しリストの推し」の場合、的中率はわずか6%（18回中1回）に留まり、提案が文字数の無駄になっている状況が明らかになった。さらに、却下された提案の最多パターンは、「これは要らない」という明示的な拒否（7件）ではなく、「リストを丸ごと出し直させる」という形式（25件、44%）であることが判明した。
この分析から、筆者はAIとの対話における運用ルールを大幅に改善した。まず、アイデア出しの場面では「推します」という表現を止め、代わりに「どの方向性がズレていたか」といった軸を問う質問をすることで、次の対話の質を高めることに成功した。また、技術判断の場面では「推します」を継続し、対話の効率的な使い方を場面に応じて使い分ける重要性を再認識した。この経験は、AIとの対話が単なる「質問と回答」ではなく、行動データとしてログを掘り起こし、自己の思考プロセスを客観的に分析する「探索のプロセス」であることを示している。
背景
AIとの対話は、その過程で大量のデータ（ログ）が生成されるが、人間側が「却下」した情報は会話の途中で忘れ去られがちである。本記事は、この「消えてしまう却下ログ」を意図的に掘り起こし、単なる成功事例ではなく、失敗や拒否のパターンを分析することで、AIとの対話の質を根本的に改善しようという試みに基づいている。
重要用語解説
- AIコーディングエージェント: AIがコードの提案や開発支援を行うツール。本記事では、Claude Codeというエージェントとの対話ログを分析対象としている。
- 生ログ: AIとのやり取りの過程で生成された、編集されていない生の会話データ（JSONL形式）。このログから、人間が意識的に記録しない「却下」のパターンを抽出している。
- 的中率: AIが「おすすめ」や「推します」と提案した案が、実際に採用された割合を示す指標。場面によってこの数値が大きく変動することが判明した。
今後の影響
本記事の知見は、AIの利用方法論に大きな影響を与える。単にAIに質問するだけでなく、対話のログを「行動データ」として捉え、却下パターンや成功の文脈を分析することが、AIを最大限に活用する鍵となる。今後は、AIとの対話において、成功例だけでなく、失敗や拒否のログを意識的に記録・分析するワークフローが求められる。