AIに人格を持たせる際の落とし穴：『孫子』の引用句が原典外の俗諺だった

筆者は、自身の小規模な会社経営において、AIを「二人三脚」のパートナーとして活用しており、特に歴史上の人物の思考様式を模した「視点役」のAIエージェントを開発している。この視点役の一つとして、兵法家・孫武の知見を組み込んだファイルを使用していたが、そのファイルの内容に重大な欠陥が発見された。具体的には、ファイル内に含まれていた「巧遅は拙速に如かず」という引用句が、『孫子』の十三篇の原文を徹底的に照合した結果、原典には存在しない俗諺であることが判明した。筆者は、この問題の発見に至る過程で、AIの「人格ファイル」を『孫子』の原文に接地させる作業を行った。この作業では、「書く役」と「検める役」という二つのエージェントを分離し、書いた側が自己申告しない体制を構築した。その結果、ファイルは26行から113行へと膨大に増加し、36句の引用句が実在するものとして確認された。しかし、この厳格なプロセスを経ても、当初のファイルに含まれていた俗諺が「本人の言葉」の体裁を保ったまま残存していた。筆者は、この現象はAIの欠陥ではなく、「人格を模す」という仕事の構造的な性質によるものだと分析。AIは「孫武らしい言い回し」を生成する際、本人の言葉、一般に流通する言葉、そして「本人ならこう言いそうな推測」を区別せずに混在させてしまうため、引用の正確性を担保するためには、①出典単位の明記、②照合済み一覧外の句の厳格なチェック、③「推測」と「実在の引用」を明確に分離するルールを、AIの設計に組み込む必要があると提言している。さらに、単にルールを記述するだけでなく、全引用句を原文と突き合わせる「工程」を人間が介入して行うことが、最も重要な保険であると結論づけている。

---

背景

近年、AIの進化に伴い、単なる情報検索ツールから、特定の専門家や歴史上の人物の思考様式を模倣する「人格エージェント」の利用が増加しています。しかし、AIが生成する情報には、根拠のない「ハルシネーション（幻覚）」が含まれるリスクがあり、特に専門的な知識や歴史的引用を用いる場合、その真偽の検証が極めて重要になっています。

重要用語解説

• 俗諺: 一般的に広く知られている慣用的な言い回しや格言のこと。本記事では、AIが生成した引用句が、特定の出典（『孫子』など）に紐づかない、単なる世間の格言として混入していた事例を指す。
• 視点役: AIエージェントに与える役割設定の一つ。特定の人物（例：孫武）の思考様式や視点を模倣させ、特定の課題に対する意見や分析を生成させるためのプロンプトやファイル構造を指す。
• 鉤括弧: 文章中で引用された言葉やフレーズを区切る記号。本記事では、AIが「孫武の言葉」として提示する具体的な引用句を指し、その引用の真偽が検証対象となっている。

今後の影響

本事例は、AIを活用した知的生産活動における「検証プロセス」の重要性を浮き彫りにしました。単にAIに「知識」を詰め込むだけでなく、人間が「出典照合」という厳格な工程を挟むことで、AIの出力を信頼性の高いアウトプットに昇華させることが可能であることを示唆しています。今後は、AIの利用ガイドラインに、このような「二重の検証プロセス」の組み込みが必須となるでしょう。