AIが生成した数字の「嘘」を、筆者は一週間で7回にわたって修正した経緯

本記事は、筆者がAIが生成した情報に含まれる「数字」の誤りや不正確さを、一週間にわたり7回にわたって発見し、修正した経験を詳細に記したものです。筆者は自身がコードを書くことはできないものの、数字の整合性チェックという点でAIの出力に異議を唱える役割を果たしています。

具体的な事例として、まず「hooks」の件で、AIが「720件」と記載したのに対し、実際の件数は「719件」であったという最初の誤りがありました。その後も、AIの出力の危険性が次々と露呈します。一つ目は、商品のLPやSNS告知文に「80ページ」と記載されていたが、実際には「89ページ」であったため、複数の箇所を修正する作業に1時間かかりました。二つ目は、古い内部メモの「buyer 5人」という記述が、実際のGumroad管理画面では「0人」であったため、戦略判断の根幹に関わる重大な誤りでした。三つ目は、参照URLが「最新」と書かれていたものの、実際にアクセスすると404エラーとなる「リンク切れ」の誤りでした。四つ目は、KPI集計のYAMLファイルが、AIが記述したフィールドの末尾のシングルクォートの閉じ忘れにより破損していたという構文エラーでした。五つ目と六つ目は、同様に「~40 pages」と記載されていたが、実際には80ページを超える内容であったという、過小広告に当たる誤りでした。

筆者はこれらの事例を通じて、AIが「実測」と「補完」の区別ができておらず、コンテキストに似た数字を「自信ありげに」埋め込んでしまう傾向があることを指摘しています。そして、AIが生成した数字は「信じない」という強い警鐘を鳴らし、具体的な対策として「数字の検証は別タスクで行う」「公開前に数字を蛍光ペンで塗って実測する」「「約」「およそ」がない桁揃えの数字ほど疑う」という3つのルールを提唱しています。この経験は、AI時代における人間による最終的なファクトチェックの重要性を強調しています。

---

背景

近年、大規模言語モデル（LLM）の普及に伴い、AIが生成したテキストやデータがビジネス文書、ウェブサイト、ドキュメントなどに多用されています。しかし、AIは時に「ハルシネーション（幻覚）」と呼ばれる、事実に基づかない、あるいは誤った情報を「自信ありげに」生成する傾向があります。本記事は、その具体的なリスクを実体験に基づいて警告するものです。

重要用語解説

• ハルシネーション: AIが事実に基づかない、あるいは誤った情報を、あたかも真実であるかのように生成してしまう現象。AIの信頼性を評価する上で最も重要なリスクの一つ。
• PRレビュー: Pull Request（プルリクエスト）レビューの略。開発プロセスにおいて、コードやドキュメントの変更点を他の開発者に確認してもらうプロセス。品質保証の重要な安全網となる。
• YAML: Yet Another Markup Languageの略。設定ファイルやデータ構造を記述するためのマークアップ言語。人間が読みやすく、機械が解析しやすい形式で、特に設定ファイルで広く使われる。

今後の影響

AIの利用が一般化するにつれ、AIが生成した数字やファクトの検証プロセスは必須となります。本記事の教訓は、AIを「最終的な情報源」としてではなく、「ドラフト作成の補助ツール」として位置づけ、人間が必ず「実測」と「整合性チェック」を行うという、新しいワークフローの確立を促すものです。これにより、情報漏洩や信用毀損のリスクを最小限に抑えることが求められます。