LLMによる誤情報リスク：寿司マナーチャットボットの設計から導く「高リスク領域」でのAI利用指針
本記事は、外国人観光客向けに東京の高級寿司店のおまかせを案内するモバイルアプリ「OmakaseMaster」の開発過程で直面した、大規模言語モデル（LLM）の誤情報リスクに関する設計判断について詳細に述べている。筆者は当初、単にOpenAI APIを裏側で使用するチャットボットを実装する予定だったが、実際に寿司職人（板前さん）からGPT-4oによる「おまかせマナー」の回答を聞かせた結果、その危険性を痛感した。
具体的には、「ガリは口直し」「ネタは指でつまむ」「醤油はシャリにつけない」といった一般的なLLMの指摘が、板前さんからは「個人の好みによる」「店による」「理由の順序が違う」など、半分正しく半分微妙にズレているというフィードバックを受け、観光客がその誤りを検証する手段を持たない状況（情報事故）こそが最も危険だと結論づけた。
この経験から、「LLMの出力を信じてユーザーが行動する領域のうち、以下の3条件を満たすもの」を「high-stakes domain（高リスク領域）」と定義した。それは①ユーザーが素人であること、②正解/不正解の区別が存在すること、③間違った行動のコストが大きいことである。寿司マナーや法律相談などがこれに該当する。
筆者は、高リスク領域において汎用LLMを最終出力層に置くことは危険であり、代替案として以下の3つの設計パターン（A）RAG with curated KB、（B）Domain-tuned system prompt + 出典明示、（C）Rule-based fallback for high-confidence Q）を提示した。そして、インバウンド観光客がオフラインで利用することを前提とし、(B)を主軸に据えつつ、頻出の5トピック（マナー、ネタ名、注文フレーズなど）についてはルールベースのアウトプットとして埋め込むハイブリッドな設計を採用した。
さらに、LLMが出力する情報には「出典明示」を強制し、「分からないことは『分かりません』と答えろ」というガードレールを設定。単にプロンプトで制御するだけでなく、UI側にも「分かりませんカード」を用意することで、ユーザーがAIの限界を視覚的に認識できるように工夫している。
背景
近年、ChatGPTなどの汎用LLMは急速に普及したが、その出力にはハルシネーション（誤情報）のリスクが伴う。特に専門知識や行動指針が必要な「高リスク領域」において、ユーザーが誤った情報を検証できない状況での利用は大きな問題となっている。本記事は、この課題を具体的なサービス設計を通じて解決しようとする試みである。
重要用語解説
- LLM: 大規模言語モデル（Large Language Model）の略称。大量のテキストデータから学習し、人間のような自然な文章生成や質問応答を行うAI技術全般を指す。
- RAG with curated KB: Retrieval-Augmented Generationの略。外部の専門家が監修した知識ベース（KB）から関連情報を検索（Retrieve）し、その情報に基づいてLLMに回答させる手法。精度の向上と出典明示が可能。
- high-stakes domain: ユーザーが誤った情報に基づき行動した場合、大きな損失や不利益を被る可能性が高い専門領域（例：医療、法律、マナーなど）。汎用AIの利用に特に注意が必要な分野を指す。
今後の影響
本記事で示された設計判断は、今後は「信頼性」が最重要視されるあらゆるドメイン固有のAIアプリケーション開発における標準的なガイドラインとなる。単なる技術導入ではなく、「誰が」「どのような状況で」「どのレベルの正確さが必要か」というユーザーと利用シーンに合わせたリスク管理（ガードレール）の設計思想が求められる。