RAG品質を飛躍的に向上させる「クエリ最適化」：HyDEとクエリ分解の組み合わせ
本記事は、RAG（Retrieval-Augmented Generation）システムの品質向上を目指し、クエリ（質問）側を最適化する「第8弾」の技術解説である。これまでのシリーズでは、ドキュメントや検索手法の改善が中心だったが、今回は「HyDE（Hypothetical Document Embedding）」と「Query Decomposition（クエリ分解）」という2つのアプローチを組み合わせた「Decomp+HyDE」の有効性を検証した。HyDEは、質問文からLLMを用いて「仮説回答文書」を生成し、この回答体文書をベクトル検索に用いることで、質問ベクトルとドキュメントベクトルの「表現ギャップ」を埋める。これにより、特に「SQLインジェクションとは？」のような抽象的な質問（Q1）において、MRR（Mean Reciprocal Rank）が0.25から1.00へと劇的な改善を達成した。一方、Query Decompositionは、「APIのエラーハンドリングとDBトランザクション管理の共通点」のような複合的な質問（Q3）を、複数のサブクエリに分解する。この分解されたサブクエリそれぞれにHyDEを適用し、最終的にRRF（Reciprocal Rank Fusion）というアルゴリズムで検索結果を統合することで、網羅性を高める。検証の結果、Q3ではHyDE単体がMRR 1.00を達成したが、Decomp+HyDEは0.50となり、RRFによるマージ順序がスコアに影響を与えることが示された。また、この高度な手法は、Normal RAGと比較してAPIコール回数が増加するトレードオフがあるものの、横断的な質問が多いシステムにおいて高い精度向上をもたらすことが結論付けられている。
背景
RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）の知識を外部ドキュメント検索によって補強する技術である。本記事は、RAGの課題の一つである「質問の曖昧さ」や「複合的な質問への対応」を解決するため、クエリ側（質問の処理）に焦点を当てた最新の最適化手法を解説している。
重要用語解説
- RAG: Retrieval-Augmented Generationの略。LLMが回答を生成する際、外部のデータベースやドキュメントから関連情報を検索し、その情報に基づいて回答を生成する仕組み。
- HyDE: Hypothetical Document Embeddingの略。質問文からLLMに仮説的な回答文書を生成させ、その文書をベクトル化して検索に用いることで、検索精度を向上させる手法。
- Query Decomposition: 複合的で複数のトピックを含む質問を、LLMの力を借りて複数の独立したサブクエリに分解する技術。これにより、検索の網羅性を高めることを目的とする。
今後の影響
本技術は、単なる情報検索に留まらない、複数の知識領域を横断的に扱う高度な質問応答システム（例：企業内ナレッジベース、専門的な技術サポート）の構築に必須となる。APIコール回数増加というコスト増を伴うが、精度向上によるビジネス価値が期待される。今後は、質問の性質に応じて最適な検索戦略を自動で選択するシステムが求められる。