AIの「ベストソフトウェア」推薦源に偏り：新設の機械向けサイトが大量の情報を供給
本記事は、大規模言語モデル（LLM）が生成するAIによる「ベストソフトウェア」の推薦リストの裏側を調査したものです。調査では、380の異なるソフトウェアカテゴリ（CRMから博物館コレクション管理まで）について、Perplexity/SonarおよびPerplexity/Sonar-Proという2つのウェブベースのモデルを用いて、合計760回のクエリを実行しました。その結果、7,534件の引用（シテーション）が回収され、2,055の異なるドメインが参照されています。
分析の結果、これらの引用源の大部分が、ウェブ上の一般的な情報源ではないことが判明しました。具体的には、引用されたソースの59.8%が、トランコ（Tranco）のトップ10万サイトにランク付けされていないドメインに由来しています。さらに、この引用源の多くは、人間が読むことを目的としたものではなく、AIモデルが情報を取得するための「グラウンディング」というプロセス専用に設計されたページです。
特に注目すべきは、3つのウェブサイト（guideflow.comなど）が、合計215,128ページもの機械生成された「ベスト<カテゴリ>-ソフトウェア」ページを公開している点です。これらのサイトの多くは2023年12月以降に存在し、共通のテンプレート、ナビゲーション、そして「Facts & Grounding Page」というHTMLタイトルを使用するなど、組織的な関連性が指摘されています。これらのサイトは、市場調査レポートなどの有料サービスを通じて収益化を図っています。
また、モデルが参照した1,502のベンダーホームページを検証したところ、約1.1%は存在しないか到達不能であり、さらに多くのドメインが別のドメインにリダイレクトしているなど、情報源の信頼性や安定性にも課題が浮き彫りになりました。本調査は、AIの推薦システムが、広く認知された権威ある情報源ではなく、特定の構造を持つ新興のコンテンツマーケティングサイトに大きく依存している実態を明らかにしています。
背景
近年、AIの進化に伴い、LLMが提供する「ベストプラクティス」や「推奨リスト」の信頼性が社会的な関心事となっています。AIがウェブ上の膨大な情報を参照する際、その情報源（ソース）の質や偏りが、ユーザーの判断や市場の動向に大きな影響を与えるため、本調査は情報源の透明性を検証するものです。
重要用語解説
- グラウンディング: 大規模言語モデル（LLM）が回答を生成する際、単なる推測ではなく、特定のウェブドキュメントやデータに基づいて根拠付けを行うプロセス。情報源の信頼性を高めるために必須のステップです。
- Perplexity/Sonar: 記事内で使用された、ウェブ検索機能に特化したAIモデルの名称。ウェブ上の情報を検索し、引用元（シテーション）を提示する能力を持つことが特徴です。
- Tranco: ウェブサイトのトラフィックや人気度を測定する指標の一つ。このランキングに載っていないドメインは、一般的にアクセス数が少ない、または新設のサイトであることを示唆します。
今後の影響
AIの推薦システムが特定の少数の新設サイトに依存している事実は、情報流通における深刻なバイアス（偏り）を示しています。ユーザーは、これらのサイトが提供する情報が、真の市場ニーズや客観的な比較に基づいているのか、あるいは単なるコンテンツマーケティング戦略の結果なのかを見極める必要があります。今後は、AIの引用元開示の透明性向上と、多様な情報源の組み込みが求められます。