AI向け目次ファイル（llms.txt）を設置しても、クローラーはトップページから離れられない：アクセスログ分析から判明したAIの行動パターン
本記事は、AIクローラーがウェブサイトの構造をどのように読み取るかについて、実証的なアクセスログ分析を行った結果を報告しています。筆者は、AI向けにサイトの案内図として「llms.txt」というファイルを設置し、2026年8月20日から9月3日までの14日間、アクセスログを計測しました。
当初、ログからはClaudeBotが133回と大量にアクセスしているように見えましたが、筆者自身が`robots.txt`に`llms.txt`をサイトマップとして記述したことが原因で、このアクセスは「サイトマップの指示に従った追従」であり、AIの真の関心を示すものではないという「交絡」が判明しました。交絡を除外して再集計した結果、実際に自発的に`llms.txt`にアクセスしたのはGPTBotが14回、ChatGPT-Userが1回のみの計15回に留まりました。
最も重要な発見は、この148回の目次ファイルへのアクセスにもかかわらず、AIクローラーが目次が案内する具体的な内部ページ（例：`/index.md`、`/me.json`など）には一度もアクセスしなかった点です。アクセスは常にトップページ（`/`）に留まっていました。筆者は、この現象の原因として、①クローラーが`.md`ファイルをリンクとして認識していない、②新設ドメインのためクロール予算が少ない、③サイトの仕様としてリンクを辿る実装になっていない、の3点を挙げています。
この実験は、AI時代におけるウェブサイトの構造化データやSEO対策の有効性について、非常に具体的な知見を提供しています。単に目次を置くだけでは不十分であり、クローラーが実際にそのリンクを辿るための技術的な実装が必要であることを示唆しています。
背景
近年、大規模言語モデル（LLMs）の普及に伴い、AIがウェブ上の情報をどのように収集・理解するかが注目されています。従来のSEO対策に加え、AIが読みやすい構造化データや目次ファイル（llms.txtなど）の設置が試みられていますが、本記事は、単にファイルを用意するだけでは不十分であり、クローラーの実際の行動パターンをログ分析によって検証したものです。
重要用語解説
- llms.txt: AI向けにサイトの構造や目次をMarkdown形式で記述した提案的なファイル。従来のrobots.txtが「クロール可否」を指示するのに対し、「何がどこにあるか」をAIに案内する役割を持ちます。
- robots.txt: 検索エンジンのクローラーに対し、どのページをクロールしてよいか（Allow）またはしてはいけないか（Disallow）を指示する、ウェブサイトの必須のルールファイル。
- 交絡（こうらく）: 統計学的な用語で、本来測定したい原因とは別の、第三の要因が結果の数字を歪めてしまう現象。本記事では、サイトマップの指示が本来のアクセス数を過大評価した例として用いられています。
今後の影響
本ニュースは、ウェブサイトのコンテンツ戦略やSEO対策に大きな影響を与えます。AIクローラーが目次を認識しても、リンクが辿れない構造（例：.mdファイル）や、クロール予算の制限により、深い情報に到達できない可能性があるため、開発者は単なる目次設置だけでなく、リンク構造の明確化と、クロールを促すための技術的実装が不可欠となります。