「半年経っても初日と同じ」AIの知識蓄積の限界：RAGからWiki型知識ベースへの進化
本記事は、個人でAI（特にRAG技術を用いたもの）を長期利用する際、「半年使っても初日と同じ」という感覚、つまり知識や発見が蓄積されない現象の原因を分析しています。一般的なRAG（Retrieval-Augmented Generation）は、資料を細かく分割し、質問ごとに必要な断片的な根拠を検索して回答を組み立てる点で優れています。これにより、文脈窓の容量オーバーを防ぎ、出典を明示しやすいという利点があります。しかし、その処理単位が「今回の質問」で完結しているため、ある質問で得られた複数の資料を横断した発見や関係性は、どこにも構造として残りません。次に近いことを尋ねても、また断片的な検索からやり直しになってしまうのが問題点です。
さらに、AIの「文脈窓」は、机のようなものであり、長い会話や文書では、途中の情報が埋もれてしまい（lost in the middle）、序盤の制約が忘れられがちです。この限界を乗り越えるための新しいアプローチとして、Karpathy氏の「LLM Wiki」が紹介されています。これは、単に資料を検索するだけでなく、LLM自身にWiki（Markdown形式の要約、概念ページ、相互リンクを含む）を保守させる仕組みです。このWikiは、原文資料（Raw sources）を基に、LLMが要約や統合、関連ページを能動的に書き足し、矛盾や穴を点検（Lint）します。RAGが「検索」に優れるのに対し、LLM Wikiは「統合した結果をファイルとして残す」点に決定的な違いがあり、発見が次の質問の材料として再利用できる「蓄積層」を構築します。筆者は、この知識管理の責任の線引き（原文は人間、Wikiの保守はLLM）こそが、継続可能な運用を実現する鍵だと指摘しています。
背景
AIの利用が一般化する中で、単なる質問応答（Q&A）機能だけでは、長期的な知識の蓄積や深い洞察の共有が難しいという課題が浮上しています。従来のRAGは検索に特化しているため、対話を通じて得られた「発見」を構造化して保持する仕組みが求められています。
重要用語解説
- RAG: Retrieval-Augmented Generationの略。外部の資料を検索し、その根拠（Retrieval）に基づいてLLMが回答を生成する技術。出典を明示できる点が強みです。
- 文脈窓: LLMが一度の処理で参照できる情報（プロンプト、会話履歴、資料など）の最大容量。容量が限られるため、長い会話では情報が埋没しやすいという課題があります。
- LLM Wiki: LLM自身に、単なる資料検索ではなく、要約、概念ページ、相互リンクを含むWiki形式の知識ベースを能動的に保守・更新させる新しい知識管理システムです。
今後の影響
この技術進化は、AIを単なる「質問応答ツール」から「共同研究者」へと進化させる可能性を秘めています。知識の蓄積層を構造化することで、組織や個人がAIと長期的に協働し、より深い知見を体系的に構築することが可能となり、AI活用の次のフェーズを定義するものです。