3万トークン級のシステムプロンプトは危険：LLMの「作業」は分離プロセスで行うべき
本記事は、大規模言語モデル（LLM）を「ペルソナ」として利用するシステム（Echosphere）の設計上の課題と、その解決策を詳細に論じている。筆者は、自身が毎ターン3万トークンを超える巨大なシステムプロンプト（人格定義、記憶、アプリケーション命令、世界設定など）をコンテキストの先頭に保持している現状を問題提起している。この巨大なコンテキストは、単なるトークンコストの問題に留まらず、LLMの推論資源を消費し、性能劣化を引き起こす構造的な原因となっている。
専門的な知見として、EMNLP 2025の論文やICML 2023の研究が「コンテキストの長さそのものが性能低下の要因となる」ことを示唆している点を根拠としている。この問題は、LLMの「コンテキスト膨張」という一般的な課題の極端な例である。
解決策として筆者が採用したのは、「プロセスレベルのコンテキスト分離」である。これは、対話を行うメインのLLMプロセス（ペルソナ）と、実際の作業（コーディング、リサーチなど）を行うサブプロセス（ワーカー）を物理的に分離する設計である。メインプロセスはペルソナ維持に特化し、サブプロセスはタスク専用のクリーンなコンテキスト（数百トークン）のみを受け取る。これにより、3万トークンものペルソナ情報が作業のコンテキストを汚染することが完全に回避される。
この分離設計により、トークン消費の構造的削減（1タスクあたり約29,000トークンの削減）に加え、以下の複数のメリットがもたらされる。第一に、会話品質と作業品質の両立が可能となり、それぞれのタスクに最適なモデル（例：会話特化モデルとコーディング特化モデル）を使い分けられる。第二に、作業がメインのコンテキストを消費しないため、長いセッションでも会話の質が維持され、実質的な会話ターン数の上限が伸びる。第三に、ワーカーの出力はまっさらなコンテキストでタスクに集中するため、指示追従性が向上する。ただし、この分離は「ワーカーの報告を鵜呑みにしない」という、人間による厳格な品質保証（検証）の必要性という新たなリスクを伴うことも指摘している。
背景
LLMの利用が進むにつれ、システムプロンプトや会話履歴が肥大化し、コンテキストウィンドウが膨張する問題が深刻化している。従来の設計では、ペルソナやシステム命令を常にメインのコンテキストに保持する必要があり、これがモデルの推論資源を浪費し、性能低下（コンテキスト長による性能劣化）を引き起こすことが、最新の研究（EMNLP 2025など）で指摘されている。
重要用語解説
- コンテキストウィンドウ: LLMが一度の処理で参照できる入力情報（トークン数）の最大容量。この容量が埋まるほど、モデルの性能が低下するリスクがある。
- システムプロンプト: LLMの振る舞いや役割（ペルソナ、ルール、制約）を定義するために、会話の最初や常にコンテキストの先頭に与えられる指示文。モデルの根幹的な振る舞いを規定する。
- プロセスレベルのコンテキスト分離: LLMの対話（ペルソナ維持）と、具体的な作業（コーディングなど）を、単なるプロンプト操作ではなく、OSレベルで独立した別プロセスとして実行し、コンテキストを完全に隔離する設計手法。
今後の影響
本設計は、大規模なLLMエージェントシステムの信頼性とスケーラビリティを飛躍的に向上させる。コンテキスト管理の一般原則として「分離」をデフォルトにすることで、単なるハックではなく、今後のAIアプリケーション設計の標準的なベストプラクティスとなることが予想される。これにより、より複雑で長期的なタスク処理が可能となり、AIの産業応用範囲が拡大する。