AIエージェントの指示システム能力をL0〜L7で診断：『効く』と『効かない』挙動の科学的根拠
本記事は、最先端AI技術における「指示（プロンプト）がどれだけ確実に機能するか」という課題に対し、cleverhoods氏が提唱する「Instruction systems capability ladder」（指示システム能力ラダー）という枠組みを詳細に解説している。
この枠組みは、エージェントの制御機構（harness）の成熟度をL0からL7までの8段階で評価するものであり、単なるモデルの賢さではなく、「モデルを取り囲む外骨格」が重要であることを指摘している。指示が機能するかどうかは「どのチャンネルを通るか」によって決まり、ソフトチャンネル（確率的）に乗っていると長文脈や高負荷時にルールが薄れ、気まぐれな挙動となる。
L0〜L5の段階では、ルールの適用がコンテキストウィンドウ内の注意の奪い合いに依存するため、物理法則上、失敗しうる。しかし、このラダーには二つの重要な「壁」が存在する。一つ目はL5からL6への移行であり、「確率的な指示（ソフトチャンネル）」を「強制機構による確定的な制御（ハードチャンネル）」に変える点である。例えば、テストが落ちた場合に自動で処理を停止させるフックは、モデルの思考とは無関係に実行されるため信頼性が高い。
二つ目の壁はL6からL7への移行であり、「人間が書いた指示を読む」段階から「エージェント自身が指示を書く（自己記述）」段階へ進む点である。真のL7は、エラーからの復帰や新しいワークフローの発見など、エージェントしか気づかない軌跡を自ら構造化し、YAMLなどの型に落とし込む能力を持つ。筆者は、この枠組みを活用し、「絶対に外れてほしくない制約」のみをL6のハードチャンネルに引き上げることが、最も費用対効果の高い改善策だと提言している。
背景
近年、AIエージェントは単なるチャットボットから進化し、複雑なタスクを自律的に実行する「コーディングエージェント」の形をとっている。しかし、実際の運用では、長い指示や複数のステップを経ると、AIが途中で指示を無視したり、期待通りに動作しないという信頼性の問題（ハルシネーションの一種）が頻繁に発生している。
重要用語解説
- harness: エージェントを取り囲む外骨格的な制御機構。単体のモデルの賢さではなく、ツール使用やコンテキスト管理など、AIを安定的に動かすためのシステム全体構造を指す。
- ソフトチャンネル: ルールや指示がモデルのコンテキストウィンドウ内で注意を奪い合う経路。負荷がかかると情報が薄れ（decay under load）、適用が確率的になりやすい。
- ハードチャンネル: 強制機構（フック、ゲートなど）を用いて、コンテキストの外側で確定的に動作する制御経路。長いタスクや高負荷時でもルールが確実に実行される。
今後の影響
本枠組みの理解は、AIエージェント開発における設計指針を提供する。単に高性能なモデルを導入するのではなく、「どの制約を」「どのチャンネル（ソフトかハードか）」に乗せるかを明確にすることで、信頼性の高い実用的なシステム構築が可能となり、産業応用が加速すると予想される。