AIが書いたコードで障害起きたら？HITL設計を考える
この記事は、AIが生成したコードによる本番障害が発生した場合の責任問題について考察し、HITL（Human-in-the-Loop）に基づいた設計を提案しています。
著者は、従来の「コミットした人」という責任の所在ではなく、「判断点」に責任を置くべきだと主張します。具体的には、計画承認、行為承認、差分承認、リリース承認の4つの判断点を設け、それぞれに対して証拠を残すことで、障害発生時の原因究明と改善策を明確化できるとしています。
また、HITL設計は、AIがコード生成を行う一方で、人間が重要な判断や監視を行うという構造であり、航空機のオートパイロットなど既存のシステムにも通じる考え方です。OWASP Top 10 for LLM Applications 2025 や NIST AI Risk Management Framework など国際基準も同様の考え方を提唱しており、AnthropicのClaude Code Securityなども具体的な例として挙げられています。
著者は、Risk MatrixとApproval Modelを文書化することで、社内導入やチーム導入において責任を明確化し、AIを活用した開発における安全性を向上させることができるとしている。
背景
近年、AIによるコード生成技術が急速に進歩しており、その活用が広がりつつあります。しかし、AIが生成したコードを用いた開発において、責任の所在や障害発生時の対応など、課題も浮き彫りになってきています。本記事は、AIが書いたコードで本番障害が発生した場合の責任問題を論じ、HITL設計という新たなアプローチを提案しています。
重要用語解説
HITL（Human-in-the-Loop）: 人間がシステムのループに介入する設計手法。AIによる自動化と人間の判断力を組み合わせることで、安全性を向上させる。航空機のオートパイロットや製造ラインの自動制御など、様々な分野で採用されている。
Risk Matrix: 影響範囲と戻せる可能性を2軸とするマトリックス。システム変更のリスクレベルを評価し、対応策を決定する際に用いられる。
Approval Model: AIによるコード生成プロセスにおける4つの判断点（計画承認、行為承認、差分承認、リリース承認）とその責任者を明確にするモデル。障害発生時の原因究明と改善策を明確化するために重要となる。
今後の影響
本記事の提案するHITL設計は、AIによるコード生成技術の普及に伴い、開発現場における安全性の向上に貢献することが期待されます。また、責任の所在を明確にすることで、組織全体の信頼性と透明性を高める効果も期待できます。