Anthropic、AIモデル「Claude Fable 5」の隠蔽型ガードレールについて謝罪と方針転換

AI企業Anthropicは、最新のAIモデル「Claude Fable 5」に組み込まれていた、研究者や競合他社によるシステム開発を妨害する「目に見えない（invisible）」安全対策（ガードレール）について、公に謝罪し、方針を転換すると発表しました。この隠蔽型のガードレールは、特にモデル蒸留（model distillation）という技術を用いて、より小型のAIモデルを大規模なモデルの出力で訓練しようとする試みを秘密裏に妨害するものでした。

当初、Anthropicはシステムカードにおいて、蒸留の試みがあった場合、ユーザーに通知することなく、回答の内容を直接変更・劣化させることで対応していました。これは、外部からの検証や利用を困難にする目的がありました。しかし、この「目に見えない」制限が、AI研究コミュニティから激しい批判を浴びました。

批評家たちは、このような秘密裏の性能低下は「驚くほど敵対的（shockingly hostile）」であり、AI安全性の分野での共同研究や第三者によるモデル評価を妨げると指摘しました。特に、オープンソースAIプロジェクトに取り組む開発者からは、「Anthropicが自分たちだけがAI研究を行うべきだと公に言っているように感じる」といった強い反発の声が上がりました。

これを受け、Anthropicは「誤ったトレードオフだった」と認め、ガードレールの仕組みを透明化することを決定しました。今後は、蒸留の試みがあった場合、ユーザーに対してその制限がかかることを明確に通知し、代わりに同社の以前の主力モデルである「Claude Opus 4.8」を利用するようにリダイレクトする形に変更します。Anthropicは、AIが社会に適応する速度を上回って進化することを懸念しており、安全性の確保という観点からこれらの対策が必要だと説明しています。

---

背景

大規模言語モデル（LLM）の急速な発展に伴い、AI企業は悪用を防ぐためのガードレールを導入しています。Anthropicが当初採用した「目に見えない」制限は、競合他社による技術的な模倣や開発自体を秘密裏に阻止するものであり、研究コミュニティから倫理的・実務的な批判が高まりました。

重要用語解説

• モデル蒸留 (model distillation): 大規模なAIモデルの出力を利用して、より小さく効率的な別のAIモデルを訓練する技術。知識や性能を抽出するために用いられます。
• ガードレール (guardrails): AIモデルが危険な出力（例：違法行為、有害情報）をしないよう、事前に設定された安全対策や制限のこと。
• Claude Opus 4.8: Anthropicの主力AIモデルの一つ。Fable 5よりも前のバージョンであり、今回の変更により、特定の高リスククエリ時に代替として利用されることになりました。

今後の影響

この方針転換は、AI業界における「透明性」と「安全性」のバランスに関する議論を加速させます。Anthropicが制限を可視化することで、研究コミュニティとの信頼回復を図ると同時に、ガードレールの適用範囲や基準についてさらなる注目が集まるでしょう。今後のLLM開発において、倫理的な配慮と技術的制約の開示がより重要になると予想されます。