エストニア政府が発表：LLMのロシアプロパガンダ耐性を測るベンチマーク公開、AnthropicのClaude Opusが首位
エストニア言語研究所は、大規模言語モデル（LLM）がロシアのプロパガンダや戦略的ナラティブに対抗できる能力を測定する「Propaganda Resistance」ベンチマークを発表しました。このベンチマークは、ロシア連邦が用いるプロパガンダのテーマに基づき、モデルがどの程度偏りに流されず、中立的かつ洞察のある応答ができるかを評価するものです。
評価は3言語で75問が実施され、14種類のロシア宣伝ナラティブが対象となりました。回答は1点から5点で採点され、5点が最もバランスが取れた回答を意味します。この結果、AnthropicのClaude Opus 4.7が総合首位を獲得し、平均スコアは100点中94.9点という高い評価を得ました。また、AnthropicのSonnetやNVIDIAのNemotron 3 Super 120B、AlibabaのQwen 3.6 Plusといったオープンウェイトモデルも上位に食い込み、高い性能を示しました。
一方、OpenAIのモデルではGPT-5.4が平均スコア88.9点と最も高い結果を出しましたが、GPT-3.5 Turboは古いモデルとの差が目立ちました。GoogleのGeminiシリーズについては、悪意あるプロンプトやロシア語での質問に対して弱さが見られるという指摘がなされています。エストニア言語研究所は、このベンチマークがチャットボットの利用体験ではなく、外部検索やツールを使わない基盤モデル自体の能力を測るものであると強調しています。
背景
近年、AIの利用が広がる中で、LLMが特定の政治的バイアスやプロパガンダに流されるリスクが懸念されています。特に地政学的な対立が続く地域では、AIの出力が情報戦の道具となる可能性があり、その耐性を客観的に測定するベンチマークの必要性が高まっています。
重要用語解説
- 大規模言語モデル（LLM）: 大量のテキストデータから学習し、人間のような自然な文章を生成するAIモデルの総称。文章の要約、翻訳、質問応答など多岐にわたるタスクに利用されます。
- プロパガンダ: 特定の政治的・思想的目的を達成するために、意図的に偏った情報や虚偽の情報を繰り返し流布すること。世論を操作する目的があります。
- ベンチマーク: 特定の基準や課題を設定し、複数のシステムやモデルの性能を客観的かつ定量的に比較評価するための試験や指標のこと。
今後の影響
本ベンチマークは、AIモデルの信頼性と中立性を測る新たな国際的な基準となり得ます。今後、企業や開発者は、単なる性能だけでなく、特定のバイアスに対する耐性（ロバストネス）を証明することが求められ、AIの倫理的開発が進むと予想されます。これはAIのガバナンス強化に繋がります。