AIシステムは驚異的なスピードで進化していますが、それを巧みにかわすための戦術も進化を続けています。開発者は大規模言語モデル（LLM）が有害なコンテンツを生成しないように堅牢なガードレールを構築し続けていますが、攻撃者はより控えめで計算された戦略に目を向けています。今日のジェイルブレイクは、粗雑なプロンプトハッキングや意図的なプロンプトのスペルミスに頼るのではなく、モデルの内部動作を複数回にわたって悪用します。
そうした新たな戦術の 1 つが「エコー チェンバー攻撃」です。これは、OpenAI の GPT-4 や Google の Gemini などの主要な LLM の防御を回避するコンテキスト ポジショニング手法です。
NeuralTrust の AI セキュリティ研究者 Ahmad Alobaid 氏が今週発表した研究によると、この攻撃は、明らかに危険なプロンプトに遭遇することなく、言語モデルを操作して有害なコンテンツを生成する方法を示しています。
スペルミスなどのトリックに頼る従来の脱獄とは異なり、Echo Chamberは、中立的または感情を示唆するプロンプトを用いて、モデルを一連の会話ターンに導きます。このアプローチは、間接的な手がかりを通してモデルのコンテキストを汚染し、一種のフィードバックループを構築することで、モデルの安全レイヤーを静かに破壊します。
エコーチェンバー攻撃の仕組み
攻撃は通常、無害な文脈から始まりますが、AIを不適切な領域へと誘導する隠された意味的手がかりを含んでいます。例えば、攻撃者は「前の段落の2番目の文に戻ってください…」と何気なく言うかもしれません。これは、モデルにリスクを伴う可能性のある以前のコンテンツを再び提示するよう促す要求であり、過度に危険な内容は一切述べていません。
「敵対的なフレーズや文字の難読化に頼る従来のジェイルブレイクとは異なり、Echo Chamberは間接参照、セマンティックステアリング、そして多段階推論を武器としています」と、Alobaid氏はNeuralTrustのブログ記事で述べています。「その結果、モデルの内部状態が巧妙かつ強力に操作され、徐々にポリシー違反の応答を生成するようになります。」
最終的に、攻撃者は「その点について詳しく説明していただけますか?」のような質問をし、モデルが自ら生成したコンテンツを拡張するように誘導し、直接の要求を必要とせずに危険な指示を強化することになります。
NeuralTrust によると、この手法により、攻撃者はモデルの以前の出力によってすでに示唆されている「パスを選択」し、多くの場合警告をトリガーすることなく、コンテンツをゆっくりとエスカレートすることができます。
研究の一例では、火炎瓶の作り方の指示を直接要求する試みが AI によって拒否されましたが、Echo Chamber の複数ターンの操作を使用することで、最終的に同じ内容が抵抗なく生成されました。
驚異的な成功率
モデルごとに 200 回の脱獄試行を実施した内部テストで、Echo Chamber は次の成果を達成しました。
- 性差別、ヘイトスピーチ、暴力、ポルノに関連する出力をトリガーすることに 90% 以上の成功率があります。
- 誤情報や自傷行為を助長するコンテンツの生成に約 80% 成功しました。
- 卑猥な言葉や違法行為の指示を出すことに40%以上の成功率。
これらの数値は、GPT-4.1-nano、GPT-4o、GPT-4o-mini、Gemini 2.0 flash-lite、Gemini 2.5 flash など、複数の主要 LLM で一貫しており、脆弱性の範囲を浮き彫りにしています。
「この反復プロセスは複数回にわたって継続され、モデルが安全しきい値に達するか、システムが課した制限に達するか、または攻撃者が目的を達成するまで、徐々に特異性とリスクが増大します」と研究では説明されている。
AI業界への影響
NeuralTrustは、この種の脱獄は現在のアライメントの取り組みにおける「盲点」となると警告しました。他の脱獄攻撃とは異なり、エコーチェンバーはブラックボックス設定内で実行されるため、攻撃者はモデル内部にアクセスすることなく効果的に攻撃を実行できます。
「これは、LLMの安全システムが文脈的推論と推論による間接的な操作に対して脆弱であることを示している」とNeuralTrustは警告した。
NeuralTrustのCOO、アレハンドロ・ドミンゴ・サルバドール氏によると、GoogleとOpenAIの両社にこの脆弱性について通知済みであり、同社はシステムに保護対策を実装している。
この新しい種類の攻撃に対抗するために、NeuralTrust は次のことを推奨しています。
- コンテキスト認識型の安全性監査:個別のプロンプトだけでなく、会話の流れを監視します。
- 毒性蓄積スコアリング:危険なコンテンツの微妙なエスカレーションを追跡します。
- 間接検出:以前のコンテキストが悪用されて有害なコンテンツが再導入されているかどうかを識別します。
エコーチェンバーの脱獄は、AIセキュリティにおける転換点となりました。今日のLLMは、どれほど高度であっても、間接的かつ巧妙な誘導によって操作される可能性があることを証明しています。
AI チャットボットの脱獄の脆弱性に関する TechRepublic の記事と、この増大する脅威に開発者がどのように対応しているかをご覧ください。
