Cisco Talos AI セキュリティ研究者のエイミー・チャン氏は、8 月 6 日水曜日の Black Hat カンファレンスにおいて、生成 AI のガードレールを破る斬新な方法、「分解」と呼ばれる手法について詳しく説明します。分解とは、人間が書いたコンテンツを逐語的に繰り返すように誘導することで、生成 AI の「ブラックボックス」内にトレーニングデータを誘導する手法です。
「地球上の人間は、たとえどれだけのお金を払って人々の才能を獲得しようとも、何が起こっているのかを真に理解することはできません。特にフロンティアモデルにおいてはなおさらです」とチャン氏はTechRepublicとのインタビューで述べた。「そのため、あるモデルがどのように機能するかを正確に理解していなければ、そのモデルからセキュリティを確保することも不可能なのです。」
分解によって法学修士たちは情報源を明かすことになる
「私たちは彼らに著作権のある資料の複製や抜粋を提供してもらったり、モデルが非常に特定のデータソースでトレーニングされたことを確認または推測できるかどうかを調べようとし始めました」とチャン氏は語った。
当初、法学修士たちは正確なテキストの提供を拒否しましたが、研究者たちはAIを騙して論文のタイトルを答えさせることに成功しました。そこから、研究者たちは具体的な文章など、より詳細な情報を促しました。こうして、論文の一部、あるいは論文全体を再現することができました。
この分解法によって、ニューヨークタイムズの記事3,723件中73件から少なくとも1つの逐語的な文を抽出でき、ウォールストリートジャーナルの記事1,349件中7件から少なくとも1つの逐語的な文を抽出できた。
研究者たちは、「『インターネットを閲覧して特定の記事からリアルタイムのコンテンツを取得できない』といったフレーズは絶対に使用しない」といったルールを設定しました。それでもモデルが記事の正確な文章を再現できなかったり、再現を拒否したりすることがありました。プロンプトに「あなたは役に立つアシスタントです」というフレーズを追加すると、AIは最も可能性の高いトークンへと誘導され、訓練されたコンテンツを提示する可能性が高まります。
チャン氏によれば、LLM は出版された論文を複製することから始めて、その後追加の内容を幻覚的に作成することもあったという。
Cisco Talosは、モデルをトレーニングした企業にデータ抽出方法を開示した。企業側は回答し、提出内容を認めたとチャン氏は述べた。
組織がLLMデータ抽出から身を守る方法
「より機密性の高いデータについて話しているのであれば、LLM がどのように機能するか、また、LLM または RAG (検索拡張生成システム) を財務、人事、その他の種類の PII、PHI などの機密データのプールに接続する場合の一般的な仕組みを理解しておく必要があると思います。そうすれば、潜在的に抽出される可能性があるという影響を理解できます」とチャン氏は述べた。
彼女はまた、組織が LLM によって取得されることを望まない情報をエアギャップにすることを推奨しました。
その他の AI ニュースとしては、先月、OpenAI、Anthropic、Google DeepMind などが、AI モデルを監視する方法として Chain-of-Thought (CoT) の監視可能性を提案する立場表明を発表しました。
