セキュリティプラットフォームでありハッカーコミュニティフォーラムでもあるHackerOneは、7月27日（木）にラウンドテーブルを開催し、生成型AIがサイバーセキュリティの実践にどのような変化をもたらすかについて議論しました。ハッカーや業界の専門家が、新たな攻撃対象領域や大規模言語モデルを扱う際に組織が留意すべき点など、サイバーセキュリティの様々な側面における生成型AIの役割について議論しました。
ジャンプ先:
- 組織が生成AIを急激に導入するとリスクが生じる可能性がある
- 脅威アクターが生成AIを悪用する方法
- ディープフェイク、カスタム暗号化ツール、その他の脅威
- 「GPTモデルから出てくるものは何も新しいものではない」
- 企業が生成AIを安全に保護する方法
組織が生成AIを急激に導入するとリスクが生じる可能性がある
ChatGPTのような生成AIを使ってコードを書く組織は、急いで脆弱性を作り出してしまわないように注意する必要がある、とプロのハッカーであり、SaaSセキュリティ企業AppOmniのシニア攻撃セキュリティエンジニアでもあるJoseph “rez0” Thacker氏は述べた。
例えば、ChatGPTは、生成するコードに脆弱性がどのように発生するかを理解するためのコンテキストを持っていません。組織は、ChatGPTがSQLインジェクションに対して脆弱ではないSQLクエリを生成する方法を知っていることを期待するしかないとThacker氏は述べています。攻撃者がユーザーアカウントや組織内の複数の部署に保存されているデータにアクセスできると、侵入テスターが頻繁に探す脆弱性が発生することが多く、ChatGPTはコード内でそれらを考慮できない可能性があります。
生成 AI 製品の使用を急ぐ企業が直面する主なリスクは次の 2 つです。
- 内部データにアクセスできる外部ユーザーに対して、LLM をあらゆる方法で公開することを許可します。
- さまざまなツールやプラグインを AI 機能に接続し、たとえ内部のデータであっても信頼できないデータにアクセスする可能性がある。
脅威アクターが生成AIを悪用する方法
「GPTモデルのようなシステムは新しいものを生み出すのではなく、既存のもの、つまり既に訓練済みのものを再調整するものであるということを忘れてはなりません」とクロンダイク氏は述べた。「今後は、技術的なスキルがあまりない人でも、独自のGPTモデルにアクセスしてコードについて学んだり、既存のランサムウェアの構築を支援できるようになるでしょう。」
迅速な注射
LLM が実行できるようなインターネットの閲覧操作であれば、何でもこの種の問題を引き起こす可能性があります。
LLM ベースのチャットボットに対するサイバー攻撃の可能性のある手段の 1 つはプロンプト インジェクションです。これは、LLM を呼び出して特定のアクションを実行するようにプログラムされたプロンプト関数を悪用します。
例えば、Thacker氏によると、攻撃者がプロンプトインジェクションを利用してLLM関数呼び出しのコンテキストを制御下に置くと、Webブラウザ機能を呼び出し、抽出したデータを攻撃者側に移動させることでデータを窃取できるという。あるいは、メールの読み取りと返信を行うLLMに、プロンプトインジェクションのペイロードをメールで送信することも可能だ。
参照: ジェネレーティブ AI がクラウド セキュリティのゲームチェンジャーとなる理由 (TechRepublic)
倫理ハッカーのロニ・“ルピン”・カルタ氏は、ChatGPTを使ってコンピュータにプロンプトパッケージをインストールする開発者が、生成AIにライブラリの検索を依頼すると問題が発生する可能性があると指摘しました。ChatGPTはライブラリ名を偽造するため、脅威アクターはこれを悪用して偽のライブラリをリバースエンジニアリングすることができます。
攻撃者は画像に悪意のあるテキストを挿入することも可能です。Bardのような画像解釈AIが画像をスキャンすると、そのテキストがプロンプトとして展開され、AIに特定の機能を実行するよう指示します。つまり、攻撃者は画像を通じてプロンプトインジェクションを実行できるのです。
ディープフェイク、カスタム暗号化ツール、その他の脅威
カルタ氏は、ソーシャルエンジニアリングやディープフェイクの音声・動画といった防御にも使える技術を使おうとする攻撃者にとって障壁が低くなったと指摘した。
「これはサイバー犯罪者にとって驚くべきことだが、ソーシャルエンジニアリングを使って仕事をするレッドチームにとっても驚くべきことだ」とカルタ氏は語った。
技術的な課題の観点から、クロンダイク氏は、LLMの構築方法により、データベースから個人を特定できる情報を除去することが困難であると指摘しました。社内LLMは、従業員や脅威アクターにデータを表示したり、本来は非公開であるはずの機能を実行したりすることが可能だと彼は述べています。これには複雑なプロンプトインジェクションは必要なく、適切な質問をするだけで済むかもしれません。
「まったく新しい製品が登場するだろうが、脅威の状況はこれまでと同じ脆弱性が、より多く存在するようになるだろうとも考えている」とタッカー氏は述べた。
ハッカーおよびデータサイエンティストコミュニティ「AI Village」のシニアサイバーセキュリティコンサルタント、ギャビン・クロンダイク氏は、アマチュアの脅威アクターがGPTモデルなどのシステムを利用して攻撃を仕掛けるため、サイバーセキュリティチームは低レベルの攻撃の増加に直面する可能性が高いと述べた。上級レベルのサイバー犯罪者は、カスタム暗号化ソフトウェア（マルウェアを隠蔽するソフトウェア）や生成AIを活用したマルウェアを作成できるようになるだろうと、同氏は述べた。
「GPTモデルから出てくるものは何も新しいものではない」
パネルでは、生成 AI が他のツールと同じ疑問を提起するのか、それとも新しい疑問を提示するのかについて議論がありました。
「ChatGPTはStack Overflowのようなサービスで訓練されていることを忘れてはならないと思います」と、マンチェスター・メトロポリタン大学のサイバーセキュリティ講師でありセキュリティ研究者でもあるケイティ・パクストン＝フィア氏は述べた。「GPTモデルから得られる情報に新しいものは何もありません。こうした情報はすべてGoogleで既に見つけられるのです。」
「良いAIと悪いAIについて議論する際には、真の教育を犯罪化しないよう、本当に注意する必要があると思います。」
Carta 氏は生成 AI をナイフに例えました。ナイフのように、生成 AI は武器にもなり、ステーキを切る道具にもなり得ます。
「結局のところ、AIが何ができるかではなく、人間が何ができるかが重要になる」とカルタ氏は語った。
参照: サイバーセキュリティの刃として、ChatGPTは両刃の剣です (TechRepublic)
サッカー氏はこの比喩に反論し、生成AIはナイフと比較することはできないと述べた。なぜなら、生成AIは人類が初めて手にしたツールであり、「幅広い分野の経験により、斬新でまったく独自のアイデアを生み出す」ことができるからだ。
あるいは、AIはスマートツールとクリエイティブコンサルタントの融合体となる可能性もある。クロンダイク氏は、AIによって悪意のあるコードの作成が容易になることで、低レベルの脅威アクターが最も恩恵を受ける一方で、サイバーセキュリティ専門家側で最も恩恵を受けるのは上級レベルの人材だと予測した。彼らは既にコードの組み立て方や独自のワークフローの書き方を知っており、他のタスクについてはAIに支援を求めるだろう。
企業が生成AIを安全に保護する方法
AI Village で Klondike 氏と彼のチームが作成した脅威モデルでは、ソフトウェア ベンダーに対して、LLM をユーザーとして考え、アクセスできるデータに関するガードレールを作成することを推奨しています。
AIをエンドユーザーのように扱う
LLMを扱う上で脅威モデリングは極めて重要だと彼は述べた。LLMを利用した開発ツールLangChainを標的とした攻撃者がPythonコードインタープリタに直接コードを流し込むという最近の問題のように、リモートコード実行を捕捉することも重要である。
「私たちがすべきことは、エンドユーザーと、彼らがアクセスしようとしているバックエンドリソースの間で認証を実施することです」とクロンダイク氏は語った。
基本を忘れずに
LLMを安全に利用したい企業へのアドバイスの中には、他のアドバイスと何ら変わらないものもあると、パネリストたちは述べた。HackerOneの共同創設者でプロフェッショナルサービス責任者のミヒール・プリンス氏は、LLMに関しては、組織が「ユーザー入力を危険なものとして扱う」というセキュリティの標準的な教訓を忘れているようだと指摘した。
「このソフトウェアの一部を開発する中で、過去30年間に学んだサイバーセキュリティの教訓を私たちはほとんど忘れてしまっている」とクロンダイク氏は語った。
パクストン・フィア氏は、生成 AI が比較的新しいという事実を、最初からセキュリティを組み込むチャンスと捉えています。
「これは開発段階であり、10年後にセキュリティを追加するのではなく、一歩下がってセキュリティを組み込む絶好の機会です。」
