イリノイ大学アーバナ・シャンペーン校の研究者による新たな研究によると、OpenAIの大規模言語モデルGPT-4は、人間の介入なしに現実世界の脆弱性を悪用できることが明らかになった。GPT-3.5や脆弱性スキャナーなどの他のオープンソースモデルでは、このようなことは不可能である。
GPT-4上で動作する大規模言語モデルエージェント（LLMに基づく高度なシステムで、ツール、推論、自己反省などを通じてアクションを実行できます）は、米国標準技術研究所（NIST）の説明に基づいて「ワンデイ」脆弱性の87%を悪用することに成功しました。ワンデイ脆弱性とは、公開されているもののまだ修正プログラムが適用されていない脆弱性であり、依然として悪用される可能性があります。
「LLMがますます強力になるにつれて、LLMエージェントの能力も向上している」と研究者たちはarXivのプレプリントに記している。また、他のモデルが比較的うまく機能していないのは、GPT-4よりも「ツールの使用がはるかに劣っている」ためだと推測している。
調査結果によると、GPT-4 には、スキャナーが見逃す可能性のある将来の脆弱性を自律的に検出して悪用する「新たな能力」があることがわかりました。
イリノイ大学カリフォルニア大学アーバイン校の助教授で研究論文の著者でもあるダニエル・カン氏は、自身の研究結果が防衛の現場で利用されることを期待している。しかし、その能力がサイバー犯罪者にとって新たな攻撃手段となる可能性もあることを認識している。
彼はTechRepublicへのメールでこう述べている。「LLMのコストが下がれば、1日で発生する脆弱性を悪用するハードルが下がるのではないかと考えています。以前は手作業で行われていましたが、LLMが十分に安価になれば、このプロセスはより自動化されるでしょう。」
GPT-4 は脆弱性を自律的に検出して悪用することにどの程度成功しているのでしょうか?
GPT-4は1日の脆弱性を自律的に悪用できる
GPT-4 エージェントは、モデルの知識カットオフ日である 2023 年 11 月 26 日以降に Common Vulnerabilities and Exposures データベースに公開されたものであっても、Web および非 Web の 1 日の脆弱性を自律的に悪用することができ、その優れた能力を実証しました。
「以前の実験で、GPT-4は計画と計画の遵守に優れていることがわかったので、驚きませんでした」とカン氏はTechRepublicに語った。
参照: GPT-4 チートシート: GPT-4 とは何ですか? 何ができますか?
カン氏のGPT-4エージェントはインターネットにアクセスでき、そのため、その悪用方法に関する公開情報はすべて入手できた。しかし、高度なAIがなければ、その情報だけではエージェントを悪用成功へと導くには不十分だとカン氏は説明した。
「GPT-4が脆弱性を悪用する計画を立てられるという意味で、『自律的』という言葉を使っています」と彼はTechRepublicに語った。「ACIDRainのように、現実世界で5000万ドル以上の損失をもたらした多くの脆弱性は、オンラインで情報が入手可能です。しかし、それらを悪用するのは容易ではなく、人間にとってはある程度のコンピュータサイエンスの知識が必要です。」
GPT-4エージェントに提示された15件の1日限定の脆弱性のうち、悪用されなかったのはIris XSSとHertzbeat RCEの2件のみでした。著者らは、Irisウェブアプリの操作が特に難しく、Hertzbeat RCEの説明が中国語で書かれているため、プロンプトが英語の場合、中国語の解釈が困難になる可能性があると推測しています。
GPT-4はゼロデイ脆弱性を自律的に悪用することはできない
GPT-4エージェントは脆弱性情報へのアクセス時には驚異的な87%の成功率を記録しましたが、アクセスしなかった場合にはわずか7%にまで低下し、現時点ではゼロデイ脆弱性を悪用する能力がないことを示しています。研究者らは、この結果はLLMが「脆弱性を発見するよりも、脆弱性を悪用する能力がはるかに高い」ことを示していると述べています。
GPT-4を使って脆弱性を悪用する方が人間のハッカーを使うよりも安価である
研究者らは、GPT-4 の悪用が成功した場合の平均コストは脆弱性 1 つにつき 8.80 ドルである一方、人間の侵入テスト担当者を雇用して 30 分かかる場合のコストは脆弱性 1 つにつき約 25 ドルであると算出しました。
LLMエージェントは既に人間の労働力の2.8倍安価ですが、研究者たちはGPT-3.5がわずか1年で3倍以上安価になったことから、GPT-4の関連運用コストはさらに低下すると予想しています。「LLMエージェントは人間の労働力とは対照的に、容易に拡張可能です」と研究者らは記しています。
GPT-4は脆弱性を自律的に悪用するために多くのアクションを実行します
その他の調査結果には、多数の脆弱性を悪用するには多くのアクションが必要であり、中には最大 100 に及ぶものもあったことが含まれています。驚くべきことに、エージェントが説明にアクセスできる場合とアクセスできない場合に実行されたアクションの平均数はわずかにしか変わらず、GPT-4 は後者のゼロデイ設定で実際により少ない手順を実行しました。
Kang 氏は TechRepublic に対して、「CVE の説明がないと、GPT-4 はどのパスを取るべきか分からず、簡単に諦めてしまうのではないかと思います」と推測しました。
LLM の脆弱性悪用機能はどのようにテストされましたか?
研究者らはまず、CVEデータベースと学術論文から、現実世界で発生したソフトウェアの脆弱性15件のベンチマークデータセットを収集しました。これらの再現可能なオープンソースの脆弱性は、ウェブサイトの脆弱性、コンテナの脆弱性、脆弱なPythonパッケージで構成されており、半数以上が深刻度「高」または「重大」に分類されていました。
次に、彼らはReAct自動化フレームワークをベースにしたLLMエージェントを開発しました。これは、次のアクションを推論し、アクションコマンドを構築し、適切なツールで実行し、インタラクティブループで繰り返すことができることを意味します。開発者はわずか91行のコードを書くだけでエージェントを作成でき、実装がいかにシンプルであるかを示しています。
基本言語モデルは、GPT-4 と以下の他のオープンソース LLM の間で切り替えることができます。
- GPT-3.5。
- OpenHermes-2.5-ミストラル-7B。
- LlaMA-2 チャット（70B）。
- LLaMA-2 チャット（13B）。
- LLaMA-2 チャット（7B）。
- Mixtral-8x7B インストラクト。
- ミストラル（7B）インストラクトv0.2。
- ヌース・ヘルメス-2 イー34B。
- オープンチャット3.5。
エージェントは、Webブラウジング要素、ターミナル、Web検索結果、ファイル作成・編集機能、コードインタープリターなど、標的システムの脆弱性を自律的に悪用するために必要なツールを備えていました。また、CVEデータベースから脆弱性の説明にアクセスし、1日設定をエミュレートすることもできました。
次に、研究者たちは各エージェントに詳細なプロンプトを与え、創造性と粘り強さを発揮し、15の脆弱性を悪用するための様々なアプローチを模索するよう促しました。このプロンプトは1,056個の「トークン」、つまり単語や句読点などのテキストの個々の単位で構成されていました。
各エージェントのパフォーマンスは、脆弱性の悪用に成功したかどうか、脆弱性の複雑さ、入力および出力されるトークンの数と OpenAI API コストに基づく取り組みのドルコストに基づいて測定されました。
参照: OpenAI の GPT ストアがチャットボット開発者向けにオープン
より難易度の高いゼロデイ攻撃をエミュレートするため、エージェントに脆弱性の説明を提供しない状態でも実験を繰り返しました。この場合、エージェントは脆弱性を発見し、それを悪用することに成功する必要があります。
エージェントに加え、ペネトレーションテスターで広く使用されている脆弱性スキャナーであるZAPとMetasploitにも、同じ脆弱性が提供されました。研究者たちは、これらの脆弱性スキャナーとLLMの脆弱性特定および悪用における有効性を比較したかったのです。
最終的に、GPT-4ベースのLLMエージェントのみが、CVE記述にアクセスできる場合にのみ、1日限りの脆弱性を発見し、悪用できることが判明しました。他のLLMと2つのスキャナーは成功率が0%であったため、ゼロデイ脆弱性のテストは実施されませんでした。
研究者はなぜ LLM の脆弱性悪用機能をテストしたのでしょうか?
この研究は、LLM が人間の介入なしにコンピュータ システムの 1 日の脆弱性を悪用する能力に関する知識のギャップを埋めるために実施されました。
CVEデータベースに脆弱性が公開された場合、そのエントリには必ずしもその脆弱性の悪用方法が記載されているわけではありません。そのため、脆弱性を悪用しようとする脅威アクターや侵入テスターは、自らその方法を解明しなければなりません。研究者たちは、既存のLLMを用いてこのプロセスを自動化できるかどうかを検討しました。
参照: ビジネスにAIを活用する方法を学ぶ
イリノイ大学のチームはこれまで、「キャプチャー・ザ・フラッグ」演習を通じてLLMの自律ハッキング能力を実証してきましたが、実世界での運用は行っていません。他の研究は主に、サイバーセキュリティにおける「ヒューマン・アップリフト」の文脈におけるAIに焦点を当てており、例えばハッカーがGenAI搭載のチャットボットによって支援されるといった事例があります。
カン氏はTechRepublicに対し、「私たちの研究室は、エージェントを含む最先端のAI手法の能力は何かという学術的な問いに焦点を当てています。近年、サイバーセキュリティの重要性が高まっていることから、特に注力しています」と語った。
OpenAIにコメントを求めました。
