AIバグハンターがHackerOneのリーダーボードでトップの座を獲得し、画期的な成果を樹立

XBOWと呼ばれる自律型AIシステムは、大手組織がサイバーセキュリティ強化のために使用するバグ報奨金プラットフォームであるHackerOneにおいて、人間の研究者を上回る成績を収め、米国でトップクラスのセキュリティテスターとなった。

これは、現実世界の環境で自律システムが人間の専門家よりも優れたパフォーマンスを発揮した初めての記録的な事例であるため、倫理的セキュリティ研究における AI の使用における画期的な出来事です。

XBOWは、実世界のシステムにおける脆弱性を特定、検証、報告できる独立したペネトレーションテスターとして機能するように開発されました。数ヶ月の間に、XBOWは1,000件を超える脆弱性レポートを提出し、数千人の倫理的なハッカーを抜いて米国のリーダーボードのトップに躍り出ました。

「すべての調査結果は完全に自動化されています」と、XBOWのセキュリティ責任者であるニコ・ワイスマン氏は、同社のトップランキングに関するブログ記事に記している。しかし、彼は、AIツールの使用に関するHackerOneの現行のポリシーを遵守するため、提出前に人間のスタッフがレビューを実施したと指摘した。

AIツールの精度はどのくらいですか？

AIツールはセキュリティテストにおいて誤検知を頻繁に起こすという懸念が一般的ですが、XBOWの精度はセキュリティ専門家を驚かせています。社内指標によると、

• 132 件の脆弱性がプログラム所有者によって確認され、解決されました。
• 303 件の脆弱性が「トリアージ」されました。これは、認識されているもののまだ解決されていないことを意味します。
• 125 件の脆弱性がまだ検討中です。
• 208 件の脆弱性レポートが重複としてマークされました。
• 209 件の脆弱性が情報としてラベル付けされました。
• 36 件の脆弱性が該当すると判断されました。

過去 3 か月間の深刻度に関して、XBOW のレポートには次のものが含まれています。

• 54件の重大な脆弱性
• 242の重大な脆弱性
• 中程度の脆弱性524件
• 65 低レベルの脆弱性

これらの数字は、AI の調査結果が迅速であるだけでなく、影響力も大きいことを示しています。

XBOW はどのように機能しますか?

XBOW のトレーニングは、サイバーセキュリティ教育で一般的な方法である Capture The Flag (CTF) チャレンジを解くことから始まり、その後、現実世界の状況をシミュレートするテスト環境に移りました。

品質を確保するため、システムは「バリデータ」レイヤーを使用しています。これは、脆弱性が実際に存在するかどうかを検証する自動チェッカーで、言語モデルやカスタムスクリプトなどを活用している場合もあります。

「私たちはXBOWを、外部の研究者と同じように扱いました。近道も社内の知識も一切使わず、XBOWが自律的に動くだけを扱いました」とワイズマン氏は述べた。同社は、このAIによる最も独創的な発見のいくつかを詳述したブログ記事シリーズを公開し、その仕組みと発見内容を透明に公開する予定だ。

ブルームバーグによると、XBOWは、Altimeter Capitalが主導し、Sequoia CapitalとNFDGが参加した新たな資金調達ラウンドで7,500万ドルを調達したばかりだという。