ChatGPTのような人工知能技術が進化を続けるにつれ、サイバー犯罪者による悪用の可能性も高まっています。BlackBerry Global Researchの調査によると、調査対象となったIT意思決定者の74%が、ChatGPTがサイバーセキュリティに潜在的な脅威をもたらす可能性があると認識しています。回答者の51%は、2023年にはChatGPTを悪用したサイバー攻撃が成功すると考えています。
ここでは、ChatGPT 関連のサイバーセキュリティに関して報告された最も重要な問題とリスクの概要を示します。
ダークウェブ上のChatGPT認証情報と脱獄プロンプト
ChatGPTの認証情報がダークウェブ上で盗まれる
サイバーセキュリティ企業Group-IBは、2023年6月にダークウェブにおけるChatGPTの盗難認証情報の取引に関する調査結果を発表しました。同社によると、2022年6月から2023年3月の間に10万件以上のChatGPTアカウントが盗難されました。これらの認証情報のうち4万件以上がアジア太平洋地域から盗まれ、次いで中東・アフリカ（24,925件）、ヨーロッパ（16,951件）、ラテンアメリカ（12,314件）、北米（4,737件）となっています。
サイバー犯罪者がChatGPTアカウントにアクセスしようとする主な理由は2つあります。まず、無料版と比べて制限のない有料アカウントを入手することが挙げられます。しかし、最大の脅威はアカウントのスパイ行為です。ChatGPTはすべての質問と回答の詳細な履歴を保存するため、機密データが詐欺師に漏洩する恐れがあります。
Group-IBの脅威インテリジェンス責任者であるドミトリー・シェスタコフ氏は、「多くの企業がChatGPTを業務フローに統合しています。従業員は機密性の高いやり取りを入力したり、ボットを使って自社コードを最適化したりしています。ChatGPTの標準設定ではすべての会話が保存されるため、アカウント認証情報が入手された場合、脅威アクターに機密情報の宝庫を提供してしまう可能性があります」と述べています。
ダークウェブ上の脱獄プロンプト
クラウドメールセキュリティ企業SlashNextは、サイバー犯罪者の地下フォーラムで脱獄プロンプトの取引が増加していると報告しました。これらのプロンプトは、ChatGPTのガードレールを回避し、攻撃者がAIを使って悪意のあるコンテンツを作成できるようにすることを目的としています。
ChatGPTの武器化
ChatGPTの悪用に関する最大の懸念は、サイバー犯罪者による武器化の可能性です。このAIチャットボットの機能を悪用することで、サイバー犯罪者は高度なフィッシング攻撃、スパム、その他の詐欺コンテンツを容易に作成できます。ChatGPTは個人や信頼できる団体・組織を巧妙に偽装できるため、無防備なユーザーを騙して機密情報を漏洩させたり、詐欺の被害に遭わせたりする可能性が高まります（図A）。
図A
この例からもわかるように、ChatGPTは、潜在的な被害者とのよりリアルでパーソナライズされたやり取りを提供することで、ソーシャルエンジニアリング攻撃の効果を高めることができます。メール、インスタントメッセージ、ソーシャルメディアプラットフォームなど、サイバー犯罪者はChatGPTを利用して情報を収集し、信頼関係を構築し、最終的には個人を欺いて機密データを開示させたり、有害な行動を取らせたりすることができます。
ChatGPTは偽情報やフェイクニュースを拡散する可能性がある
インターネット上では、偽情報やフェイクニュースの拡散が深刻な問題となっています。ChatGPTを利用することで、サイバー犯罪者は誤解を招くような、あるいは有害なコンテンツを大量に迅速に作成・拡散し、影響力行使に利用することが可能になります。これは、社会不安の増大、政情不安、そして信頼できる情報源に対する国民の不信感につながる可能性があります。
ChatGPTは悪意のあるコードを書くことができる
ChatGPTには、マルウェアの作成や有害、違法、または非倫理的な活動に関連するプロンプトの生成を防ぐための複数のプロトコルが備わっています。しかし、低レベルのプログラミングスキルを持つ攻撃者であっても、これらのプロトコルを回避してマルウェアコードを作成させることは可能です。この問題については、複数のセキュリティ研究者が記事を執筆しています。
サイバーセキュリティ企業HYASは、ChatGPTの助けを借りて「Black Mamba」と呼ばれる概念実証マルウェアを作成した方法に関する調査結果を発表しました。このマルウェアは、キーロガー機能を備えたポリモーフィック型マルウェアです。
マーク・ストックリー氏はMalwareBytes Labsのウェブサイトで、ChatGPTにランサムウェアを作成させたものの、このAIはランサムウェアの作成が非常に苦手だと結論付けています。その理由の一つは、ChatGPTの文字数制限が約3,000語であることにあります。ストックリー氏は「ChatGPTは基本的にインターネット上で見つけたコンテンツをマッシュアップして言い換えている」ため、ChatGPTが提供するコードは目新しいものではないと述べています。
データセキュリティ企業Forcepointの研究者アーロン・マルグルー氏は、ChatGPTのレールガードを全て回避する方法をスニペット形式で記述することで公開しました。この手法により、様々なアンチウイルスエンジンでマルウェア検出を提供するプラットフォームであるVirusTotalの69種類のアンチウイルスエンジンで検出されない高度なマルウェアが作成されました。
サイバー犯罪者向けに開発されたAI「WormGPT」
SlashNextのダニエル・ケリー氏は、ダークウェブで宣伝されているWormGPTと呼ばれる新しいAIツールを暴露しました。このツールは「ブラックハットにとって最良のGPT代替ツール」と宣伝されており、倫理的な制限なしにプロンプトに回答を提供します。これは、悪意のあるコンテンツの作成を困難にするChatGPTとは対照的です。図BはSlashNextのプロンプトを示しています。
図B
WormGPT の開発者は、AI がどのように作成されたか、トレーニング プロセス中にどのようなデータが入力されたかについての情報を提供していません。
WormGPTはいくつかのサブスクリプションプランを提供しています。月額サブスクリプションは100ユーロで、最初の10回のプロンプトは60ユーロです。年間サブスクリプションは550ユーロです。プライベートAPI付きのプライベートセットアップは5,000ユーロです。
AI によって生み出されるサイバー脅威をどのように軽減できるでしょうか?
AIによって生み出されるサイバー脅威に対する特別な緩和策はありません。特にソーシャルエンジニアリングに関しては、通常のセキュリティ推奨事項が適用されます。従業員は、フィッシングメールや、メール、インスタントメッセージ、ソーシャルメディアなど、あらゆるソーシャルエンジニアリングの試みを検知するためのトレーニングを受ける必要があります。また、機密データをChatGPTに送信することは、漏洩の可能性があるため、セキュリティ上好ましくないことにご留意ください。
開示：私はトレンドマイクロに勤務していますが、この記事で述べられている意見は私自身のものです。
