ChatGPTはOpenAIが開発し、自然言語生成器GPT-3をベースにした大規模言語モデルであり、倫理的な議論を生み出しています。CRISPRが生物医学工学に与えた影響と同様に、ChatGPTは情報を細分化し、断片的な情報から新たなものを生み出し、哲学、倫理、宗教の分野に新たな息吹を吹き込んでいます。
さらに、ChatGPTはセキュリティに多大な影響をもたらします。一般的なチャットボットやNLPシステムとは異なり、ChatGPTボットは人間のように振る舞います。哲学や倫理学など、あらゆる分野の学位を持つ人間です。文法は完璧で、構文は難解、そしてレトリックは見事です。そのため、ChatGPTはビジネスメール詐欺の攻撃に非常に効果的なツールとなっています。
Checkpoint社の最新レポートが示唆するように、これはコードに精通していない攻撃者にとってマルウェアを展開する容易な手段でもあります。レポートでは、最近アンダーグラウンドのハッキングフォーラムに現れ、ChatGPTを用いてマルウェアの亜種を再現する実験など、様々なエクスプロイトを発表した複数の脅威アクターの詳細が示されています。
セキュリティサービス企業 Praetorian の CTO である Richard Ford 氏は、ChatGPT やその他の自動コード生成ツールを使用してアプリケーションを作成することのリスクについて疑問を抱いていました。
「取り込むコードを理解していますか？そして、アプリケーションのコンテキストにおいて、それは安全ですか？」とフォード氏は問いかけた。「副作用を理解していないコードをコピー＆ペーストすると、非常に大きなリスクが生じます。ちなみに、Stack Overflowからコピー＆ペーストする場合も同様です。ChatGPTを使えば、はるかに簡単にできます。」
参照:セキュリティリスク評価チェックリスト(TechRepublic Premium)
ジャンプ先:
- メール兵器としてのChatGPT
- ChatGPTのBECへの利用を防ぐ
- ChatGPT: ソーシャルエンジニアリング戦術
- ChatGPTにホワイトハットを付ける
- ChatGPTをより安全に
メール兵器としてのChatGPT
W/Labsのアンドリュー・パテル氏とジェイソン・サトラー氏による「創造的に悪意のあるプロンプトエンジニアリング」という魅力的なタイトルの最近の研究では、ChatGTPが使用する大規模言語モデルがスピアフィッシング攻撃の作成に優れていることが明らかになりました。彼らの言葉を借りれば、これらのモデルは、人の文章スタイルを「テキストディープフェイク」し、文体の癖を取り入れ、意見を提示し、トレーニングデータにその内容が全く含まれていなくても偽ニュースを作成することができます。つまり、ChatGPTのようなプロセスは、フィッシングメールを無限に繰り返し作成することができ、その繰り返しごとに人間の受信者との信頼関係を構築し、疑わしいテキストを探す標準的なツールを欺くことができるのです。
Abnormal Securityのアナリスト、クレイン・ハッソルド氏は、ChatGPTが私のような人間に取って代わる能力を、自身に関する記事の実用的な導入部分を作成させることで的確に実証しました。ハッソルド氏によると、このフレームワークは、ITチームが人材やAIにスキャンさせるフィッシングの兆候を含んでいないため、犯罪者にとって優れたマルチツールとなっているとのことです。
「危険信号や悪意のある兆候のない、リアルなメールを作成できます」とハッソルド氏は述べた。「より詳細で、よりリアルで、より多様なメールを作成できます。」
Abnormal Security が ChatGPT に HR と給与を狙った BEC 攻撃の 5 つの新しいバリエーションを作成するよう依頼するテストを実施したところ、1 分以内に 5 つのメッセージが生成されたことがわかりました。Hassold 氏はこれらのメッセージが互いに一意であると指摘しました (図 A )。
図A
ハッソルド氏によると、BEC攻撃を行う地下コミュニティの悪意ある人物は、繰り返し使用するテンプレートを共有しているため、多くの人が同じようなフィッシングメールを目にする可能性があるという。ChatGPTが生成するフィッシングメールはこうした冗長性を避け、悪意のあるテキスト文字列の特定に依存する防御ツールを回避している。
「ChatGPTを使用すると、キャンペーンごとに毎回ユニークなメールを作成できます」とハッソルド氏は語った。
別の例では、ハッソルド氏は、受信者がリンクをクリックする可能性が高いメールを作成するよう ChatGPT に依頼しました。
「結果として得られたメッセージは、Abnormal で目にする多くの認証情報フィッシング メールと非常によく似ていました」と彼は述べています (図 B )。
図B
アブノーマル・セキュリティの調査員が、ボットになぜこのメールの成功率が高いと考えるのかを質問したところ、ボットは「フィッシングメールを効果的にするソーシャルエンジニアリングの中核原則を詳述した長い応答」を返した。
参照:人工知能倫理ポリシー(TechRepublic Premium)
ChatGPTのBECへの利用を防ぐ
BEC攻撃が受信者に到達する前にフラグ付けするには、ハッソルド氏はAIを活用してAIに対抗することを提案しています。AIツールは、ChatGPTの領域外にある、いわゆる行動アーティファクトを検知できるためです。そのためには、以下の点を理解する必要があります。
- 送信者識別用のマーカー。
- 送信者と受信者の間の正当な接続の検証。
- 電子メールの送信に使用されているインフラストラクチャを検証する機能。
- 既知の送信者および組織のパートナーに関連付けられた電子メール アドレス。
これらは ChatGPT の管理外であるため、AI セキュリティ ツールによって、より高度なソーシャル エンジニアリング攻撃を特定するために使用できるとハッソルド氏は指摘しました。
「例えば、『ジョン・スミス』という人物が実際に使っているメールアドレスが分かっているとします。もし表示名とメールアドレスが一致していない場合、それは悪意のある行為の兆候である可能性があります」と彼は述べた。「その情報とメール本文からのシグナルを組み合わせれば、正しい行動から逸脱する複数の兆候を積み重ねることができます。」
参照:意図ベースの BEC 検出による企業メールのセキュリティ保護(TechRepublic)
ChatGPT: ソーシャルエンジニアリング攻撃
パテル氏とサトラー氏は論文の中で、GPT-3やそれをベースにした他のツールは「創造性と会話的なアプローチ」を活用したソーシャルエンジニアリング攻撃を可能にすると指摘している。彼らは、こうした修辞的能力は、インターネットがサイバー犯罪者にとって物理的な障壁を消し去ったのと同じように、文化的な障壁を消し去ることができると指摘した。
「GPT-3により、犯罪者はさまざまな社会的状況を現実的に近似できるようになり、標的を絞ったコミュニケーションを必要とする攻撃がより効果的になる」と研究者らは記している。
言い換えれば、人間は機械よりも人間、あるいは人間だと思っているものに対してよく反応するのです。
Webex の製品管理担当副社長 Jono Luk 氏にとって、これは、フィッシングからヘイトスピーチの拡散まで、あらゆるレベルと目的でソーシャル エンジニアリングの悪用を促進する自己回帰言語モデルを搭載したツールの能力に関する、より大きな問題を示しています。
同氏は、悪意のある不正確なコンテンツにフラグを立てるためのガードレールとガバナンスを組み込む必要があると述べ、悪意のあるアクティビティや悪意のあるコードの組み込みにフラグを立てるための ChatGPT などのトレーニング フレームワークにレッド チーム/ブルー チームのアプローチを導入することを構想している。
「10年前、Twitter社がユーザーデータをどのように保護しているかについて政府に情報を提供したのと同様のアプローチを、ChatGPTでも見つける必要がある」とLuk氏は述べ、同ソーシャルメディア企業が後にFTCと和解した2009年のデータ侵害に言及した。
ChatGPTにホワイトハットを付ける
フォード氏は、ChatGPT のような大規模言語モデルが非専門家にどのようなメリットをもたらすかについて、少なくとも 1 つの肯定的な見解を示しました。それは、ユーザーの専門知識レベルでやり取りするため、ユーザーが素早く学習し、効果的に行動できるようになるというものです。
「エンドユーザーの技術レベルやニーズに合わせてインターフェースを適応させるモデルは、まさにゲームチェンジャーとなるでしょう」と彼は述べた。「アプリケーションにオンラインヘルプが備わり、適応して質問できるようになることを想像してみてください。特定の脆弱性に関する詳細情報や、その軽減方法を知ることができるようになることを想像してみてください。今日の世界では、これは大変な作業です。しかし、将来的には、これがセキュリティエコシステム全体の一部とやり取りする方法になるかもしれません。」
同氏は、セキュリティの専門家ではないが、より優れたセキュリティプロトコルをコードに組み込みたいと考えている開発者にも同じ原則が当てはまると示唆した。
「これらのモデルのコード理解能力が向上するにつれて、防御側はコードの副作用について質問し、モデルを開発パートナーとして活用できるようになるでしょう」とフォード氏は述べた。「適切に実行されれば、これはセキュリティの専門家ではないものの、安全なコードを書きたい開発者にとっても大きなメリットとなるでしょう。正直なところ、その応用範囲は極めて広いと考えています。」
ChatGPTをより安全に
自然言語を生成する AI モデルが悪質なコンテンツを作成できる場合、そのコンテンツを使用して、悪用に対する耐性を高めたり、悪意のある情報をより適切に検出できるようにしたりすることはできますか?
Patel 氏と Sattler 氏は、GPT-3 システムからの出力を使用して悪意のあるコンテンツを含むデータセットを生成し、これらのセットを使用してそのようなコンテンツを検出する方法を作成し、検出メカニズムが有効かどうかを判断することができると示唆しています。これらすべてがより安全なモデルを作成するためです。
責任はIT部門に帰属します。IT部門ではサイバーセキュリティのスキルが求められており、AIの軍拡競争によって人材不足はさらに深刻化する可能性が高いでしょう。スキルアップを目指すなら、サイバーセキュリティのプロになる方法を解説したチートシートをご覧ください。
