国境を越えた電子商取引の実務者にとってフィッシングメールは珍しいことではありませんが、スーダンは今回もフィッシングメールに陥りそうになり、時折の過失に加えて、生成型 AI の「恩恵」が重要な役割を果たしました。
以前は、フィッシングメールを特定する効果的な方法は、コンテンツ内の単語のスペルや文法の間違いに注意を払うことでした。データによると、フィッシングメールの約 50% はロシア、ドイツ、中国から送信されています。これらの非英語圏から送信される偽コンテンツのほとんどには、正式かつ標準的な電子メールのスタイルと矛盾する、異常な文法や表現が含まれています。
証明されていないフィッシングメール
実際、従業員が悪意のあるリンクを含む電子メールをクリックしたり、ログイン情報が漏洩したりするのを防ぐために、多くの電子商取引企業は、英語を母国語としない人が犯す可能性のあるスペルミス、異常な文法、その他の間違いを従業員に思い出させるトレーニングを行っています。
**ただし、現在の生成 AI テクノロジーは、これらの従来の認識機能を完全に排除できます。この Amazon フィッシングメールには文法上の誤りは含まれていません。 **
電子メールセキュリティ会社アブノーマルセキュリティのエヴァン・ライザー最高経営責任者（CEO）は最近、インタビューでこの点を指摘しており、生成AIプラットフォームによって生成される洗練されたフィッシングメールは本物のメールとほぼ同じであり、一目で識別するのは難しいという。 「これらの電子メールを見ても、これがフィッシング攻撃であるかもしれないという警告を脳内で起こすことは何もない」と同氏は言う。
**恐ろしいのは、言語エラーを回避するのは、フィッシングメールに対して生成 AI が示す基本的なスキルにすぎないということであり、欺瞞や混乱の能力が強化されると、より致命的になるということです。 **
人間の文章を模倣する AI の能力のおかげで、フィッシングメールの内容には、緊迫感を醸し出したり、受信者にリンクをクリックするよう促したり、送金要求を装ったソーシャル エンジニアリング メールが含まれる場合があります。受信者がリンクをクリックすると、システムが悪意のあるコードに感染する可能性があります。
上記のAmazon偽装メールのシナリオは、販売者にとって緊急を要するAIによって作成されたシナリオです。多くの販売者は、メールの内容をよく読んだ後、何かがおかしいと感じましたが、重要な情報を見逃しているのではないかと心配し、メールの指示に従いました。
**さらに、生成 AI はフィッシングメールをより攻撃的にする可能性もあります。 **ソーシャル プラットフォーム、ニュース ポータル、オンライン フォーラム、その他のソースから個人情報を取得して、よりターゲットを絞った魅力的な電子メールを作成する可能性があります。これは、これまで通常、完了するまでに数か月かかるタスクでした。攻撃者がこの機密情報にアクセスできる場合、より説得力のある詳細を電子メールに挿入したり、誰かの書き方を真似したりする可能性があります。
「現在、犯罪者は単にこれらの電子メールをキャプチャし、大規模なモデルに自動的に入力し、最後の 5 つのオンライン会話を参照する電子メールを作成するようにモデルに指示しているだけです」とエヴァン ライザー氏は指摘します。今では 8 秒しかかかりません。」
技術的能力が限られている攻撃者でも、生成 AI を利用して VBA コードを作成できます。 AI に悪意のある URL をコードに埋め込むように指示するだけで、ユーザーが Excel などのファイルを開くと、システムが自動的にマルウェアをダウンロードして実行します。
以前は、ChatGPT や Bard などのシステムには、悪意のあるコンテンツの生成を可能な限り防ぐための保護機能が組み込まれていましたが、邪悪な GPT バージョンがますます登場するにつれて、電子メールのセキュリティは大きな課題に直面しています。
2023 年 8 月 21 日、国際セキュリティ研究チーム Perception Point と Osterman Research は共同で「電子メール セキュリティにおける人工知能の役割」というタイトルのレポートを発表しました。このレポートは、サイバー犯罪者が AI を活用してフィッシングや BEC 攻撃などの電子メールの脅威を増加、複雑化させているという憂慮すべき傾向を明らかにしています。
**この調査では、サイバー犯罪者が自らの利益を高めるために AI ツールを急速に導入しており、組織の 91.1% が AI を利用した電子メール攻撃の被害に遭っていると報告していることが示されています。 **
**03 解決策: AI を使用して AI と戦いますか? **
**AIの脅威下においては、これまでの経験に頼ってフィッシングメールの罠を回避する方法は通用せず、AIを活用してAIと戦うことが新たな対策となる可能性があります。 **いくつかのサイバーセキュリティ企業は、生成型 AI が大規模に悪用される前に対策を講じるために、自社の製品に生成型 AI を統合しています。
ベンダーは AI を使用して電子メールのセキュリティ機能とプロセスを改善しています。たとえば、各送信者と受信者の習慣と特性を洞察するために、組織の各メンバーに通信パターンをマッピングする AI モデルが設計されています。
具体的には誰がメッセージを送るのでしょうか？メッセージの内容は何ですか?これらのメッセージはいつ、どこから送信されたのでしょうか?通常、他の人が CC されますか、それとも受信者は 1 人だけですか?各送信者はどの電子メール アドレスを使用しますか?つまり、AI は各人の通常の行動のプロファイルを構築するために使用されます。
さらに、異常な電子メール送信パターンを検出するために、ベンダーは次の戦略を組み合わせています: ソーシャル グラフ テクノロジーを使用した根本的な送信パターンの分析、類似または密接に関連する電子メール アドレスの特定、ソーシャル エンジニアリング技術を含むメッセージの特定、および偽者の検出。関連する視覚要素、電子メールのトーン、感情、スタイルの分類。上記の戦略はすべて、人間の心を混乱させるように設計された異常な電子メールを検出するのに役立ちます。
セキュリティ意識のトレーニングを受けた人間もこれらの異常信号を見つけることができますが、ネットワーク速度で分析のあらゆる側面を統合し、大量のメッセージに直面しても継続的かつ信頼性の高い検出を保証できるのは AI だけです。
AI ソリューションは、複数の機械学習モデルを活用して、悪意のあるコンテンツを含む情報を識別することもできます。これらのモデルは、悪意があるまたは無害であるとラベル付けされた情報のデータセットに基づいて開発、適応、および更新されます。一部のベンダーは、生成 AI テクノロジーを使用して、既知の悪意のある情報から追加のサンプル データを生成し、機械学習モデルのためのより豊富で高品質のトレーニング データを提供します。
**AIを倒すことができるのはAIだけです。 **
実際、多くの組織がすでに電子メールのセキュリティ保護に AI を使用しています。 Osterman Research によると、5 つの組織のうち 4 つが、従来の保護対策の追加として、過去 2 年間に AI ベースの電子メール セキュリティ ソリューションを導入したか、積極的に推進しています。
その中には、電子メール セキュリティを強化するために AI を導入する主な方法が 2 つあります。1 つは、既存の電子メール セキュリティ プロバイダーが自社の製品に AI 保護を統合することであり、もう 1 つは、組織が新しい AI 対応ソリューションを意図的に探しているということです。
過去 2 年間、回答者の 5 分の 1 は依然としてそのようなソリューションを採用していません。12.7% はソリューションをまったく導入していませんが、6.0% は可能な選択肢を積極的に検討し、評価しています。
**Osterman Research のデータによると、AI は検出効率の向上と保護の強化において優れた能力を示しています。 **
組織は、AI で強化された電子メール セキュリティ ソリューションを導入する前に、一定の検出効率を備えています。しかし、サイバー犯罪者が AI を使用して攻撃手法を向上させると、AI による保護のない組織は検出効率が大幅に低下することになります。
悪魔のように強くなければ、フィッシングメールの攻撃者と防御者を同じ AI テクノロジーのスタートラインに戻すことができます。
（記事中の登場人物は仮名です）
参照：
組織の 91% 以上が AI を利用した電子メール攻撃を経験しており、84% が既存のセキュリティを回避するために AI を継続的に使用すると予想していますWormGPT - サイバー犯罪者がビジネス電子メール侵害攻撃を開始するために使用している生成 AI ツールWormGPT と FraudGPT - 悪意のある LLM の台頭生成 AI はハッカーにとって電子メールに革命をもたらす可能性がある
フィッシングメールの背後にあるAIの攻撃と防御
出典: 科学技術の新しい知識
著者: 張島
生成 AI は、国境を越えた電子商取引分野をインターネット上の「新しい北ミャンマー」に変えています。 最近、多くの販売者が、Amazon の公式メールを装った「フィッシングメール」を受信したと報告しています。このメールは、提供された悪意のあるリンクを通じて販売者の重要なアカウント情報を抽出します。だまされて一晩で40万も失った人もいる。 スーダンは幸運な犠牲者の一人だ。 9月初旬に同氏が受け取ったメールは、送信元アドレスがアマゾンの公式アドレスに酷似しており、内容もアマゾンの通知スタイルを巧妙に模倣し、販売者に緊急連絡先情報の更新を促すものだった。 メールの指示に従って、「Amazon」と思われる Web サイトに移動し、メールアドレス、パスワード、2 段階認証コードの入力を求められます。一度騙されると、すぐに本物のAmazon公式から「ストアリモートログイン」の通知が届きます。
**スルタン氏は、何かが間違っていることに気づいたとき、すぐに損失を止め、また技術ツールを使用して電子メールの内容を分析したところ、電子メールが AI によって生成された可能性が 90% あることが判明しました。 **新しいテクノロジーが再び善と悪の岐路に立たされています。
01 生成型 AI は「悪を行っている」
スーダンは国内外で頻繁にインターネット サーフィンをします。彼は ChatGPT に馴染みがあり、何度も経験しています。また、ChatGPT が何らかの方法でセキュリティ メカニズムを回避し、違法で不道徳なコンテンツを生成する可能性があることも聞いたことがあります。 彼がまだ気づいていないのは、ChatGPT の「脱獄」技術は何度か繰り返されており、現在ではさらに高度な「邪悪な GPT」バージョンが市場に出回っており、今回遭遇したフィッシングメールはこのバージョンで書かれた可能性があるということです。 . . **より有名な「邪悪な GPT」バージョンは WormGPT と FraudGPT で、どちらもフィッシングメール詐欺を迅速に実行できます。 ** 2021年3月にWormGPTが登場し、その開発者は今年6月にハッカーフォーラムで使用権の販売を開始した。 ChatGPT とは異なり、WormGPT は違法行為に関連する質問への回答を妨げる制限を設定しておらず、やや時代遅れの 2021 オープンソース GPT-J モデルに基づいて構築されており、特にマルウェア開発に関連するデータに基づいてトレーニングされています。 潜在的なリスクを評価するために、セキュリティ分析会社 Slashnext の研究チームは BEC (ビジネス電子メール詐欺) 攻撃をテストしました。実験では、無防備なアカウントマネージャーに偽の請求書を支払うよう圧力をかけることを目的とした電子メールを作成するようWormGPTに依頼しました。
WormGPT によって生成された電子メールは、非常に説得力があるだけでなく、非常に巧妙な戦術を備えており、複雑なフィッシングや BEC 攻撃を実行する能力を十分に示しています。 今年 7 月には、FraudGPT と呼ばれる別の邪悪な言語モデルが発表されました。 7 月 22 日から、開発者は複数のフォーラムでこの製品を無制限の ChatGPT 代替品と称して宣伝しました。 レポートによると、FraudGPT は 1 ～ 2 週間ごとに更新され、そのアーキテクチャでさまざまな AI モデルを使用します。このツールの価格はサブスクリプションベースで、月額 200 ドル、または年間 1,700 ドルかかります。
セキュリティ研究チーム Netenrich が購入してテストしました。 FraudGPT のインターフェイスは ChatGPT に非常に似ており、ユーザーの履歴クエリが左側に表示され、チャット ウィンドウがインターフェイスの大部分を占めます。ユーザーは「質問する」エリアに質問を入力するだけで、システムが対応する回答を生成します。
テスト中、研究者らは FraudGPT に銀行に関連したフィッシングメールを作成するよう指示しました。ユーザーは特定の銀行名を含むように質問をフォーマットするだけで、残りの部分は FraudGPT が処理します。このツールは、電子メール コンテンツ内のどこに悪意のあるリンクを配置するかをユーザーに案内し、さらに詐欺用のログイン ページを生成して、被害者に個人情報を提供するよう誘導することもできます。 **アナリストらは、FraudGPT が影響力のあるフィッシング攻撃や BEC 攻撃を開始し、大規模な金融詐欺やデータ盗難につながる理想的なツールになる可能性があると述べています。 ** アクティブな「邪悪な GPT」が 2 つ以上あります。ちょうど 8 月中旬、ネットワーク セキュリティ分野の専門家は、EvilGPT と呼ばれる別の GPT ベースのサイバー犯罪ツールを明らかにしました。 このアプリケーションは FraudGPT や WormGPT に似ており、マルウェア、フィッシングメール、トラップリンクの作成、企業ネットワークセキュリティの弱点の検出に役立ちます。上記 GPT が何らかの理由で禁止または削除された場合、代替として市場で入手可能になります。同時に、潜在的なユーザーの購入を促すためにサブスクリプションベースの価格設定モデルも採用しています。 EvilGPT は、ここ数週間で発見された氷山の一角にすぎません。 **時間が経つにつれて、人工知能テクノロジーに基づいた悪意のあるツールやアプリケーションがさらに出現する可能性があります。 **
02 AI の「恩恵」により、フィッシングメールの検出は困難になります
国境を越えた電子商取引の実務者にとってフィッシングメールは珍しいことではありませんが、スーダンは今回もフィッシングメールに陥りそうになり、時折の過失に加えて、生成型 AI の「恩恵」が重要な役割を果たしました。 以前は、フィッシングメールを特定する効果的な方法は、コンテンツ内の単語のスペルや文法の間違いに注意を払うことでした。データによると、フィッシングメールの約 50% はロシア、ドイツ、中国から送信されています。これらの非英語圏から送信される偽コンテンツのほとんどには、正式かつ標準的な電子メールのスタイルと矛盾する、異常な文法や表現が含まれています。
実際、従業員が悪意のあるリンクを含む電子メールをクリックしたり、ログイン情報が漏洩したりするのを防ぐために、多くの電子商取引企業は、英語を母国語としない人が犯す可能性のあるスペルミス、異常な文法、その他の間違いを従業員に思い出させるトレーニングを行っています。 **ただし、現在の生成 AI テクノロジーは、これらの従来の認識機能を完全に排除できます。この Amazon フィッシングメールには文法上の誤りは含まれていません。 ** 電子メールセキュリティ会社アブノーマルセキュリティのエヴァン・ライザー最高経営責任者（CEO）は最近、インタビューでこの点を指摘しており、生成AIプラットフォームによって生成される洗練されたフィッシングメールは本物のメールとほぼ同じであり、一目で識別するのは難しいという。 「これらの電子メールを見ても、これがフィッシング攻撃であるかもしれないという警告を脳内で起こすことは何もない」と同氏は言う。 **恐ろしいのは、言語エラーを回避するのは、フィッシングメールに対して生成 AI が示す基本的なスキルにすぎないということであり、欺瞞や混乱の能力が強化されると、より致命的になるということです。 ** 人間の文章を模倣する AI の能力のおかげで、フィッシングメールの内容には、緊迫感を醸し出したり、受信者にリンクをクリックするよう促したり、送金要求を装ったソーシャル エンジニアリング メールが含まれる場合があります。受信者がリンクをクリックすると、システムが悪意のあるコードに感染する可能性があります。 上記のAmazon偽装メールのシナリオは、販売者にとって緊急を要するAIによって作成されたシナリオです。多くの販売者は、メールの内容をよく読んだ後、何かがおかしいと感じましたが、重要な情報を見逃しているのではないかと心配し、メールの指示に従いました。 **さらに、生成 AI はフィッシングメールをより攻撃的にする可能性もあります。 **ソーシャル プラットフォーム、ニュース ポータル、オンライン フォーラム、その他のソースから個人情報を取得して、よりターゲットを絞った魅力的な電子メールを作成する可能性があります。これは、これまで通常、完了するまでに数か月かかるタスクでした。攻撃者がこの機密情報にアクセスできる場合、より説得力のある詳細を電子メールに挿入したり、誰かの書き方を真似したりする可能性があります。 「現在、犯罪者は単にこれらの電子メールをキャプチャし、大規模なモデルに自動的に入力し、最後の 5 つのオンライン会話を参照する電子メールを作成するようにモデルに指示しているだけです」とエヴァン ライザー氏は指摘します。今では 8 秒しかかかりません。」 技術的能力が限られている攻撃者でも、生成 AI を利用して VBA コードを作成できます。 AI に悪意のある URL をコードに埋め込むように指示するだけで、ユーザーが Excel などのファイルを開くと、システムが自動的にマルウェアをダウンロードして実行します。
**03 解決策: AI を使用して AI と戦いますか? **
**AIの脅威下においては、これまでの経験に頼ってフィッシングメールの罠を回避する方法は通用せず、AIを活用してAIと戦うことが新たな対策となる可能性があります。 **いくつかのサイバーセキュリティ企業は、生成型 AI が大規模に悪用される前に対策を講じるために、自社の製品に生成型 AI を統合しています。 ベンダーは AI を使用して電子メールのセキュリティ機能とプロセスを改善しています。たとえば、各送信者と受信者の習慣と特性を洞察するために、組織の各メンバーに通信パターンをマッピングする AI モデルが設計されています。 具体的には誰がメッセージを送るのでしょうか？メッセージの内容は何ですか?これらのメッセージはいつ、どこから送信されたのでしょうか?通常、他の人が CC されますか、それとも受信者は 1 人だけですか?各送信者はどの電子メール アドレスを使用しますか?つまり、AI は各人の通常の行動のプロファイルを構築するために使用されます。 さらに、異常な電子メール送信パターンを検出するために、ベンダーは次の戦略を組み合わせています: ソーシャル グラフ テクノロジーを使用した根本的な送信パターンの分析、類似または密接に関連する電子メール アドレスの特定、ソーシャル エンジニアリング技術を含むメッセージの特定、および偽者の検出。関連する視覚要素、電子メールのトーン、感情、スタイルの分類。上記の戦略はすべて、人間の心を混乱させるように設計された異常な電子メールを検出するのに役立ちます。 セキュリティ意識のトレーニングを受けた人間もこれらの異常信号を見つけることができますが、ネットワーク速度で分析のあらゆる側面を統合し、大量のメッセージに直面しても継続的かつ信頼性の高い検出を保証できるのは AI だけです。 AI ソリューションは、複数の機械学習モデルを活用して、悪意のあるコンテンツを含む情報を識別することもできます。これらのモデルは、悪意があるまたは無害であるとラベル付けされた情報のデータセットに基づいて開発、適応、および更新されます。一部のベンダーは、生成 AI テクノロジーを使用して、既知の悪意のある情報から追加のサンプル データを生成し、機械学習モデルのためのより豊富で高品質のトレーニング データを提供します。 **AIを倒すことができるのはAIだけです。 ** 実際、多くの組織がすでに電子メールのセキュリティ保護に AI を使用しています。 Osterman Research によると、5 つの組織のうち 4 つが、従来の保護対策の追加として、過去 2 年間に AI ベースの電子メール セキュリティ ソリューションを導入したか、積極的に推進しています。
（記事中の登場人物は仮名です）
参照：
組織の 91% 以上が AI を利用した電子メール攻撃を経験しており、84% が既存のセキュリティを回避するために AI を継続的に使用すると予想しています WormGPT - サイバー犯罪者がビジネス電子メール侵害攻撃を開始するために使用している生成 AI ツール WormGPT と FraudGPT - 悪意のある LLM の台頭 生成 AI はハッカーにとって電子メールに革命をもたらす可能性がある