L'attaque et la défense de l'IA derrière un email de phishing

Source originale : Nouvelles connaissances en science et technologie

Auteur : Zhangdao

Source de l'image : générée par Unbounded AI‌

L'IA générative transforme le secteur du commerce électronique transfrontalier en le « Nouveau Nord du Myanmar » sur Internet. Récemment, de nombreux vendeurs ont signalé avoir reçu des « e-mails de phishing » déguisés en e-mails officiels d'Amazon, qui extrayaient les informations importantes du compte du vendeur via les liens malveillants fournis. Certaines personnes ont été trompées et ont perdu jusqu'à 400 000 personnes en une seule nuit. Le Soudan fait partie des heureuses victimes. Dans l'e-mail qu'il a reçu début septembre, l'adresse d'envoi était très similaire à l'adresse officielle d'Amazon et le contenu était une imitation intelligente du style de notification d'Amazon, invitant les vendeurs à mettre à jour les informations de contact en cas d'urgence. En suivant les instructions contenues dans l'e-mail, vous serez dirigé vers un site Web qui semble être « Amazon » et vous serez invité à saisir votre e-mail, votre mot de passe et votre code de vérification en deux étapes. Une fois que vous êtes dupé, vous recevrez bientôt une notification de « connexion à distance au magasin » du véritable responsable d'Amazon.

Résultats de détection du tueur ChatGPT GPTZero

** Sultan a immédiatement stoppé ses pertes lorsqu'il a réalisé que quelque chose n'allait pas. Il a également utilisé des outils techniques pour analyser le contenu de l'e-mail, ce qui a montré qu'il y avait 90 % de chances qu'il soit généré par l'IA. **La nouvelle technologie se situe une fois de plus à la croisée des chemins entre le bien et le mal.

01 L'IA générative « fait le mal »

Le Soudan surfe souvent sur Internet dans son pays et à l'étranger. Il n'est pas étranger à ChatGPT et en a fait l'expérience à plusieurs reprises. Il a également entendu dire que ChatGPT peut d'une manière ou d'une autre contourner le mécanisme de sécurité et générer du contenu illégal et immoral. Ce qu'il n'a pas encore réalisé, c'est que la technologie "jailbreak" de ChatGPT a été itérée à plusieurs reprises, et qu'il existe maintenant même une version "evil GPT" plus avancée sur le marché, et l'e-mail de phishing rencontré cette fois a peut-être été écrit par cette version. . . **Les versions « maléfiques de GPT » les plus connues sont WormGPT et FraudGPT, qui peuvent toutes deux mettre en œuvre rapidement des escroqueries par e-mail par phishing. ** En mars 2021, WormGPT est sorti et ses développeurs ont commencé à vendre des droits d'utilisation sur les forums de hackers en juin de cette année. Contrairement à ChatGPT, WormGPT ne définit pas de restrictions qui empêchent de répondre aux questions liées aux activités illégales, est construit sur le modèle open source GPT-J 2021 légèrement obsolète et est formé spécifiquement sur les données liées au développement de logiciels malveillants. Pour évaluer les risques potentiels, l'équipe de recherche de la société d'analyse de sécurité Slashnext a testé les attaques BEC (Business Email Fraud). Dans le cadre de l'expérience, ils ont demandé à WormGPT de rédiger un e-mail dans le but de faire pression sur un gestionnaire de compte sans méfiance pour qu'il paie une fausse facture.

E-mails de phishing générés par WormGPT

Les résultats sont choquants : les emails générés par WormGPT sont non seulement très convaincants, mais aussi très astucieux en termes de tactique, démontrant pleinement sa capacité à mener des attaques complexes de phishing et de BEC. Un autre modèle de langage maléfique appelé FraudGPT a été dévoilé en juillet de cette année. À partir du 22 juillet, le développeur a fait la promotion du produit sur plusieurs forums, le qualifiant d'alternative ChatGPT sans restriction. Selon les rapports, FraudGPT est mis à jour toutes les une à deux semaines et utilise une variété de modèles d'IA dans son architecture. Cet outil propose un tarif par abonnement et coûte 200 $ par mois, ou 1 700 $ par an.

Une capture d'écran d'un forum montrant les fonctionnalités de FraudGPT

L'équipe de recherche en sécurité Netenrich l'a acheté et testé. L'interface de FraudGPT est très similaire à ChatGPT. Les requêtes historiques de l'utilisateur sont affichées sur le côté gauche et la fenêtre de discussion occupe la majeure partie de l'interface. Les utilisateurs n'ont qu'à saisir des questions dans la zone « Poser une question » et le système générera les réponses correspondantes pour elles.

FraudGPT génère des e-mails de phishing

Au cours du test, les chercheurs ont demandé à FraudGPT de créer un e-mail de phishing lié à une banque. Les utilisateurs formatent simplement la question pour inclure le nom d'une banque spécifique et FraudGPT s'occupe du reste. Cet outil indique également aux utilisateurs où placer des liens malveillants dans le contenu du courrier électronique et peut en outre générer une page de connexion frauduleuse, incitant les victimes à fournir des informations personnelles. **Les analystes affirment que FraudGPT pourrait devenir un outil idéal pour lancer des attaques de phishing et BEC percutantes, conduisant à d'énormes fraudes financières et vols de données. ** Il existe plus de deux « GPT maléfiques » actifs. À la mi-août, des experts dans le domaine de la sécurité des réseaux ont révélé un autre outil de cybercriminalité basé sur GPT appelé EvilGPT. Cette application est similaire à FraudGPT et WormGPT. Elle peut aider à créer des logiciels malveillants, des e-mails de phishing, à piéger des liens et à détecter les faiblesses de la sécurité des réseaux d'entreprise. Si le GPT ci-dessus est interdit ou supprimé pour une raison quelconque, il sera disponible sur le marché comme alternative. Dans le même temps, il adopte également un modèle de tarification basé sur l'abonnement pour inciter les utilisateurs potentiels à acheter. EvilGPT n’est que la pointe de l’iceberg découvert ces dernières semaines. **Au fil du temps, davantage d'outils et d'applications malveillants basés sur la technologie de l'intelligence artificielle pourraient apparaître. **

02 Avec la « bénédiction » de l'IA, les e-mails de phishing sont difficiles à détecter

Les e-mails de phishing ne sont pas étrangers aux praticiens du commerce électronique transfrontalier, mais le Soudan a failli y tomber cette fois-ci. Outre des négligences occasionnelles, la « bénédiction » de l'IA générative a joué un rôle important. Dans le passé, un moyen efficace d’identifier les e-mails de phishing consistait à prêter attention aux fautes d’orthographe et de grammaire des mots présents dans le contenu. Selon les données, environ 50 % des e-mails de phishing proviennent de Russie, d’Allemagne et de Chine. La plupart des faux contenus envoyés depuis ces zones non anglophones contiennent une grammaire ou une formulation anormale, incompatible avec le style formel et standard des e-mails.

E-mails de phishing non vérifiés

En fait, afin d'empêcher les employés de cliquer sur des e-mails contenant des liens malveillants ou de divulguer des informations de connexion, de nombreuses entreprises de commerce électronique utilisent des formations pour leur rappeler les fautes d'orthographe, de grammaire inhabituelle et d'autres erreurs que peuvent commettre des non-anglophones. **Cependant, la technologie actuelle d’IA générative peut parfaitement éliminer ces fonctionnalités de reconnaissance traditionnelles. Cet e-mail de phishing Amazon ne contient aucune erreur grammaticale. ** Evan Reiser, PDG de la société de sécurité de messagerie Abnormal Security, l'a récemment souligné dans une interview : les e-mails de phishing raffinés produits par la plateforme d'IA générative sont presque les mêmes que les e-mails réels, ce qui les rend difficiles à identifier d'un seul coup d'œil. "Lorsque vous regardez ces e-mails, rien ne se passe dans votre cerveau qui vous avertit qu'il pourrait s'agir d'une attaque de phishing", a-t-il déclaré. **Ce qui est effrayant, c'est qu'éviter les erreurs de langage n'est que la compétence de base affichée par l'IA générative dans les e-mails de phishing. Des capacités de tromperie et de confusion plus puissantes sont plus mortelles. ** Grâce à la capacité de l'IA à imiter l'écriture humaine, le contenu des e-mails de phishing peut inclure la création d'un sentiment d'urgence, encourager les destinataires à cliquer sur des liens ou des e-mails d'ingénierie sociale déguisés en demandes de versement. Une fois que le destinataire clique sur le lien, son système peut être infecté par un code malveillant. Le scénario ci-dessus de faux e-mails Amazon est un scénario créé par l’IA qui est urgent pour les vendeurs. De nombreux vendeurs ont senti que quelque chose n'allait pas après avoir examiné attentivement le contenu de l'e-mail. Cependant, ils ont quand même suivi les instructions contenues dans l'e-mail, car ils craignaient d'avoir manqué certaines informations importantes. **En outre, l'IA générative peut également rendre les e-mails de phishing plus agressifs. **Ils peuvent récupérer des informations personnelles sur les plateformes sociales, les portails d'information, les forums en ligne et d'autres sources pour créer des e-mails attrayants plus ciblés. Il s’agissait d’une tâche qui prenait généralement des mois dans le passé. Si un attaquant a accès à ces informations exclusives, il peut insérer des détails plus convaincants dans l'e-mail ou imiter la façon dont quelqu'un écrit. "Actuellement, les criminels capturent simplement ces e-mails, les introduisent automatiquement dans un grand modèle, puis lui demandent de construire un e-mail faisant référence aux cinq dernières conversations en ligne", souligne Evan Reiser. "Une tâche qui aurait pu prendre huit heures maintenant peut maintenant, cela ne prend que huit secondes. Même les attaquants disposant de capacités techniques limitées peuvent exploiter l’IA générative pour écrire du code VBA. Ils demandent simplement à l'IA d'intégrer l'URL malveillante dans le code, et lorsque l'utilisateur ouvre un fichier comme Excel, le système télécharge et exécute automatiquement le malware.

Dans le passé, des systèmes tels que ChatGPT et Bard disposaient de protections intégrées pour empêcher autant que possible la génération de contenu malveillant, mais à mesure que de plus en plus de versions malveillantes de GPT apparaissent, la sécurité de la messagerie électronique est confrontée à un énorme défi. Le 21 août 2023, l'équipe internationale de recherche en sécurité Perception Point et Osterman Research ont publié conjointement un rapport intitulé « Le rôle de l'intelligence artificielle dans la sécurité des e-mails ». Le rapport révèle une tendance alarmante dans la manière dont les cybercriminels exploitent l’IA pour accroître et compliquer les menaces par courrier électronique telles que les attaques de phishing et BEC. **Cette étude révèle que les cybercriminels adoptent rapidement les outils d'IA pour servir leurs intérêts, 91,1 % des organisations déclarant avoir été victimes d'attaques par courrier électronique améliorées par l'IA. **

**03 Solution : Utiliser l'IA pour combattre l'IA ? **

**Sous la menace de l'IA, l'ancienne méthode consistant à s'appuyer sur l'expérience pour éviter les pièges du phishing par courrier électronique n'est plus efficace. La nouvelle contre-mesure pourrait consister à utiliser l'IA pour lutter contre l'IA. **Plusieurs entreprises de cybersécurité ont intégré l'IA générative dans leurs produits afin de prendre des mesures avant qu'elles ne puissent être utilisées à grande échelle. Les fournisseurs utilisent l'IA pour améliorer les capacités et les processus de sécurité des e-mails. Par exemple, pour mieux comprendre les habitudes et les caractéristiques de chaque expéditeur et destinataire, un modèle d'IA est conçu pour mapper les modèles de communication à chaque membre de l'organisation. Plus précisément, qui leur enverra un message ? Quel est le contenu du message ? Quand et d’où sont envoyés ces messages ? Les autres sont-ils généralement mis en copie ou n'y a-t-il qu'un seul destinataire prévu ? Quelles adresses e-mail chaque expéditeur utilise-t-il ? En bref, l’IA est utilisée pour établir un profil du comportement habituel de chaque personne. De plus, pour détecter les modèles d'envoi d'e-mails inhabituels, le fournisseur combine les stratégies suivantes : analyser les modèles d'envoi sous-jacents à l'aide de la technologie des graphes sociaux ; identifier des adresses e-mail similaires ou étroitement liées ; identifier les messages contenant des techniques d'ingénierie sociale ; et détecter les imposteurs. les éléments visuels associés et la classification du ton, de l'émotion et du style dans les e-mails. Les stratégies ci-dessus aident toutes à détecter les e-mails anormaux conçus pour confondre l’esprit humain. Bien que les humains formés à la sensibilisation à la sécurité puissent également détecter ces signaux d'anomalie, seule l'IA peut intégrer toutes les dimensions de l'analyse à la vitesse du réseau pour garantir une détection continue et fiable face à des messages massifs. Les solutions d’IA peuvent également exploiter plusieurs modèles d’apprentissage automatique pour identifier les informations contenant un contenu malveillant. Ces modèles sont développés, adaptés et mis à jour sur la base d'un ensemble de données d'informations qualifiées de malveillantes ou inoffensives. Certains fournisseurs utilisent la technologie d'IA générative pour générer des exemples de données supplémentaires à partir d'informations malveillantes connues, ce qui fournit des données de formation plus riches et de haute qualité pour les modèles d'apprentissage automatique. **La seule qui peut vaincre l'IA est l'IA. ** En fait, de nombreuses organisations utilisent déjà l’IA pour protéger la sécurité de la messagerie électronique. Selon Osterman Research, quatre organisations sur cinq ont déployé ou promeuvent activement des solutions de sécurité de messagerie basées sur l'IA au cours des deux dernières années en complément des mesures de protection conventionnelles.

Parmi eux, il existe deux manières principales d'introduire l'IA pour renforcer la sécurité de la messagerie : d'une part, les fournisseurs de sécurité de messagerie existants intègrent la protection de l'IA dans leurs produits ; d'autre part, les organisations recherchent délibérément de nouvelles solutions basées sur l'IA. Au cours des deux dernières années, un cinquième des personnes interrogées n'ont toujours pas adopté de telles solutions : 12,7 % n'ont mis en œuvre aucune solution, tandis que 6,0 % explorent et évaluent activement les options possibles. **Selon les données d'Osterman Research, l'IA a montré de grandes capacités pour améliorer l'efficacité de la détection et renforcer la protection. **

Les organisations disposent d’une certaine efficacité de détection avant d’adopter des solutions de sécurité de messagerie améliorées par l’IA. Mais à mesure que les cybercriminels utilisent l’IA pour améliorer leurs techniques d’attaque, les organisations sans protection contre l’IA verront leur efficacité de détection sérieusement remise en question. Ce n’est qu’en étant aussi forts que le diable que nous pourrons ramener les attaquants et les défenseurs des e-mails de phishing sur la même ligne de départ en matière de technologie d’IA.

(Les personnages de l'article sont des pseudonymes)

Référence:

Plus de 91 % des organisations ont été victimes d'attaques par e-mail basées sur l'IA et 84 % d'entre elles s'attendent à une utilisation continue de l'IA pour contourner les systèmes de sécurité existants WormGPT : l'outil d'IA générative que les cybercriminels utilisent pour lancer des attaques de compromission de messagerie professionnelle WormGPT et FraudGPT – La montée des LLM malveillants L'IA générative pourrait révolutionner le courrier électronique pour les pirates