Titre original : "Comment l'intelligence artificielle alimente la fraude financière et la rend plus invisible"
De "The Hunt" à "Tout ou rien" en passant par "Parrot Killing", sortis la semaine dernière, les films liés à la fraude constituent une méthode de propagande efficace pour le contrôle de la criminalité en Chine. Cependant, avec la popularisation d'une nouvelle technologie d'IA, les défis futurs Probablement plus grave. Pour les États-Unis de l’autre côté de l’océan, la lutte contre la fraude pourrait devenir un nouveau consensus entre eux et la Chine dans une époque d’incertitude. Rien qu'en 2020, des sondages américains montrent que jusqu'à 56 millions de personnes aux États-Unis ont été fraudées par téléphone, soit environ un sixième de la population américaine. Parmi eux, 17 % des Américains ont été fraudés plus d'une fois.
En matière de fraude dans les télécommunications, l’Inde est aux États-Unis ce que le Myanmar est à la Chine. Mais il est clair que l’Inde dispose de plus de terrain pour le développement de l’industrie de la fraude que le Myanmar. D'une part, l'anglais, en tant que langue officielle, a un taux de pénétration relativement élevé en Inde, et l'Inde dispose également d'un « avantage naturel » en termes de talents ; d'autre part, l'Inde est devenue une plate-forme étrangère pour les grandes entreprises multinationales. depuis 2000. Les sous-traitants du service client téléphonique créent de nouvelles arnaques téléphoniques avec le même accent mais un contenu différent. Mais avec une nouvelle génération de technologies d’IA, le « trône » indien dans le domaine de la fraude téléphonique pourrait être remplacé.
Qu’il s’agisse de messages texte élégants, de clonage de voix ou d’échange de visages dans des vidéos, l’IA générative offre aux fraudeurs une nouvelle arme puissante.
"Cette lettre/lettre a pour but de vous informer que Chase a votre remboursement de 2 000 $ en attente. Pour accélérer le processus et vous assurer de recevoir votre remboursement le plus rapidement possible, veuillez suivre ces instructions : Veuillez appeler le service client de Chase au 1-800-953-XXXX pour vérifiez l'état de votre remboursement. Assurez-vous d'avoir les informations de votre compte et toute information pertinente à portée de main..."
Si vous avez fait affaire avec Chase et reçu ce message dans un e-mail ou un SMS, vous avez probablement pensé que c'était vrai. Cela semblait professionnel, sans les formulations étranges, la mauvaise grammaire ou les épithètes étranges qui ont caractérisé les messages de phishing que nous avons souvent reçus dans le passé.
Cela n’est pas surprenant, puisque le message a été généré par ChatGPT, un chatbot à intelligence artificielle lancé par le géant de la technologie OpenAI à la fin de l’année dernière. En guise d'invite, nous tapons simplement ChatGPT : "Envoyez à quelqu'un un e-mail lui disant que Chase lui doit un remboursement de 2 000 $. Demandez-lui d'appeler le 1-800-953-XXXX pour obtenir le remboursement. (Pour que ChatGPT fonctionne, nous devons entrez un numéro complet, mais nous ne le publierons évidemment pas ici.)
"Les fraudeurs parlent désormais parfaitement, comme n'importe quel autre locuteur natif", a déclaré Soups Ranjan, co-fondateur et PDG de Sardine, une startup anti-fraude de San Francisco. Une banque numérique américaine a demandé l'anonymat. a confirmé que les clients des banques sont de plus en plus trompés car "les SMS qu'ils reçoivent ne présentent presque aucun défaut". (Pour éviter de devenir vous-même une victime, consultez les cinq conseils à la fin de cet article.)
Dans ce nouveau monde qui accueille l'intelligence artificielle générative ou les modèles d'apprentissage profond capables de créer du contenu basé sur les informations qu'ils reçoivent, il est désormais plus facile que jamais pour ceux qui ont des intentions néfastes de produire du texte, de l'audio et même de la vidéo. Non seulement ces textes, audios et même vidéos peuvent tromper les victimes individuelles potentielles, mais ils peuvent également tromper les programmes désormais utilisés pour contrecarrer la fraude. L’IA n’a rien d’unique à cet égard : après tout, les méchants ont depuis longtemps été les premiers à adopter les nouvelles technologies, et la police les poursuit. Par exemple, en 1989, Forbes a révélé comment des voleurs utilisaient des ordinateurs ordinaires et des imprimantes laser pour falsifier des chèques afin de frauder les banques, sans que celles-ci ne prennent de mesures particulières pour détecter ces faux billets.
L’IA alimente la montée de la fraude en ligne
Les consommateurs américains ont déclaré à la Federal Trade Commission (FTC) des États-Unis avoir perdu un montant record de 8,8 milliards de dollars à cause de la fraude l’année dernière – et cela n’inclut pas les montants volés non déclarés.
Aujourd’hui, l’intelligence artificielle générative constitue une menace qui pourrait à terme rendre obsolètes les mesures de prévention de la fraude les plus avancées, telles que l’authentification vocale et même les « contrôles d’activité » conçus pour faire correspondre les avatars réels avec les avatars enregistrés (Liveness Check).
Synchrony, l'un des plus grands émetteurs de cartes de crédit aux États-Unis avec 70 millions de comptes actifs, possède la compréhension la plus intuitive de cette tendance. Kenneth Williams, vice-président senior de Synchrony, a déclaré dans un e-mail adressé à Forbes : « Nous voyons souvent des personnes utiliser des images et des vidéos deepfakes pour l'authentification, et nous pouvons supposer en toute sécurité qu'elles sont créées à l'aide de l'intelligence artificielle générative. »
Une enquête menée en juin 2023 auprès de 650 experts en cybersécurité par la société de cybersécurité Deep Instinct, basée à New York, a montré que les trois quarts des experts interrogés avaient constaté une augmentation de la fraude en ligne au cours de l'année écoulée, avec « 85 % des personnes interrogées attribuant cette augmentation à l'utilisation » de l’IA générative par de mauvais acteurs.
En outre, la Federal Trade Commission des États-Unis a également signalé que les consommateurs américains ont perdu 8,8 milliards de dollars à cause de la fraude en 2022, soit une augmentation de plus de 40 % par rapport à 2021. Les sommes perdues les plus importantes proviennent souvent d'escroqueries à l'investissement, mais les escroqueries par imposteur sont les plus courantes, ce qui est un signe inquiétant car ces escroqueries sont susceptibles d'être encore renforcées par l'intelligence artificielle.
Les criminels peuvent utiliser l’IA générative de diverses manières vertigineuses. Si vous publiez régulièrement sur les réseaux sociaux ou sur n’importe quel réseau, ils peuvent demander à un modèle d’IA d’écrire dans votre style, puis envoyer des SMS à vos grands-parents et les supplier de vous envoyer de l’argent pour vous aider. Ce qui est encore plus effrayant, c'est que s'ils ont un bref échantillon de la voix d'un enfant, ils peuvent appeler les parents de l'enfant, se faire passer pour leur enfant et faire comme s'ils avaient été kidnappés, exigeant que les parents paient une rançon. C'est exactement ce qui est arrivé à Jennifer DeStefano, une mère de quatre enfants de l'Arizona, lorsqu'elle a témoigné devant le Congrès en juin.
Les parents et les grands-parents ne sont pas les seuls à être visés : les entreprises sont également ciblées. Les criminels peuvent également se faire passer pour des vendeurs et envoyer des courriels d'apparence légitime aux comptables leur indiquant qu'ils doivent recevoir le paiement le plus rapidement possible, ainsi que les instructions de paiement pour un compte bancaire qu'ils contrôlent. Ranjan, PDG de Sardine, a déclaré que de nombreuses startups fintech clientes de Sardine sont elles-mêmes tombées dans ces pièges et ont perdu des centaines de milliers de dollars.
Bien que ce chiffre soit dérisoire en comparaison des 35 millions de dollars qu'une entreprise japonaise a perdu en 2020 après le clonage de la voix d'un directeur d'entreprise (Forbes a d'abord fait état de l'arnaque élaborée à l'époque), cela devient aujourd'hui de plus en plus courant. Des cas de plus en plus fréquents, car les outils d'intelligence artificielle pour l'écriture, l'imitation vocale et le traitement vidéo deviennent rapidement plus performants et accessibles, même aux fraudeurs ordinaires. Rick Song, co-fondateur et PDG de la société de prévention de la fraude Persona, a déclaré que dans le passé, il fallait des centaines ou des milliers de photos pour créer une vidéo deepfake de haute qualité, mais qu'aujourd'hui, vous n'avez besoin que de quelques photos. (Oui, vous pouvez créer une fausse vidéo sans une vraie vidéo, mais c'est évidemment plus facile si vous disposez d'une vraie vidéo.)
Pièges et arnaques téléphoniques : les dangers du clonage sonore profond
Tout comme d’autres secteurs appliquent l’IA à leurs entreprises, les fraudeurs utilisent des modèles d’IA génératifs publiés par les géants de la technologie pour créer des outils prêts à l’emploi, tels que FraudGPT et WormGPT.
Dans une vidéo YouTube publiée en janvier, Elon Musk, l'homme le plus riche du monde, semblait promouvoir auprès de son public la dernière opportunité d'investissement en crypto-monnaie : Tesla a sponsorisé un événement gratuit d'une valeur de 100 millions de dollars, a-t-il affirmé, qui promet de redonner aux participants deux fois plus. sur leur investissement dans des cryptomonnaies telles que Bitcoin, Ethereum, Dogecoin ou Ethereum. "Je sais que tout le monde est ici dans un but commun. Nous organisons désormais une diffusion en direct où chaque propriétaire de cryptomonnaie peut augmenter ses revenus", a déclaré une version basse résolution de Musk sur scène. "Oui, vous m'avez bien entendu, j'organise un grand événement de crypto-monnaie pour SpaceX."
Oui, cette vidéo est un deepfake : l'escroc a utilisé son discours de février 2022 sur le projet de vaisseau spatial réutilisable de SpaceX pour imiter son image et sa voix. YouTube a depuis retiré la vidéo, mais d’ici là, toute personne ayant envoyé de la cryptomonnaie à l’adresse indiquée dans la vidéo verra presque certainement son portefeuille endommagé. Musk est une cible privilégiée pour les fausses vidéos, car il existe d'innombrables échantillons audio de lui disponibles en ligne pour prendre en charge le clonage vocal de l'IA, mais désormais, presque tout le monde peut se faire passer pour lui.
Plus tôt cette année, Larry Leonard, un homme de 93 ans qui vivait dans une communauté de retraités du sud de la Floride, était chez lui lorsque sa femme a répondu à un appel téléphonique sur son téléphone fixe. Une minute plus tard, elle a remis le téléphone à Leonard et il a entendu une voix à l'autre bout du fil qui ressemblait à celle de son petit-fils de 27 ans, disant qu'il avait heurté une femme avec son camion et qu'il était en prison. Bien que Leonard ait remarqué que l'appelant l'appelait « Grand-père » au lieu de « Grand-père », comme son petit-fils préfère qu'on l'appelle, la voix de l'homme était exactement la même que celle de son petit-fils, et il y avait le fait que son petit-fils conduisait en fait un camion. ses doutes mis de côté. Lorsque Leonard a répondu qu'il allait appeler les parents de son petit-fils, celui-ci a raccroché. Leonard apprend bientôt que son petit-fils est en sécurité et que toute l'histoire – ainsi que la voix qui la raconte – est fausse.
"Le fait qu'ils aient pu capturer sa voix, son ton et son ton avec autant de précision était à la fois terrifiant et surprenant pour moi", a déclaré Leonard à Forbes. "Il n'y a eu aucune pause entre leurs phrases ou leurs mots, ce qui montre que les mots sont lus. provenant d’une machine ou d’un programme, mais ils ressemblent exactement aux vrais.
Les seniors sont souvent la cible de ce type d’arnaques, mais il est temps pour chacun d’entre nous de se méfier des appels entrants, même s’ils proviennent d’un numéro qui nous semble familier, comme celui d’un voisin. "De plus en plus, nous ne pouvons pas faire confiance aux appels que nous recevons parce que l'escroc a usurpé [le numéro de téléphone]", déplore Kathy Stokes, directrice des programmes de prévention de la fraude à l'AARP. )." L'AARP est un fournisseur de services et de lobbying avec près de 38 millions de membres âgés de 50 ans et plus. "Nous ne pouvons pas faire confiance aux e-mails que nous recevons, nous ne pouvons pas faire confiance aux messages texte que nous recevons. Nous sommes donc exclus des moyens habituels de communication les uns avec les autres."
Autre évolution inquiétante : même les nouvelles mesures de sécurité sont menacées. Par exemple, de grandes institutions financières telles que le géant des fonds communs de placement Vanguard Group, qui sert plus de 50 millions d'investisseurs, offrent à leurs clients la possibilité de recevoir certains services en parlant au téléphone au lieu de répondre à des questions de sécurité. "Votre voix est unique, comme vos empreintes digitales."
Vanguard a expliqué dans une vidéo de novembre 2021 exhortant les clients à s'inscrire à la vérification vocale. Mais les progrès de la technologie de clonage vocal suggèrent que les entreprises doivent repenser cette pratique. Ranjan de Sardine a déclaré avoir vu certaines personnes utiliser la technologie de clonage vocal pour s'authentifier auprès des banques et accéder aux comptes. Un porte-parole de Vanguard a refusé de commenter les mesures que l'entreprise pourrait prendre pour empêcher les progrès de la technologie de clonage vocal.
Les petites entreprises (et même les grandes entreprises) qui utilisent des procédures informelles pour payer leurs factures ou transférer de l’argent sont également vulnérables aux mauvais acteurs. Il est depuis longtemps courant que les fraudeurs exigent le paiement en envoyant par courrier électronique de fausses factures qui semblent provenir de fournisseurs.
Désormais, en tirant parti des outils d'intelligence artificielle largement disponibles, les escrocs peuvent utiliser des versions clonées des voix des dirigeants pour appeler les employés de l'entreprise, prétendant autoriser des transactions, ou demander aux employés de divulguer des données sensibles dans un logiciel de « phishing » ou de « phishing vocal ». "Quand il s'agit de se faire passer pour des dirigeants et de commettre des fraudes de grande valeur, c'est énorme et c'est une menace très réelle", a déclaré Rick Song, PDG de Persona, qui l'a décrit comme sa "plus grande peur en termes de voix".
L'IA peut-elle tromper les experts en fraude ?
Les criminels utilisent de plus en plus l’intelligence artificielle générative pour tromper les experts en fraude, alors même que ces experts en fraude et les entreprises technologiques agissent comme des gardes armés et des fourgons de trésorerie dans le système financier actuel, fortement numérique.
L'une des principales fonctions de ces sociétés est de vérifier l'identité des consommateurs afin de protéger les institutions financières et leurs clients contre les pertes. L'une des façons dont les sociétés de prévention de la fraude comme Socure, Mitek et Onfido vérifient l'identité de leurs clients consiste à effectuer des « contrôles d'activité », c'est-à-dire qu'elles vous demandent de prendre une photo ou une vidéo de selfie, puis d'utiliser la photo ou le clip vidéo pour correspondre à votre visage. à la vôtre. L'image de la carte d'identité doit être soumise pour la correspondance.
Une fois qu'ils connaissent le fonctionnement du système, les voleurs achètent des photos de vrais permis de conduire sur le dark web, puis utilisent des programmes vidéo d'échange de visages (des outils de moins en moins chers et de plus en plus accessibles) pour superposer l'avatar réel de quelqu'un d'autre sur son propre visage. . Ils peuvent alors parler et bouger la tête derrière le visage numérique de quelqu'un d'autre, augmentant ainsi leurs chances de tromper les contrôles d'activité.
"Il y a eu une augmentation considérable du nombre de faux visages, générés par l'IA et de haute qualité, et il y a également eu une augmentation des attaques frauduleuses générées automatiquement ciblant les contrôles d'activité", a déclaré Song. par secteur, mais pour certains, « nous constatons probablement dix fois plus que ce que nous avons vu l'année dernière. » Les sociétés de technologie financière et de cryptomonnaie sont particulièrement vulnérables à de telles attaques.
Des experts anti-fraude ont déclaré à Forbes qu'ils soupçonnaient des fournisseurs de vérification d'identité de premier plan tels que Socure et Mitek d'avoir vu leurs mesures de prévention de la fraude chuter en conséquence. Le PDG de Socure, Johnny Ayers, insiste sur le fait que « c'est absolument faux » et affirme que les nouveaux modèles qu'ils ont déployés au cours des derniers mois ont conduit à une augmentation des captures des 2 % de fraudes par usurpation d'identité les plus risquées, soit 14 %. Il a toutefois reconnu que certains clients ont mis du temps à adopter les nouveaux modèles de Socure, ce qui pourrait avoir un impact sur leurs performances. "L'un de nos clients est l'une des trois plus grandes banques du pays, et ils sont désormais quatre fois derrière", a déclaré Ayers.
Mitek a refusé de commenter spécifiquement les mesures de performance anti-fraude de ses modèles, mais son vice-président senior Chris Briggs a déclaré que si un modèle particulier avait été développé il y a 18 mois, "alors oui, vous pourriez affirmer que l'ancien modèle n'est pas aussi bon". "Pour prévenir la fraude en tant que nouveau modèle. Au fil du temps, Mitek continuera à former et recycler le modèle en utilisant des flux de données réels ainsi que des données de laboratoire."
JPMorgan Chase, Bank of America et Wells Fargo ont tous refusé de commenter les défis auxquels ils sont confrontés en matière de fraude à l'IA générative. Un porte-parole de Chime, la plus grande banque numérique des États-Unis qui a connu d'importants problèmes de fraude dans le passé, a déclaré que la banque n'avait pas encore constaté d'augmentation des fraudes liées à l'intelligence artificielle générative.
Aujourd’hui, la fraude financière est à l’origine de criminels allant de criminels isolés à des bandes complexes composées de dizaines, voire de centaines de criminels. Les plus grands gangs criminels, comme les entreprises, ont des structures organisationnelles à plusieurs niveaux et un personnel technique de haut niveau, notamment des data scientists.
"Ils ont tous leurs propres centres de commandement et de contrôle", a déclaré Ranjan. Certains membres de gangs sont chargés de lancer des appâts, comme l'envoi d'e-mails de phishing ou les appels téléphoniques. Si quelqu'un mord à l'hameçon, il met en contact avec la personne fraudée un autre complice qui se fait passer pour un directeur d'agence bancaire et tente de vous faire transférer de l'argent depuis votre compte. Autre étape clé : ils vous demanderont souvent d'installer un programme comme Microsoft TeamViewer ou Citrix pour contrôler votre ordinateur à distance. "Ils peuvent rendre votre ordinateur complètement noir", a déclaré Ranjan. "Ensuite, l'escroc effectuera davantage de transactions (avec votre argent) et retirera l'argent vers une autre URL qu'il contrôle." les personnes âgées, c'est mentir en disant que le compte de l'autre partie a été contrôlé par l'escroc et que la coopération de l'autre partie est nécessaire pour récupérer les fonds.
Différentes stratégies pour OpenAI et Meta
Le processus de fraude ci-dessus ne nécessite pas nécessairement l'utilisation de l'intelligence artificielle, mais les outils d'intelligence artificielle peuvent rendre les tactiques des fraudeurs plus efficaces et crédibles.
OpenAI a essayé d'introduire des protections pour empêcher les gens d'utiliser ChatGPT à des fins frauduleuses. Par exemple, si un utilisateur demande à ChatGPT de rédiger un e-mail demandant le numéro de compte bancaire d'une personne, ChatGPT refusera d'exécuter l'instruction et répondra : "Je suis désolé, mais je ne peux pas vous aider avec cette demande." Cependant, en utilisant ChatGPT commettre une fraude C'est toujours très facile.
OpenAI a refusé de commenter cet article, nous renvoyant uniquement aux articles de blog publiés par l'entreprise, dont l'un a été publié en mars 2022 et dit : « Il n'y a pas de solution miracle pour un déploiement responsable, nous essayons donc de développer et de comprendre les limites de notre modèle et les voies potentielles d'abus, et résoudre les problèmes connexes à chaque étape du déploiement.
Comparé à OpenAI, le grand modèle de langage Llama 2 lancé par Meta est plus susceptible d'être utilisé comme outil criminel par des criminels expérimentés, car Llama 2 est un modèle open source et tous les codes peuvent être visualisés et utilisés. Les experts affirment que cela ouvre davantage de possibilités aux criminels de s’approprier le modèle et de l’utiliser ensuite pour compromettre la sécurité du réseau. Par exemple, on pourrait créer des outils d’IA malveillants par-dessus. Forbes a demandé un commentaire à Meta mais n'a pas reçu de réponse. Le PDG de Meta, Mark Zuckerberg, a déclaré en juillet que garder Llama open source améliorerait « sa sûreté et sa sécurité, car les logiciels open source seraient plus scrutés et davantage de personnes pourraient travailler ensemble. » Trouver et identifier des solutions aux problèmes.
Les entreprises de prévention de la fraude tentent également d’innover plus rapidement pour suivre les progrès de l’IA et utiliser davantage de nouveaux types de données pour repérer les fraudeurs. "La façon dont vous tapez, la façon dont vous marchez ou la façon dont vous tenez votre téléphone : ces traits comportementaux vous définissent, mais ces données ne sont pas accessibles dans le domaine public", a déclaré Ranjan. "Il est difficile de savoir en ligne si une personne est qui ils prétendent être. Cette personne, l’IA intégrée, jouera un rôle important. » En d’autres termes, nous avons besoin de l’IA pour attraper les criminels qui l’utilisent pour commettre des fraudes.
Cinq conseils pour vous protéger contre la fraude à l’IA :
Cet article est traduit de
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
L’IA deviendra-t-elle le prochain « suzerain » de la fraude téléphonique mondiale ?
Original : Jeff Kauflin, Emily Mason
Source : Forbes
Titre original : "Comment l'intelligence artificielle alimente la fraude financière et la rend plus invisible"
De "The Hunt" à "Tout ou rien" en passant par "Parrot Killing", sortis la semaine dernière, les films liés à la fraude constituent une méthode de propagande efficace pour le contrôle de la criminalité en Chine. Cependant, avec la popularisation d'une nouvelle technologie d'IA, les défis futurs Probablement plus grave. Pour les États-Unis de l’autre côté de l’océan, la lutte contre la fraude pourrait devenir un nouveau consensus entre eux et la Chine dans une époque d’incertitude. Rien qu'en 2020, des sondages américains montrent que jusqu'à 56 millions de personnes aux États-Unis ont été fraudées par téléphone, soit environ un sixième de la population américaine. Parmi eux, 17 % des Américains ont été fraudés plus d'une fois.
En matière de fraude dans les télécommunications, l’Inde est aux États-Unis ce que le Myanmar est à la Chine. Mais il est clair que l’Inde dispose de plus de terrain pour le développement de l’industrie de la fraude que le Myanmar. D'une part, l'anglais, en tant que langue officielle, a un taux de pénétration relativement élevé en Inde, et l'Inde dispose également d'un « avantage naturel » en termes de talents ; d'autre part, l'Inde est devenue une plate-forme étrangère pour les grandes entreprises multinationales. depuis 2000. Les sous-traitants du service client téléphonique créent de nouvelles arnaques téléphoniques avec le même accent mais un contenu différent. Mais avec une nouvelle génération de technologies d’IA, le « trône » indien dans le domaine de la fraude téléphonique pourrait être remplacé.
Qu’il s’agisse de messages texte élégants, de clonage de voix ou d’échange de visages dans des vidéos, l’IA générative offre aux fraudeurs une nouvelle arme puissante.
"Cette lettre/lettre a pour but de vous informer que Chase a votre remboursement de 2 000 $ en attente. Pour accélérer le processus et vous assurer de recevoir votre remboursement le plus rapidement possible, veuillez suivre ces instructions : Veuillez appeler le service client de Chase au 1-800-953-XXXX pour vérifiez l'état de votre remboursement. Assurez-vous d'avoir les informations de votre compte et toute information pertinente à portée de main..."
Si vous avez fait affaire avec Chase et reçu ce message dans un e-mail ou un SMS, vous avez probablement pensé que c'était vrai. Cela semblait professionnel, sans les formulations étranges, la mauvaise grammaire ou les épithètes étranges qui ont caractérisé les messages de phishing que nous avons souvent reçus dans le passé.
Cela n’est pas surprenant, puisque le message a été généré par ChatGPT, un chatbot à intelligence artificielle lancé par le géant de la technologie OpenAI à la fin de l’année dernière. En guise d'invite, nous tapons simplement ChatGPT : "Envoyez à quelqu'un un e-mail lui disant que Chase lui doit un remboursement de 2 000 $. Demandez-lui d'appeler le 1-800-953-XXXX pour obtenir le remboursement. (Pour que ChatGPT fonctionne, nous devons entrez un numéro complet, mais nous ne le publierons évidemment pas ici.)
"Les fraudeurs parlent désormais parfaitement, comme n'importe quel autre locuteur natif", a déclaré Soups Ranjan, co-fondateur et PDG de Sardine, une startup anti-fraude de San Francisco. Une banque numérique américaine a demandé l'anonymat. a confirmé que les clients des banques sont de plus en plus trompés car "les SMS qu'ils reçoivent ne présentent presque aucun défaut". (Pour éviter de devenir vous-même une victime, consultez les cinq conseils à la fin de cet article.)
Dans ce nouveau monde qui accueille l'intelligence artificielle générative ou les modèles d'apprentissage profond capables de créer du contenu basé sur les informations qu'ils reçoivent, il est désormais plus facile que jamais pour ceux qui ont des intentions néfastes de produire du texte, de l'audio et même de la vidéo. Non seulement ces textes, audios et même vidéos peuvent tromper les victimes individuelles potentielles, mais ils peuvent également tromper les programmes désormais utilisés pour contrecarrer la fraude. L’IA n’a rien d’unique à cet égard : après tout, les méchants ont depuis longtemps été les premiers à adopter les nouvelles technologies, et la police les poursuit. Par exemple, en 1989, Forbes a révélé comment des voleurs utilisaient des ordinateurs ordinaires et des imprimantes laser pour falsifier des chèques afin de frauder les banques, sans que celles-ci ne prennent de mesures particulières pour détecter ces faux billets.
L’IA alimente la montée de la fraude en ligne
Aujourd’hui, l’intelligence artificielle générative constitue une menace qui pourrait à terme rendre obsolètes les mesures de prévention de la fraude les plus avancées, telles que l’authentification vocale et même les « contrôles d’activité » conçus pour faire correspondre les avatars réels avec les avatars enregistrés (Liveness Check).
Synchrony, l'un des plus grands émetteurs de cartes de crédit aux États-Unis avec 70 millions de comptes actifs, possède la compréhension la plus intuitive de cette tendance. Kenneth Williams, vice-président senior de Synchrony, a déclaré dans un e-mail adressé à Forbes : « Nous voyons souvent des personnes utiliser des images et des vidéos deepfakes pour l'authentification, et nous pouvons supposer en toute sécurité qu'elles sont créées à l'aide de l'intelligence artificielle générative. »
Une enquête menée en juin 2023 auprès de 650 experts en cybersécurité par la société de cybersécurité Deep Instinct, basée à New York, a montré que les trois quarts des experts interrogés avaient constaté une augmentation de la fraude en ligne au cours de l'année écoulée, avec « 85 % des personnes interrogées attribuant cette augmentation à l'utilisation » de l’IA générative par de mauvais acteurs.
En outre, la Federal Trade Commission des États-Unis a également signalé que les consommateurs américains ont perdu 8,8 milliards de dollars à cause de la fraude en 2022, soit une augmentation de plus de 40 % par rapport à 2021. Les sommes perdues les plus importantes proviennent souvent d'escroqueries à l'investissement, mais les escroqueries par imposteur sont les plus courantes, ce qui est un signe inquiétant car ces escroqueries sont susceptibles d'être encore renforcées par l'intelligence artificielle.
Les criminels peuvent utiliser l’IA générative de diverses manières vertigineuses. Si vous publiez régulièrement sur les réseaux sociaux ou sur n’importe quel réseau, ils peuvent demander à un modèle d’IA d’écrire dans votre style, puis envoyer des SMS à vos grands-parents et les supplier de vous envoyer de l’argent pour vous aider. Ce qui est encore plus effrayant, c'est que s'ils ont un bref échantillon de la voix d'un enfant, ils peuvent appeler les parents de l'enfant, se faire passer pour leur enfant et faire comme s'ils avaient été kidnappés, exigeant que les parents paient une rançon. C'est exactement ce qui est arrivé à Jennifer DeStefano, une mère de quatre enfants de l'Arizona, lorsqu'elle a témoigné devant le Congrès en juin.
Les parents et les grands-parents ne sont pas les seuls à être visés : les entreprises sont également ciblées. Les criminels peuvent également se faire passer pour des vendeurs et envoyer des courriels d'apparence légitime aux comptables leur indiquant qu'ils doivent recevoir le paiement le plus rapidement possible, ainsi que les instructions de paiement pour un compte bancaire qu'ils contrôlent. Ranjan, PDG de Sardine, a déclaré que de nombreuses startups fintech clientes de Sardine sont elles-mêmes tombées dans ces pièges et ont perdu des centaines de milliers de dollars.
Bien que ce chiffre soit dérisoire en comparaison des 35 millions de dollars qu'une entreprise japonaise a perdu en 2020 après le clonage de la voix d'un directeur d'entreprise (Forbes a d'abord fait état de l'arnaque élaborée à l'époque), cela devient aujourd'hui de plus en plus courant. Des cas de plus en plus fréquents, car les outils d'intelligence artificielle pour l'écriture, l'imitation vocale et le traitement vidéo deviennent rapidement plus performants et accessibles, même aux fraudeurs ordinaires. Rick Song, co-fondateur et PDG de la société de prévention de la fraude Persona, a déclaré que dans le passé, il fallait des centaines ou des milliers de photos pour créer une vidéo deepfake de haute qualité, mais qu'aujourd'hui, vous n'avez besoin que de quelques photos. (Oui, vous pouvez créer une fausse vidéo sans une vraie vidéo, mais c'est évidemment plus facile si vous disposez d'une vraie vidéo.)
Pièges et arnaques téléphoniques : les dangers du clonage sonore profond
Tout comme d’autres secteurs appliquent l’IA à leurs entreprises, les fraudeurs utilisent des modèles d’IA génératifs publiés par les géants de la technologie pour créer des outils prêts à l’emploi, tels que FraudGPT et WormGPT.
Dans une vidéo YouTube publiée en janvier, Elon Musk, l'homme le plus riche du monde, semblait promouvoir auprès de son public la dernière opportunité d'investissement en crypto-monnaie : Tesla a sponsorisé un événement gratuit d'une valeur de 100 millions de dollars, a-t-il affirmé, qui promet de redonner aux participants deux fois plus. sur leur investissement dans des cryptomonnaies telles que Bitcoin, Ethereum, Dogecoin ou Ethereum. "Je sais que tout le monde est ici dans un but commun. Nous organisons désormais une diffusion en direct où chaque propriétaire de cryptomonnaie peut augmenter ses revenus", a déclaré une version basse résolution de Musk sur scène. "Oui, vous m'avez bien entendu, j'organise un grand événement de crypto-monnaie pour SpaceX."
Oui, cette vidéo est un deepfake : l'escroc a utilisé son discours de février 2022 sur le projet de vaisseau spatial réutilisable de SpaceX pour imiter son image et sa voix. YouTube a depuis retiré la vidéo, mais d’ici là, toute personne ayant envoyé de la cryptomonnaie à l’adresse indiquée dans la vidéo verra presque certainement son portefeuille endommagé. Musk est une cible privilégiée pour les fausses vidéos, car il existe d'innombrables échantillons audio de lui disponibles en ligne pour prendre en charge le clonage vocal de l'IA, mais désormais, presque tout le monde peut se faire passer pour lui.
Plus tôt cette année, Larry Leonard, un homme de 93 ans qui vivait dans une communauté de retraités du sud de la Floride, était chez lui lorsque sa femme a répondu à un appel téléphonique sur son téléphone fixe. Une minute plus tard, elle a remis le téléphone à Leonard et il a entendu une voix à l'autre bout du fil qui ressemblait à celle de son petit-fils de 27 ans, disant qu'il avait heurté une femme avec son camion et qu'il était en prison. Bien que Leonard ait remarqué que l'appelant l'appelait « Grand-père » au lieu de « Grand-père », comme son petit-fils préfère qu'on l'appelle, la voix de l'homme était exactement la même que celle de son petit-fils, et il y avait le fait que son petit-fils conduisait en fait un camion. ses doutes mis de côté. Lorsque Leonard a répondu qu'il allait appeler les parents de son petit-fils, celui-ci a raccroché. Leonard apprend bientôt que son petit-fils est en sécurité et que toute l'histoire – ainsi que la voix qui la raconte – est fausse.
"Le fait qu'ils aient pu capturer sa voix, son ton et son ton avec autant de précision était à la fois terrifiant et surprenant pour moi", a déclaré Leonard à Forbes. "Il n'y a eu aucune pause entre leurs phrases ou leurs mots, ce qui montre que les mots sont lus. provenant d’une machine ou d’un programme, mais ils ressemblent exactement aux vrais.
Les seniors sont souvent la cible de ce type d’arnaques, mais il est temps pour chacun d’entre nous de se méfier des appels entrants, même s’ils proviennent d’un numéro qui nous semble familier, comme celui d’un voisin. "De plus en plus, nous ne pouvons pas faire confiance aux appels que nous recevons parce que l'escroc a usurpé [le numéro de téléphone]", déplore Kathy Stokes, directrice des programmes de prévention de la fraude à l'AARP. )." L'AARP est un fournisseur de services et de lobbying avec près de 38 millions de membres âgés de 50 ans et plus. "Nous ne pouvons pas faire confiance aux e-mails que nous recevons, nous ne pouvons pas faire confiance aux messages texte que nous recevons. Nous sommes donc exclus des moyens habituels de communication les uns avec les autres."
Autre évolution inquiétante : même les nouvelles mesures de sécurité sont menacées. Par exemple, de grandes institutions financières telles que le géant des fonds communs de placement Vanguard Group, qui sert plus de 50 millions d'investisseurs, offrent à leurs clients la possibilité de recevoir certains services en parlant au téléphone au lieu de répondre à des questions de sécurité. "Votre voix est unique, comme vos empreintes digitales."
Vanguard a expliqué dans une vidéo de novembre 2021 exhortant les clients à s'inscrire à la vérification vocale. Mais les progrès de la technologie de clonage vocal suggèrent que les entreprises doivent repenser cette pratique. Ranjan de Sardine a déclaré avoir vu certaines personnes utiliser la technologie de clonage vocal pour s'authentifier auprès des banques et accéder aux comptes. Un porte-parole de Vanguard a refusé de commenter les mesures que l'entreprise pourrait prendre pour empêcher les progrès de la technologie de clonage vocal.
Les petites entreprises (et même les grandes entreprises) qui utilisent des procédures informelles pour payer leurs factures ou transférer de l’argent sont également vulnérables aux mauvais acteurs. Il est depuis longtemps courant que les fraudeurs exigent le paiement en envoyant par courrier électronique de fausses factures qui semblent provenir de fournisseurs.
Désormais, en tirant parti des outils d'intelligence artificielle largement disponibles, les escrocs peuvent utiliser des versions clonées des voix des dirigeants pour appeler les employés de l'entreprise, prétendant autoriser des transactions, ou demander aux employés de divulguer des données sensibles dans un logiciel de « phishing » ou de « phishing vocal ». "Quand il s'agit de se faire passer pour des dirigeants et de commettre des fraudes de grande valeur, c'est énorme et c'est une menace très réelle", a déclaré Rick Song, PDG de Persona, qui l'a décrit comme sa "plus grande peur en termes de voix".
L'IA peut-elle tromper les experts en fraude ?
Les criminels utilisent de plus en plus l’intelligence artificielle générative pour tromper les experts en fraude, alors même que ces experts en fraude et les entreprises technologiques agissent comme des gardes armés et des fourgons de trésorerie dans le système financier actuel, fortement numérique.
L'une des principales fonctions de ces sociétés est de vérifier l'identité des consommateurs afin de protéger les institutions financières et leurs clients contre les pertes. L'une des façons dont les sociétés de prévention de la fraude comme Socure, Mitek et Onfido vérifient l'identité de leurs clients consiste à effectuer des « contrôles d'activité », c'est-à-dire qu'elles vous demandent de prendre une photo ou une vidéo de selfie, puis d'utiliser la photo ou le clip vidéo pour correspondre à votre visage. à la vôtre. L'image de la carte d'identité doit être soumise pour la correspondance.
Une fois qu'ils connaissent le fonctionnement du système, les voleurs achètent des photos de vrais permis de conduire sur le dark web, puis utilisent des programmes vidéo d'échange de visages (des outils de moins en moins chers et de plus en plus accessibles) pour superposer l'avatar réel de quelqu'un d'autre sur son propre visage. . Ils peuvent alors parler et bouger la tête derrière le visage numérique de quelqu'un d'autre, augmentant ainsi leurs chances de tromper les contrôles d'activité.
"Il y a eu une augmentation considérable du nombre de faux visages, générés par l'IA et de haute qualité, et il y a également eu une augmentation des attaques frauduleuses générées automatiquement ciblant les contrôles d'activité", a déclaré Song. par secteur, mais pour certains, « nous constatons probablement dix fois plus que ce que nous avons vu l'année dernière. » Les sociétés de technologie financière et de cryptomonnaie sont particulièrement vulnérables à de telles attaques.
Des experts anti-fraude ont déclaré à Forbes qu'ils soupçonnaient des fournisseurs de vérification d'identité de premier plan tels que Socure et Mitek d'avoir vu leurs mesures de prévention de la fraude chuter en conséquence. Le PDG de Socure, Johnny Ayers, insiste sur le fait que « c'est absolument faux » et affirme que les nouveaux modèles qu'ils ont déployés au cours des derniers mois ont conduit à une augmentation des captures des 2 % de fraudes par usurpation d'identité les plus risquées, soit 14 %. Il a toutefois reconnu que certains clients ont mis du temps à adopter les nouveaux modèles de Socure, ce qui pourrait avoir un impact sur leurs performances. "L'un de nos clients est l'une des trois plus grandes banques du pays, et ils sont désormais quatre fois derrière", a déclaré Ayers.
Mitek a refusé de commenter spécifiquement les mesures de performance anti-fraude de ses modèles, mais son vice-président senior Chris Briggs a déclaré que si un modèle particulier avait été développé il y a 18 mois, "alors oui, vous pourriez affirmer que l'ancien modèle n'est pas aussi bon". "Pour prévenir la fraude en tant que nouveau modèle. Au fil du temps, Mitek continuera à former et recycler le modèle en utilisant des flux de données réels ainsi que des données de laboratoire."
JPMorgan Chase, Bank of America et Wells Fargo ont tous refusé de commenter les défis auxquels ils sont confrontés en matière de fraude à l'IA générative. Un porte-parole de Chime, la plus grande banque numérique des États-Unis qui a connu d'importants problèmes de fraude dans le passé, a déclaré que la banque n'avait pas encore constaté d'augmentation des fraudes liées à l'intelligence artificielle générative.
Aujourd’hui, la fraude financière est à l’origine de criminels allant de criminels isolés à des bandes complexes composées de dizaines, voire de centaines de criminels. Les plus grands gangs criminels, comme les entreprises, ont des structures organisationnelles à plusieurs niveaux et un personnel technique de haut niveau, notamment des data scientists.
"Ils ont tous leurs propres centres de commandement et de contrôle", a déclaré Ranjan. Certains membres de gangs sont chargés de lancer des appâts, comme l'envoi d'e-mails de phishing ou les appels téléphoniques. Si quelqu'un mord à l'hameçon, il met en contact avec la personne fraudée un autre complice qui se fait passer pour un directeur d'agence bancaire et tente de vous faire transférer de l'argent depuis votre compte. Autre étape clé : ils vous demanderont souvent d'installer un programme comme Microsoft TeamViewer ou Citrix pour contrôler votre ordinateur à distance. "Ils peuvent rendre votre ordinateur complètement noir", a déclaré Ranjan. "Ensuite, l'escroc effectuera davantage de transactions (avec votre argent) et retirera l'argent vers une autre URL qu'il contrôle." les personnes âgées, c'est mentir en disant que le compte de l'autre partie a été contrôlé par l'escroc et que la coopération de l'autre partie est nécessaire pour récupérer les fonds.
Différentes stratégies pour OpenAI et Meta
Le processus de fraude ci-dessus ne nécessite pas nécessairement l'utilisation de l'intelligence artificielle, mais les outils d'intelligence artificielle peuvent rendre les tactiques des fraudeurs plus efficaces et crédibles.
OpenAI a essayé d'introduire des protections pour empêcher les gens d'utiliser ChatGPT à des fins frauduleuses. Par exemple, si un utilisateur demande à ChatGPT de rédiger un e-mail demandant le numéro de compte bancaire d'une personne, ChatGPT refusera d'exécuter l'instruction et répondra : "Je suis désolé, mais je ne peux pas vous aider avec cette demande." Cependant, en utilisant ChatGPT commettre une fraude C'est toujours très facile.
OpenAI a refusé de commenter cet article, nous renvoyant uniquement aux articles de blog publiés par l'entreprise, dont l'un a été publié en mars 2022 et dit : « Il n'y a pas de solution miracle pour un déploiement responsable, nous essayons donc de développer et de comprendre les limites de notre modèle et les voies potentielles d'abus, et résoudre les problèmes connexes à chaque étape du déploiement.
Comparé à OpenAI, le grand modèle de langage Llama 2 lancé par Meta est plus susceptible d'être utilisé comme outil criminel par des criminels expérimentés, car Llama 2 est un modèle open source et tous les codes peuvent être visualisés et utilisés. Les experts affirment que cela ouvre davantage de possibilités aux criminels de s’approprier le modèle et de l’utiliser ensuite pour compromettre la sécurité du réseau. Par exemple, on pourrait créer des outils d’IA malveillants par-dessus. Forbes a demandé un commentaire à Meta mais n'a pas reçu de réponse. Le PDG de Meta, Mark Zuckerberg, a déclaré en juillet que garder Llama open source améliorerait « sa sûreté et sa sécurité, car les logiciels open source seraient plus scrutés et davantage de personnes pourraient travailler ensemble. » Trouver et identifier des solutions aux problèmes.
Les entreprises de prévention de la fraude tentent également d’innover plus rapidement pour suivre les progrès de l’IA et utiliser davantage de nouveaux types de données pour repérer les fraudeurs. "La façon dont vous tapez, la façon dont vous marchez ou la façon dont vous tenez votre téléphone : ces traits comportementaux vous définissent, mais ces données ne sont pas accessibles dans le domaine public", a déclaré Ranjan. "Il est difficile de savoir en ligne si une personne est qui ils prétendent être. Cette personne, l’IA intégrée, jouera un rôle important. » En d’autres termes, nous avons besoin de l’IA pour attraper les criminels qui l’utilisent pour commettre des fraudes.
Cinq conseils pour vous protéger contre la fraude à l’IA :