PwC : décrypter les risques et les défis de sécurité soulevés par l'IA générative

Source : PwC

Source de l'image : générée par l'IA illimitée

L'impact de la vague de produits d'IA générative sur la sécurité des entreprises

Un certain nombre de produits d'IA générative tels que ChatGPT devraient libérer les employés des tâches fastidieuses et répétitives, et les employés peuvent consacrer plus de temps et d'énergie à un travail plus précieux pour l'entreprise. Cependant, du point de vue de la sécurité de l'entreprise, les produits d'IA générative peuvent introduire de nouveaux risques, ce qui est une épée à double tranchant pour les entreprises.

01 La menace des cyberattaques s'est intensifiée

L'IA générative réduit la barrière d'entrée pour les pirates. Les pirates peuvent utiliser l'IA générative pour intégrer rapidement diverses méthodes de cyberattaque, « armer » de manière pratique les méthodes d'attaque et éventuellement obtenir des méthodes d'attaque innovantes. L'équipe de cybersécurité de PwC a clairement observé que les attaques d'ingénierie sociale telles que les e-mails de phishing reçus par les clients ont considérablement augmenté ces derniers mois, ce qui coïncide avec l'utilisation généralisée de ChatGPT ; ChatGPT s'est également avéré plus trompeur pour les sites de phishing par génération de lots.

02 Fuite de données sensibles d'entreprise

Les experts en sécurité s'inquiètent de la possible fuite de données sensibles de l'entreprise, et un comportement de saisie inapproprié des employés peut entraîner la persistance de données sensibles dans la base de données des produits d'IA générative. La politique de confidentialité d'OpenAI indique que le contenu saisi par les utilisateurs lors de l'utilisation de ChatGPT sera utilisé pour former son modèle d'algorithme d'IA. De plus, ChatGPT a été exposé à de graves problèmes de sécurité. En raison de vulnérabilités dans la bibliothèque open source, certains utilisateurs peuvent voir les titres de l'historique des conversations des autres utilisateurs. À l'heure actuelle, de nombreux géants de la technologie tels qu'Amazon et Microsoft ont rappelé aux employés de ne pas partager de données sensibles avec ChatGPT.

03 Risque d'empoisonnement de l'IA générative

L'empoisonnement des données d'entraînement est une menace de sécurité courante à laquelle est confrontée l'IA générative. Les données malveillantes auront un impact négatif sur les résultats des algorithmes d'IA. Si la gestion des opérations s'appuie fortement sur l'IA générative, de mauvaises décisions peuvent être prises sur des problèmes critiques. D'autre part, l'IA générative présente également des problèmes potentiels de "biais". Semblable à l'activité "100 bouteilles de poison pour l'IA" à laquelle ont participé de nombreux experts et universitaires renommés, dans le processus de développement ou d'utilisation de l'IA, les entreprises devraient réagir activement à la menace d'empoisonnement par l'IA de manière stratégique.

04Problème de protection de la vie privée

L'étape de pré-formation à l'IA générative nécessite une grande quantité de collecte et d'exploration de données, qui peuvent inclure les informations privées de nombreux clients et employés. Si l'IA générative ne peut pas correctement protéger et anonymiser ces informations privées, cela peut entraîner des fuites de confidentialité, et ces informations privées peuvent même être utilisées à mauvais escient pour analyser et spéculer sur le comportement des utilisateurs. Par exemple, le marché des applications pour téléphones mobiles regorge de logiciels de génération d'images.Les utilisateurs n'ont qu'à télécharger plusieurs avatars d'eux-mêmes, et le logiciel peut générer des photos composites de différentes scènes et thèmes. Cependant, la manière dont les éditeurs de logiciels utilisent les avatars téléchargés par ces utilisateurs, qu'ils apportent ou non une protection de la vie privée et d'autres risques de sécurité, mérite une attention et une réponse.

05 Risque de conformité à la sécurité de l'entreprise

En l'absence de mesures de gestion efficaces, l'adoption massive de produits d'IA générative peut entraîner des problèmes de conformité en matière de sécurité, ce qui constitue sans aucun doute un énorme défi pour les responsables de la sécurité des entreprises. Les mesures provisoires pour l'administration des services d'intelligence artificielle générative, qui ont été examinées et approuvées par l'administration du cyberespace de Chine et approuvées par six départements, dont la Commission nationale du développement et de la réforme et le ministère de l'Éducation, ont été annoncées il y a quelques jours et seront entre en vigueur le 15 août 2. Il propose des exigences de base du point de vue du développement et de la gouvernance technologiques, de la spécification des services, de la supervision et de l'inspection, et de la responsabilité légale, et établit un cadre de conformité de base pour l'adoption de l'IA générative.

En savoir plus sur les scénarios réels de menace de sécurité de l'IA générative

Après avoir compris les risques de sécurité introduits par l'IA générative, ce qui suit analysera comment le problème survient dans un scénario de menace de sécurité plus spécifique et explorera l'impact subtil de l'IA générative sur la sécurité de l'entreprise.

01 Attaque d'ingénierie sociale

Le hacker de renommée mondiale Kevin Mitnick a dit un jour : "Le maillon le plus faible de la chaîne de sécurité est l'élément humain". La tactique habituelle des hackers d'ingénierie sociale consiste à utiliser des mots doux pour attirer les employés des entreprises, et l'émergence de l'IA générative a grandement facilité les attaques d'ingénierie sociale. L'IA générative peut générer de faux contenus très réalistes, notamment de fausses nouvelles, de fausses publications sur les réseaux sociaux, des e-mails frauduleux, etc. Ces faux contenus peuvent induire les utilisateurs en erreur, diffuser de fausses informations ou inciter les employés à prendre de mauvaises décisions. L'IA générative pourrait même être utilisée pour synthétiser le son ou la vidéo pour qu'ils paraissent réels, ce qui pourrait être utilisé pour commettre une fraude ou falsifier des preuves. Le bureau d'enquête sur la criminalité du réseau de télécommunications du bureau municipal de la sécurité publique de Baotou a publié un cas de fraude dans les télécommunications utilisant la technologie intelligente de l'intelligence artificielle.Les criminels ont fraudé 4,3 millions de yuans en 10 minutes grâce à la technologie de changement de visage de l'IA.

02 Violations inconscientes par les employés

De nombreux fabricants de technologies ont commencé à mettre en place activement la voie de l'IA générative, intégrant un grand nombre de fonctions d'IA générative dans les produits et services. Les employés peuvent utiliser par inadvertance des produits d'IA générative sans lire attentivement les conditions d'utilisation avant de les utiliser. Lorsque les employés de l'entreprise utilisent l'IA générative, ils peuvent saisir du contenu contenant des informations sensibles, telles que des données financières, des informations sur les projets, des secrets d'entreprise, etc., ce qui peut entraîner la fuite d'informations sensibles de l'entreprise. Pour empêcher la divulgation d'informations sensibles par l'IA générative, les entreprises doivent prendre des mesures de sécurité complètes : notamment en améliorant la technologie de protection contre les fuites de données et en restreignant le comportement en ligne des employés ; dans le même temps, elles doivent dispenser une formation à la sécurité aux employés pour améliorer la sécurité des données et confidentialité vigilance attente. Une fois que la violation d'un employé est découverte, l'entreprise doit immédiatement évaluer l'impact et prendre des mesures en temps opportun.

03 Discrimination et préjugés inévitables

La raison pour laquelle l'IA générative peut avoir une discrimination et un biais est principalement due aux caractéristiques de ses données de formation et de la conception de son modèle. Les données de formation provenant d'Internet reflètent les préjugés du monde réel, y compris des aspects tels que la race, le sexe, la culture, la religion et le statut social. Lors du traitement des données de formation, il se peut qu'il n'y ait pas suffisamment de mesures de filtrage et de nettoyage pour exclure les données biaisées. De même, on n'accorde peut-être pas suffisamment d'attention à la réduction des biais dans la conception des modèles et la sélection des algorithmes pour l'IA générative. Les modèles algorithmiques détectent des biais dans les données d'apprentissage au fur et à mesure de leur apprentissage, ce qui entraîne des biais similaires dans le texte généré. Bien que l'élimination des préjugés et de la discrimination de l'IA générative soit un défi complexe, les entreprises peuvent prendre des mesures pour les atténuer3.

04 Compromis sur la protection de la vie privée

Dans le processus d'utilisation des produits d'IA générative, afin de poursuivre une automatisation efficace et des services personnalisés, les entreprises et les particuliers peuvent faire certains compromis en termes de protection de la vie privée, permettant à l'IA générative de collecter certaines données privées. En plus des utilisateurs divulguant du contenu de confidentialité personnelle à l'IA générative pendant l'utilisation, l'IA générative peut également analyser le contenu saisi par l'utilisateur et utiliser des algorithmes pour spéculer sur les informations personnelles, les préférences ou les comportements de l'utilisateur, enfreignant davantage la vie privée de l'utilisateur. La désensibilisation et l'anonymisation des données est une mesure courante de protection de la vie privée, mais elle peut entraîner la perte de certaines informations des données, réduisant ainsi la précision du modèle de génération.Un équilibre doit être trouvé entre la protection de la vie privée et la qualité du contenu généré . En tant que fournisseur d'IA générative, il devrait fournir aux utilisateurs une déclaration de politique de confidentialité transparente pour les informer de la collecte, de l'utilisation et du partage des données, afin que les utilisateurs puissent prendre des décisions éclairées.

05 Principales tendances en matière de conformité réglementaire

Du point de vue actuel, les risques de conformité légale auxquels est confrontée l'IA générative proviennent principalement des "violations de contenu des lois et réglementations" et de la "violation de la propriété intellectuelle". En l'absence de supervision, l'IA générative peut générer des contenus illégaux ou inappropriés, qui peuvent impliquer des éléments illégaux ou illégaux tels que des insultes, de la diffamation, de la pornographie, de la violence ; d'autre part, l'IA générative peut générer des contenus basés sur des contenus existants protégés par le droit d'auteur, qui peuvent entraîner une violation de la propriété intellectuelle. Les entreprises utilisant l'IA générative doivent effectuer des contrôles de conformité pour s'assurer que leurs applications sont conformes aux réglementations et normes applicables et éviter les risques juridiques inutiles. Les entreprises doivent d'abord évaluer si les produits qu'elles utilisent sont conformes aux dispositions des "Mesures provisoires pour l'administration des services d'intelligence artificielle générative". Dans le même temps, elles doivent porter une attention particulière aux mises à jour et aux modifications des lois et réglementations pertinentes, et faire des ajustements en temps opportun pour assurer la conformité. Lorsque les entreprises utilisent l'IA générative avec des fournisseurs ou des partenaires, elles doivent clarifier les droits et responsabilités de chaque partie et stipuler les obligations et restrictions correspondantes dans le contrat.

Comment les particuliers et les entreprises peuvent-ils faire face de manière proactive aux risques et aux défis de l'IA générative

Les utilisateurs individuels et les employés des entreprises doivent réaliser que tout en profitant des diverses commodités apportées par l'IA générative, ils doivent encore renforcer la protection de leur vie privée et d'autres informations sensibles.

01Éviter la divulgation de la vie privée

Avant d'utiliser des produits d'IA générative, les employés doivent s'assurer que le fournisseur de services protégera raisonnablement la confidentialité et la sécurité des utilisateurs, lire attentivement la politique de confidentialité et les conditions d'utilisation, et essayer de choisir un fournisseur fiable qui a été vérifié par le public. Essayez d'éviter de saisir des données de confidentialité personnelles pendant l'utilisation et utilisez des identités virtuelles ou des informations anonymes dans des scénarios qui ne nécessitent pas d'informations d'identité réelles.Toute donnée sensible éventuelle doit être masquée avant la saisie. Sur Internet, en particulier les médias sociaux et les forums publics, les employés doivent éviter le partage excessif d'informations personnelles, telles que les noms, adresses, numéros de téléphone, etc., et ne pas exposer facilement des informations à des sites Web et à du contenu accessibles au public.

02 Évitez de générer du contenu trompeur

En raison des limites des principes techniques de l'IA générative, les résultats seront inévitablement trompeurs ou biaisés.Les experts du secteur étudient également en permanence comment éviter le risque d'empoisonnement des données. Pour les informations importantes, les employés doivent les vérifier à partir de plusieurs sources indépendantes et fiables, et si les mêmes informations n'apparaissent qu'à un seul endroit, une enquête plus approfondie peut être nécessaire pour confirmer leur authenticité. Découvrez si les informations contenues dans les résultats sont étayées par des preuves solides. S'il n'y a pas de base substantielle, vous devrez peut-être être sceptique quant à l'information. Pour identifier les tromperies et les biais de l'IA générative, les utilisateurs doivent maintenir leur esprit critique, améliorer constamment leur culture numérique et comprendre comment utiliser ses produits et services en toute sécurité.

Par rapport à l'attitude ouverte des utilisateurs individuels, les entreprises attendent et surveillent toujours l'IA générative.L'introduction de l'IA générative est à la fois une opportunité et un défi pour les entreprises. Les entreprises doivent tenir compte des risques globaux et procéder à des déploiements stratégiques de réponse à l'avance. ** PwC recommande aux entreprises d'envisager de commencer des travaux connexes à partir des aspects suivants **.

01 L'évaluation de la sécurité du réseau d'entreprise clarifie les lacunes de la défense

Le défi numéro un auquel sont confrontées les entreprises reste la manière de se défendre contre la prochaine génération de cyberattaques provoquées par l'IA générative. Pour les entreprises, il est impératif d'évaluer l'état actuel de la sécurité du réseau, de déterminer si l'entreprise dispose de capacités de détection et de défense suffisantes pour faire face à ces attaques, d'identifier les vulnérabilités potentielles de la défense de la sécurité du réseau et de prendre les mesures de renforcement correspondantes pour y faire face activement. Afin d'atteindre les objectifs ci-dessus, l'équipe de cybersécurité de PwC recommande aux entreprises de mener des exercices de confrontation offensive et défensive basés sur ces scénarios réels de menace de cyberattaque, c'est-à-dire la cybersécurité "confrontation rouge et bleue". À partir de différents scénarios d'attaque, nous pouvons découvrir à l'avance les éventuelles lacunes de la défense de la sécurité du réseau et réparer les failles de défense de manière complète et systématique, afin de protéger les actifs informatiques et la sécurité des données de l'entreprise.

02 Déployer l'environnement de test d'IA générative interne de l'entreprise

Pour comprendre les principes techniques de l'IA générative et mieux contrôler les résultats des modèles d'IA générative, les entreprises peuvent envisager d'établir leur propre environnement de test de bac à sable d'IA générative en interne, afin d'éviter les menaces potentielles d'IA générative incontrôlables des produits d'IA pour les données d'entreprise. En testant dans un environnement isolé, les entreprises peuvent s'assurer que des données précises et intrinsèquement exemptes de biais sont disponibles pour le développement de l'IA, et peuvent explorer et évaluer avec plus de confiance les performances des modèles sans risquer d'exposer des données sensibles. Un environnement de test isolé peut également éviter l'empoisonnement des données et d'autres attaques externes contre l'IA générative, et maintenir la stabilité du modèle d'IA générative.

03Établir une stratégie de gestion des risques pour l'IA générative

Les entreprises doivent intégrer dès que possible l'IA générative dans le périmètre cible de la gestion des risques, et compléter et modifier le cadre et la stratégie de gestion des risques. Effectuez des évaluations des risques pour les scénarios commerciaux à l'aide de l'IA générative, identifiez les risques potentiels et les vulnérabilités de sécurité, formulez des plans de risque correspondants et clarifiez les contre-mesures et les attributions de responsabilité. Établissez un système de gestion des accès strict pour garantir que seul le personnel autorisé peut accéder et utiliser les produits d'IA générative approuvés par l'entreprise. Dans le même temps, le comportement d'utilisation des utilisateurs doit être réglementé et les employés de l'entreprise doivent être formés à la gestion des risques de l'IA générative afin d'améliorer la sensibilisation des employés à la sécurité et leurs capacités d'adaptation. Les entrepreneurs devraient également adopter une approche de confidentialité dès la conception lors du développement d'applications d'IA génératives, afin que les utilisateurs finaux sachent comment les données qu'ils fournissent seront utilisées et quelles données seront conservées.

04 Former un groupe de travail dédié à la recherche sur l'IA générative

Les entreprises peuvent rassembler des connaissances et des compétences professionnelles au sein de l'organisation pour explorer conjointement les opportunités et les risques potentiels de la technologie d'IA générative, et inviter des membres qui comprennent des domaines connexes à participer au groupe de travail, y compris des experts en gouvernance des données, des experts en modèles d'IA, des experts du domaine d'activité, et les experts en conformité juridique attendent. La direction de l'entreprise doit s'assurer que les membres du groupe de travail ont accès aux données et aux ressources nécessaires pour leur permettre d'explorer et d'expérimenter, tout en encourageant les membres du groupe de travail à expérimenter et à valider dans des environnements de test afin de mieux comprendre les opportunités potentielles et les opportunités de l'IA générative. les scénarios peuvent équilibrer les risques afin d'obtenir les avantages de l'application d'une technologie de pointe.

Conclusion

Le développement et l'application de l'IA générative ont un impact majeur sur la technologie, ce qui pourrait déclencher une nouvelle révolution de la productivité. L'IA générative est une technologie puissante qui combine des avancées dans des domaines tels que l'apprentissage en profondeur, le traitement du langage naturel et le Big Data pour permettre aux systèmes informatiques de générer du contenu en langage humain. Les entreprises et les salariés doivent maîtriser cette puissante technologie et s'assurer que son développement et son application s'effectuent dans le cadre de la loi, de l'éthique et de la responsabilité sociale, ce qui sera un enjeu important à l'avenir. L'équipe d'experts en IA de PwC s'engage à rechercher comment aider les entreprises à établir un mécanisme complet de gestion de l'IA générative4, afin que les entreprises puissent appliquer et développer cette technologie émergente avec plus de tranquillité d'esprit, ce qui aidera les entreprises à rejoindre la vague de la technologie de l'IA, l'IA générative peut offrir aux entreprises des avantages concurrentiels durables.

Note

1. Mesures provisoires pour l'administration des services d'intelligence artificielle générative_Documents départementaux du Conseil d'État_ChinaGov.com

2. Innovation et gouvernance : interpréter les dernières tendances réglementaires en matière d'intelligence artificielle générative

3. Comprendre les biais algorithmiques et comment renforcer la confiance dans l'IA

4. Gérer les risques liés à l'IA générative : PwC

Clause de non-responsabilité : les informations contenues dans cet article sont fournies à titre d'information générale uniquement et ne doivent pas être considérées comme exhaustives, et ne constituent pas non plus des conseils ou des services juridiques, fiscaux ou autres professionnels de PwC. Les institutions membres de PwC ne seront pas responsables de toute perte causée par tout sujet en raison de l'utilisation du contenu de cet article.