01 L'essor de l'IA : la guerre secrète de la sécurité sous l'épée à double tranchant de la technologie
Avec le développement rapide de la technologie AI, les menaces auxquelles la cybersécurité est confrontée deviennent de plus en plus complexes. Les méthodes d'attaque sont non seulement plus efficaces et discrètes, mais elles ont également donné naissance à de nouvelles formes de « hackers AI », ce qui a entraîné diverses nouvelles crises de cybersécurité.
Tout d'abord, l'IA générative redéfinit la « précision » de la fraude en ligne.
En termes simples, il s'agit de rendre les attaques de phishing traditionnelles plus intelligentes. Par exemple, dans des scénarios plus précis, les attaquants utilisent des données sociales publiques pour entraîner des modèles d'IA, générant en masse des e-mails de phishing personnalisés qui imitent le style d'écriture ou les habitudes linguistiques d'utilisateurs spécifiques, mettant en œuvre des escroqueries "sur mesure", contournant les filtres anti-spam traditionnels et augmentant considérablement le taux de réussite des attaques.
Ensuite, il y a la technique de falsification profonde (Deepfake) et le vol d'identité, qui sont les plus connus du grand public. Avant que la technologie de l'IA ne soit mature, le « scam par changement de visage », connu sous le nom de BEC (Business Email Compromise), consiste à ce qu'un attaquant se fasse passer pour l'expéditeur d'un e-mail, comme votre supérieur, un collègue ou un partenaire commercial, afin de voler des informations commerciales, de l'argent ou d'autres données importantes.
Aujourd’hui, le « changement de visage » a vraiment eu lieu. La technologie d’échange de visages et de changement de voix générée par l’IA peut falsifier l’identité de personnalités publiques ou d’amis et de parents à des fins de fraude, de manipulation de l’opinion publique et même d’ingérence politique. Il y a à peine deux mois, le directeur financier d’une entreprise de Shanghai a reçu une invitation à une vidéoconférence du « président », qui prétendait payer d’urgence le « dépôt de coopération à l’étranger » par le biais de l’échange de visages par IA, et le directeur a transféré 3,8 millions de yuans sur le compte désigné conformément aux instructions.
La troisième est l'attaque automatisée et l'exploitation des vulnérabilités. Les avancées de la technologie AI ont permis à de nombreux scénarios d'évoluer vers l'intelligence et l'automatisation, les attaques en ligne ne faisant pas exception. Les attaquants peuvent utiliser l'IA pour scanner automatiquement les vulnérabilités des systèmes, générer du code d'attaque dynamique et mener des attaques rapides et indifférenciées sur les cibles. Par exemple, une "attaque de jour zéro" pilotée par l'IA rédige et exécute immédiatement des programmes malveillants après avoir découvert une vulnérabilité, rendant difficile la réponse en temps réel des systèmes de défense traditionnels.
Lors du Nouvel An chinois de cette année, le site officiel de DeepSeek a subi une attaque DDoS massive de 3,2 Tbps. Les hackers ont simultanément infiltré le système via l'API, injectant des échantillons adverses et altérant les poids du modèle, ce qui a entraîné l'interruption des services essentiels pendant 48 heures, avec des pertes économiques directes dépassant plusieurs millions de dollars. Les enquêtes ultérieures ont révélé des traces d'infiltration de la NSA américaine, qui était restée en veille prolongée.
La pollution des données et les vulnérabilités des modèles représentent également une nouvelle menace. Les attaquants injectent de fausses informations dans les données d'entraînement de l'IA (c'est-à-dire le "data poisoning"), ou exploitent les défauts du modèle pour induire l'IA en erreur et produire des résultats incorrects - cela peut constituer une menace directe pour la sécurité dans des domaines critiques, et pourrait même entraîner des conséquences catastrophiques en chaîne, par exemple, un système de conduite autonome qui interprète un échantillon d'attaque comme un "interdiction d'accès" au lieu d'un "panneau de limitation de vitesse", ou une IA médicale qui confond une tumeur bénigne avec une tumeur maligne.
02 AI doit encore être traité par l'IA
Face aux nouvelles menaces de cybersécurité alimentées par l'IA, les modèles de protection traditionnels montrent leurs limites. Quelles sont donc nos stratégies d'adaptation ?
Il n'est pas difficile de constater que le consensus actuel dans l'industrie pointe vers "l'IA contre l'IA" - cela représente non seulement une mise à niveau des moyens techniques, mais aussi un changement de paradigme en matière de sécurité.
Les tentatives existantes se divisent en trois grandes catégories : les technologies de protection de la sécurité des modèles d'IA, les applications de défense au niveau industriel et la coopération gouvernementale et internationale à un niveau plus macro.
La clé de la technologie de protection de la sécurité des modèles d'IA réside dans le renforcement de la sécurité intrinsèque des modèles.
Prenons l'exemple de la vulnérabilité de « jailbreak » des modèles de langage de grande taille (LLM), dont le mécanisme de protection est souvent inefficace en raison de stratégies de prompt de jailbreak génériques - les attaquants contournent systématiquement les couches de protection intégrées du modèle pour inciter l'IA à générer du contenu violent, discriminatoire ou illégal. Pour prévenir le « jailbreak » des LLM, diverses entreprises de modèles ont fait des tentatives, comme Anthropic qui a publié en février de cette année le « classificateur constitutionnel ».
La « constitution » fait ici référence aux règles inviolables du langage naturel, comme garde-fou pour l’entraînement sur des données synthétiques, en stipulant ce qui est autorisé et restreint, la surveillance en temps réel des contenus d’entrée et de sortie, dans le test des conditions de référence, son modèle Claude3.5 sous la protection du classificateur a réussi à bloquer le taux de réussite des tentatives de jailbreak avancé de 14% à 95%, réduisant significativement le risque de « jailbreak » de l’IA.
En plus des modèles et d'autres moyens de défense plus généraux, les applications de défense au niveau industriel méritent également d'être examinées, car leur protection scénarisée dans des domaines verticaux devient un point de percée clé : le secteur financier construit des barrières anti-fraude grâce à des modèles de risque AI et à une analyse de données multimodales, l'écosystème open source utilise des technologies de chasse aux vulnérabilités intelligentes pour une réponse rapide aux menaces de jour zéro, tandis que la protection des informations sensibles des entreprises repose sur un système de contrôle dynamique piloté par l'IA.
Par exemple, la solution présentée par Cisco lors de la Semaine internationale du réseau à Singapour peut intercepter en temps réel les demandes de requêtes de données sensibles soumises par les employés à ChatGPT et générer automatiquement des rapports d'audit de conformité pour optimiser le cercle de gestion.
Au niveau macro, la coopération transrégionale entre les gouvernements et les organisations internationales s'accélère également. L'Agence de cybersécurité de Singapour a publié le "Guide de sécurité des systèmes d'intelligence artificielle", imposant des déploiements localisés et des mécanismes de cryptage des données pour contrer les abus de l'IA générative, notamment en établissant des normes de protection pour l'identification des faux identités générées par l'IA dans les attaques de phishing ; les États-Unis, le Royaume-Uni et le Canada ont lancé simultanément le « programme de proxy réseau IA », axé sur le développement de systèmes de confiance et l'évaluation en temps réel des attaques APT, renforçant ainsi la capacité de défense collective par le biais d'un système de certification de sécurité conjoint.
Alors, quelles méthodes peuvent maximiser l'utilisation de l'IA pour faire face aux défis de la cybersécurité à l'ère de l'IA ?
« L'avenir nécessite un cœur intelligent et sûr basé sur l'IA, autour duquel de nouveaux systèmes doivent être construits. » Lors de la deuxième édition du Forum d'innovation en cybersécurité de Wuhan, Zhang Fu, fondateur de QingTeng Cloud Security, a souligné dans son intervention que la lutte contre l'IA par l'IA sera au cœur du système de défense en cybersécurité de demain. « Dans les trois prochaines années, l'IA va bouleverser l'industrie de la sécurité existante et tous les secteurs B2B. Les produits seront reconstruits, permettant une efficacité et des capacités jamais vues auparavant. Les produits futurs seront destinés à l'IA, et non aux humains. »
Parmi de nombreuses solutions, le modèle de Security Copilot offre clairement une excellente démonstration de « produits futurs conçus pour l'IA » : il y a un an, Microsoft a lancé le copilote intelligent Microsoft Security Copilot pour aider les équipes de sécurité à détecter, enquêter et répondre rapidement et précisément aux incidents de sécurité ; il y a un mois, Microsoft a de nouveau publié une IA intelligente pour aider automatiquement dans des domaines clés tels que les attaques de phishing, la sécurité des données et la gestion des identités.
Microsoft a ajouté six nouveaux agents intelligents auto-développés pour étendre les fonctionnalités de Security Copilot. Parmi eux, trois sont destinés à aider les professionnels de la cybersécurité à filtrer les alertes : l'agent de classification de phishing examine les alertes de phishing et filtre les faux positifs ; les deux autres analysent les notifications Purview et détectent les cas d'utilisation non autorisée des données commerciales par les employés.
L'agent d'optimisation de l'accès conditionnel collabore avec Microsoft Entra pour identifier les règles d'accès utilisateur non sécurisées et génère une solution de correction en un clic à exécuter par les administrateurs. L'agent de correction des vulnérabilités s'intègre à l'outil de gestion des appareils Intune, facilitant la localisation rapide des terminaux vulnérables et l'application des correctifs du système d'exploitation. L'agent de briefing sur les menaces génère des rapports sur les menaces de cybersécurité pouvant affecter les systèmes de l'organisation.
03 Sans forme : La protection des agents intelligents de niveau L4
Il n'est pas surprenant qu'en Chine, pour réaliser un niveau de protection de sécurité véritablement « autonome », Qing Teng Cloud Security a lancé l'agent intelligent de sécurité « Wuxiang ». En tant que premier produit de sécurité AI au monde à franchir le pas de « AI d'assistance » à « agent autonome » (Autopilot), sa percée fondamentale réside dans la disruption du mode de « réponse passive » des outils traditionnels, le rendant autonome, automatique et intelligent.
Grâce à l’intégration de l’apprentissage automatique, du graphe de connaissances et de la technologie de prise de décision automatisée, Wuxiang peut mener à bien de manière indépendante l’ensemble du processus de détection des menaces en boucle fermée, d’évaluation de l’impact, de réponse et d’élimination, en réalisant une prise de décision autonome et axée sur les objectifs au sens propre du terme. Son « architecture d’IA agentique » est conçue pour simuler la logique collaborative d’une équipe de sécurité humaine : le « cerveau » intègre la base de connaissances sur la sécurité du réseau pour soutenir les capacités de planification, les « yeux » perçoivent la dynamique de l’environnement réseau à un niveau fin, invoquent de manière flexible des chaînes d’outils de sécurité diversifiées avec « les mains et les pieds », et forment un réseau de recherche et de jugement efficace pour le partage d’informations grâce à la collaboration multi-agents, et coopèrent et partagent des informations par le biais de la division du travail.
Dans la mise en œuvre technique, "Wu Xiang" adopte le "modèle ReAct" (cycle Agir-Observer-Penser-Agir) et une architecture à double moteur "Plan AI + Action AI", garantissant la capacité d'ajustement dynamique dans des tâches complexes. Lorsque l'appel d'outil échoue, le système peut passer automatiquement à un plan de secours plutôt que d'interrompre le processus. Par exemple, dans l'analyse des attaques APT, Plan AI agit en tant qu'"organisateur" pour décomposer les objectifs de la tâche, tandis qu'Action AI, en tant qu'"expert en enquête", exécute l'analyse des journaux et la modélisation des menaces, les deux avancent parallèlement grâce à un graphe de connaissances partagé en temps réel.
Au niveau des modules fonctionnels, "Wu Xiang" a construit un écosystème complet de prise de décision autonome : la simulation de la personnalité de l'analyste de sécurité par un agent intelligent, une réflexion itérative de la pensée, optimise dynamiquement le chemin de décision ; l'appel d'outils intègre la requête de journaux de sécurité de l'hôte, la recherche d'informations sur les menaces réseau et l'analyse de code malveillant pilotée par LLM ; la perception de l'environnement capture en temps réel les actifs de l'hôte et les informations réseau ; le stockage dynamique des entités du graphe de connaissances relie les associations pour soutenir la décision ; la collaboration multi-agents exécute des tâches en parallèle par le découpage des tâches et le partage d'informations.
Actuellement, « 无相 » se distingue par ses performances exceptionnelles dans trois scénarios d'application clés : l'évaluation des alertes, l'analyse des causes et la génération de rapports de sécurité.
Dans les opérations de sécurité traditionnelles, la vérification de l'authenticité des alertes massives est chronophage et laborieuse. Prenons l'exemple d'une alerte de privilège local : un agent d'analyse des alertes sans intervention humaine interprète automatiquement les caractéristiques de la menace, appelle des outils tels que l'analyse des permissions de processus, la traçabilité des processus parents et la vérification de signature des programmes, et conclut finalement qu'il s'agit d'un faux positif — sans aucune intervention humaine. Dans les tests d'alerte existants de QingTeng, ce système a déjà réalisé un taux de couverture des alertes de 100 % et un taux de précision d'analyse de 99,99 %, réduisant ainsi la charge de travail humain de plus de 95 %.
Face à de réelles menaces telles que les attaques Webshell, l'agent confirme en quelques secondes l'efficacité de l'attaque grâce à l'extraction des caractéristiques du code, à l'analyse des permissions des fichiers et à d'autres corrélations multidimensionnelles. Le processus traditionnel nécessitant la collaboration de plusieurs départements et prenant plusieurs jours pour une traçabilité approfondie (comme la restauration des chemins de propagation téléchargés, l'évaluation des impacts horizontaux) est désormais automatisé par le système qui relie les journaux des hôtes, le trafic réseau, les bases de comportement et d'autres flux de données pour générer un rapport complet de la chaîne d'attaque, réduisant le cycle de réponse de « jours » à « minutes ».
« Notre cœur est de transformer le partenariat entre l’IA et les gens, afin que l’IA puisse travailler ensemble en tant que personne pour réaliser le saut de L2 à L4, c’est-à-dire de la conduite assistée à la conduite autonome de haut niveau. » Hu Jun, vice-président de la co-création et des produits chez Qingteng Co-founding, a déclaré : « Comme l’IA peut s’adapter à plus de scénarios, le taux de réussite de la prise de décision est plus élevé et plus de responsabilités peuvent être assumées, de sorte que la division des responsabilités entre les personnes et l’IA changera. »
Dans ce scénario d'analyse de traçabilité, tout d'abord, l'alerte Webshell déclenche une traçabilité collaborative par une équipe de sécurité multi-agents pilotée par l'IA sans caractéristiques : l'« expert en évaluation » localise le fichier one.jsp en se basant sur l'alerte, générant des tâches parallèles telles que l'analyse du contenu du fichier, la traçabilité de l'auteur, l'examen du même répertoire et le suivi des processus. L'agent « enquêteur en sécurité » utilise un outil de journalisation de fichiers pour identifier rapidement le processus java (12606) comme source d'écriture, ce processus et l'hôte associé 10.108.108.23 (découvert par des journaux d'accès montrant une interaction fréquente) sont ensuite inclus dans l'enquête.
Les agents intelligents étendent dynamiquement les pistes à travers des graphes de menace, en approfondissant les informations d'un seul fichier jusqu'aux processus et aux hôtes, évaluant les résultats des tâches résumés par des experts pour déterminer les risques. Ce processus réduit la vérification qui nécessiterait normalement des heures à des jours à quelques dizaines de minutes, dépassant la précision des experts en sécurité avancée pour reconstruire l'ensemble de la chaîne d'attaque, traçant sans faille les chemins de déplacement latéral, et l'évaluation de l'équipe rouge montre également qu'il est difficile d'échapper à son enquête exhaustive.
« Les grands modèles sont meilleurs que les humains car ils peuvent examiner tous les recoins, plutôt que d'exclure les cas peu probables par expérience. » a expliqué Hu Jun, « cela équivaut à une meilleure portée et profondeur. »
Après avoir mené une enquête sur des scénarios d'attaque complexes, le tri des alertes et des indices d'enquête, ainsi que la génération de rapports, sont souvent chronophages et laborieux. L'IA peut réaliser un résumé en un clic, présentant clairement le processus d'attaque sous forme de chronologie visuelle, affichant les points clés de manière fluide comme dans un film - le système va automatiquement organiser les preuves clés pour générer les images clés de la chaîne d'attaque, tout en intégrant des informations contextuelles environnementales, et finalement produire une carte dynamique de la chaîne d'attaque, permettant de visualiser la trajectoire de l'attaque de manière intuitive et tridimensionnelle.
04 Conclusion
Il est clair que le développement de la technologie AI pose des défis doubles pour la cybersécurité.
D'une part, les attaquants utilisent l'IA pour automatiser, personnaliser et dissimuler les attaques ; d'autre part, la défense doit accélérer l'innovation technologique en renforçant les capacités de détection et de réponse grâce à l'IA. À l'avenir, la compétition technologique en IA entre les attaquants et les défenseurs déterminera l'ensemble de la situation de la cybersécurité, tandis que l'amélioration des agents de sécurité sera la clé pour équilibrer les risques et le développement.
L'agent intelligent sécurisé "Wuxiang" a apporté de nouveaux changements tant au niveau de l'architecture de sécurité qu'au niveau cognitif.
Le concept de « non-signe » change essentiellement la manière d'utiliser l'IA ; sa percée réside dans la fusion de la perception des données multidimensionnelles, de la génération de stratégies de protection et de l'interprétabilité des décisions en un tout organique – passant d'un modèle où l'IA est utilisée comme un outil à un modèle qui habilite l'IA à fonctionner de manière autonome et automatique.
Grâce à l'analyse des journaux, des textes, du trafic et d'autres données hétérogènes, le système peut détecter des signes avant-coureurs d'activités APT avant que l'attaquant ne construise une chaîne d'attaque complète. Plus crucial encore, la visualisation du processus de décision et les explications de raisonnement permettent de transformer les alertes de boîte noire des outils traditionnels, qui « savent ce qui se passe mais ignorent pourquoi », en histoire – l'équipe de sécurité peut non seulement voir les menaces, mais aussi comprendre la logique d'évolution des menaces.
La nature de cette innovation est un saut de paradigme de la pensée sécuritaire, passant de "réparer après la perte" à "prévenir avant la tempête", redéfinissant ainsi les règles du jeu de l'attaque et de la défense.
« L'Inconnu » est comme un chasseur doté d'une intuition numérique : en modélisant en temps réel les opérations de mémoire et d'autres caractéristiques comportementales microscopiques, il peut déceler des chevaux de Troie personnalisés cachés dans un bruit massif ; le moteur de gestion dynamique de la surface d'attaque évalue en continu le poids des risques des actifs, garantissant que les ressources de protection sont précisément dirigées vers les systèmes critiques ; et le mécanisme d'ingestion intelligente des renseignements sur les menaces transforme des milliers d'alertes quotidiennes en instructions défensives exploitables, prédisant même la direction d'évolution des variantes d'attaque - alors que les solutions traditionnelles peinent encore à faire face aux intrusions déjà survenues, « L'Inconnu » a déjà anticipé et bloqué le prochain mouvement des attaquants.
« La naissance du système central intelligent AI (agent intelligent de sécurité avancée) va complètement remodeler le paysage de la cybersécurité. Et la seule chose que nous devons faire, c'est saisir cette opportunité à bras le corps. » a déclaré Zhang Fu.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
« AI Hacker » à l'attaque, comment l'Agentic AI peut-il devenir un nouveau gardien ?
Auteur : pump de geek
01 L'essor de l'IA : la guerre secrète de la sécurité sous l'épée à double tranchant de la technologie
Avec le développement rapide de la technologie AI, les menaces auxquelles la cybersécurité est confrontée deviennent de plus en plus complexes. Les méthodes d'attaque sont non seulement plus efficaces et discrètes, mais elles ont également donné naissance à de nouvelles formes de « hackers AI », ce qui a entraîné diverses nouvelles crises de cybersécurité.
Tout d'abord, l'IA générative redéfinit la « précision » de la fraude en ligne.
En termes simples, il s'agit de rendre les attaques de phishing traditionnelles plus intelligentes. Par exemple, dans des scénarios plus précis, les attaquants utilisent des données sociales publiques pour entraîner des modèles d'IA, générant en masse des e-mails de phishing personnalisés qui imitent le style d'écriture ou les habitudes linguistiques d'utilisateurs spécifiques, mettant en œuvre des escroqueries "sur mesure", contournant les filtres anti-spam traditionnels et augmentant considérablement le taux de réussite des attaques.
Ensuite, il y a la technique de falsification profonde (Deepfake) et le vol d'identité, qui sont les plus connus du grand public. Avant que la technologie de l'IA ne soit mature, le « scam par changement de visage », connu sous le nom de BEC (Business Email Compromise), consiste à ce qu'un attaquant se fasse passer pour l'expéditeur d'un e-mail, comme votre supérieur, un collègue ou un partenaire commercial, afin de voler des informations commerciales, de l'argent ou d'autres données importantes.
Aujourd’hui, le « changement de visage » a vraiment eu lieu. La technologie d’échange de visages et de changement de voix générée par l’IA peut falsifier l’identité de personnalités publiques ou d’amis et de parents à des fins de fraude, de manipulation de l’opinion publique et même d’ingérence politique. Il y a à peine deux mois, le directeur financier d’une entreprise de Shanghai a reçu une invitation à une vidéoconférence du « président », qui prétendait payer d’urgence le « dépôt de coopération à l’étranger » par le biais de l’échange de visages par IA, et le directeur a transféré 3,8 millions de yuans sur le compte désigné conformément aux instructions.
La troisième est l'attaque automatisée et l'exploitation des vulnérabilités. Les avancées de la technologie AI ont permis à de nombreux scénarios d'évoluer vers l'intelligence et l'automatisation, les attaques en ligne ne faisant pas exception. Les attaquants peuvent utiliser l'IA pour scanner automatiquement les vulnérabilités des systèmes, générer du code d'attaque dynamique et mener des attaques rapides et indifférenciées sur les cibles. Par exemple, une "attaque de jour zéro" pilotée par l'IA rédige et exécute immédiatement des programmes malveillants après avoir découvert une vulnérabilité, rendant difficile la réponse en temps réel des systèmes de défense traditionnels.
Lors du Nouvel An chinois de cette année, le site officiel de DeepSeek a subi une attaque DDoS massive de 3,2 Tbps. Les hackers ont simultanément infiltré le système via l'API, injectant des échantillons adverses et altérant les poids du modèle, ce qui a entraîné l'interruption des services essentiels pendant 48 heures, avec des pertes économiques directes dépassant plusieurs millions de dollars. Les enquêtes ultérieures ont révélé des traces d'infiltration de la NSA américaine, qui était restée en veille prolongée.
La pollution des données et les vulnérabilités des modèles représentent également une nouvelle menace. Les attaquants injectent de fausses informations dans les données d'entraînement de l'IA (c'est-à-dire le "data poisoning"), ou exploitent les défauts du modèle pour induire l'IA en erreur et produire des résultats incorrects - cela peut constituer une menace directe pour la sécurité dans des domaines critiques, et pourrait même entraîner des conséquences catastrophiques en chaîne, par exemple, un système de conduite autonome qui interprète un échantillon d'attaque comme un "interdiction d'accès" au lieu d'un "panneau de limitation de vitesse", ou une IA médicale qui confond une tumeur bénigne avec une tumeur maligne.
02 AI doit encore être traité par l'IA
Face aux nouvelles menaces de cybersécurité alimentées par l'IA, les modèles de protection traditionnels montrent leurs limites. Quelles sont donc nos stratégies d'adaptation ?
Il n'est pas difficile de constater que le consensus actuel dans l'industrie pointe vers "l'IA contre l'IA" - cela représente non seulement une mise à niveau des moyens techniques, mais aussi un changement de paradigme en matière de sécurité.
Les tentatives existantes se divisent en trois grandes catégories : les technologies de protection de la sécurité des modèles d'IA, les applications de défense au niveau industriel et la coopération gouvernementale et internationale à un niveau plus macro.
La clé de la technologie de protection de la sécurité des modèles d'IA réside dans le renforcement de la sécurité intrinsèque des modèles.
Prenons l'exemple de la vulnérabilité de « jailbreak » des modèles de langage de grande taille (LLM), dont le mécanisme de protection est souvent inefficace en raison de stratégies de prompt de jailbreak génériques - les attaquants contournent systématiquement les couches de protection intégrées du modèle pour inciter l'IA à générer du contenu violent, discriminatoire ou illégal. Pour prévenir le « jailbreak » des LLM, diverses entreprises de modèles ont fait des tentatives, comme Anthropic qui a publié en février de cette année le « classificateur constitutionnel ».
La « constitution » fait ici référence aux règles inviolables du langage naturel, comme garde-fou pour l’entraînement sur des données synthétiques, en stipulant ce qui est autorisé et restreint, la surveillance en temps réel des contenus d’entrée et de sortie, dans le test des conditions de référence, son modèle Claude3.5 sous la protection du classificateur a réussi à bloquer le taux de réussite des tentatives de jailbreak avancé de 14% à 95%, réduisant significativement le risque de « jailbreak » de l’IA.
En plus des modèles et d'autres moyens de défense plus généraux, les applications de défense au niveau industriel méritent également d'être examinées, car leur protection scénarisée dans des domaines verticaux devient un point de percée clé : le secteur financier construit des barrières anti-fraude grâce à des modèles de risque AI et à une analyse de données multimodales, l'écosystème open source utilise des technologies de chasse aux vulnérabilités intelligentes pour une réponse rapide aux menaces de jour zéro, tandis que la protection des informations sensibles des entreprises repose sur un système de contrôle dynamique piloté par l'IA.
Par exemple, la solution présentée par Cisco lors de la Semaine internationale du réseau à Singapour peut intercepter en temps réel les demandes de requêtes de données sensibles soumises par les employés à ChatGPT et générer automatiquement des rapports d'audit de conformité pour optimiser le cercle de gestion.
Au niveau macro, la coopération transrégionale entre les gouvernements et les organisations internationales s'accélère également. L'Agence de cybersécurité de Singapour a publié le "Guide de sécurité des systèmes d'intelligence artificielle", imposant des déploiements localisés et des mécanismes de cryptage des données pour contrer les abus de l'IA générative, notamment en établissant des normes de protection pour l'identification des faux identités générées par l'IA dans les attaques de phishing ; les États-Unis, le Royaume-Uni et le Canada ont lancé simultanément le « programme de proxy réseau IA », axé sur le développement de systèmes de confiance et l'évaluation en temps réel des attaques APT, renforçant ainsi la capacité de défense collective par le biais d'un système de certification de sécurité conjoint.
Alors, quelles méthodes peuvent maximiser l'utilisation de l'IA pour faire face aux défis de la cybersécurité à l'ère de l'IA ?
« L'avenir nécessite un cœur intelligent et sûr basé sur l'IA, autour duquel de nouveaux systèmes doivent être construits. » Lors de la deuxième édition du Forum d'innovation en cybersécurité de Wuhan, Zhang Fu, fondateur de QingTeng Cloud Security, a souligné dans son intervention que la lutte contre l'IA par l'IA sera au cœur du système de défense en cybersécurité de demain. « Dans les trois prochaines années, l'IA va bouleverser l'industrie de la sécurité existante et tous les secteurs B2B. Les produits seront reconstruits, permettant une efficacité et des capacités jamais vues auparavant. Les produits futurs seront destinés à l'IA, et non aux humains. »
Parmi de nombreuses solutions, le modèle de Security Copilot offre clairement une excellente démonstration de « produits futurs conçus pour l'IA » : il y a un an, Microsoft a lancé le copilote intelligent Microsoft Security Copilot pour aider les équipes de sécurité à détecter, enquêter et répondre rapidement et précisément aux incidents de sécurité ; il y a un mois, Microsoft a de nouveau publié une IA intelligente pour aider automatiquement dans des domaines clés tels que les attaques de phishing, la sécurité des données et la gestion des identités.
Microsoft a ajouté six nouveaux agents intelligents auto-développés pour étendre les fonctionnalités de Security Copilot. Parmi eux, trois sont destinés à aider les professionnels de la cybersécurité à filtrer les alertes : l'agent de classification de phishing examine les alertes de phishing et filtre les faux positifs ; les deux autres analysent les notifications Purview et détectent les cas d'utilisation non autorisée des données commerciales par les employés.
L'agent d'optimisation de l'accès conditionnel collabore avec Microsoft Entra pour identifier les règles d'accès utilisateur non sécurisées et génère une solution de correction en un clic à exécuter par les administrateurs. L'agent de correction des vulnérabilités s'intègre à l'outil de gestion des appareils Intune, facilitant la localisation rapide des terminaux vulnérables et l'application des correctifs du système d'exploitation. L'agent de briefing sur les menaces génère des rapports sur les menaces de cybersécurité pouvant affecter les systèmes de l'organisation.
03 Sans forme : La protection des agents intelligents de niveau L4
Il n'est pas surprenant qu'en Chine, pour réaliser un niveau de protection de sécurité véritablement « autonome », Qing Teng Cloud Security a lancé l'agent intelligent de sécurité « Wuxiang ». En tant que premier produit de sécurité AI au monde à franchir le pas de « AI d'assistance » à « agent autonome » (Autopilot), sa percée fondamentale réside dans la disruption du mode de « réponse passive » des outils traditionnels, le rendant autonome, automatique et intelligent.
Grâce à l’intégration de l’apprentissage automatique, du graphe de connaissances et de la technologie de prise de décision automatisée, Wuxiang peut mener à bien de manière indépendante l’ensemble du processus de détection des menaces en boucle fermée, d’évaluation de l’impact, de réponse et d’élimination, en réalisant une prise de décision autonome et axée sur les objectifs au sens propre du terme. Son « architecture d’IA agentique » est conçue pour simuler la logique collaborative d’une équipe de sécurité humaine : le « cerveau » intègre la base de connaissances sur la sécurité du réseau pour soutenir les capacités de planification, les « yeux » perçoivent la dynamique de l’environnement réseau à un niveau fin, invoquent de manière flexible des chaînes d’outils de sécurité diversifiées avec « les mains et les pieds », et forment un réseau de recherche et de jugement efficace pour le partage d’informations grâce à la collaboration multi-agents, et coopèrent et partagent des informations par le biais de la division du travail.
Dans la mise en œuvre technique, "Wu Xiang" adopte le "modèle ReAct" (cycle Agir-Observer-Penser-Agir) et une architecture à double moteur "Plan AI + Action AI", garantissant la capacité d'ajustement dynamique dans des tâches complexes. Lorsque l'appel d'outil échoue, le système peut passer automatiquement à un plan de secours plutôt que d'interrompre le processus. Par exemple, dans l'analyse des attaques APT, Plan AI agit en tant qu'"organisateur" pour décomposer les objectifs de la tâche, tandis qu'Action AI, en tant qu'"expert en enquête", exécute l'analyse des journaux et la modélisation des menaces, les deux avancent parallèlement grâce à un graphe de connaissances partagé en temps réel.
Au niveau des modules fonctionnels, "Wu Xiang" a construit un écosystème complet de prise de décision autonome : la simulation de la personnalité de l'analyste de sécurité par un agent intelligent, une réflexion itérative de la pensée, optimise dynamiquement le chemin de décision ; l'appel d'outils intègre la requête de journaux de sécurité de l'hôte, la recherche d'informations sur les menaces réseau et l'analyse de code malveillant pilotée par LLM ; la perception de l'environnement capture en temps réel les actifs de l'hôte et les informations réseau ; le stockage dynamique des entités du graphe de connaissances relie les associations pour soutenir la décision ; la collaboration multi-agents exécute des tâches en parallèle par le découpage des tâches et le partage d'informations.
Actuellement, « 无相 » se distingue par ses performances exceptionnelles dans trois scénarios d'application clés : l'évaluation des alertes, l'analyse des causes et la génération de rapports de sécurité.
Dans les opérations de sécurité traditionnelles, la vérification de l'authenticité des alertes massives est chronophage et laborieuse. Prenons l'exemple d'une alerte de privilège local : un agent d'analyse des alertes sans intervention humaine interprète automatiquement les caractéristiques de la menace, appelle des outils tels que l'analyse des permissions de processus, la traçabilité des processus parents et la vérification de signature des programmes, et conclut finalement qu'il s'agit d'un faux positif — sans aucune intervention humaine. Dans les tests d'alerte existants de QingTeng, ce système a déjà réalisé un taux de couverture des alertes de 100 % et un taux de précision d'analyse de 99,99 %, réduisant ainsi la charge de travail humain de plus de 95 %.
Face à de réelles menaces telles que les attaques Webshell, l'agent confirme en quelques secondes l'efficacité de l'attaque grâce à l'extraction des caractéristiques du code, à l'analyse des permissions des fichiers et à d'autres corrélations multidimensionnelles. Le processus traditionnel nécessitant la collaboration de plusieurs départements et prenant plusieurs jours pour une traçabilité approfondie (comme la restauration des chemins de propagation téléchargés, l'évaluation des impacts horizontaux) est désormais automatisé par le système qui relie les journaux des hôtes, le trafic réseau, les bases de comportement et d'autres flux de données pour générer un rapport complet de la chaîne d'attaque, réduisant le cycle de réponse de « jours » à « minutes ».
« Notre cœur est de transformer le partenariat entre l’IA et les gens, afin que l’IA puisse travailler ensemble en tant que personne pour réaliser le saut de L2 à L4, c’est-à-dire de la conduite assistée à la conduite autonome de haut niveau. » Hu Jun, vice-président de la co-création et des produits chez Qingteng Co-founding, a déclaré : « Comme l’IA peut s’adapter à plus de scénarios, le taux de réussite de la prise de décision est plus élevé et plus de responsabilités peuvent être assumées, de sorte que la division des responsabilités entre les personnes et l’IA changera. »
Dans ce scénario d'analyse de traçabilité, tout d'abord, l'alerte Webshell déclenche une traçabilité collaborative par une équipe de sécurité multi-agents pilotée par l'IA sans caractéristiques : l'« expert en évaluation » localise le fichier one.jsp en se basant sur l'alerte, générant des tâches parallèles telles que l'analyse du contenu du fichier, la traçabilité de l'auteur, l'examen du même répertoire et le suivi des processus. L'agent « enquêteur en sécurité » utilise un outil de journalisation de fichiers pour identifier rapidement le processus java (12606) comme source d'écriture, ce processus et l'hôte associé 10.108.108.23 (découvert par des journaux d'accès montrant une interaction fréquente) sont ensuite inclus dans l'enquête.
Les agents intelligents étendent dynamiquement les pistes à travers des graphes de menace, en approfondissant les informations d'un seul fichier jusqu'aux processus et aux hôtes, évaluant les résultats des tâches résumés par des experts pour déterminer les risques. Ce processus réduit la vérification qui nécessiterait normalement des heures à des jours à quelques dizaines de minutes, dépassant la précision des experts en sécurité avancée pour reconstruire l'ensemble de la chaîne d'attaque, traçant sans faille les chemins de déplacement latéral, et l'évaluation de l'équipe rouge montre également qu'il est difficile d'échapper à son enquête exhaustive.
« Les grands modèles sont meilleurs que les humains car ils peuvent examiner tous les recoins, plutôt que d'exclure les cas peu probables par expérience. » a expliqué Hu Jun, « cela équivaut à une meilleure portée et profondeur. »
Après avoir mené une enquête sur des scénarios d'attaque complexes, le tri des alertes et des indices d'enquête, ainsi que la génération de rapports, sont souvent chronophages et laborieux. L'IA peut réaliser un résumé en un clic, présentant clairement le processus d'attaque sous forme de chronologie visuelle, affichant les points clés de manière fluide comme dans un film - le système va automatiquement organiser les preuves clés pour générer les images clés de la chaîne d'attaque, tout en intégrant des informations contextuelles environnementales, et finalement produire une carte dynamique de la chaîne d'attaque, permettant de visualiser la trajectoire de l'attaque de manière intuitive et tridimensionnelle.
04 Conclusion
Il est clair que le développement de la technologie AI pose des défis doubles pour la cybersécurité.
D'une part, les attaquants utilisent l'IA pour automatiser, personnaliser et dissimuler les attaques ; d'autre part, la défense doit accélérer l'innovation technologique en renforçant les capacités de détection et de réponse grâce à l'IA. À l'avenir, la compétition technologique en IA entre les attaquants et les défenseurs déterminera l'ensemble de la situation de la cybersécurité, tandis que l'amélioration des agents de sécurité sera la clé pour équilibrer les risques et le développement.
L'agent intelligent sécurisé "Wuxiang" a apporté de nouveaux changements tant au niveau de l'architecture de sécurité qu'au niveau cognitif.
Le concept de « non-signe » change essentiellement la manière d'utiliser l'IA ; sa percée réside dans la fusion de la perception des données multidimensionnelles, de la génération de stratégies de protection et de l'interprétabilité des décisions en un tout organique – passant d'un modèle où l'IA est utilisée comme un outil à un modèle qui habilite l'IA à fonctionner de manière autonome et automatique.
Grâce à l'analyse des journaux, des textes, du trafic et d'autres données hétérogènes, le système peut détecter des signes avant-coureurs d'activités APT avant que l'attaquant ne construise une chaîne d'attaque complète. Plus crucial encore, la visualisation du processus de décision et les explications de raisonnement permettent de transformer les alertes de boîte noire des outils traditionnels, qui « savent ce qui se passe mais ignorent pourquoi », en histoire – l'équipe de sécurité peut non seulement voir les menaces, mais aussi comprendre la logique d'évolution des menaces.
La nature de cette innovation est un saut de paradigme de la pensée sécuritaire, passant de "réparer après la perte" à "prévenir avant la tempête", redéfinissant ainsi les règles du jeu de l'attaque et de la défense.
« L'Inconnu » est comme un chasseur doté d'une intuition numérique : en modélisant en temps réel les opérations de mémoire et d'autres caractéristiques comportementales microscopiques, il peut déceler des chevaux de Troie personnalisés cachés dans un bruit massif ; le moteur de gestion dynamique de la surface d'attaque évalue en continu le poids des risques des actifs, garantissant que les ressources de protection sont précisément dirigées vers les systèmes critiques ; et le mécanisme d'ingestion intelligente des renseignements sur les menaces transforme des milliers d'alertes quotidiennes en instructions défensives exploitables, prédisant même la direction d'évolution des variantes d'attaque - alors que les solutions traditionnelles peinent encore à faire face aux intrusions déjà survenues, « L'Inconnu » a déjà anticipé et bloqué le prochain mouvement des attaquants.
« La naissance du système central intelligent AI (agent intelligent de sécurité avancée) va complètement remodeler le paysage de la cybersécurité. Et la seule chose que nous devons faire, c'est saisir cette opportunité à bras le corps. » a déclaré Zhang Fu.