** Alors que l'IA évolue à une vitesse inimaginable, cela soulèvera inévitablement des inquiétudes quant à l'autre "bord" de l'épée de l'IA - la confiance. **Le premier est la confidentialité : à l'ère de l'IA, comment les humains peuvent-ils faire confiance à l'IA du point de vue de la confidentialité des données ? Peut-être que la transparence du modèle d'IA est la clé de l'inquiétude : la capacité d'émerger comme un modèle de langage à grande échelle équivaut à une "boîte noire" technologique impénétrable pour les humains, et les utilisateurs ordinaires ne peuvent pas comprendre comment le modèle fonctionne et le résultats de l'opération Et comment l'obtenir - ce qui est plus gênant, c'est qu'en tant qu'utilisateur, vous ne savez peut-être pas si le modèle d'IA fourni par le fournisseur de services fonctionne comme promis. Surtout lors de l'application d'algorithmes et de modèles d'IA sur certaines données sensibles, telles que des applications médicales, financières, Internet, etc., que le modèle d'IA soit biaisé (ou même orienté vers la malveillance), ou que le fournisseur de services exécute le modèle (et les applications associées). paramètres) avec précision comme promis, est devenu le problème le plus préoccupant pour les utilisateurs. La technologie de preuve à connaissance zéro a une solution ciblée à cet égard, de sorte que l'apprentissage automatique à connaissance zéro (ZKML) est devenu la dernière direction de développement.
** Une prise en compte globale de l'intégrité informatique, de l'optimisation heuristique et de la confidentialité, la combinaison de la preuve à connaissance nulle et de l'IA, l'apprentissage automatique à connaissance nulle (Zero-Knowledge Machine Learning, ZKML) a vu le jour. ** À l'ère où le contenu généré par l'IA se rapproche de plus en plus du contenu généré par l'homme, les caractéristiques techniques de la preuve secrète à connaissance nulle peuvent nous aider à déterminer qu'un contenu spécifique est généré via un modèle spécifique. Pour la protection de la vie privée, la technologie de preuve à connaissance nulle est particulièrement importante, c'est-à-dire que la preuve et la vérification peuvent être effectuées sans révéler les données saisies par l'utilisateur ou les détails spécifiques du modèle.
**Cinq façons d'appliquer les preuves à connaissance nulle à l'apprentissage automatique : intégrité informatique, intégrité du modèle, vérification, formation distribuée et authentification. **Le développement rapide récent des modèles de langage à grande échelle (LLM) montre que ces modèles deviennent de plus en plus intelligents, et ces modèles complètent l'interface importante entre les algorithmes et les humains : le langage. La tendance de l'intelligence artificielle générale (IAG) est déjà imparable, mais à en juger par les résultats actuels de la formation des modèles, l'IA peut parfaitement imiter les humains de grande capacité dans les interactions numériques et surpasser les humains à une vitesse inimaginable dans une évolution rapide. Le niveau des êtres humains a s'émerveiller de cette vitesse d'évolution, et même s'inquiéter d'être rapidement remplacé par l'IA.
** Les développeurs de la communauté utilisent ZKML pour vérifier la fonction de recommandation de Twitter, ce qui est instructif. ** La fonction de recommandation "Pour vous" de Twitter utilise un algorithme de recommandation d'IA pour distiller les quelque 500 millions de tweets publiés chaque jour en une poignée de tweets populaires, qui sont finalement affichés sur la chronologie de la page d'accueil de l'utilisateur. Fin mars 2023, Twitter a ouvert l'algorithme, mais comme les détails du modèle n'ont pas été rendus publics, les utilisateurs ne peuvent toujours pas vérifier si l'algorithme fonctionne correctement et complètement. Le développeur communautaire Daniel Kang et d'autres utilisent des outils cryptographiques ZK-SNARK pour vérifier si l'algorithme de recommandation Twitter est correct et fonctionne complètement sans divulguer les détails de l'algorithme - c'est le point le plus attrayant de la preuve de connaissance nulle, c'est-à-dire ne révélant aucune information spécifique sur l'objet Prouver la crédibilité de l'information sur la prémisse de l'information (zéro connaissance). Idéalement, Twitter pourrait utiliser ZK-SNARKS pour publier des preuves de son modèle de classement - des preuves que lorsque le modèle est appliqué à des utilisateurs et des tweets spécifiques, il produit un classement de sortie final spécifique. Cette attestation est la base de la fiabilité du modèle : les utilisateurs peuvent vérifier que le calcul de l'algorithme de modèle fonctionne comme promis - ou le soumettre à un tiers pour audit. Tout cela est fait sans divulguer les détails des pondérations des paramètres du modèle. C'est-à-dire qu'en utilisant la preuve de modèle officiellement annoncée, l'utilisateur utilise la preuve pour vérifier que le tweet spécifique fonctionne honnêtement comme promis par le modèle pour des tweets douteux spécifiques.
** 1. Idées fondamentales **
Alors que l'IA évolue à une vitesse inimaginable, cela soulèvera inévitablement des inquiétudes quant à l'autre "bord" de l'épée de l'IA - la confiance. Le premier est la confidentialité : à l'ère de l'IA, comment les humains peuvent-ils faire confiance à l'IA du point de vue de la confidentialité ? Peut-être que la transparence du modèle d'IA est la clé de l'inquiétude : la capacité d'émerger comme un modèle de langage à grande échelle équivaut à une "boîte noire" technologique impénétrable pour les humains, et les utilisateurs ordinaires ne peuvent pas comprendre comment le modèle fonctionne et le résultats de l'opération Et comment l'obtenir (le modèle lui-même regorge de capacités incompréhensibles ou prévisibles) - ce qui est plus gênant, c'est qu'en tant qu'utilisateur, vous ne savez peut-être pas si le modèle d'IA fourni par le fournisseur de services fonctionne comme promis . Surtout lors de l'application d'algorithmes et de modèles d'IA sur certaines données sensibles, telles que les soins médicaux, la finance, les applications Internet, etc., que le modèle d'IA soit biaisé (ou même orienté vers la malveillance), ou que le fournisseur de services exécute le modèle (et paramètres associés) avec précision comme promis, est devenu le problème le plus préoccupant pour les utilisateurs.
La technologie de preuve à connaissance zéro a une solution ciblée à cet égard, de sorte que l'apprentissage automatique à connaissance zéro (ZKML) est devenu la dernière direction de développement. Cet article traite des caractéristiques de la technologie ZKML, des scénarios d'application potentiels et de certains cas inspirants, et effectue une recherche et une élaboration sur la direction de développement de ZKML et son impact industriel possible.
**2. "L'autre tranchant" de l'épée de l'IA : comment faire confiance à l'IA ? **
Les capacités de l'intelligence artificielle se rapprochent rapidement de celles des humains et ont déjà dépassé les humains dans de nombreux domaines de niche. Le récent développement rapide des grands modèles de langage (LLM) suggère que ces modèles deviennent de plus en plus intelligents, et ces modèles affinent une interface importante entre les algorithmes et les humains : le langage. La tendance de l'intelligence artificielle générale (AGI) est déjà imparable, mais à en juger par les résultats actuels de la formation des modèles, l'IA peut parfaitement imiter les humains à haute capacité dans les interactions numériques et surpasser les humains à une vitesse inimaginable au niveau de l'évolution rapide. Le modèle de langage a fait des progrès significatifs récemment. Les produits représentés par ChatGPT ont obtenu des performances étonnantes, atteignant plus de 20 % des capacités humaines dans la plupart des évaluations de routine. Lorsque l'on compare GPT-3.5 et GPT-4, qui ne sont séparés que de quelques mois, les humains faut s'émerveiller de cette vitesse d'évolution. Mais d'un autre côté, il y a la préoccupation concernant la perte de contrôle des capacités de l'IA.
** Le premier est l'aspect de la confidentialité. ** À l'ère de l'IA, avec le développement de technologies telles que la reconnaissance faciale, les utilisateurs s'inquiètent toujours du risque de fuite de données lorsqu'ils utilisent les services d'IA. Cela a apporté certains obstacles à la promotion et au développement de l'IA - comment faire confiance à l'IA du point de vue de la vie privée ?
** Peut-être que la transparence des modèles d'IA est la clé de plus d'inquiétude. **La capacité d'émerger similaire à des modèles de langage à grande échelle équivaut à une "boîte noire" technologique impénétrable pour les humains. Les utilisateurs généraux ne peuvent pas comprendre comment le modèle fonctionne et comment les résultats sont obtenus (le modèle lui-même est plein de capacité qui est difficile à comprendre ou à prévoir) - plus gênant, car un utilisateur peut ne pas savoir si le modèle d'IA fourni par le fournisseur de services fonctionne comme promis. Surtout lors de l'application d'algorithmes et de modèles d'IA sur certaines données sensibles, telles que des applications médicales, financières, Internet, etc., que le modèle d'IA soit biaisé (ou même orienté vers la malveillance), ou que le fournisseur de services exécute le modèle (et les paramètres) avec précision comme promis, est devenu le problème le plus préoccupant pour les utilisateurs. Par exemple, la plateforme d'application sociale fait-elle des recommandations pertinentes selon l'algorithme de "l'égalité de traitement" ? La recommandation de l'algorithme d'IA du prestataire de services financiers est-elle aussi précise et complète que promis ? Y a-t-il une consommation inutile dans le plan de service médical recommandé par AI ? Les fournisseurs de services acceptent-ils l'audit des modèles d'IA ?
Pour faire simple, d'une part, les utilisateurs ne connaissent pas la situation réelle du modèle d'IA fourni par le fournisseur de services et, d'autre part, ils craignent beaucoup que le modèle ne soit pas "discriminatoire". considéré comme incluant certains facteurs biaisés ou orientés, qui entraîneront une perte inconnue ou un impact négatif pour les utilisateurs.
D'autre part, la vitesse d'auto-évolution de l'IA semble être de plus en plus imprévisible, et le modèle d'algorithme d'IA de plus en plus puissant semble être de plus en plus au-delà de la possibilité d'un contrôle humain, ** donc la question de la confiance est devenue une autre "bord" de l'épée tranchante de l'IA ". **
Il est nécessaire d'établir la confiance des utilisateurs dans l'IA du point de vue de la confidentialité des données, de la transparence des modèles et de la contrôlabilité des modèles. Les utilisateurs doivent s'inquiéter de la protection de la vie privée et de savoir si le modèle d'algorithme fonctionne correctement et complètement comme promis ; cependant, ce n'est pas une tâche facile. En termes de transparence du modèle, les fournisseurs de modèles ont des inquiétudes concernant l'audit et la supervision des modèles basés sur des secrets d'affaires et d'autres D'autre part, l'évolution du modèle algorithmique lui-même n'est pas facile à contrôler, et cette incontrôlabilité doit également être prise en compte.
Du point de vue de la protection de la confidentialité des données des utilisateurs, nous avons également effectué de nombreuses recherches dans nos précédents rapports tels que "AI and Data Elements Driven by Web3.0: Openness, Security and Privacy". Certaines applications du Web3.0 sont très inspirantes. à cet égard — — C'est-à-dire que la formation au modèle d'IA est effectuée sous le principe de la confirmation complète des données de l'utilisateur et de la protection de la confidentialité des données.
Cependant, le marché actuel est submergé par les performances étonnantes de grands modèles tels que Chatgpt, et n'a pas pris en compte les problèmes de confidentialité du modèle lui-même, les problèmes de confiance du modèle (et la confiance provoquée par l'incontrôlabilité) provoquée par l'évolution des caractéristiques "émergentes" de l'algorithme, mais à un autre niveau, les utilisateurs ont toujours été sceptiques quant au fonctionnement précis, complet et honnête du modèle dit algorithmique. Par conséquent, le problème de confiance de l'IA doit être résolu à partir des trois niveaux d'utilisateurs, de fournisseurs de services et d'incontrôlabilité du modèle.
3. ZKML : La combinaison de la preuve de connaissance zéro et de l'IA apporte la confiance
3.1． Preuve sans connaissance : zk-SNARKS, zk-STARK et d'autres technologies arrivent à maturité
Zero Knowledge Proof (Zero Knowledge Proof, ZKP) a été proposé pour la première fois par Shafi Goldwasser et Silvio Micali du MIT dans un article intitulé "Knowledge Complexity of Interactive Proof Systems" en 1985. L'auteur mentionne dans l'article qu'il est possible pour un prouveur de convaincre un vérificateur de l'authenticité des données sans révéler les données spécifiques. La fonction publique f(x) et la valeur de sortie y d'une fonction, Alice dit à Bob qu'elle connaît la valeur de x, mais Bob n'y croit pas. Pour ce faire, Alice utilise un algorithme de preuve à connaissance nulle pour générer une preuve. Bob vérifie cette preuve pour confirmer si Alice connaît vraiment x qui satisfait la fonction f.
Par exemple, en utilisant la preuve de connaissance zéro, vous n'avez pas besoin de connaître les résultats des tests de Xiaoming, mais vous pouvez savoir si ses résultats répondent aux exigences de l'utilisateur, par exemple s'il réussit, si le taux correct de remplissage des blancs dépasse 60%, et ainsi de suite. Dans le domaine de l'IA, combiné à une preuve de connaissance zéro, vous pouvez disposer d'un outil de confiance fiable pour les modèles d'IA.
La preuve à connaissance nulle peut être interactive, c'est-à-dire que le prouveur doit prouver l'authenticité des données une fois à chaque vérificateur ; elle peut aussi être non interactive, c'est-à-dire que le prouveur crée une preuve, et quiconque utilise cette preuve peut être vérifiée.
La connaissance nulle se décompose en preuve et vérification.Généralement, la preuve est quasi-linéaire, c'est-à-dire que la vérification est T*log(T).
En supposant que le temps de vérification est le carré du logarithme du nombre de transactions, alors le temps de vérification machine pour un bloc de 10 000 transactions est
VTime = ( )2 ~ (13.2)2 ~ 177 ms ; augmentez maintenant la taille du bloc de cent fois (à 1 million de tx/bloc), le nouveau temps d'exécution du validateur est VTime = (log2 1000000)2 ~ 202 ~ 400 ms. Par conséquent, nous pouvons voir sa super évolutivité, c'est pourquoi, théoriquement, tps peut atteindre l'illimité.
**La vérification est très rapide, et toute la difficulté réside dans la partie de la génération des preuves. ** Tant que la vitesse de génération des preuves peut suivre, la vérification en chaîne est très simple. Il existe actuellement de nombreuses implémentations de preuves à connaissance nulle, telles que zk-SNARKS, zk-STARKS, PLONK et Bulletproofs. Chaque méthode a ses propres avantages et inconvénients en termes de taille de preuve, de temps de preuve et de temps de vérification.
Plus la preuve à connaissance nulle est complexe et volumineuse, plus les performances sont élevées et plus le temps requis pour la vérification est court. Comme le montre la figure ci-dessous, les STARK et les Bulletproof ne nécessitent pas de paramètres de confiance. À mesure que la quantité de données de transaction passe de 1 TX à 10 000 TX, la taille de cette dernière preuve augmente encore moins. L'avantage de Bulletproofs est que la taille de la preuve est une transformation logarithmique (même si f et x sont grands), il est possible de stocker la preuve dans le bloc, mais la complexité de calcul de sa vérification est linéaire. On peut voir que divers algorithmes ont de nombreux points clés à peser, et il y a aussi beaucoup de place pour la mise à niveau. Cependant, dans le processus de fonctionnement réel, la difficulté de générer des preuves est beaucoup plus grande qu'on ne l'imaginait. Par conséquent, l'industrie est maintenant engagé à résoudre le problème de la génération de preuves.
Bien que le développement d'une technologie de preuve de connaissance zéro ne soit pas suffisant pour correspondre à l'échelle d'un grand modèle de langage (LLM), sa mise en œuvre technique a des scénarios d'application inspirants. Surtout dans le développement de l'épée à double tranchant de l'IA, la preuve de la connaissance zéro fournit une solution fiable pour la confiance de l'IA.
3.2． Apprentissage automatique sans connaissance (ZKML) : IA sans confiance
À une époque où le contenu généré par l'IA se rapproche de plus en plus du contenu généré par l'homme, les caractéristiques techniques des preuves secrètes à connaissance nulle peuvent nous aider à déterminer qu'un contenu spécifique est généré en appliquant un modèle spécifique. Pour la protection de la vie privée, la technologie de preuve à connaissance nulle est particulièrement importante, c'est-à-dire que la preuve et la vérification peuvent être effectuées sans révéler les données saisies par l'utilisateur ou les détails spécifiques du modèle. Compte tenu de l'intégrité de l'informatique, de l'optimisation heuristique et de la confidentialité, la combinaison de la preuve à connaissance nulle et de l'IA, l'apprentissage automatique à connaissance nulle (Zero-Knowledge Machine Learning, ZKML) a vu le jour.
Voici cinq façons d'appliquer les preuves à connaissance nulle à l'apprentissage automatique. En plus des fonctions de base telles que l'intégrité informatique, l'intégrité du modèle et la confidentialité des utilisateurs, l'apprentissage automatique sans connaissance peut également entraîner une formation distribuée, ce qui favorisera l'intégration de l'IA et de la blockchain, ainsi que l'identification des personnes dans la jungle de l'IA. (Cette partie se trouve dans notre rapport "OpenAI Founder's Web3 Vision: Worldcoin Creates AI Digital Passport").
La demande de puissance de calcul du grand modèle d'IA est une évidence pour tous.A l'heure actuelle, en intercalant les preuves ZK dans les applications d'IA, de nouvelles exigences sont imposées à la puissance de calcul du matériel. L'état de l'art actuel des systèmes à connaissance nulle combinés à du matériel haute performance ne peut toujours pas prouver quoi que ce soit d'aussi grand que les grands modèles de langage (LLM) actuellement disponibles, mais certains progrès ont été réalisés dans la création de preuves pour des modèles plus petits. Selon l'équipe de Modulus Labs, le système d'épreuve ZK existant a été testé sur différents modèles de différentes tailles. Les systèmes de preuve tels que plonky2 peuvent s'exécuter en 50 secondes environ sur une puissante machine AWS pour créer des preuves pour des modèles avec une échelle d'environ 18 millions de paramètres.
En termes de matériel, les options matérielles actuelles pour la technologie ZK incluent GPU, FPGA ou ASIC. Il convient de noter que la preuve à connaissance nulle en est encore à ses débuts, qu'il y a encore peu de normalisation et que l'algorithme est constamment mis à jour et modifié. Chaque algorithme a ses propres caractéristiques et est adapté à un matériel différent, et chaque algorithme sera amélioré dans une certaine mesure au fur et à mesure que le développement du projet l'exige, il est donc difficile d'évaluer spécifiquement quel algorithme est le meilleur.
Il convient de noter qu'en termes de combinaison de grands modèles ZK et AI, il n'y a pas de recherche claire sur l'évaluation des systèmes matériels existants.Par conséquent, il existe encore de grandes variables et potentiels en termes d'exigences matérielles futures.
3.3． Cas inspirant : Validation de l'algorithme de classement des recommandations de Twitter
La fonction de recommandation "Pour vous" de Twitter utilise un algorithme de recommandation d'IA pour affiner les quelque 500 millions de tweets publiés chaque jour en une poignée de tweets populaires, qui sont finalement affichés sur la chronologie "Pour vous" sur la page d'accueil de l'utilisateur. La recommandation extrait les informations latentes des tweets, des utilisateurs et des données d'engagement pour pouvoir fournir des recommandations plus pertinentes. Fin mars 2023, Twitter a mis en open source l'algorithme qui sélectionne et classe les publications sur la chronologie pour la fonction de recommandation "For You". Le processus de recommandation est à peu près le suivant :
Générer des caractéristiques de comportement des utilisateurs à partir de l'interaction entre les utilisateurs et le site Web et obtenir les meilleurs tweets à partir de différentes sources de recommandation ;
Utilisez le modèle d'algorithme AI pour classer chaque tweet;
Appliquez des heuristiques et des filtres, tels que le filtrage des tweets que les utilisateurs ont bloqués et des tweets qu'ils ont vus, etc.
Le module central de l'algorithme de recommandation est le service responsable de la construction et de la fourniture de la chronologie For You - Home Mixer. Le service agit comme une épine dorsale algorithmique reliant différentes sources de candidats, fonctions de notation, heuristiques et filtres.
La fonction de recommandation "Pour vous" prédit et note la pertinence de chaque tweet candidat sur la base d'environ 1 500 recommandations de candidats potentiellement pertinentes. Le site officiel de Twitter indique qu'à ce stade, tous les tweets des candidats sont traités de la même manière. Le classement de base est obtenu grâce à un réseau de neurones d'environ 48 millions de paramètres, qui est continuellement formé sur les interactions de tweet pour optimiser. Ce mécanisme de classement prend en compte des milliers de fonctionnalités et produit une dizaine d'étiquettes pour noter chaque tweet, où chaque étiquette représente la probabilité d'engagement, puis classe les tweets en fonction de ces scores.
Bien qu'il s'agisse d'une étape importante vers la transparence de l'algorithme de recommandation de Twitter, les utilisateurs ne peuvent toujours pas vérifier si l'algorithme fonctionne correctement et complètement. n'a pas été rendue publique. Par conséquent, la transparence de l'algorithme est toujours mise en doute.
En utilisant la technologie ZKML (Zero-Knowledge Machine Learning), Twitter peut prouver si les détails du poids du modèle d'algorithme sont exacts et complets (si le modèle et ses paramètres sont "égaux à différents utilisateurs"), ce qui rend la protection de la vie privée du modèle d'algorithme et il y a un bel équilibre entre transparence.
Le développeur communautaire Daniel Kang et d'autres utilisent des outils cryptographiques ZK-SNARK pour vérifier si l'algorithme de recommandation Twitter est correct et fonctionne complètement sans divulguer les détails de l'algorithme - c'est le point le plus attrayant de la preuve de connaissance nulle, c'est-à-dire ne révélant aucune information spécifique sur l'objet Prouver la crédibilité de l'information sur la prémisse de l'information (zéro connaissance). Idéalement, Twitter pourrait utiliser ZK-SNARKS pour publier des preuves de son modèle de classement - des preuves que lorsque le modèle est appliqué à des utilisateurs et des tweets spécifiques, il produit un classement de sortie final spécifique. Cette preuve est la base de la fiabilité du modèle : les utilisateurs peuvent vérifier que le calcul de l'algorithme de modèle fonctionne comme promis - ou le soumettre à un tiers pour audit. Tout cela est fait sans divulguer les détails des pondérations des paramètres du modèle. C'est-à-dire qu'en utilisant la preuve de modèle officiellement annoncée, l'utilisateur utilise la preuve pour vérifier que le tweet spécifique fonctionne honnêtement comme promis par le modèle pour des tweets douteux spécifiques.
Supposons qu'un utilisateur pense que la chronologie de la fonction de recommandation "Pour vous" est discutable, pensant que certains tweets devraient être classés plus haut (ou plus bas). Si Twitter peut lancer la fonction de preuve ZKML, les utilisateurs peuvent utiliser la preuve officielle pour vérifier le classement du tweet suspect par rapport aux autres tweets de la chronologie (le score calculé correspond au classement).Les scores qui ne correspondent pas indiquent que le modèle algorithmique car ces tweets particuliers ne fonctionnaient pas honnêtement (ils variaient artificiellement dans certains paramètres). On peut comprendre que bien que l'officiel n'annonce pas les détails spécifiques du modèle, il donne une baguette magique (la preuve du modèle) selon le modèle.Cependant, les détails privés du modèle ne peuvent pas être restaurés. Par conséquent, les détails du modèle officiel sont audités tandis que la confidentialité des détails est préservée.
Du point de vue du modèle, tout en protégeant la confidentialité du modèle, l'utilisation de la technologie ZKML peut toujours permettre au modèle de gagner en audit et en confiance des utilisateurs.
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Comment faire confiance à l'IA : quelles idées l'apprentissage automatique à connaissance nulle (ZKML) fournit-il ?
Résumé
** Alors que l'IA évolue à une vitesse inimaginable, cela soulèvera inévitablement des inquiétudes quant à l'autre "bord" de l'épée de l'IA - la confiance. **Le premier est la confidentialité : à l'ère de l'IA, comment les humains peuvent-ils faire confiance à l'IA du point de vue de la confidentialité des données ? Peut-être que la transparence du modèle d'IA est la clé de l'inquiétude : la capacité d'émerger comme un modèle de langage à grande échelle équivaut à une "boîte noire" technologique impénétrable pour les humains, et les utilisateurs ordinaires ne peuvent pas comprendre comment le modèle fonctionne et le résultats de l'opération Et comment l'obtenir - ce qui est plus gênant, c'est qu'en tant qu'utilisateur, vous ne savez peut-être pas si le modèle d'IA fourni par le fournisseur de services fonctionne comme promis. Surtout lors de l'application d'algorithmes et de modèles d'IA sur certaines données sensibles, telles que des applications médicales, financières, Internet, etc., que le modèle d'IA soit biaisé (ou même orienté vers la malveillance), ou que le fournisseur de services exécute le modèle (et les applications associées). paramètres) avec précision comme promis, est devenu le problème le plus préoccupant pour les utilisateurs. La technologie de preuve à connaissance zéro a une solution ciblée à cet égard, de sorte que l'apprentissage automatique à connaissance zéro (ZKML) est devenu la dernière direction de développement.
** Une prise en compte globale de l'intégrité informatique, de l'optimisation heuristique et de la confidentialité, la combinaison de la preuve à connaissance nulle et de l'IA, l'apprentissage automatique à connaissance nulle (Zero-Knowledge Machine Learning, ZKML) a vu le jour. ** À l'ère où le contenu généré par l'IA se rapproche de plus en plus du contenu généré par l'homme, les caractéristiques techniques de la preuve secrète à connaissance nulle peuvent nous aider à déterminer qu'un contenu spécifique est généré via un modèle spécifique. Pour la protection de la vie privée, la technologie de preuve à connaissance nulle est particulièrement importante, c'est-à-dire que la preuve et la vérification peuvent être effectuées sans révéler les données saisies par l'utilisateur ou les détails spécifiques du modèle.
**Cinq façons d'appliquer les preuves à connaissance nulle à l'apprentissage automatique : intégrité informatique, intégrité du modèle, vérification, formation distribuée et authentification. **Le développement rapide récent des modèles de langage à grande échelle (LLM) montre que ces modèles deviennent de plus en plus intelligents, et ces modèles complètent l'interface importante entre les algorithmes et les humains : le langage. La tendance de l'intelligence artificielle générale (IAG) est déjà imparable, mais à en juger par les résultats actuels de la formation des modèles, l'IA peut parfaitement imiter les humains de grande capacité dans les interactions numériques et surpasser les humains à une vitesse inimaginable dans une évolution rapide. Le niveau des êtres humains a s'émerveiller de cette vitesse d'évolution, et même s'inquiéter d'être rapidement remplacé par l'IA.
** Les développeurs de la communauté utilisent ZKML pour vérifier la fonction de recommandation de Twitter, ce qui est instructif. ** La fonction de recommandation "Pour vous" de Twitter utilise un algorithme de recommandation d'IA pour distiller les quelque 500 millions de tweets publiés chaque jour en une poignée de tweets populaires, qui sont finalement affichés sur la chronologie de la page d'accueil de l'utilisateur. Fin mars 2023, Twitter a ouvert l'algorithme, mais comme les détails du modèle n'ont pas été rendus publics, les utilisateurs ne peuvent toujours pas vérifier si l'algorithme fonctionne correctement et complètement. Le développeur communautaire Daniel Kang et d'autres utilisent des outils cryptographiques ZK-SNARK pour vérifier si l'algorithme de recommandation Twitter est correct et fonctionne complètement sans divulguer les détails de l'algorithme - c'est le point le plus attrayant de la preuve de connaissance nulle, c'est-à-dire ne révélant aucune information spécifique sur l'objet Prouver la crédibilité de l'information sur la prémisse de l'information (zéro connaissance). Idéalement, Twitter pourrait utiliser ZK-SNARKS pour publier des preuves de son modèle de classement - des preuves que lorsque le modèle est appliqué à des utilisateurs et des tweets spécifiques, il produit un classement de sortie final spécifique. Cette attestation est la base de la fiabilité du modèle : les utilisateurs peuvent vérifier que le calcul de l'algorithme de modèle fonctionne comme promis - ou le soumettre à un tiers pour audit. Tout cela est fait sans divulguer les détails des pondérations des paramètres du modèle. C'est-à-dire qu'en utilisant la preuve de modèle officiellement annoncée, l'utilisateur utilise la preuve pour vérifier que le tweet spécifique fonctionne honnêtement comme promis par le modèle pour des tweets douteux spécifiques.
** 1. Idées fondamentales **
Alors que l'IA évolue à une vitesse inimaginable, cela soulèvera inévitablement des inquiétudes quant à l'autre "bord" de l'épée de l'IA - la confiance. Le premier est la confidentialité : à l'ère de l'IA, comment les humains peuvent-ils faire confiance à l'IA du point de vue de la confidentialité ? Peut-être que la transparence du modèle d'IA est la clé de l'inquiétude : la capacité d'émerger comme un modèle de langage à grande échelle équivaut à une "boîte noire" technologique impénétrable pour les humains, et les utilisateurs ordinaires ne peuvent pas comprendre comment le modèle fonctionne et le résultats de l'opération Et comment l'obtenir (le modèle lui-même regorge de capacités incompréhensibles ou prévisibles) - ce qui est plus gênant, c'est qu'en tant qu'utilisateur, vous ne savez peut-être pas si le modèle d'IA fourni par le fournisseur de services fonctionne comme promis . Surtout lors de l'application d'algorithmes et de modèles d'IA sur certaines données sensibles, telles que les soins médicaux, la finance, les applications Internet, etc., que le modèle d'IA soit biaisé (ou même orienté vers la malveillance), ou que le fournisseur de services exécute le modèle (et paramètres associés) avec précision comme promis, est devenu le problème le plus préoccupant pour les utilisateurs.
La technologie de preuve à connaissance zéro a une solution ciblée à cet égard, de sorte que l'apprentissage automatique à connaissance zéro (ZKML) est devenu la dernière direction de développement. Cet article traite des caractéristiques de la technologie ZKML, des scénarios d'application potentiels et de certains cas inspirants, et effectue une recherche et une élaboration sur la direction de développement de ZKML et son impact industriel possible.
**2. "L'autre tranchant" de l'épée de l'IA : comment faire confiance à l'IA ? **
Les capacités de l'intelligence artificielle se rapprochent rapidement de celles des humains et ont déjà dépassé les humains dans de nombreux domaines de niche. Le récent développement rapide des grands modèles de langage (LLM) suggère que ces modèles deviennent de plus en plus intelligents, et ces modèles affinent une interface importante entre les algorithmes et les humains : le langage. La tendance de l'intelligence artificielle générale (AGI) est déjà imparable, mais à en juger par les résultats actuels de la formation des modèles, l'IA peut parfaitement imiter les humains à haute capacité dans les interactions numériques et surpasser les humains à une vitesse inimaginable au niveau de l'évolution rapide. Le modèle de langage a fait des progrès significatifs récemment. Les produits représentés par ChatGPT ont obtenu des performances étonnantes, atteignant plus de 20 % des capacités humaines dans la plupart des évaluations de routine. Lorsque l'on compare GPT-3.5 et GPT-4, qui ne sont séparés que de quelques mois, les humains faut s'émerveiller de cette vitesse d'évolution. Mais d'un autre côté, il y a la préoccupation concernant la perte de contrôle des capacités de l'IA.
** Le premier est l'aspect de la confidentialité. ** À l'ère de l'IA, avec le développement de technologies telles que la reconnaissance faciale, les utilisateurs s'inquiètent toujours du risque de fuite de données lorsqu'ils utilisent les services d'IA. Cela a apporté certains obstacles à la promotion et au développement de l'IA - comment faire confiance à l'IA du point de vue de la vie privée ?
** Peut-être que la transparence des modèles d'IA est la clé de plus d'inquiétude. **La capacité d'émerger similaire à des modèles de langage à grande échelle équivaut à une "boîte noire" technologique impénétrable pour les humains. Les utilisateurs généraux ne peuvent pas comprendre comment le modèle fonctionne et comment les résultats sont obtenus (le modèle lui-même est plein de capacité qui est difficile à comprendre ou à prévoir) - plus gênant, car un utilisateur peut ne pas savoir si le modèle d'IA fourni par le fournisseur de services fonctionne comme promis. Surtout lors de l'application d'algorithmes et de modèles d'IA sur certaines données sensibles, telles que des applications médicales, financières, Internet, etc., que le modèle d'IA soit biaisé (ou même orienté vers la malveillance), ou que le fournisseur de services exécute le modèle (et les paramètres) avec précision comme promis, est devenu le problème le plus préoccupant pour les utilisateurs. Par exemple, la plateforme d'application sociale fait-elle des recommandations pertinentes selon l'algorithme de "l'égalité de traitement" ? La recommandation de l'algorithme d'IA du prestataire de services financiers est-elle aussi précise et complète que promis ? Y a-t-il une consommation inutile dans le plan de service médical recommandé par AI ? Les fournisseurs de services acceptent-ils l'audit des modèles d'IA ?
Pour faire simple, d'une part, les utilisateurs ne connaissent pas la situation réelle du modèle d'IA fourni par le fournisseur de services et, d'autre part, ils craignent beaucoup que le modèle ne soit pas "discriminatoire". considéré comme incluant certains facteurs biaisés ou orientés, qui entraîneront une perte inconnue ou un impact négatif pour les utilisateurs.
D'autre part, la vitesse d'auto-évolution de l'IA semble être de plus en plus imprévisible, et le modèle d'algorithme d'IA de plus en plus puissant semble être de plus en plus au-delà de la possibilité d'un contrôle humain, ** donc la question de la confiance est devenue une autre "bord" de l'épée tranchante de l'IA ". **
Il est nécessaire d'établir la confiance des utilisateurs dans l'IA du point de vue de la confidentialité des données, de la transparence des modèles et de la contrôlabilité des modèles. Les utilisateurs doivent s'inquiéter de la protection de la vie privée et de savoir si le modèle d'algorithme fonctionne correctement et complètement comme promis ; cependant, ce n'est pas une tâche facile. En termes de transparence du modèle, les fournisseurs de modèles ont des inquiétudes concernant l'audit et la supervision des modèles basés sur des secrets d'affaires et d'autres D'autre part, l'évolution du modèle algorithmique lui-même n'est pas facile à contrôler, et cette incontrôlabilité doit également être prise en compte.
Du point de vue de la protection de la confidentialité des données des utilisateurs, nous avons également effectué de nombreuses recherches dans nos précédents rapports tels que "AI and Data Elements Driven by Web3.0: Openness, Security and Privacy". Certaines applications du Web3.0 sont très inspirantes. à cet égard — — C'est-à-dire que la formation au modèle d'IA est effectuée sous le principe de la confirmation complète des données de l'utilisateur et de la protection de la confidentialité des données.
Cependant, le marché actuel est submergé par les performances étonnantes de grands modèles tels que Chatgpt, et n'a pas pris en compte les problèmes de confidentialité du modèle lui-même, les problèmes de confiance du modèle (et la confiance provoquée par l'incontrôlabilité) provoquée par l'évolution des caractéristiques "émergentes" de l'algorithme, mais à un autre niveau, les utilisateurs ont toujours été sceptiques quant au fonctionnement précis, complet et honnête du modèle dit algorithmique. Par conséquent, le problème de confiance de l'IA doit être résolu à partir des trois niveaux d'utilisateurs, de fournisseurs de services et d'incontrôlabilité du modèle.
3. ZKML : La combinaison de la preuve de connaissance zéro et de l'IA apporte la confiance
3.1． Preuve sans connaissance : zk-SNARKS, zk-STARK et d'autres technologies arrivent à maturité
Zero Knowledge Proof (Zero Knowledge Proof, ZKP) a été proposé pour la première fois par Shafi Goldwasser et Silvio Micali du MIT dans un article intitulé "Knowledge Complexity of Interactive Proof Systems" en 1985. L'auteur mentionne dans l'article qu'il est possible pour un prouveur de convaincre un vérificateur de l'authenticité des données sans révéler les données spécifiques. La fonction publique f(x) et la valeur de sortie y d'une fonction, Alice dit à Bob qu'elle connaît la valeur de x, mais Bob n'y croit pas. Pour ce faire, Alice utilise un algorithme de preuve à connaissance nulle pour générer une preuve. Bob vérifie cette preuve pour confirmer si Alice connaît vraiment x qui satisfait la fonction f.
Par exemple, en utilisant la preuve de connaissance zéro, vous n'avez pas besoin de connaître les résultats des tests de Xiaoming, mais vous pouvez savoir si ses résultats répondent aux exigences de l'utilisateur, par exemple s'il réussit, si le taux correct de remplissage des blancs dépasse 60%, et ainsi de suite. Dans le domaine de l'IA, combiné à une preuve de connaissance zéro, vous pouvez disposer d'un outil de confiance fiable pour les modèles d'IA.
La preuve à connaissance nulle peut être interactive, c'est-à-dire que le prouveur doit prouver l'authenticité des données une fois à chaque vérificateur ; elle peut aussi être non interactive, c'est-à-dire que le prouveur crée une preuve, et quiconque utilise cette preuve peut être vérifiée.
La connaissance nulle se décompose en preuve et vérification.Généralement, la preuve est quasi-linéaire, c'est-à-dire que la vérification est T*log(T).
En supposant que le temps de vérification est le carré du logarithme du nombre de transactions, alors le temps de vérification machine pour un bloc de 10 000 transactions est
VTime = ( )2 ~ (13.2)2 ~ 177 ms ; augmentez maintenant la taille du bloc de cent fois (à 1 million de tx/bloc), le nouveau temps d'exécution du validateur est VTime = (log2 1000000)2 ~ 202 ~ 400 ms. Par conséquent, nous pouvons voir sa super évolutivité, c'est pourquoi, théoriquement, tps peut atteindre l'illimité.
**La vérification est très rapide, et toute la difficulté réside dans la partie de la génération des preuves. ** Tant que la vitesse de génération des preuves peut suivre, la vérification en chaîne est très simple. Il existe actuellement de nombreuses implémentations de preuves à connaissance nulle, telles que zk-SNARKS, zk-STARKS, PLONK et Bulletproofs. Chaque méthode a ses propres avantages et inconvénients en termes de taille de preuve, de temps de preuve et de temps de vérification.
Plus la preuve à connaissance nulle est complexe et volumineuse, plus les performances sont élevées et plus le temps requis pour la vérification est court. Comme le montre la figure ci-dessous, les STARK et les Bulletproof ne nécessitent pas de paramètres de confiance. À mesure que la quantité de données de transaction passe de 1 TX à 10 000 TX, la taille de cette dernière preuve augmente encore moins. L'avantage de Bulletproofs est que la taille de la preuve est une transformation logarithmique (même si f et x sont grands), il est possible de stocker la preuve dans le bloc, mais la complexité de calcul de sa vérification est linéaire. On peut voir que divers algorithmes ont de nombreux points clés à peser, et il y a aussi beaucoup de place pour la mise à niveau. Cependant, dans le processus de fonctionnement réel, la difficulté de générer des preuves est beaucoup plus grande qu'on ne l'imaginait. Par conséquent, l'industrie est maintenant engagé à résoudre le problème de la génération de preuves.
Bien que le développement d'une technologie de preuve de connaissance zéro ne soit pas suffisant pour correspondre à l'échelle d'un grand modèle de langage (LLM), sa mise en œuvre technique a des scénarios d'application inspirants. Surtout dans le développement de l'épée à double tranchant de l'IA, la preuve de la connaissance zéro fournit une solution fiable pour la confiance de l'IA.
3.2． Apprentissage automatique sans connaissance (ZKML) : IA sans confiance
À une époque où le contenu généré par l'IA se rapproche de plus en plus du contenu généré par l'homme, les caractéristiques techniques des preuves secrètes à connaissance nulle peuvent nous aider à déterminer qu'un contenu spécifique est généré en appliquant un modèle spécifique. Pour la protection de la vie privée, la technologie de preuve à connaissance nulle est particulièrement importante, c'est-à-dire que la preuve et la vérification peuvent être effectuées sans révéler les données saisies par l'utilisateur ou les détails spécifiques du modèle. Compte tenu de l'intégrité de l'informatique, de l'optimisation heuristique et de la confidentialité, la combinaison de la preuve à connaissance nulle et de l'IA, l'apprentissage automatique à connaissance nulle (Zero-Knowledge Machine Learning, ZKML) a vu le jour.
Voici cinq façons d'appliquer les preuves à connaissance nulle à l'apprentissage automatique. En plus des fonctions de base telles que l'intégrité informatique, l'intégrité du modèle et la confidentialité des utilisateurs, l'apprentissage automatique sans connaissance peut également entraîner une formation distribuée, ce qui favorisera l'intégration de l'IA et de la blockchain, ainsi que l'identification des personnes dans la jungle de l'IA. (Cette partie se trouve dans notre rapport "OpenAI Founder's Web3 Vision: Worldcoin Creates AI Digital Passport").
La demande de puissance de calcul du grand modèle d'IA est une évidence pour tous.A l'heure actuelle, en intercalant les preuves ZK dans les applications d'IA, de nouvelles exigences sont imposées à la puissance de calcul du matériel. L'état de l'art actuel des systèmes à connaissance nulle combinés à du matériel haute performance ne peut toujours pas prouver quoi que ce soit d'aussi grand que les grands modèles de langage (LLM) actuellement disponibles, mais certains progrès ont été réalisés dans la création de preuves pour des modèles plus petits. Selon l'équipe de Modulus Labs, le système d'épreuve ZK existant a été testé sur différents modèles de différentes tailles. Les systèmes de preuve tels que plonky2 peuvent s'exécuter en 50 secondes environ sur une puissante machine AWS pour créer des preuves pour des modèles avec une échelle d'environ 18 millions de paramètres.
En termes de matériel, les options matérielles actuelles pour la technologie ZK incluent GPU, FPGA ou ASIC. Il convient de noter que la preuve à connaissance nulle en est encore à ses débuts, qu'il y a encore peu de normalisation et que l'algorithme est constamment mis à jour et modifié. Chaque algorithme a ses propres caractéristiques et est adapté à un matériel différent, et chaque algorithme sera amélioré dans une certaine mesure au fur et à mesure que le développement du projet l'exige, il est donc difficile d'évaluer spécifiquement quel algorithme est le meilleur.
Il convient de noter qu'en termes de combinaison de grands modèles ZK et AI, il n'y a pas de recherche claire sur l'évaluation des systèmes matériels existants.Par conséquent, il existe encore de grandes variables et potentiels en termes d'exigences matérielles futures.
3.3． Cas inspirant : Validation de l'algorithme de classement des recommandations de Twitter
La fonction de recommandation "Pour vous" de Twitter utilise un algorithme de recommandation d'IA pour affiner les quelque 500 millions de tweets publiés chaque jour en une poignée de tweets populaires, qui sont finalement affichés sur la chronologie "Pour vous" sur la page d'accueil de l'utilisateur. La recommandation extrait les informations latentes des tweets, des utilisateurs et des données d'engagement pour pouvoir fournir des recommandations plus pertinentes. Fin mars 2023, Twitter a mis en open source l'algorithme qui sélectionne et classe les publications sur la chronologie pour la fonction de recommandation "For You". Le processus de recommandation est à peu près le suivant :
Générer des caractéristiques de comportement des utilisateurs à partir de l'interaction entre les utilisateurs et le site Web et obtenir les meilleurs tweets à partir de différentes sources de recommandation ;
Utilisez le modèle d'algorithme AI pour classer chaque tweet;
Appliquez des heuristiques et des filtres, tels que le filtrage des tweets que les utilisateurs ont bloqués et des tweets qu'ils ont vus, etc.
Le module central de l'algorithme de recommandation est le service responsable de la construction et de la fourniture de la chronologie For You - Home Mixer. Le service agit comme une épine dorsale algorithmique reliant différentes sources de candidats, fonctions de notation, heuristiques et filtres.
La fonction de recommandation "Pour vous" prédit et note la pertinence de chaque tweet candidat sur la base d'environ 1 500 recommandations de candidats potentiellement pertinentes. Le site officiel de Twitter indique qu'à ce stade, tous les tweets des candidats sont traités de la même manière. Le classement de base est obtenu grâce à un réseau de neurones d'environ 48 millions de paramètres, qui est continuellement formé sur les interactions de tweet pour optimiser. Ce mécanisme de classement prend en compte des milliers de fonctionnalités et produit une dizaine d'étiquettes pour noter chaque tweet, où chaque étiquette représente la probabilité d'engagement, puis classe les tweets en fonction de ces scores.
Bien qu'il s'agisse d'une étape importante vers la transparence de l'algorithme de recommandation de Twitter, les utilisateurs ne peuvent toujours pas vérifier si l'algorithme fonctionne correctement et complètement. n'a pas été rendue publique. Par conséquent, la transparence de l'algorithme est toujours mise en doute.
En utilisant la technologie ZKML (Zero-Knowledge Machine Learning), Twitter peut prouver si les détails du poids du modèle d'algorithme sont exacts et complets (si le modèle et ses paramètres sont "égaux à différents utilisateurs"), ce qui rend la protection de la vie privée du modèle d'algorithme et il y a un bel équilibre entre transparence.
Le développeur communautaire Daniel Kang et d'autres utilisent des outils cryptographiques ZK-SNARK pour vérifier si l'algorithme de recommandation Twitter est correct et fonctionne complètement sans divulguer les détails de l'algorithme - c'est le point le plus attrayant de la preuve de connaissance nulle, c'est-à-dire ne révélant aucune information spécifique sur l'objet Prouver la crédibilité de l'information sur la prémisse de l'information (zéro connaissance). Idéalement, Twitter pourrait utiliser ZK-SNARKS pour publier des preuves de son modèle de classement - des preuves que lorsque le modèle est appliqué à des utilisateurs et des tweets spécifiques, il produit un classement de sortie final spécifique. Cette preuve est la base de la fiabilité du modèle : les utilisateurs peuvent vérifier que le calcul de l'algorithme de modèle fonctionne comme promis - ou le soumettre à un tiers pour audit. Tout cela est fait sans divulguer les détails des pondérations des paramètres du modèle. C'est-à-dire qu'en utilisant la preuve de modèle officiellement annoncée, l'utilisateur utilise la preuve pour vérifier que le tweet spécifique fonctionne honnêtement comme promis par le modèle pour des tweets douteux spécifiques.
Supposons qu'un utilisateur pense que la chronologie de la fonction de recommandation "Pour vous" est discutable, pensant que certains tweets devraient être classés plus haut (ou plus bas). Si Twitter peut lancer la fonction de preuve ZKML, les utilisateurs peuvent utiliser la preuve officielle pour vérifier le classement du tweet suspect par rapport aux autres tweets de la chronologie (le score calculé correspond au classement).Les scores qui ne correspondent pas indiquent que le modèle algorithmique car ces tweets particuliers ne fonctionnaient pas honnêtement (ils variaient artificiellement dans certains paramètres). On peut comprendre que bien que l'officiel n'annonce pas les détails spécifiques du modèle, il donne une baguette magique (la preuve du modèle) selon le modèle.Cependant, les détails privés du modèle ne peuvent pas être restaurés. Par conséquent, les détails du modèle officiel sont audités tandis que la confidentialité des détails est préservée.
Du point de vue du modèle, tout en protégeant la confidentialité du modèle, l'utilisation de la technologie ZKML peut toujours permettre au modèle de gagner en audit et en confiance des utilisateurs.