Dans le prochain film de science-fiction hollywoodien « The Founder of AI », une intelligence artificielle censée servir l’humanité fait exploser une bombe nucléaire à Los Angeles.
Ce qui est encore plus science-fiction que le film, c’est qu’en réalité, les entreprises d’IA ont commencé à s’inquiéter que de tels scénarios apparaissent réellement dans le monde réel.
Récemment, OpenAI a déclaré que, soucieuse de la sécurité des systèmes d’IA, la société mettait en place une équipe dédiée pour faire face aux « risques catastrophiques » auxquels l’IA de pointe peut être confrontée, y compris les menaces nucléaires. **
En fait, le PDG Sam Altman s’inquiète depuis longtemps de la menace d'« extinction » posée par l’IA à l’humanité, et a déjà appelé à une plus grande réglementation de l’IA à plusieurs reprises, notamment en consultation avec le Congrès américain. Cependant, un groupe de scientifiques, dont le métascientifique Yann LeCun, a un point de vue différent sur la réglementation de l’IA, affirmant que les capacités de l’IA sont encore limitées et qu’une réglementation prématurée ne profitera pas seulement aux grandes entreprises, mais étouffera également l’innovation.
Cela met en évidence le désaccord persistant de l’industrie sur la réglementation de pointe de l’IA. Une réglementation prématurée peut limiter le développement technologique, mais l’absence de réglementation rendra difficile la prise en compte des risques. Comment trouver un équilibre entre la technologie et la prévention et la réglementation, afin que l’IA puisse être développée de manière efficace et contrôlée en toute sécurité, est encore un problème difficile dans l’industrie.
01 L’IA, frontière ou danger
Récemment, OpenAI a déclaré dans une mise à jour que, par souci de sécurité des systèmes d’IA, la société formait une nouvelle équipe « Préparation » pour suivre, évaluer et prédire le développement de « modèles de pointe"** pour prévenir les soi-disant « risques catastrophiques », y compris les problèmes de cybersécurité et les menaces chimiques, nucléaires et biologiques. **
Source de l’image : Site officiel d’OpenAI
L’équipe sera dirigée par Aleksander Madry, qui est actuellement en poste en tant que directeur du MIT Deployable Machine Learning Center.
En outre, l’équipe est chargée d’élaborer et de maintenir une « politique de développement fondée sur les risques » qui détaillera l’approche d’OpenAI pour créer des outils d’évaluation et de surveillance des modèles d’IA, les actions d’atténuation des risques de l’entreprise et la structure de gouvernance qui supervise l’ensemble du processus de développement du modèle. Cette politique est destinée à compléter le travail d’OpenAI dans le domaine de la sécurité de l’IA et à maintenir la sécurité et la cohérence avant et après le déploiement.
OpenAI propose que la gestion des risques catastrophiques possibles des modèles d’IA de pointe nécessite de répondre aux questions clés suivantes :
À quel point un modèle d’IA de pointe est-il dangereux d’être utilisé à mauvais escient ? **
Comment établir un cadre robuste pour surveiller, évaluer, prédire et prévenir les dangers des modèles d’IA de pointe ? **
Si des modèles d’IA de pointe sont compromis, comment des acteurs malveillants pourraient-ils les exploiter ? **
Dans la mise à jour, OpenAI a écrit : « Nous croyons... Les modèles d’IA de pointe qui surpasseront les modèles actuels de pointe ont le potentiel de bénéficier à toute l’humanité... Mais ils présentent aussi des risques de plus en plus graves.
Ces derniers temps, OpenAI n’a cessé de mettre l’accent sur la sécurité de l’IA et a mené une série d’actions au niveau de l’entreprise, de l’opinion publique et même au niveau politique. **
Auparavant, le 7 juillet, OpenAI avait annoncé la formation d’une nouvelle équipe chargée d’explorer les moyens de guider et de contrôler la « super IA », codirigée par le cofondateur et scientifique en chef d’OpenAI, Ilya Sutskever, et le responsable de l’alignement, Jan Leike.
Sutskever et Leike avaient prédit que l’IA au-delà de l’intelligence humaine émergerait d’ici 10 ans, affirmant qu’une telle IA n’est pas nécessairement bonne, il est donc nécessaire d’étudier les moyens de la contrôler et de la limiter.
Selon les rapports de l’époque, l’équipe s’est vu accorder la plus haute priorité et a été soutenue par 20 % des ressources informatiques de l’entreprise, et son objectif était de résoudre les principaux défis techniques liés au contrôle de la super-« super IA » au cours des quatre prochaines années.
Pour coïncider avec le lancement de l’équipe « Ready », Open AI a également lancé un défi aux personnes extérieures pour qu’elles trouvent des idées sur la façon dont l’IA pourrait être utilisée à mauvais escient et causer des dommages dans le monde réel, et les 10 meilleurs soumissionnaires recevront un prix de 25 000 $ et un emploi « prêt ».
02 Inquiétude quant à « l’IA peut conduire à l’extinction de l’humanité"
Le PDG d’OpenAI, Sam Altman, craint que l’IA ne conduise à l’extinction de l’humanité.
Lors d’une audition au Congrès sur le thème de l’IA en mai, Altman a déclaré que l’IA devait être réglementée et que sans normes réglementaires strictes pour la super IA, il y aurait plus de dangers au cours des 20 prochaines années.
À la fin du mois de mai, Altman a signé une brève déclaration avec les PDG de DeepMind, Anthropic et un certain nombre d’éminents chercheurs en IA, déclarant que « l’atténuation du risque d’extinction induite par l’IA devrait être l’une des priorités mondiales, comme c’est le cas avec les pandémies et la guerre nucléaire ».
Lors du San Francisco Tech Summit en juin, Sam Altman a mentionné que « vous ne devriez pas faire confiance à une entreprise, et certainement pas à une seule personne » lorsqu’il s’agit de la technologie de l’IA, arguant que la technologie elle-même, ses avantages, son accès, sa gouvernance, appartiennent à toute l’humanité.
Cependant, il y a aussi ceux (représentés par Elon Musk) qui accusent Altman d'« appeler à la réglementation » juste pour protéger le leadership d’OpenAI. Sam Altman a répondu à l’époque : « Nous pensons qu’il devrait y avoir plus de réglementation des grandes entreprises et des modèles propriétaires qui sont au-dessus d’un certain seuil de capacité élevé, et moins de réglementation des petites startups et des modèles open source. » Nous avons vu les problèmes rencontrés par les pays qui tentent de sur-réglementer la technologie, et ce n’est pas ce à quoi nous nous attendions.
« Les gens forment des modèles qui vont bien au-delà de la taille de tous les modèles que nous avons aujourd’hui, mais si certains seuils de capacité sont dépassés, je pense qu’il devrait y avoir un processus de certification, ainsi que des audits externes et des tests de sécurité », a-t-il ajouté. De plus, de tels modèles doivent être signalés au gouvernement et doivent être soumis à un examen minutieux de la part du gouvernement.
Contrairement à l’opinion d’Altman, le 19 octobre, le métascientifique Yann LeCun a exprimé son opposition à une réglementation prématurée de l’IA dans une interview accordée au Financial Times.
Yann LeCun est membre de l’Académie nationale des sciences, de l’Académie nationale d’ingénierie et de l’Académie des sciences, et est également connu pour ses travaux sur les réseaux convolutifs, ainsi que sur la reconnaissance optique de caractères et la vision par ordinateur à l’aide de réseaux de neurones convolutifs (CNN).
En 2018, Yann LeCun a remporté le prix Turing (souvent appelé le « prix Nobel de l’informatique ») aux côtés de Yoshua Bengio et Geoffrey Hinton, souvent appelés les « parrains de l’intelligence artificielle » et les « parrains de l’apprentissage profond ».
Dans l’interview, Yann LeCun a une vision plus négative de la réglementation de l’IA en général, affirmant que réglementer les modèles d’IA aujourd’hui revient à réglementer les avions à réaction en 1925 (avant que ces avions ne soient inventés), et qu’une réglementation prématurée de l’IA ne fera que renforcer la domination des grandes entreprises technologiques et étouffer la concurrence.
« Réglementer la recherche et le développement de l’IA est incroyablement contre-productif », a déclaré Yann LeCun, ajoutant que la nécessité de réglementer l’IA découle de « l’arrogance » ou de la « supériorité » de certaines entreprises technologiques de premier plan qui croient qu’on peut leur faire confiance pour développer l’IA en toute sécurité, « et elles veulent réglementer sous couvert de sécurité de l’IA ».
« Mais en fait, jusqu’à ce que nous puissions concevoir un système capable d’égaler la capacité d’apprentissage des chats, il est trop tôt pour débattre des risques que l’IA peut poser », déclare Yann LeCun, ajoutant que la génération actuelle de modèles d’IA est loin d’être aussi puissante que certains chercheurs le prétendent, « ils ne comprennent pas comment le monde fonctionne, ils n’ont pas la capacité de planifier, ils n’ont pas la capacité de faire un vrai raisonnement ».
Selon lui, OpenAI et DeepMind de Google ont été « trop optimistes » quant à la complexité du problème, et en fait, il faudra plusieurs « percées conceptuelles » avant que l’IA n’atteigne le niveau de l’intelligence humaine. Mais même dans ce cas, l’IA peut être contrôlée en codant des « qualités morales » dans le système, tout comme les lois peuvent désormais être utilisées pour réguler le comportement humain.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Inquiète de voir l’IA larguer des bombes nucléaires sur les humains, OpenAI est sérieuse
Source originale : Geek Park
Auteur : Lian Ran
Dans le prochain film de science-fiction hollywoodien « The Founder of AI », une intelligence artificielle censée servir l’humanité fait exploser une bombe nucléaire à Los Angeles.
Ce qui est encore plus science-fiction que le film, c’est qu’en réalité, les entreprises d’IA ont commencé à s’inquiéter que de tels scénarios apparaissent réellement dans le monde réel.
Récemment, OpenAI a déclaré que, soucieuse de la sécurité des systèmes d’IA, la société mettait en place une équipe dédiée pour faire face aux « risques catastrophiques » auxquels l’IA de pointe peut être confrontée, y compris les menaces nucléaires. **
En fait, le PDG Sam Altman s’inquiète depuis longtemps de la menace d'« extinction » posée par l’IA à l’humanité, et a déjà appelé à une plus grande réglementation de l’IA à plusieurs reprises, notamment en consultation avec le Congrès américain. Cependant, un groupe de scientifiques, dont le métascientifique Yann LeCun, a un point de vue différent sur la réglementation de l’IA, affirmant que les capacités de l’IA sont encore limitées et qu’une réglementation prématurée ne profitera pas seulement aux grandes entreprises, mais étouffera également l’innovation.
Cela met en évidence le désaccord persistant de l’industrie sur la réglementation de pointe de l’IA. Une réglementation prématurée peut limiter le développement technologique, mais l’absence de réglementation rendra difficile la prise en compte des risques. Comment trouver un équilibre entre la technologie et la prévention et la réglementation, afin que l’IA puisse être développée de manière efficace et contrôlée en toute sécurité, est encore un problème difficile dans l’industrie.
01 L’IA, frontière ou danger
Récemment, OpenAI a déclaré dans une mise à jour que, par souci de sécurité des systèmes d’IA, la société formait une nouvelle équipe « Préparation » pour suivre, évaluer et prédire le développement de « modèles de pointe"** pour prévenir les soi-disant « risques catastrophiques », y compris les problèmes de cybersécurité et les menaces chimiques, nucléaires et biologiques. **
L’équipe sera dirigée par Aleksander Madry, qui est actuellement en poste en tant que directeur du MIT Deployable Machine Learning Center.
En outre, l’équipe est chargée d’élaborer et de maintenir une « politique de développement fondée sur les risques » qui détaillera l’approche d’OpenAI pour créer des outils d’évaluation et de surveillance des modèles d’IA, les actions d’atténuation des risques de l’entreprise et la structure de gouvernance qui supervise l’ensemble du processus de développement du modèle. Cette politique est destinée à compléter le travail d’OpenAI dans le domaine de la sécurité de l’IA et à maintenir la sécurité et la cohérence avant et après le déploiement.
OpenAI propose que la gestion des risques catastrophiques possibles des modèles d’IA de pointe nécessite de répondre aux questions clés suivantes :
À quel point un modèle d’IA de pointe est-il dangereux d’être utilisé à mauvais escient ? ** Comment établir un cadre robuste pour surveiller, évaluer, prédire et prévenir les dangers des modèles d’IA de pointe ? ** Si des modèles d’IA de pointe sont compromis, comment des acteurs malveillants pourraient-ils les exploiter ? **
Dans la mise à jour, OpenAI a écrit : « Nous croyons... Les modèles d’IA de pointe qui surpasseront les modèles actuels de pointe ont le potentiel de bénéficier à toute l’humanité... Mais ils présentent aussi des risques de plus en plus graves.
Ces derniers temps, OpenAI n’a cessé de mettre l’accent sur la sécurité de l’IA et a mené une série d’actions au niveau de l’entreprise, de l’opinion publique et même au niveau politique. **
Auparavant, le 7 juillet, OpenAI avait annoncé la formation d’une nouvelle équipe chargée d’explorer les moyens de guider et de contrôler la « super IA », codirigée par le cofondateur et scientifique en chef d’OpenAI, Ilya Sutskever, et le responsable de l’alignement, Jan Leike.
Sutskever et Leike avaient prédit que l’IA au-delà de l’intelligence humaine émergerait d’ici 10 ans, affirmant qu’une telle IA n’est pas nécessairement bonne, il est donc nécessaire d’étudier les moyens de la contrôler et de la limiter.
Selon les rapports de l’époque, l’équipe s’est vu accorder la plus haute priorité et a été soutenue par 20 % des ressources informatiques de l’entreprise, et son objectif était de résoudre les principaux défis techniques liés au contrôle de la super-« super IA » au cours des quatre prochaines années.
Pour coïncider avec le lancement de l’équipe « Ready », Open AI a également lancé un défi aux personnes extérieures pour qu’elles trouvent des idées sur la façon dont l’IA pourrait être utilisée à mauvais escient et causer des dommages dans le monde réel, et les 10 meilleurs soumissionnaires recevront un prix de 25 000 $ et un emploi « prêt ».
02 Inquiétude quant à « l’IA peut conduire à l’extinction de l’humanité"
Le PDG d’OpenAI, Sam Altman, craint que l’IA ne conduise à l’extinction de l’humanité.
Lors d’une audition au Congrès sur le thème de l’IA en mai, Altman a déclaré que l’IA devait être réglementée et que sans normes réglementaires strictes pour la super IA, il y aurait plus de dangers au cours des 20 prochaines années.
À la fin du mois de mai, Altman a signé une brève déclaration avec les PDG de DeepMind, Anthropic et un certain nombre d’éminents chercheurs en IA, déclarant que « l’atténuation du risque d’extinction induite par l’IA devrait être l’une des priorités mondiales, comme c’est le cas avec les pandémies et la guerre nucléaire ».
Lors du San Francisco Tech Summit en juin, Sam Altman a mentionné que « vous ne devriez pas faire confiance à une entreprise, et certainement pas à une seule personne » lorsqu’il s’agit de la technologie de l’IA, arguant que la technologie elle-même, ses avantages, son accès, sa gouvernance, appartiennent à toute l’humanité.
Cependant, il y a aussi ceux (représentés par Elon Musk) qui accusent Altman d'« appeler à la réglementation » juste pour protéger le leadership d’OpenAI. Sam Altman a répondu à l’époque : « Nous pensons qu’il devrait y avoir plus de réglementation des grandes entreprises et des modèles propriétaires qui sont au-dessus d’un certain seuil de capacité élevé, et moins de réglementation des petites startups et des modèles open source. » Nous avons vu les problèmes rencontrés par les pays qui tentent de sur-réglementer la technologie, et ce n’est pas ce à quoi nous nous attendions.
« Les gens forment des modèles qui vont bien au-delà de la taille de tous les modèles que nous avons aujourd’hui, mais si certains seuils de capacité sont dépassés, je pense qu’il devrait y avoir un processus de certification, ainsi que des audits externes et des tests de sécurité », a-t-il ajouté. De plus, de tels modèles doivent être signalés au gouvernement et doivent être soumis à un examen minutieux de la part du gouvernement.
Contrairement à l’opinion d’Altman, le 19 octobre, le métascientifique Yann LeCun a exprimé son opposition à une réglementation prématurée de l’IA dans une interview accordée au Financial Times.
Yann LeCun est membre de l’Académie nationale des sciences, de l’Académie nationale d’ingénierie et de l’Académie des sciences, et est également connu pour ses travaux sur les réseaux convolutifs, ainsi que sur la reconnaissance optique de caractères et la vision par ordinateur à l’aide de réseaux de neurones convolutifs (CNN).
En 2018, Yann LeCun a remporté le prix Turing (souvent appelé le « prix Nobel de l’informatique ») aux côtés de Yoshua Bengio et Geoffrey Hinton, souvent appelés les « parrains de l’intelligence artificielle » et les « parrains de l’apprentissage profond ».
Dans l’interview, Yann LeCun a une vision plus négative de la réglementation de l’IA en général, affirmant que réglementer les modèles d’IA aujourd’hui revient à réglementer les avions à réaction en 1925 (avant que ces avions ne soient inventés), et qu’une réglementation prématurée de l’IA ne fera que renforcer la domination des grandes entreprises technologiques et étouffer la concurrence.
« Réglementer la recherche et le développement de l’IA est incroyablement contre-productif », a déclaré Yann LeCun, ajoutant que la nécessité de réglementer l’IA découle de « l’arrogance » ou de la « supériorité » de certaines entreprises technologiques de premier plan qui croient qu’on peut leur faire confiance pour développer l’IA en toute sécurité, « et elles veulent réglementer sous couvert de sécurité de l’IA ».
« Mais en fait, jusqu’à ce que nous puissions concevoir un système capable d’égaler la capacité d’apprentissage des chats, il est trop tôt pour débattre des risques que l’IA peut poser », déclare Yann LeCun, ajoutant que la génération actuelle de modèles d’IA est loin d’être aussi puissante que certains chercheurs le prétendent, « ils ne comprennent pas comment le monde fonctionne, ils n’ont pas la capacité de planifier, ils n’ont pas la capacité de faire un vrai raisonnement ».
Selon lui, OpenAI et DeepMind de Google ont été « trop optimistes » quant à la complexité du problème, et en fait, il faudra plusieurs « percées conceptuelles » avant que l’IA n’atteigne le niveau de l’intelligence humaine. Mais même dans ce cas, l’IA peut être contrôlée en codant des « qualités morales » dans le système, tout comme les lois peuvent désormais être utilisées pour réguler le comportement humain.