Source de l'image : générée par l'outil d'IA illimitée
Qui a peur des robots ? Il semble que beaucoup de gens soient comme ça. Actuellement, le nombre de personnalités faisant des déclarations publiques ou signant des lettres ouvertes avertissant des dangers catastrophiques de l'intelligence artificielle est stupéfiant.
Des centaines de scientifiques, de chefs d'entreprise et de décideurs politiques se sont exprimés, des pionniers de l'apprentissage en profondeur Geoffrey Hinton et Yoshua Bengio, aux PDG de grandes sociétés d'IA comme Sam Altman et Demis Hassabis, en passant par le représentant californien Ted Lieu avec l'ancienne présidente estonienne Kersti Kaljulaid.
L'affirmation la plus frappante signée par toutes ces personnalités et bien d'autres était une déclaration de 22 mots publiée il y a deux semaines par le Center for Artificial Intelligence Safety (CAIS), un organisme de recherche basé à San Francisco, qui déclarait que "l'atténuation du risque d'extinction posé par l'intelligence artificielle. Cela devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire."
Cette formulation est délibérée. "Si nous devions utiliser une déclaration de type test de Rorschach, nous dirions 'risque existentiel' parce que cela pourrait signifier beaucoup de choses pour beaucoup de personnes différentes", a déclaré le directeur du CAIS, Dan Hendrycks. pas de faire chuter l'économie. "C'est pourquoi nous parlons de 'risque d'extinction', même si beaucoup d'entre nous s'inquiètent également de divers autres risques", a déclaré Hendrycks.
Nous y sommes déjà allés : le doom de l'IA s'accompagne d'un battage médiatique sur l'IA. Mais cette fois, c'est différent. La fenêtre d'Overton s'est déplacée. Ce qui était autrefois un point de vue extrême est désormais courant, faisant la une des journaux et attirant l'attention des dirigeants mondiaux. "Les voix préoccupées par l'IA sont trop fortes pour être ignorées", a déclaré Jenna Burrell, directrice de recherche chez Data and Society, une organisation qui étudie l'impact social de la technologie.
Ce qui s'est passé? L'intelligence artificielle devient-elle vraiment (plus) dangereuse ? Pourquoi les personnes qui ont introduit cette technologie en premier lieu commencent-elles maintenant à tirer la sonnette d'alarme ?
Certes, ces avis sont partagés sur le terrain. La semaine dernière, le scientifique en chef de Meta, Yann LeCun, qui a partagé le prix Turing 2018 avec Hinton et Bengio, a qualifié la théorie apocalyptique de "ridicule". Aidan Gomez, directeur général de la société d'intelligence artificielle Cohere, a déclaré que c'était "une utilisation ridicule de notre temps".
De même, d'autres s'en sont moqués. "Il n'y a pas plus de preuves aujourd'hui qu'en 1950 que l'intelligence artificielle posera ces risques existentiels", a déclaré Meredith Whittaker, présidente de Signal, co-fondatrice et ancienne directrice de l'AInow Institute, qui est un laboratoire de recherche. qui étudie les implications politiques de l'intelligence artificielle. "Les histoires de fantômes sont contagieuses - avoir peur est vraiment excitant et stimulant."
"C'est aussi une façon de regarder au-delà de tout ce qui se passe aujourd'hui", a déclaré Burrell. "Cela montre que nous n'avons pas vu de préjudice réel ou sérieux."
Une peur ancienne
Les inquiétudes concernant les machines emballantes et auto-améliorées existent depuis Alan Turing. Des futuristes tels que Vernor Vinge et Ray Kurzweil ont popularisé ces idées en parlant de la soi-disant «singularité», une date hypothétique où l'intelligence artificielle surpasse l'intelligence humaine et est prise en charge par les machines.
Mais au cœur de cette préoccupation se trouve la question du contrôle : si (ou quand) les machines deviennent plus intelligentes, comment les humains pourront-ils maintenir leur domination ? Dans un article de 2017 intitulé « Comment l'IA pose-t-elle un risque existentiel ? » Karina Vold, philosophe de l'IA à l'Université de Toronto (qui a également signé la déclaration du CAIS), expose les arguments de base derrière cette préoccupation.
L'argument repose sur trois prémisses essentielles. Premièrement, il est possible pour les humains de créer une machine super intelligente qui surpasse toutes les autres intelligences. Deuxièmement, nous risquons de perdre le contrôle d'agents superintelligents capables de nous dépasser. Troisièmement, il est possible qu'un agent superintelligent fasse des choses que nous ne voulons pas qu'il fasse.
En mettant tout cela ensemble, il est possible de créer une machine qui fera des choses que nous ne voulons pas qu'elle fasse, y compris nous détruire, et nous ne pourrons pas l'arrêter.
Il existe également différents cas pour ce scénario. Lorsque Hinton a fait part de ses inquiétudes au sujet de l'intelligence artificielle en mai, il a cité l'exemple de robots redirigeant le réseau pour se donner plus de puissance. Mais la superintelligence (ou AGI) n'est pas nécessaire. Les machines stupides peuvent aussi être désastreuses si elles ont trop d'espace. De nombreux scénarios impliquent des déploiements imprudents ou malveillants plutôt que des robots égoïstes.
Dans un article publié en ligne la semaine dernière, les chercheurs en intelligence artificielle Stuart Russell et Andrew Critch de l'Université de Californie à Berkeley (qui ont également signé la déclaration CAIS) proposent une taxonomie du risque existentiel. Ces risques vont des chatbots viraux donnant des conseils à des millions de personnes pour abandonner l'université, aux industries autonomes poursuivant des fins économiques néfastes, aux États-nations construisant des super-armes alimentées par l'IA.
Dans de nombreux cas imaginaires, un modèle théorique atteint ses objectifs donnés par l'homme, mais d'une manière qui n'est pas bonne pour nous. Pour Hendrycks, qui étudie comment les modèles d'apprentissage en profondeur se comportent parfois de manière inattendue lorsqu'ils reçoivent des entrées non vues dans les données de formation, un système d'IA peut être désastreux car il est destructeur plutôt qu'omnipotent . "Si vous lui donnez un objectif et qu'il trouve une solution exotique, cela nous emmène dans un voyage étrange", a-t-il déclaré.
Le problème avec ces futurs possibles est qu'ils reposent sur une série de "si" qui les font ressembler à de la science-fiction. Vold lui-même l'a admis. "Parce que les événements qui constituent ou déclenchent [des risques existentiels] sont sans précédent, les arguments selon lesquels ils constituent une telle menace doivent être de nature théorique", a-t-elle écrit. "Leur rareté rend également subjective toute spéculation sur la façon dont ou quand de tels événements se produisent et ne peut être vérifiée empiriquement."
Alors pourquoi plus de gens croient-ils à ces idées que jamais auparavant ? "Différentes personnes parlent du risque pour différentes raisons, et elles peuvent le penser différemment", explique François Chollet, chercheur en IA chez Google.Mais c'est un récit irrésistible : "Le risque existentiel a toujours été une bonne histoire."
"Il y a un élément mythologique, presque religieux, qui ne peut être ignoré", a déclaré Whittaker. "Je pense que nous devons reconnaître que, étant donné que ce qui est décrit n'a aucune base factuelle, c'est plus proche d'une croyance, d'une ferveur religieuse, que d'un discours scientifique."
La contagion de l'apocalypse
Lorsque les chercheurs en apprentissage profond ont commencé à remporter une série de succès - pensez au score record de reconnaissance d'image de Hinton et de ses collègues lors du concours ImageNet 2012, et à la première victoire AlphaGo de DeepMind sur un champion humain en 2015, le battage médiatique s'est rapidement tourné vers apocalyptique aussi. Des scientifiques éminents tels que Hawking et le cosmologiste Martin Rees, ainsi que des leaders technologiques de haut niveau tels qu'Elon Musk, ont tiré la sonnette d'alarme sur les risques existentiels. Mais ces personnages ne sont pas des experts en IA.
Debout sur scène à San Jose il y a huit ans, Andrew Ng, pionnier de l'apprentissage en profondeur puis scientifique en chef chez Baidu, a ri de l'idée.
"Dans un avenir lointain, il pourrait y avoir une course de robots tueurs", a déclaré Andrew Ng au public lors de la conférence Nvidia GPU Technology 2015. "Mais je ne suis pas aussi déterminé aujourd'hui à empêcher l'intelligence artificielle de devenir diabolique qu'à m'inquiéter de la surpopulation sur Mars." (Les remarques de Ng ont été rapportées à l'époque par le site d'information technologique The Register.)
Andrew Ng, qui a cofondé le laboratoire d'intelligence artificielle de Google en 2011 et est maintenant le PDG de Landing AI, a répété cette phrase dans des interviews depuis. Mais maintenant, il est moins optimiste. "Je garde l'esprit ouvert et je parle à quelques personnes pour en savoir plus", m'a-t-il dit. "Les développements rapides obligent les scientifiques à repenser le risque."
Comme beaucoup, Ng s'est dit préoccupé par le développement rapide de l'IA générative et son potentiel d'utilisation abusive. Le mois dernier, a-t-il noté, une image générée par l'IA largement diffusée d'une explosion au Pentagone a effrayé les gens, faisant chuter le marché boursier.
"Malheureusement, l'IA est si puissante qu'elle semble également susceptible de causer d'énormes problèmes", a déclaré Ng. Mais il n'a pas parlé de robots tueurs : "En ce moment, j'ai encore du mal à voir comment l'intelligence artificielle pourrait conduire à notre extinction".
Ce qui est différent d'avant, c'est la prise de conscience généralisée de ce que l'IA peut faire. ChatGPT a mis la technologie à la disposition du public à la fin de l'année dernière. "L'IA est soudainement un sujet brûlant dans le courant dominant", a déclaré Chollet. "Les gens prennent l'intelligence artificielle au sérieux parce qu'ils voient des sauts soudains dans les capacités comme un signe avant-coureur d'autres sauts à venir."
De plus, l'expérience de parler à un chatbot peut être troublante. La conversation est quelque chose qui est généralement compris comme quelque chose que les gens font avec d'autres personnes. "Cela ajoute un sentiment de légitimité à l'idée que l'IA est comme un humain ou un interlocuteur sensible", a déclaré Whittaker. "Je pense que cela amène les gens à croire que si l'IA peut simuler la communication humaine, elle peut aussi faire XYZ."
"C'est pourquoi je commence à penser que la conversation sur le risque de survie est quelque peu appropriée – faire des déductions sans preuves", a-t-elle déclaré.
Avoir hâte de
Nous avons des raisons d'être scandalisés. Alors que les régulateurs rattrapent l'industrie technologique, des questions sont sur la table quant au type d'activité qui devrait ou ne devrait pas être restreint. Mettre en évidence les risques à long terme plutôt que les dommages à court terme (tels que l'embauche discriminatoire ou la désinformation) recentre les régulateurs sur d'hypothétiques problèmes futurs.
"Je soupçonne que la menace de véritables contraintes réglementaires a conduit à une prise de position", a déclaré Burrell. "Parler de risque existentiel peut valider les préoccupations des régulateurs sans détruire les opportunités commerciales". clairement quelque chose qui ne s'est pas encore produit."
Exagérer les préoccupations concernant le risque existentiel est également bon pour les affaires à d'autres égards. Chollet souligne que les meilleures entreprises d'IA ont besoin de nous pour penser qu'AGI arrive, et ce sont elles qui le construisent. "Si vous voulez que les gens pensent que ce sur quoi vous travaillez est puissant, c'est une bonne idée de leur en faire peur", a-t-il déclaré.
Whittaker adopte un point de vue similaire. "C'est une chose importante de se présenter comme le créateur d'une entité qui pourrait être plus puissante que les humains", a-t-elle déclaré.
Rien de tout cela n'a d'importance si c'est juste du marketing ou du battage médiatique. Mais décider ce qui est et n'est pas un risque a des conséquences. Dans un monde où les budgets et les capacités d'attention sont limités, les blessures moins extrêmes que la guerre nucléaire pourraient être négligées parce que nous ne pensons pas qu'elles soient une priorité.
"Il s'agit d'une question importante, en particulier compte tenu de l'attention croissante portée à la sûreté et à la sécurité en tant que cadre étroit d'intervention politique", a déclaré Sarah Myers West, directrice générale de l'AI Now Institute.
Lorsque le Premier ministre Rishi Sunak a rencontré les chefs d'entreprises d'intelligence artificielle, dont Sam Altman et Demis Hassabis, en mai, le gouvernement britannique a publié une déclaration disant : "Le Premier ministre et les PDG ont discuté des risques de la technologie, de la désinformation et de la sécurité de l'État, à une menace existentielle".
La semaine précédente, Altman avait déclaré au Sénat américain que sa plus grande préoccupation était que l'industrie de l'IA causerait un préjudice important au monde. Le témoignage d'Altman a suscité des appels à un nouveau type d'agence pour faire face à ce préjudice sans précédent.
Avec le déplacement de la fenêtre d'Overton, le mal a-t-il été fait ? "Si nous parlons d'un futur lointain, si nous parlons d'un risque mythique, alors nous recadrons complètement le problème comme un problème qui existe dans un monde imaginaire, et la solution peut exister dans un monde imaginaire", a déclaré Whittaker. dit.
Mais Whittaker a également noté que les discussions politiques autour de l'IA durent depuis des années, plus longtemps que les craintes récentes. "Je ne crois pas à l'inévitabilité", a-t-elle déclaré. "Nous allons voir le battage médiatique contré. Il va s'estomper."
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
MIT Technology Review : comment le risque existentiel est devenu le plus grand mème de l'IA
Écrit par : Will Douglas Heaven
Source : Examen de la technologie du MIT
Qui a peur des robots ? Il semble que beaucoup de gens soient comme ça. Actuellement, le nombre de personnalités faisant des déclarations publiques ou signant des lettres ouvertes avertissant des dangers catastrophiques de l'intelligence artificielle est stupéfiant.
Des centaines de scientifiques, de chefs d'entreprise et de décideurs politiques se sont exprimés, des pionniers de l'apprentissage en profondeur Geoffrey Hinton et Yoshua Bengio, aux PDG de grandes sociétés d'IA comme Sam Altman et Demis Hassabis, en passant par le représentant californien Ted Lieu avec l'ancienne présidente estonienne Kersti Kaljulaid.
L'affirmation la plus frappante signée par toutes ces personnalités et bien d'autres était une déclaration de 22 mots publiée il y a deux semaines par le Center for Artificial Intelligence Safety (CAIS), un organisme de recherche basé à San Francisco, qui déclarait que "l'atténuation du risque d'extinction posé par l'intelligence artificielle. Cela devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire."
Cette formulation est délibérée. "Si nous devions utiliser une déclaration de type test de Rorschach, nous dirions 'risque existentiel' parce que cela pourrait signifier beaucoup de choses pour beaucoup de personnes différentes", a déclaré le directeur du CAIS, Dan Hendrycks. pas de faire chuter l'économie. "C'est pourquoi nous parlons de 'risque d'extinction', même si beaucoup d'entre nous s'inquiètent également de divers autres risques", a déclaré Hendrycks.
Nous y sommes déjà allés : le doom de l'IA s'accompagne d'un battage médiatique sur l'IA. Mais cette fois, c'est différent. La fenêtre d'Overton s'est déplacée. Ce qui était autrefois un point de vue extrême est désormais courant, faisant la une des journaux et attirant l'attention des dirigeants mondiaux. "Les voix préoccupées par l'IA sont trop fortes pour être ignorées", a déclaré Jenna Burrell, directrice de recherche chez Data and Society, une organisation qui étudie l'impact social de la technologie.
Ce qui s'est passé? L'intelligence artificielle devient-elle vraiment (plus) dangereuse ? Pourquoi les personnes qui ont introduit cette technologie en premier lieu commencent-elles maintenant à tirer la sonnette d'alarme ?
Certes, ces avis sont partagés sur le terrain. La semaine dernière, le scientifique en chef de Meta, Yann LeCun, qui a partagé le prix Turing 2018 avec Hinton et Bengio, a qualifié la théorie apocalyptique de "ridicule". Aidan Gomez, directeur général de la société d'intelligence artificielle Cohere, a déclaré que c'était "une utilisation ridicule de notre temps".
De même, d'autres s'en sont moqués. "Il n'y a pas plus de preuves aujourd'hui qu'en 1950 que l'intelligence artificielle posera ces risques existentiels", a déclaré Meredith Whittaker, présidente de Signal, co-fondatrice et ancienne directrice de l'AInow Institute, qui est un laboratoire de recherche. qui étudie les implications politiques de l'intelligence artificielle. "Les histoires de fantômes sont contagieuses - avoir peur est vraiment excitant et stimulant."
"C'est aussi une façon de regarder au-delà de tout ce qui se passe aujourd'hui", a déclaré Burrell. "Cela montre que nous n'avons pas vu de préjudice réel ou sérieux."
Une peur ancienne
Les inquiétudes concernant les machines emballantes et auto-améliorées existent depuis Alan Turing. Des futuristes tels que Vernor Vinge et Ray Kurzweil ont popularisé ces idées en parlant de la soi-disant «singularité», une date hypothétique où l'intelligence artificielle surpasse l'intelligence humaine et est prise en charge par les machines.
Mais au cœur de cette préoccupation se trouve la question du contrôle : si (ou quand) les machines deviennent plus intelligentes, comment les humains pourront-ils maintenir leur domination ? Dans un article de 2017 intitulé « Comment l'IA pose-t-elle un risque existentiel ? » Karina Vold, philosophe de l'IA à l'Université de Toronto (qui a également signé la déclaration du CAIS), expose les arguments de base derrière cette préoccupation.
L'argument repose sur trois prémisses essentielles. Premièrement, il est possible pour les humains de créer une machine super intelligente qui surpasse toutes les autres intelligences. Deuxièmement, nous risquons de perdre le contrôle d'agents superintelligents capables de nous dépasser. Troisièmement, il est possible qu'un agent superintelligent fasse des choses que nous ne voulons pas qu'il fasse.
En mettant tout cela ensemble, il est possible de créer une machine qui fera des choses que nous ne voulons pas qu'elle fasse, y compris nous détruire, et nous ne pourrons pas l'arrêter.
Il existe également différents cas pour ce scénario. Lorsque Hinton a fait part de ses inquiétudes au sujet de l'intelligence artificielle en mai, il a cité l'exemple de robots redirigeant le réseau pour se donner plus de puissance. Mais la superintelligence (ou AGI) n'est pas nécessaire. Les machines stupides peuvent aussi être désastreuses si elles ont trop d'espace. De nombreux scénarios impliquent des déploiements imprudents ou malveillants plutôt que des robots égoïstes.
Dans un article publié en ligne la semaine dernière, les chercheurs en intelligence artificielle Stuart Russell et Andrew Critch de l'Université de Californie à Berkeley (qui ont également signé la déclaration CAIS) proposent une taxonomie du risque existentiel. Ces risques vont des chatbots viraux donnant des conseils à des millions de personnes pour abandonner l'université, aux industries autonomes poursuivant des fins économiques néfastes, aux États-nations construisant des super-armes alimentées par l'IA.
Dans de nombreux cas imaginaires, un modèle théorique atteint ses objectifs donnés par l'homme, mais d'une manière qui n'est pas bonne pour nous. Pour Hendrycks, qui étudie comment les modèles d'apprentissage en profondeur se comportent parfois de manière inattendue lorsqu'ils reçoivent des entrées non vues dans les données de formation, un système d'IA peut être désastreux car il est destructeur plutôt qu'omnipotent . "Si vous lui donnez un objectif et qu'il trouve une solution exotique, cela nous emmène dans un voyage étrange", a-t-il déclaré.
Le problème avec ces futurs possibles est qu'ils reposent sur une série de "si" qui les font ressembler à de la science-fiction. Vold lui-même l'a admis. "Parce que les événements qui constituent ou déclenchent [des risques existentiels] sont sans précédent, les arguments selon lesquels ils constituent une telle menace doivent être de nature théorique", a-t-elle écrit. "Leur rareté rend également subjective toute spéculation sur la façon dont ou quand de tels événements se produisent et ne peut être vérifiée empiriquement."
Alors pourquoi plus de gens croient-ils à ces idées que jamais auparavant ? "Différentes personnes parlent du risque pour différentes raisons, et elles peuvent le penser différemment", explique François Chollet, chercheur en IA chez Google.Mais c'est un récit irrésistible : "Le risque existentiel a toujours été une bonne histoire."
"Il y a un élément mythologique, presque religieux, qui ne peut être ignoré", a déclaré Whittaker. "Je pense que nous devons reconnaître que, étant donné que ce qui est décrit n'a aucune base factuelle, c'est plus proche d'une croyance, d'une ferveur religieuse, que d'un discours scientifique."
La contagion de l'apocalypse
Lorsque les chercheurs en apprentissage profond ont commencé à remporter une série de succès - pensez au score record de reconnaissance d'image de Hinton et de ses collègues lors du concours ImageNet 2012, et à la première victoire AlphaGo de DeepMind sur un champion humain en 2015, le battage médiatique s'est rapidement tourné vers apocalyptique aussi. Des scientifiques éminents tels que Hawking et le cosmologiste Martin Rees, ainsi que des leaders technologiques de haut niveau tels qu'Elon Musk, ont tiré la sonnette d'alarme sur les risques existentiels. Mais ces personnages ne sont pas des experts en IA.
Debout sur scène à San Jose il y a huit ans, Andrew Ng, pionnier de l'apprentissage en profondeur puis scientifique en chef chez Baidu, a ri de l'idée.
"Dans un avenir lointain, il pourrait y avoir une course de robots tueurs", a déclaré Andrew Ng au public lors de la conférence Nvidia GPU Technology 2015. "Mais je ne suis pas aussi déterminé aujourd'hui à empêcher l'intelligence artificielle de devenir diabolique qu'à m'inquiéter de la surpopulation sur Mars." (Les remarques de Ng ont été rapportées à l'époque par le site d'information technologique The Register.)
Andrew Ng, qui a cofondé le laboratoire d'intelligence artificielle de Google en 2011 et est maintenant le PDG de Landing AI, a répété cette phrase dans des interviews depuis. Mais maintenant, il est moins optimiste. "Je garde l'esprit ouvert et je parle à quelques personnes pour en savoir plus", m'a-t-il dit. "Les développements rapides obligent les scientifiques à repenser le risque."
Comme beaucoup, Ng s'est dit préoccupé par le développement rapide de l'IA générative et son potentiel d'utilisation abusive. Le mois dernier, a-t-il noté, une image générée par l'IA largement diffusée d'une explosion au Pentagone a effrayé les gens, faisant chuter le marché boursier.
"Malheureusement, l'IA est si puissante qu'elle semble également susceptible de causer d'énormes problèmes", a déclaré Ng. Mais il n'a pas parlé de robots tueurs : "En ce moment, j'ai encore du mal à voir comment l'intelligence artificielle pourrait conduire à notre extinction".
Ce qui est différent d'avant, c'est la prise de conscience généralisée de ce que l'IA peut faire. ChatGPT a mis la technologie à la disposition du public à la fin de l'année dernière. "L'IA est soudainement un sujet brûlant dans le courant dominant", a déclaré Chollet. "Les gens prennent l'intelligence artificielle au sérieux parce qu'ils voient des sauts soudains dans les capacités comme un signe avant-coureur d'autres sauts à venir."
De plus, l'expérience de parler à un chatbot peut être troublante. La conversation est quelque chose qui est généralement compris comme quelque chose que les gens font avec d'autres personnes. "Cela ajoute un sentiment de légitimité à l'idée que l'IA est comme un humain ou un interlocuteur sensible", a déclaré Whittaker. "Je pense que cela amène les gens à croire que si l'IA peut simuler la communication humaine, elle peut aussi faire XYZ."
"C'est pourquoi je commence à penser que la conversation sur le risque de survie est quelque peu appropriée – faire des déductions sans preuves", a-t-elle déclaré.
Avoir hâte de
Nous avons des raisons d'être scandalisés. Alors que les régulateurs rattrapent l'industrie technologique, des questions sont sur la table quant au type d'activité qui devrait ou ne devrait pas être restreint. Mettre en évidence les risques à long terme plutôt que les dommages à court terme (tels que l'embauche discriminatoire ou la désinformation) recentre les régulateurs sur d'hypothétiques problèmes futurs.
"Je soupçonne que la menace de véritables contraintes réglementaires a conduit à une prise de position", a déclaré Burrell. "Parler de risque existentiel peut valider les préoccupations des régulateurs sans détruire les opportunités commerciales". clairement quelque chose qui ne s'est pas encore produit."
Exagérer les préoccupations concernant le risque existentiel est également bon pour les affaires à d'autres égards. Chollet souligne que les meilleures entreprises d'IA ont besoin de nous pour penser qu'AGI arrive, et ce sont elles qui le construisent. "Si vous voulez que les gens pensent que ce sur quoi vous travaillez est puissant, c'est une bonne idée de leur en faire peur", a-t-il déclaré.
Whittaker adopte un point de vue similaire. "C'est une chose importante de se présenter comme le créateur d'une entité qui pourrait être plus puissante que les humains", a-t-elle déclaré.
Rien de tout cela n'a d'importance si c'est juste du marketing ou du battage médiatique. Mais décider ce qui est et n'est pas un risque a des conséquences. Dans un monde où les budgets et les capacités d'attention sont limités, les blessures moins extrêmes que la guerre nucléaire pourraient être négligées parce que nous ne pensons pas qu'elles soient une priorité.
"Il s'agit d'une question importante, en particulier compte tenu de l'attention croissante portée à la sûreté et à la sécurité en tant que cadre étroit d'intervention politique", a déclaré Sarah Myers West, directrice générale de l'AI Now Institute.
Lorsque le Premier ministre Rishi Sunak a rencontré les chefs d'entreprises d'intelligence artificielle, dont Sam Altman et Demis Hassabis, en mai, le gouvernement britannique a publié une déclaration disant : "Le Premier ministre et les PDG ont discuté des risques de la technologie, de la désinformation et de la sécurité de l'État, à une menace existentielle".
La semaine précédente, Altman avait déclaré au Sénat américain que sa plus grande préoccupation était que l'industrie de l'IA causerait un préjudice important au monde. Le témoignage d'Altman a suscité des appels à un nouveau type d'agence pour faire face à ce préjudice sans précédent.
Avec le déplacement de la fenêtre d'Overton, le mal a-t-il été fait ? "Si nous parlons d'un futur lointain, si nous parlons d'un risque mythique, alors nous recadrons complètement le problème comme un problème qui existe dans un monde imaginaire, et la solution peut exister dans un monde imaginaire", a déclaré Whittaker. dit.
Mais Whittaker a également noté que les discussions politiques autour de l'IA durent depuis des années, plus longtemps que les craintes récentes. "Je ne crois pas à l'inévitabilité", a-t-elle déclaré. "Nous allons voir le battage médiatique contré. Il va s'estomper."