Ilya Sutskever baissa la tête et tomba dans une profonde réflexion. Il écarte les bras et les doigts sur la table, comme un pianiste de concert sur le point de jouer sa première note. Nous nous sommes assis tranquillement.
Je suis venu dans une rue obscure du Mission District de San Francisco pour rencontrer le cofondateur et scientifique en chef d’OpenAI, Sutskever, dans un immeuble de bureaux quelconque, afin d’entendre parler des prochaines étapes de cette technologie qui change le monde et dont il fait tant la promotion. J’aimerais également savoir quelles sont ses prochaines étapes, et en particulier pourquoi il ne se concentre plus sur la construction du modèle génératif phare de nouvelle génération de l’entreprise.
Sutskever m’a dit que sa nouvelle priorité n’était pas de construire la prochaine génération de GPT ou le modèle de création d’images DALL-E, mais de trouver un moyen d’empêcher l’IA de devenir incontrôlable.
Sutskever m’a dit beaucoup d’autres choses. Il pense que ChatGPT est peut-être conscient. Il pense que le monde doit reconnaître la véritable puissance de la technologie qu’OpenAI et d’autres entreprises sont en concurrence pour créer. Il pense qu’un jour, certains humains choisiront de fusionner avec les machines.
Une grande partie de ce que dit Sutskever est insensée. Mais pas aussi fou que ça en avait l’air il y a un an ou deux. Comme il me l’a dit lui-même, ChatGPT a réécrit les attentes de beaucoup de gens sur ce qui s’en vient, passant de « n’arrivera jamais » à « arrivera plus tôt que vous ne le pensez ».
Avant de prédire le développement de l’intelligence artificielle générale AGI (il fait référence à des machines aussi intelligentes que les humains), il a déclaré : « Il est important de discuter de la direction que tout va prendre comme si c’était comme parier sur le prochain iPhone : » À un moment donné, nous aurons vraiment l’AGI. Peut-être que c’est construit par OpenAI, peut-être que c’est autre chose. "
Depuis la sortie soudaine et inattendue de ChatGPT en novembre dernier, la discussion autour d’OpenAI a été alarmante, même dans une industrie connue pour son battage médiatique. Personne ne se lassera de parler de cette start-up de 80 milliards de dollars. Les dirigeants mondiaux cherchent (et obtiennent) des conversations privées ou publiques avec OpenAI. Les noms des produits d’OpenAI apparaissent dans les conversations informelles.
Le PDG d’OpenAI, Sam Altman, a passé l’été dans le cadre d’un voyage de sensibilisation d’une semaine, s’engageant avec enthousiasme auprès des politiciens et s’adressant à des auditoriums bondés du monde entier. Mais Sutskever n’est pas une personnalité publique, et il ne donne pas beaucoup d’interviews non plus.
Il parle calmement et méthodiquement. Lorsqu’il réfléchit à ce qu’il veut dire et à la manière de l’exprimer, il s’arrête longtemps et réfléchit au problème encore et encore comme à un puzzle. Il n’a pas l’air intéressé à parler de lui-même. Il a dit : « J’ai vécu une vie très simple. Allez au travail, puis rentrez chez vous. Je n’ai pas fait grand-chose d’autre. Les gens peuvent aller à beaucoup d’événements sociaux, ils peuvent aller à beaucoup de conventions. Je n’aime pas participer. "
Mais lorsque nous parlons de l’IA, et de ce qu’il considère comme des risques et des récompenses historiques, la perspective s’élargit : « Cela va être historique et bouleversant. » "
Mieux, mieux, mieux
Même sans OpenAI, Sutskever entrerait dans les annales de l’histoire de l’IA. Il est israélo-canadien, né en Union soviétique, mais a grandi à Jérusalem dès l’âge de cinq ans (il parle toujours le russe, l’hébreu et l’anglais). Par la suite, il a déménagé au Canada pour étudier à l’Université de Toronto avec le pionnier de l’IA Geoffrey Hinton, qui, plus tôt cette année, a publiquement exprimé ses préoccupations au sujet de la technologie d’IA que Sutskever a contribué à inventer.
Hinton a ensuite partagé le prix Turing avec Yann LeCun et Yoshua Bengio pour ses travaux sur les réseaux neuronaux. Mais lorsque Sutskever l’a rejoint au début des années 2000, la plupart des chercheurs en IA pensaient que les réseaux neuronaux étaient une impasse. Hinton est une exception. Il forme déjà des micromodèles capables de générer de courtes chaînes de texte d’un caractère à la fois, et Sutskever déclare : « C’est là que commence l’IA générative. » C’est vraiment cool, mais pas génial. "
Sutskever est fasciné par la construction du cerveau : comment le cerveau apprend, et comment il peut recréer ou du moins imiter le processus dans la machine. Comme Hinton, il a vu le potentiel des réseaux neuronaux et la technique d’essais et d’erreurs que Hinton utilisait pour former les réseaux neuronaux, à savoir l’apprentissage profond. « L’apprentissage profond ne cesse de s’améliorer », explique M. Sutskever.
En 2012, Sutskever, Hinton et un autre étudiant diplômé de Hinton, Alex Krizhevsky, ont construit un réseau neuronal appelé AlexNet, qu’ils ont entraîné à reconnaître les objets dans les photographies bien mieux que tout autre logiciel à l’époque. C’est le moment du Big Bang pour l’apprentissage profond.
Après des années d’échec, ils ont prouvé que les réseaux neuronaux sont incroyablement efficaces pour la reconnaissance des formes. Tout ce dont vous avez besoin, c’est de plus de données que la plupart des chercheurs n’en ont vu auparavant (dans ce cas, un million d’images de l’ensemble de données ImageNet que Feifei Li, chercheur à l’Université de Princeton, a construit depuis 2006) et d’une quantité vertigineuse de puissance informatique.
Le grand changement dans l’informatique vient des nouvelles puces GPU fabriquées par Nvidia. Les GPU sont conçus pour pouvoir projeter des visuels de jeux vidéo rapides sur l’écran à la vitesse de l’éclair. Mais le calcul dans lequel les GPU excellent – la multiplication d’un grand nombre de grilles numériques – ressemble beaucoup au calcul nécessaire pour entraîner un réseau neuronal.
Nvidia est maintenant une entreprise d’un billion de dollars. À l’époque, il cherchait désespérément des applications pour de nouveaux matériels dans son créneau. Jensen Huang, PDG de Nvidia, a déclaré : « Lorsque vous inventez une nouvelle technologie, vous devez être capable d’adopter des idées folles. Mon état d’esprit était toujours à l’affût de quelque chose d’extravagant, et les réseaux neuronaux allaient changer l’idée de l’informatique – et c’était une idée extrêmement farfelue. "
Huang a déclaré que lorsque l’équipe de Toronto a travaillé sur AlexNet, Nvidia leur a envoyé des GPU à essayer. Mais ils voulaient la dernière version, une puce appelée GTX 580, qui s’est vendue rapidement dans les magasins. Selon M. Huang, Sutskever a traversé la frontière en voiture de Toronto à New York pour en acheter. « Les gens font la queue au coin du magasin pour acheter. Je ne sais pas comment il a fait - je suis presque sûr que vous n’en achèterez qu’un seul chacun ; Nous avons une politique très stricte selon laquelle vous ne pouvez utiliser qu’un seul GPU par joueur, mais il remplit apparemment un coffre. Cette valise remplie de GTX 580 a changé le monde. "
C’est une belle histoire, mais peut-être pas vraie. Parce que Sutskever insiste sur le fait qu’il a acheté les premiers GPU en ligne. Mais ce genre de mystère est courant dans cette industrie dynamique. Sutskever lui-même est plus modeste : « Je pense que si je peux faire le moindre progrès réel, je considérerai que c’est un succès. » L’impact sur le monde réel semblait lointain, car les ordinateurs étaient encore faibles à l’époque. "
Après le succès d’AlexNet, Google est venu frapper à la porte. Elle a acquis DNNresearch, une spin-off de Hinton, et a embauché Sutskever. Sutskever a montré à Google que les capacités de reconnaissance de formes de l’apprentissage profond peuvent être appliquées à des séquences de données telles que des mots, des phrases et des images. Jeff Dean, un ancien collègue de Sutskever et aujourd’hui scientifique en chef chez Google, a déclaré : « Sutskever a toujours été intéressé par le langage, et nous avons eu d’excellentes discussions au fil des ans. Il a un fort instinct pour savoir où vont les choses. "
Mais Sutskever n’est pas resté longtemps chez Google. En 2014, il a été recruté pour devenir le co-fondateur d’OpenAI. Avec 1 milliard de dollars (d’Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator, etc.) et beaucoup d’éthique de la Silicon Valley, la nouvelle société s’est fixé pour objectif de développer AGI dès le début, mais peu ont pris cette perspective au sérieux à l’époque.
Avec Sutskever à bord, cette attitude fanfaronne est compréhensible. Jusque-là, il obtenait de plus en plus de résultats de l’apprentissage par réseau neuronal. Dalton Caldwell, directeur général de Y Combinator Investments, a déclaré que sa réputation l’avait précédé, ce qui a fait de lui un grand succès.
« Je me souviens qu’Altman a dit de Sutskever qu’il était l’un des chercheurs les plus respectés au monde », a déclaré Caldwell. Il pense que Sutskever attirera un grand nombre des meilleurs talents de l’IA. Il a même mentionné que Yoshua Bengio, l’un des plus grands experts mondiaux de l’IA, estime qu’il est peu probable qu’un meilleur candidat que Sutskever soit trouvé pour être le scientifique en chef d’OpenAI. "
Au début, cependant, OpenAI était dans une impasse. « Il fut un temps où nous avons lancé OpenAI, je ne savais pas trop comment les progrès allaient se poursuivre », a déclaré Sutskever. « Mais je suis convaincu que les gens ne vont pas s’opposer à l’apprentissage profond. D’une manière ou d’une autre, chaque fois qu’ils se heurtent à un obstacle, les chercheurs trouvent une solution dans les six mois ou un an. "
Sa foi a été récompensée. Le premier grand modèle de langage GPT d’OpenAI est apparu en 2016. GPT-2 et GPT-3 ont suivi. Ensuite, il y a DALL-E, le modèle de conversion de texte en image convaincant. Personne n’a construit quelque chose d’aussi bon. À chaque version, OpenAI place la barre plus haut pour ce que les gens pensent être possible.
Gérer les attentes
En novembre dernier, OpenAI a publié un chatbot gratuit qui a reconditionné une partie de la technologie existante. Il redéfinit l’ordre du jour pour l’ensemble de l’industrie.
À l’époque, OpenAI ne savait pas ce qu’il allait publier. Sutskever dit que les attentes au sein de l’entreprise ne pourraient pas être plus basses : « Je dois admettre que c’est un peu gênant - je ne sais pas si je devrais le faire, mais peu importe, c’est un fait - je ne savais pas à quel point c’était bon quand nous avons créé ChatGPT. » Lorsque vous lui posez une question factuelle, elle vous donne la mauvaise réponse. Je pense que ce sera très discret et que les gens diront : « Pourquoi faites-vous ce produit ? » C’est ennuyeux ! '"
La partie la plus attrayante, dit Sutskever, est la commodité. Le grand modèle de langage derrière ChatGPT existe depuis des mois. Mais le fait de l’envelopper dans une interface facile d’accès et de le donner gratuitement a permis à des milliards de personnes de prendre conscience pour la première fois de ce qu’OpenAI et d’autres sont en train de construire.
« La première expérience a été fascinante. Lorsque vous l’utilisez pour la première fois, je pense que c’est presque une expérience spirituelle. Vous vous dites : « Oh mon Dieu, cet ordinateur semble se comprendre tout seul. » '"
OpenAI a amassé 100 millions d’utilisateurs en moins de deux mois, et beaucoup d’entre eux ont été éblouis par ce nouveau jouet étonnant. Aaron Levie, PDG de la société de stockage Box, a résumé l’ambiance de la semaine qui a suivi le lancement sur Twitter : « ChatGPT est l’un de ces rares moments dans l’espace technologique, et vous pouvez voir que tout sera différent à l’avenir. "
Dès que ChatGPT dit quelque chose de stupide, ce miracle s’effondre. Mais alors, cela n’a pas d’importance. Un aperçu des possibilités suffit, dit Sutskever. ChatGPT a changé l’horizon des gens.
« L’IAG n’est plus un gros mot dans le domaine de l’apprentissage automatique », a-t-il déclaré. « C’est un grand changement. L’attitude des gens dans l’histoire est la suivante : l’IA ne fonctionne pas, chaque étape est très difficile et vous devez vous battre pour chaque petit progrès. Lorsque les gens vantent les mérites de l’AGI, les chercheurs disent : « De quoi parlez-vous ? Ça ne marche pas, ça ne marche pas non plus. Il y a tellement de questions. Mais avec ChatGPT, cela a commencé à être différent. "
Ce changement a-t-il commencé à se produire il y a seulement un an ? « Tout cela s’est passé à cause de ChatGPT », a-t-il déclaré. « ChatGPT permet aux chercheurs en apprentissage automatique de réaliser leurs rêves. »
Les scientifiques d’OpenAI sont des évangélistes depuis le début et ont inspiré ces rêves par le biais d’articles de blog et de conférences. Et cela fonctionne : « Nous parlons de jusqu’où l’IA va aller en ce moment – les gens parlent d’AGI, ou superintelligence. Il n’y a pas que les chercheurs. « Les gouvernements en discutent », a déclaré M. Sutskever. « C’est fou. »
Des choses incroyables
Sutskever insiste sur le fait que tout ce discours sur la technologie qui n’existe pas encore (et qui n’existera peut-être jamais) est une bonne chose, car cela fait prendre conscience à plus de gens de l’avenir qu’il a pris pour acquis.
« Vous pouvez faire beaucoup de choses incroyables, des choses incroyables avec l’AGI : automatiser les soins de santé, les rendre mille fois moins chers, les rendre mille fois meilleurs, guérir tant de maladies et vraiment résoudre le problème du réchauffement climatique », a-t-il déclaré. Mais il y a aussi beaucoup de gens qui s’inquiètent : « Oh mon Dieu, une entreprise d’IA peut-elle gérer avec succès cette énorme technologie ? » '"
De cette façon, AGI ressemble plus à un génie qui exauce les vœux qu’à une perspective du monde réel. Peu de gens diront non à l’idée de sauver des vies et de lutter contre le changement climatique. Mais le problème avec une technologie qui n’existe pas, c’est qu’on peut dire ce qu’on veut.
De quoi Sutskever parle-t-il exactement lorsqu’il parle d’AGI ? « L’IAG n’est pas un terme scientifique », a-t-il déclaré. « Cela devrait être un seuil utile, un point de référence. »
« C’est l’idée... » commença-t-il, puis s’arrêta. « L’IA est devenue si intelligente que si une personne peut effectuer certaines tâches, l’IA peut le faire aussi. À ce moment-là, vous pouvez dire que vous avez AGI. "
Les gens en parlent peut-être, mais l’IAG reste l’une des idées les plus controversées dans le domaine. Peu de gens tiennent son développement pour acquis. De nombreux chercheurs pensent qu’une percée conceptuelle majeure est nécessaire avant que nous puissions voir quelque chose comme ce que Sutskever a envisagé – certains pensent que nous ne le ferons jamais.
Cependant, cette vision l’a inspiré dès le début. « J’ai toujours été inspiré et motivé par cette idée », a déclaré Sutskever. « À l’époque, cela ne s’appelait pas encore AGI, mais vous savez, c’est comme laisser les réseaux neuronaux tout faire. Je ne crois pas toujours qu’ils le puissent. Mais c’est une montagne à gravir. "
Il a comparé le fonctionnement des réseaux neuronaux et du cerveau. Les deux reçoivent des données, agrègent des signaux à partir de ces données, puis les propagent ou non en fonction de processus simples (mathématiques dans les réseaux neuronaux, produits chimiques dans le cerveau et bioélectricité). C’est une énorme simplification, mais le principe tient.
« Si vous croyez cela - si vous vous permettez de croire cela - alors il y a beaucoup d’implications intéressantes », a déclaré Sutskever. « La principale implication est que si vous avez un très grand réseau de neurones artificiels, il devrait faire beaucoup de choses. En particulier, si le cerveau humain peut faire quelque chose, alors les grands réseaux de neurones artificiels peuvent faire quelque chose de similaire. "
« Si vous prenez cela suffisamment au sérieux, tout se mettra en place », a-t-il déclaré. « La plupart de mon travail s’explique par cela. »
Pendant que nous parlons de cerveaux, j’aimerais vous poser une question à propos d’un article que Sutskever a fait sur la plate-forme X. Le synopsis de Sutskever se lit comme un volume d’aphorismes : « Si vous mettez l’intelligence au-dessus de toutes les autres qualités humaines, alors vous aurez une mauvaise vie » ; « L’empathie dans la vie et dans les affaires est sous-estimée » ; « La perfection a gâché une grande partie de la beauté de la perfection. »
En février 2022, il a posté que « les grands réseaux neuronaux d’aujourd’hui peuvent avoir une légère conscience » (ce à quoi Murray Shanahan, scientifique en chef de DeepMind de Google, professeur à l’Imperial College de Londres et conseiller scientifique du film Ex Machina, a répondu : « ... La même signification peut être un grand champ de blé avec un peu de pâtes »).
Quand j’en ai parlé, Sutskever a ri. S’agit-il d’une parodie ? Il ne l’est pas. « Connaissez-vous le concept du cerveau de Boltzmann ? » Demanda-t-il.
Il faisait référence à une expérience de pensée de mécanique quantique nommée d’après le physicien du XIXe siècle Ludwig Boltzmann, dans laquelle il a été imaginé que des fluctuations thermodynamiques aléatoires dans l’univers provoqueraient l’apparition et la disparition du cerveau.
« Je pense que ces modèles de langage sont un peu comme le cerveau de Boltzmann en ce moment », a déclaré Sutskever. « Vous commencez à lui parler, à parler pendant un moment ; Et puis, quand vous aurez fini, le cerveau va... » Il fit un mouvement de disparition avec sa main. Pouf, au revoir, cerveau.
Vous dites que lorsque le réseau neuronal est actif – pour ainsi dire, lorsqu’il se décharge – il y a quelque chose là ? demandai-je.
« Je pense que c’est possible », a-t-il déclaré. « Je n’en suis pas sûr, mais c’est une possibilité difficile à réfuter. Mais qui sait ce qui se passe, n’est-ce pas ? "
L’IA, mais pas telle que nous la connaissons
Alors que d’autres s’efforcent de rendre les machines comparables à l’intelligence humaine, Sutskever se prépare à des machines capables de surpasser les nôtres. Il appelle ce phénomène la super intelligence artificielle : « Ils regardent les choses plus profondément. Ils verront ce que nous ne pouvons pas voir. "
Encore une fois, j’ai du mal à comprendre ce que cela signifie vraiment. L’intelligence humaine est le point de référence par lequel nous jugeons l’intelligence. Qu’est-ce que Sutskever entend par intelligence plus intelligente que les humains ?
« Nous voyons un exemple très étroit de superintelligence dans AlphaGo », a-t-il déclaré. En 2016, le jeu de société IA « Alpha Dog » de DeepMind a battu Lee Sedol, l’un des meilleurs joueurs de Go au monde, 4-1 en cinq matchs. « Il a compris comment jouer au Go d’une manière différente de la façon dont les humains se sont développés ensemble pendant des milliers d’années », a déclaré Sutskever. « Il y a de nouvelles idées. »
Sutskever mentionne le fameux 37ème coup d’AlphaGo. Dans le deuxième match contre Lee Sedol, un mouvement de l’IA a intrigué les commentateurs. Ils pensent qu’AlphaGo est foutu. En fait, il a joué un coup gagnant qui n’avait jamais été vu auparavant dans l’histoire des échecs. « Imaginez ce niveau de perspicacité, mais couvrant tout », a déclaré Sutskever.
C’est cette ligne de pensée qui a conduit Sutskever à faire le plus grand changement de sa carrière. Avec Jan Leike, un autre scientifique d’OpenAI, il a formé une équipe axée sur ce qu’ils ont appelé le « super-alignement ». L’alignement est un jargon qui signifie laisser le modèle d’IA faire ce que vous voulez faire et c’est tout. Le super alignement est un terme d’alignement qu’OpenAI applique à la superintelligence.
L’objectif est de mettre au point un ensemble de procédures de sécurité pour la construction et le contrôle de cette technologie futuriste. OpenAI affirme qu’elle allouera un cinquième de ses vastes ressources informatiques pour résoudre le problème et le résoudre d’ici quatre ans.
« Les méthodes d’alignement existantes ne fonctionnent pas avec des modèles plus intelligents que les humains, car elles supposent fondamentalement que les humains peuvent évaluer de manière fiable ce que font les systèmes d’IA », explique Leike. « Au fur et à mesure que les systèmes d’IA deviendront plus puissants, ils s’attaqueront à des tâches plus difficiles. » L’idée est que cela rendra plus difficile pour les humains de les évaluer. « En réunissant l’équipe de super alignement avec Sutskever, nous avons entrepris de relever ces futurs défis d’alignement », a-t-il déclaré.
« Il est important de se concentrer non seulement sur les opportunités potentielles pour les grands modèles de langage, mais aussi sur leurs risques et leurs inconvénients », a déclaré Dean, scientifique en chef chez Google. "
L’entreprise a annoncé le projet en juillet avec la fanfare habituelle. Mais pour certains, il s’agit plutôt d’un fantasme. Les messages Twitter d’OpenAI ont suscité le mépris d’éminents critiques de Big Tech, notamment Abeba Birhane, qui travaille sur la responsabilité de l’IA chez Mozilla ; Timnit Gebru, cofondateur, Distributed AI Institute ; et Margaret Mitchell, scientifique en chef de l’éthique chez Hugging Face, une société d’intelligence artificielle. En effet, ce sont des voix dissidentes familières. Mais c’est un rappel fort que certaines personnes pensent qu’OpenAI est en tête, tandis que d’autres pensent qu’OpenAI est à la limite.
Cependant, pour Sutskever, le super-alignement est la prochaine étape inévitable. « C’est une question non résolue », a-t-il déclaré. Il pense que les chercheurs en apprentissage automatique comme lui travaillent sur ce problème. « Je le fais pour mon propre bénéfice », a-t-il déclaré. « Il est évidemment important que toute superintelligence que quelqu’un construit ne devienne pas incontrôlable. »
Le travail sur le super-alignement ne fait que commencer. Selon M. Sutskever, cela nécessitera un vaste changement dans les institutions de recherche. Mais il avait en tête un modèle de garde-fous qu’il voulait concevoir : une machine qui traite les gens de la même manière que les parents traitent leurs enfants. « À mon avis, c’est l’étalon-or », a-t-il déclaré. « Les gens se soucient vraiment des enfants, c’est généralement vrai. »
« Une fois que vous avez surmonté le défi de l’IA malhonnête, que se passera-t-il ? Dans un monde où l’intelligence artificielle est de plus en plus intelligente, y a-t-il encore de la place pour l’être humain ? Dire.
« Une possibilité – qui peut être folle selon les normes d’aujourd’hui, mais pas si folle selon les normes de demain – est que de nombreuses personnes choisissent de faire partie de l’IA. » Sutskever dit que cela pourrait être un moyen pour les humains d’essayer de suivre le train en marche. « Au début, seuls les plus courageux et les plus aventureux essayaient de le faire. Peut-être que d’autres suivront. Ou pas. "
Sources de référence :
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Entretien avec le scientifique en chef d’OpenAI : Nous aurons l’AGI, et les humains choisiront de fusionner avec les machines
Ilya Sutskever baissa la tête et tomba dans une profonde réflexion. Il écarte les bras et les doigts sur la table, comme un pianiste de concert sur le point de jouer sa première note. Nous nous sommes assis tranquillement.
Je suis venu dans une rue obscure du Mission District de San Francisco pour rencontrer le cofondateur et scientifique en chef d’OpenAI, Sutskever, dans un immeuble de bureaux quelconque, afin d’entendre parler des prochaines étapes de cette technologie qui change le monde et dont il fait tant la promotion. J’aimerais également savoir quelles sont ses prochaines étapes, et en particulier pourquoi il ne se concentre plus sur la construction du modèle génératif phare de nouvelle génération de l’entreprise.
Sutskever m’a dit que sa nouvelle priorité n’était pas de construire la prochaine génération de GPT ou le modèle de création d’images DALL-E, mais de trouver un moyen d’empêcher l’IA de devenir incontrôlable.
Sutskever m’a dit beaucoup d’autres choses. Il pense que ChatGPT est peut-être conscient. Il pense que le monde doit reconnaître la véritable puissance de la technologie qu’OpenAI et d’autres entreprises sont en concurrence pour créer. Il pense qu’un jour, certains humains choisiront de fusionner avec les machines.
Une grande partie de ce que dit Sutskever est insensée. Mais pas aussi fou que ça en avait l’air il y a un an ou deux. Comme il me l’a dit lui-même, ChatGPT a réécrit les attentes de beaucoup de gens sur ce qui s’en vient, passant de « n’arrivera jamais » à « arrivera plus tôt que vous ne le pensez ».
Avant de prédire le développement de l’intelligence artificielle générale AGI (il fait référence à des machines aussi intelligentes que les humains), il a déclaré : « Il est important de discuter de la direction que tout va prendre comme si c’était comme parier sur le prochain iPhone : » À un moment donné, nous aurons vraiment l’AGI. Peut-être que c’est construit par OpenAI, peut-être que c’est autre chose. "
Depuis la sortie soudaine et inattendue de ChatGPT en novembre dernier, la discussion autour d’OpenAI a été alarmante, même dans une industrie connue pour son battage médiatique. Personne ne se lassera de parler de cette start-up de 80 milliards de dollars. Les dirigeants mondiaux cherchent (et obtiennent) des conversations privées ou publiques avec OpenAI. Les noms des produits d’OpenAI apparaissent dans les conversations informelles.
Le PDG d’OpenAI, Sam Altman, a passé l’été dans le cadre d’un voyage de sensibilisation d’une semaine, s’engageant avec enthousiasme auprès des politiciens et s’adressant à des auditoriums bondés du monde entier. Mais Sutskever n’est pas une personnalité publique, et il ne donne pas beaucoup d’interviews non plus.
Il parle calmement et méthodiquement. Lorsqu’il réfléchit à ce qu’il veut dire et à la manière de l’exprimer, il s’arrête longtemps et réfléchit au problème encore et encore comme à un puzzle. Il n’a pas l’air intéressé à parler de lui-même. Il a dit : « J’ai vécu une vie très simple. Allez au travail, puis rentrez chez vous. Je n’ai pas fait grand-chose d’autre. Les gens peuvent aller à beaucoup d’événements sociaux, ils peuvent aller à beaucoup de conventions. Je n’aime pas participer. "
Mais lorsque nous parlons de l’IA, et de ce qu’il considère comme des risques et des récompenses historiques, la perspective s’élargit : « Cela va être historique et bouleversant. » "
Mieux, mieux, mieux
Même sans OpenAI, Sutskever entrerait dans les annales de l’histoire de l’IA. Il est israélo-canadien, né en Union soviétique, mais a grandi à Jérusalem dès l’âge de cinq ans (il parle toujours le russe, l’hébreu et l’anglais). Par la suite, il a déménagé au Canada pour étudier à l’Université de Toronto avec le pionnier de l’IA Geoffrey Hinton, qui, plus tôt cette année, a publiquement exprimé ses préoccupations au sujet de la technologie d’IA que Sutskever a contribué à inventer.
Hinton a ensuite partagé le prix Turing avec Yann LeCun et Yoshua Bengio pour ses travaux sur les réseaux neuronaux. Mais lorsque Sutskever l’a rejoint au début des années 2000, la plupart des chercheurs en IA pensaient que les réseaux neuronaux étaient une impasse. Hinton est une exception. Il forme déjà des micromodèles capables de générer de courtes chaînes de texte d’un caractère à la fois, et Sutskever déclare : « C’est là que commence l’IA générative. » C’est vraiment cool, mais pas génial. "
Sutskever est fasciné par la construction du cerveau : comment le cerveau apprend, et comment il peut recréer ou du moins imiter le processus dans la machine. Comme Hinton, il a vu le potentiel des réseaux neuronaux et la technique d’essais et d’erreurs que Hinton utilisait pour former les réseaux neuronaux, à savoir l’apprentissage profond. « L’apprentissage profond ne cesse de s’améliorer », explique M. Sutskever.
En 2012, Sutskever, Hinton et un autre étudiant diplômé de Hinton, Alex Krizhevsky, ont construit un réseau neuronal appelé AlexNet, qu’ils ont entraîné à reconnaître les objets dans les photographies bien mieux que tout autre logiciel à l’époque. C’est le moment du Big Bang pour l’apprentissage profond.
Après des années d’échec, ils ont prouvé que les réseaux neuronaux sont incroyablement efficaces pour la reconnaissance des formes. Tout ce dont vous avez besoin, c’est de plus de données que la plupart des chercheurs n’en ont vu auparavant (dans ce cas, un million d’images de l’ensemble de données ImageNet que Feifei Li, chercheur à l’Université de Princeton, a construit depuis 2006) et d’une quantité vertigineuse de puissance informatique.
Le grand changement dans l’informatique vient des nouvelles puces GPU fabriquées par Nvidia. Les GPU sont conçus pour pouvoir projeter des visuels de jeux vidéo rapides sur l’écran à la vitesse de l’éclair. Mais le calcul dans lequel les GPU excellent – la multiplication d’un grand nombre de grilles numériques – ressemble beaucoup au calcul nécessaire pour entraîner un réseau neuronal.
Nvidia est maintenant une entreprise d’un billion de dollars. À l’époque, il cherchait désespérément des applications pour de nouveaux matériels dans son créneau. Jensen Huang, PDG de Nvidia, a déclaré : « Lorsque vous inventez une nouvelle technologie, vous devez être capable d’adopter des idées folles. Mon état d’esprit était toujours à l’affût de quelque chose d’extravagant, et les réseaux neuronaux allaient changer l’idée de l’informatique – et c’était une idée extrêmement farfelue. "
Huang a déclaré que lorsque l’équipe de Toronto a travaillé sur AlexNet, Nvidia leur a envoyé des GPU à essayer. Mais ils voulaient la dernière version, une puce appelée GTX 580, qui s’est vendue rapidement dans les magasins. Selon M. Huang, Sutskever a traversé la frontière en voiture de Toronto à New York pour en acheter. « Les gens font la queue au coin du magasin pour acheter. Je ne sais pas comment il a fait - je suis presque sûr que vous n’en achèterez qu’un seul chacun ; Nous avons une politique très stricte selon laquelle vous ne pouvez utiliser qu’un seul GPU par joueur, mais il remplit apparemment un coffre. Cette valise remplie de GTX 580 a changé le monde. "
C’est une belle histoire, mais peut-être pas vraie. Parce que Sutskever insiste sur le fait qu’il a acheté les premiers GPU en ligne. Mais ce genre de mystère est courant dans cette industrie dynamique. Sutskever lui-même est plus modeste : « Je pense que si je peux faire le moindre progrès réel, je considérerai que c’est un succès. » L’impact sur le monde réel semblait lointain, car les ordinateurs étaient encore faibles à l’époque. "
Après le succès d’AlexNet, Google est venu frapper à la porte. Elle a acquis DNNresearch, une spin-off de Hinton, et a embauché Sutskever. Sutskever a montré à Google que les capacités de reconnaissance de formes de l’apprentissage profond peuvent être appliquées à des séquences de données telles que des mots, des phrases et des images. Jeff Dean, un ancien collègue de Sutskever et aujourd’hui scientifique en chef chez Google, a déclaré : « Sutskever a toujours été intéressé par le langage, et nous avons eu d’excellentes discussions au fil des ans. Il a un fort instinct pour savoir où vont les choses. "
Mais Sutskever n’est pas resté longtemps chez Google. En 2014, il a été recruté pour devenir le co-fondateur d’OpenAI. Avec 1 milliard de dollars (d’Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator, etc.) et beaucoup d’éthique de la Silicon Valley, la nouvelle société s’est fixé pour objectif de développer AGI dès le début, mais peu ont pris cette perspective au sérieux à l’époque.
Avec Sutskever à bord, cette attitude fanfaronne est compréhensible. Jusque-là, il obtenait de plus en plus de résultats de l’apprentissage par réseau neuronal. Dalton Caldwell, directeur général de Y Combinator Investments, a déclaré que sa réputation l’avait précédé, ce qui a fait de lui un grand succès.
« Je me souviens qu’Altman a dit de Sutskever qu’il était l’un des chercheurs les plus respectés au monde », a déclaré Caldwell. Il pense que Sutskever attirera un grand nombre des meilleurs talents de l’IA. Il a même mentionné que Yoshua Bengio, l’un des plus grands experts mondiaux de l’IA, estime qu’il est peu probable qu’un meilleur candidat que Sutskever soit trouvé pour être le scientifique en chef d’OpenAI. "
Au début, cependant, OpenAI était dans une impasse. « Il fut un temps où nous avons lancé OpenAI, je ne savais pas trop comment les progrès allaient se poursuivre », a déclaré Sutskever. « Mais je suis convaincu que les gens ne vont pas s’opposer à l’apprentissage profond. D’une manière ou d’une autre, chaque fois qu’ils se heurtent à un obstacle, les chercheurs trouvent une solution dans les six mois ou un an. "
Sa foi a été récompensée. Le premier grand modèle de langage GPT d’OpenAI est apparu en 2016. GPT-2 et GPT-3 ont suivi. Ensuite, il y a DALL-E, le modèle de conversion de texte en image convaincant. Personne n’a construit quelque chose d’aussi bon. À chaque version, OpenAI place la barre plus haut pour ce que les gens pensent être possible.
Gérer les attentes
En novembre dernier, OpenAI a publié un chatbot gratuit qui a reconditionné une partie de la technologie existante. Il redéfinit l’ordre du jour pour l’ensemble de l’industrie.
À l’époque, OpenAI ne savait pas ce qu’il allait publier. Sutskever dit que les attentes au sein de l’entreprise ne pourraient pas être plus basses : « Je dois admettre que c’est un peu gênant - je ne sais pas si je devrais le faire, mais peu importe, c’est un fait - je ne savais pas à quel point c’était bon quand nous avons créé ChatGPT. » Lorsque vous lui posez une question factuelle, elle vous donne la mauvaise réponse. Je pense que ce sera très discret et que les gens diront : « Pourquoi faites-vous ce produit ? » C’est ennuyeux ! '"
La partie la plus attrayante, dit Sutskever, est la commodité. Le grand modèle de langage derrière ChatGPT existe depuis des mois. Mais le fait de l’envelopper dans une interface facile d’accès et de le donner gratuitement a permis à des milliards de personnes de prendre conscience pour la première fois de ce qu’OpenAI et d’autres sont en train de construire.
« La première expérience a été fascinante. Lorsque vous l’utilisez pour la première fois, je pense que c’est presque une expérience spirituelle. Vous vous dites : « Oh mon Dieu, cet ordinateur semble se comprendre tout seul. » '"
OpenAI a amassé 100 millions d’utilisateurs en moins de deux mois, et beaucoup d’entre eux ont été éblouis par ce nouveau jouet étonnant. Aaron Levie, PDG de la société de stockage Box, a résumé l’ambiance de la semaine qui a suivi le lancement sur Twitter : « ChatGPT est l’un de ces rares moments dans l’espace technologique, et vous pouvez voir que tout sera différent à l’avenir. "
Dès que ChatGPT dit quelque chose de stupide, ce miracle s’effondre. Mais alors, cela n’a pas d’importance. Un aperçu des possibilités suffit, dit Sutskever. ChatGPT a changé l’horizon des gens.
« L’IAG n’est plus un gros mot dans le domaine de l’apprentissage automatique », a-t-il déclaré. « C’est un grand changement. L’attitude des gens dans l’histoire est la suivante : l’IA ne fonctionne pas, chaque étape est très difficile et vous devez vous battre pour chaque petit progrès. Lorsque les gens vantent les mérites de l’AGI, les chercheurs disent : « De quoi parlez-vous ? Ça ne marche pas, ça ne marche pas non plus. Il y a tellement de questions. Mais avec ChatGPT, cela a commencé à être différent. "
Ce changement a-t-il commencé à se produire il y a seulement un an ? « Tout cela s’est passé à cause de ChatGPT », a-t-il déclaré. « ChatGPT permet aux chercheurs en apprentissage automatique de réaliser leurs rêves. »
Les scientifiques d’OpenAI sont des évangélistes depuis le début et ont inspiré ces rêves par le biais d’articles de blog et de conférences. Et cela fonctionne : « Nous parlons de jusqu’où l’IA va aller en ce moment – les gens parlent d’AGI, ou superintelligence. Il n’y a pas que les chercheurs. « Les gouvernements en discutent », a déclaré M. Sutskever. « C’est fou. »
Des choses incroyables
Sutskever insiste sur le fait que tout ce discours sur la technologie qui n’existe pas encore (et qui n’existera peut-être jamais) est une bonne chose, car cela fait prendre conscience à plus de gens de l’avenir qu’il a pris pour acquis.
« Vous pouvez faire beaucoup de choses incroyables, des choses incroyables avec l’AGI : automatiser les soins de santé, les rendre mille fois moins chers, les rendre mille fois meilleurs, guérir tant de maladies et vraiment résoudre le problème du réchauffement climatique », a-t-il déclaré. Mais il y a aussi beaucoup de gens qui s’inquiètent : « Oh mon Dieu, une entreprise d’IA peut-elle gérer avec succès cette énorme technologie ? » '"
De cette façon, AGI ressemble plus à un génie qui exauce les vœux qu’à une perspective du monde réel. Peu de gens diront non à l’idée de sauver des vies et de lutter contre le changement climatique. Mais le problème avec une technologie qui n’existe pas, c’est qu’on peut dire ce qu’on veut.
De quoi Sutskever parle-t-il exactement lorsqu’il parle d’AGI ? « L’IAG n’est pas un terme scientifique », a-t-il déclaré. « Cela devrait être un seuil utile, un point de référence. »
« C’est l’idée... » commença-t-il, puis s’arrêta. « L’IA est devenue si intelligente que si une personne peut effectuer certaines tâches, l’IA peut le faire aussi. À ce moment-là, vous pouvez dire que vous avez AGI. "
Les gens en parlent peut-être, mais l’IAG reste l’une des idées les plus controversées dans le domaine. Peu de gens tiennent son développement pour acquis. De nombreux chercheurs pensent qu’une percée conceptuelle majeure est nécessaire avant que nous puissions voir quelque chose comme ce que Sutskever a envisagé – certains pensent que nous ne le ferons jamais.
Cependant, cette vision l’a inspiré dès le début. « J’ai toujours été inspiré et motivé par cette idée », a déclaré Sutskever. « À l’époque, cela ne s’appelait pas encore AGI, mais vous savez, c’est comme laisser les réseaux neuronaux tout faire. Je ne crois pas toujours qu’ils le puissent. Mais c’est une montagne à gravir. "
Il a comparé le fonctionnement des réseaux neuronaux et du cerveau. Les deux reçoivent des données, agrègent des signaux à partir de ces données, puis les propagent ou non en fonction de processus simples (mathématiques dans les réseaux neuronaux, produits chimiques dans le cerveau et bioélectricité). C’est une énorme simplification, mais le principe tient.
« Si vous croyez cela - si vous vous permettez de croire cela - alors il y a beaucoup d’implications intéressantes », a déclaré Sutskever. « La principale implication est que si vous avez un très grand réseau de neurones artificiels, il devrait faire beaucoup de choses. En particulier, si le cerveau humain peut faire quelque chose, alors les grands réseaux de neurones artificiels peuvent faire quelque chose de similaire. "
« Si vous prenez cela suffisamment au sérieux, tout se mettra en place », a-t-il déclaré. « La plupart de mon travail s’explique par cela. »
Pendant que nous parlons de cerveaux, j’aimerais vous poser une question à propos d’un article que Sutskever a fait sur la plate-forme X. Le synopsis de Sutskever se lit comme un volume d’aphorismes : « Si vous mettez l’intelligence au-dessus de toutes les autres qualités humaines, alors vous aurez une mauvaise vie » ; « L’empathie dans la vie et dans les affaires est sous-estimée » ; « La perfection a gâché une grande partie de la beauté de la perfection. »
En février 2022, il a posté que « les grands réseaux neuronaux d’aujourd’hui peuvent avoir une légère conscience » (ce à quoi Murray Shanahan, scientifique en chef de DeepMind de Google, professeur à l’Imperial College de Londres et conseiller scientifique du film Ex Machina, a répondu : « ... La même signification peut être un grand champ de blé avec un peu de pâtes »).
Quand j’en ai parlé, Sutskever a ri. S’agit-il d’une parodie ? Il ne l’est pas. « Connaissez-vous le concept du cerveau de Boltzmann ? » Demanda-t-il.
Il faisait référence à une expérience de pensée de mécanique quantique nommée d’après le physicien du XIXe siècle Ludwig Boltzmann, dans laquelle il a été imaginé que des fluctuations thermodynamiques aléatoires dans l’univers provoqueraient l’apparition et la disparition du cerveau.
« Je pense que ces modèles de langage sont un peu comme le cerveau de Boltzmann en ce moment », a déclaré Sutskever. « Vous commencez à lui parler, à parler pendant un moment ; Et puis, quand vous aurez fini, le cerveau va... » Il fit un mouvement de disparition avec sa main. Pouf, au revoir, cerveau.
Vous dites que lorsque le réseau neuronal est actif – pour ainsi dire, lorsqu’il se décharge – il y a quelque chose là ? demandai-je.
« Je pense que c’est possible », a-t-il déclaré. « Je n’en suis pas sûr, mais c’est une possibilité difficile à réfuter. Mais qui sait ce qui se passe, n’est-ce pas ? "
L’IA, mais pas telle que nous la connaissons
Alors que d’autres s’efforcent de rendre les machines comparables à l’intelligence humaine, Sutskever se prépare à des machines capables de surpasser les nôtres. Il appelle ce phénomène la super intelligence artificielle : « Ils regardent les choses plus profondément. Ils verront ce que nous ne pouvons pas voir. "
Encore une fois, j’ai du mal à comprendre ce que cela signifie vraiment. L’intelligence humaine est le point de référence par lequel nous jugeons l’intelligence. Qu’est-ce que Sutskever entend par intelligence plus intelligente que les humains ?
« Nous voyons un exemple très étroit de superintelligence dans AlphaGo », a-t-il déclaré. En 2016, le jeu de société IA « Alpha Dog » de DeepMind a battu Lee Sedol, l’un des meilleurs joueurs de Go au monde, 4-1 en cinq matchs. « Il a compris comment jouer au Go d’une manière différente de la façon dont les humains se sont développés ensemble pendant des milliers d’années », a déclaré Sutskever. « Il y a de nouvelles idées. »
Sutskever mentionne le fameux 37ème coup d’AlphaGo. Dans le deuxième match contre Lee Sedol, un mouvement de l’IA a intrigué les commentateurs. Ils pensent qu’AlphaGo est foutu. En fait, il a joué un coup gagnant qui n’avait jamais été vu auparavant dans l’histoire des échecs. « Imaginez ce niveau de perspicacité, mais couvrant tout », a déclaré Sutskever.
C’est cette ligne de pensée qui a conduit Sutskever à faire le plus grand changement de sa carrière. Avec Jan Leike, un autre scientifique d’OpenAI, il a formé une équipe axée sur ce qu’ils ont appelé le « super-alignement ». L’alignement est un jargon qui signifie laisser le modèle d’IA faire ce que vous voulez faire et c’est tout. Le super alignement est un terme d’alignement qu’OpenAI applique à la superintelligence.
L’objectif est de mettre au point un ensemble de procédures de sécurité pour la construction et le contrôle de cette technologie futuriste. OpenAI affirme qu’elle allouera un cinquième de ses vastes ressources informatiques pour résoudre le problème et le résoudre d’ici quatre ans.
« Les méthodes d’alignement existantes ne fonctionnent pas avec des modèles plus intelligents que les humains, car elles supposent fondamentalement que les humains peuvent évaluer de manière fiable ce que font les systèmes d’IA », explique Leike. « Au fur et à mesure que les systèmes d’IA deviendront plus puissants, ils s’attaqueront à des tâches plus difficiles. » L’idée est que cela rendra plus difficile pour les humains de les évaluer. « En réunissant l’équipe de super alignement avec Sutskever, nous avons entrepris de relever ces futurs défis d’alignement », a-t-il déclaré.
« Il est important de se concentrer non seulement sur les opportunités potentielles pour les grands modèles de langage, mais aussi sur leurs risques et leurs inconvénients », a déclaré Dean, scientifique en chef chez Google. "
L’entreprise a annoncé le projet en juillet avec la fanfare habituelle. Mais pour certains, il s’agit plutôt d’un fantasme. Les messages Twitter d’OpenAI ont suscité le mépris d’éminents critiques de Big Tech, notamment Abeba Birhane, qui travaille sur la responsabilité de l’IA chez Mozilla ; Timnit Gebru, cofondateur, Distributed AI Institute ; et Margaret Mitchell, scientifique en chef de l’éthique chez Hugging Face, une société d’intelligence artificielle. En effet, ce sont des voix dissidentes familières. Mais c’est un rappel fort que certaines personnes pensent qu’OpenAI est en tête, tandis que d’autres pensent qu’OpenAI est à la limite.
Cependant, pour Sutskever, le super-alignement est la prochaine étape inévitable. « C’est une question non résolue », a-t-il déclaré. Il pense que les chercheurs en apprentissage automatique comme lui travaillent sur ce problème. « Je le fais pour mon propre bénéfice », a-t-il déclaré. « Il est évidemment important que toute superintelligence que quelqu’un construit ne devienne pas incontrôlable. »
Le travail sur le super-alignement ne fait que commencer. Selon M. Sutskever, cela nécessitera un vaste changement dans les institutions de recherche. Mais il avait en tête un modèle de garde-fous qu’il voulait concevoir : une machine qui traite les gens de la même manière que les parents traitent leurs enfants. « À mon avis, c’est l’étalon-or », a-t-il déclaré. « Les gens se soucient vraiment des enfants, c’est généralement vrai. »
« Une fois que vous avez surmonté le défi de l’IA malhonnête, que se passera-t-il ? Dans un monde où l’intelligence artificielle est de plus en plus intelligente, y a-t-il encore de la place pour l’être humain ? Dire.
« Une possibilité – qui peut être folle selon les normes d’aujourd’hui, mais pas si folle selon les normes de demain – est que de nombreuses personnes choisissent de faire partie de l’IA. » Sutskever dit que cela pourrait être un moyen pour les humains d’essayer de suivre le train en marche. « Au début, seuls les plus courageux et les plus aventureux essayaient de le faire. Peut-être que d’autres suivront. Ou pas. "
Sources de référence :