Le père de l’apprentissage par renforcement rejoint AGI pour démarrer une entreprise ! En faisant équipe avec le légendaire programmeur Carmack, nous ne nous appuyons pas sur de gros modèles
Le légendaire programmeur John Carmack s'est associé à Richard Sutton, le père de l'apprentissage par renforcement, pour créer All in AGI.
2030 Démontrer au public que l'objectif de l'intelligence artificielle générale est réalisable.
Et contrairement aux méthodes traditionnelles, elle ne s’appuie pas sur de grands paradigmes modèles et poursuit un apprentissage en ligne en temps réel.
Les deux hommes ont fait cette annonce lors d'un événement spécial au Machine Intelligence Institute (Amii) de l'Université de l'Alberta, où Sutton enseigne.
Sutton rejoindra Keen Technologies, la startup d'IA de Carmack, tout en conservant son poste d'enseignant en Alberta.
Les deux hommes ont admis lors de l'événement que l'équipe de Keen Technologies est petite par rapport aux grandes entreprises comptant des centaines ou des milliers d'employés.
Elle n’en est qu’à ses balbutiements, et toute l’équipe technique de l’entreprise est sur place——
Seulement ces 4 personnes debout.
Son échelle de financement est de 20 millions de dollars, ce qui est incomparable avec OpenAI et Anthropic, qui lèvent souvent des milliards.
Mais ils pensent que le code source final d’AGI sera de l’ordre de celui qu’une seule personne peut écrire et ne comportera peut-être que des dizaines de milliers de lignes.
De plus, le domaine de l'IA se trouve actuellement à un moment particulier avec le plus grand effet de levier, et les petites équipes ont également la possibilité d'apporter de grandes contributions.
Programmeur légendaire et père de l'apprentissage par renforcement
L'expérience légendaire de Carmack, depuis le développement du premier jeu 3D au monde jusqu'à la transition vers la construction de fusées, jusqu'à rejoindre Oculus et devenir une figure clé du futur Meta VR, est bien connue.
Plus tard, il s’est impliqué dans l’IA et a également été lié à OpenAI.
Il a révélé un jour dans une autre interview que Sam Altman l'avait invité à rejoindre OpenAI et pensait qu'il pourrait jouer un rôle important dans l'optimisation du système.
Mais Carmack pensait qu’à l’époque il n’avait aucune compréhension de l’IA moderne dans le paradigme de l’apprentissage automatique, il n’était donc pas d’accord.
C’est devenu pour lui l’occasion de commencer à comprendre l’IA.
Il a demandé à Ilya Sutskever, le scientifique en chef d'OpenAI, une liste de lectures incontournables pour commencer, et a commencé son auto-apprentissage à partir de zéro, acquérant d'abord une compréhension de base des algorithmes d'apprentissage automatique traditionnels.
Alors qu'il avait du temps libre et envisageait de continuer à s'impliquer dans l'apprentissage profond, il a proposé un défi de programmation d'une semaine :
Imprimez quelques articles classiques de LeCun et mettez-les en pratique lorsque le réseau est déconnecté, en commençant par la formule de rétropropagation.
Au bout d'une semaine, il a terminé la retraite avec un réseau de neurones convolutifs créé à la main en C++, sans l'aide de frameworks modernes d'apprentissage profond en Python.
Tout ce que je peux dire, c'est que j'admire le grand maître.
À cette époque, son activité principale était encore la recherche sur la VR chez Oculus, une filiale de Facebook (rebaptisée plus tard Meta), et a conduit l'équipe à lancer des produits tels que Ouclus Go et Quest.
Cependant, au cours de ce processus, des conflits et des désaccords sont progressivement apparus entre lui et la direction de l'entreprise. Il estimait que l'efficacité interne de l'entreprise était faible et a également exprimé publiquement son mécontentement.
En 2019, il a démissionné de son poste de CTO d'Oculus et est devenu « CTO consultatif », et a commencé à consacrer davantage d'énergie à l'IA.
En août 2022, il a annoncé que la nouvelle startup d'IA Keen Technologies avait annoncé un financement de 20 millions de dollars américains, avec des investisseurs dont Sequoia Capital, l'ancien PDG de GitHub Nat Friedman et d'autres.
Plus tard, il a également révélé qu’il pouvait réellement gagner de l’argent avec seulement 20 millions de dollars.
Mais prendre de l’argent aux autres peut lui donner un sentiment de crise et d’urgence, ainsi qu’une plus grande détermination à faire avancer les choses.
Fin 2022, il quitte officiellement Meta et considère la VR comme une étape de la vie révolue, pour ensuite se tourner complètement vers l’IA.
En plus de cette ligne principale évidente, Carmack et AI ont également un sort inexplicable.
Ses jeux 3D à cette époque stimulaient la demande d'informatique graphique et les GPU commençaient à se développer et à se développer dans le domaine des jeux.
Aujourd’hui, c’est la puissance de calcul des GPU qui soutient l’explosion de l’IA et il est toujours fier de sa contribution en parlant de cela.
……
L'autre protagoniste d'aujourd'hui, Sutton, est également une légende.
Il est connu comme le père de l'apprentissage par renforcement et a apporté d'importantes contributions à des méthodes telles que l'apprentissage par renforcement par différence de temps et le gradient politique. Il est également co-auteur du manuel standard sur l'apprentissage par renforcement.
En 2017, il rejoint DeepMind en tant que scientifique exceptionnel et participe à la série de recherches AlphaGo. Son élève David Silver est l'un des principaux dirigeants d'AlphaGo.
Sutton a écrit un court article célèbre The Bitter Lesson, affirmant qu'essayer d'enseigner l'expérience humaine à l'IA ne fonctionnera pas. Jusqu'à présent, toutes les avancées ont reposé sur l'amélioration de la puissance de calcul. Il est correct de continuer à tirer parti de l'échelle. effet de la puissance de calcul.
Avant que les deux hommes ne communiquent officiellement, Carmack avait exprimé sa préoccupation et son approbation pour cet article.
Mais la véritable communication directe entre les deux a été établie par Sutton.
Il y a quelques mois, après que Carmack a annoncé un financement pour AGI Ventures, il a reçu un courriel de Sutton.
Sutton voulait lui demander si son parcours de recherche devait être purement académique, commercial ou à but non lucratif.
Cependant, lors d'échanges de courriers électroniques ultérieurs, les deux hommes ont découvert qu'il existait une cohérence surprenante dans les orientations et les concepts de recherche en IA et ont progressivement établi une relation de coopération.
Plus précisément, les deux sont parvenus à un 4 consensus :
Ils pensent tous que le développement actuel de l'AGI se limite à quelques directions très étroites, s'appuyant trop sur le Big Data et la grande puissance de calcul et négligeant l'innovation.
Tous estiment qu'une commercialisation trop précoce entraverait le développement de l'AGI
Ils pensent tous que l'AGI finale ne sera pas trop compliquée, et qu'une seule personne peut maîtriser tous les principes, et même une seule personne peut écrire le code principal.
Tous estiment que l'émergence de prototypes AGI en 2030 est un objectif réalisable.
Non seulement s'appuient sur de grands modèles, les petites équipes ont également des opportunités
Un objectif très audacieux, et le public le pensait aussi.
Face à la question « Comment une petite équipe peut-elle atteindre un objectif aussi ambitieux ? », Carmack a estimé que la quantité de données et de puissance de calcul requise pour atteindre l'AGI n'était peut-être pas aussi importante qu'on l'imaginait.
Capturez ce que les humains voient à travers les yeux pendant une année entière dans une vidéo à 30 images par seconde, qui peut être installée sur une clé USB de la taille d'un pouce.
Un enfant de 1 an n'a qu'un nombre limité de données d'expérience et a déjà fait preuve d'une intelligence évidente.
Si l'algorithme est correct, il n'est pas nécessaire d'utiliser l'intégralité des données Internet pour qu'AGI puisse apprendre.
Concernant la demande de puissance de calcul, il utilise également ce type de pensée intuitive pour considérer : la puissance de calcul du cerveau humain est également limitée, loin d'atteindre le niveau d'un grand cluster de puissance de calcul.
Il est plus grand qu'un nœud de serveur (nœud) et plus grand qu'une armoire (rack), mais le maximum n'est qu'un ordre de grandeur plus élevé.
Et au fil du temps, l’algorithme deviendra plus efficace et la puissance de calcul nécessaire continuera de diminuer.
Si les travaux de Carmack dans les jeux 3D, les fusées et la réalité virtuelle, ces domaines de travail apparemment sans rapport, ont quelque chose en commun, c'est bien l'optimisation de systèmes de rétroaction en temps réel à grande échelle.
C’est ce que recherchait Sam Altman lorsqu’il l’a invité à rejoindre OpenAI.
L'architecture AGI qu'il envisageait devrait être modulaire et distribuée plutôt qu'un énorme modèle centralisé.
L'apprentissage devrait également être un apprentissage continu en ligne, au lieu de la pré-formation actuelle où la plupart des paramètres ne sont plus mis à jour.
Mon résultat est que si un système ne peut pas fonctionner à 30 Hz, qui se met à jour toutes les 33 millisecondes environ pendant l'entraînement, je ne l'utiliserai pas.
Il a ajouté qu'en tant que programmeur système de bas niveau capable d'écrire le code Cuda original et de gérer lui-même la communication réseau, il pourrait être capable d'effectuer certains travaux que d'autres n'envisageraient pas du tout.
Il ne se limite même pas au cadre d'apprentissage en profondeur existant, mais testera une architecture de réseau et des méthodes informatiques plus efficaces.
L’objectif global est de simuler un agent virtuel doté d’une motivation intrinsèque et d’une capacité d’apprentissage continu pour apprendre en continu dans un environnement virtuel.
Pas des robots, car son expérience dans la construction de fusées lui a fait penser que moins il a à manipuler d’objets physiques, mieux c’est**.
Comparé à Carmack, qui vient de s'impliquer dans l'AGI il n'y a pas si longtemps, Sutton a consacré des décennies à ce problème et a un plan de recherche plus spécifique.
Bien que peu de choses aient été dites lors de cet événement, l'essentiel a été écrit dans un article arXiv sous la forme du « Projet Alberta ».
Le projet Alberta propose un cadre d'agent unifié qui met l'accent sur l'expérience universelle plutôt que sur des ensembles de formation spécifiques, se concentre sur la cohérence temporelle, donne la priorité aux méthodes pouvant produire des effets d'échelle avec la puissance de calcul et à l'interaction multi-agents.
Une feuille de route en 12 étapes a également été proposée.
Les six premières étapes se concentrent sur la conception d'une méthode d'apprentissage continu sans modèle, et les six dernières étapes introduisent les modèles et la planification environnementaux.
La dernière étape est appelée Intelligence Amplification (Intelligence Amplification).Un agent peut utiliser les connaissances qu'il a acquises pour amplifier et améliorer l'action, la perception et la cognition d'un autre agent selon certains principes généraux.
Sutton considère ce type d’amélioration comme un élément important pour réaliser le plein potentiel de l’intelligence artificielle.
Dans ce processus, il est très important mais aussi très difficile de déterminer les indicateurs permettant d’évaluer les progrès de l’IA, et l’équipe explore différents développements.
De plus, Carmack a toujours été un partisan de l'open source, mais sur la question de l'AGI, il a déclaré qu'il maintiendrait un certain degré d'ouverture, mais ne divulguerait pas tous les détails de l'algorithme**.
En tant que petite équipe, Carmack estime que nous devons maintenir un esprit pionnier et nous concentrer sur le développement à long terme plutôt que sur les intérêts à court terme.
La commercialisation ne sera pas envisagée prématurément et il n’existe pas de forme intermédiaire pouvant être rendue publique comme ChatGPT.
Concernant ce qui peut être réalisé en 2030, Carmack estime que "il existe des AGI qui peuvent être démontrées au public", la déclaration de Sutton est "Les prototypes d'IA peuvent montrer des signes de vie (signes de vie)".
2030 devient un nœud clé
Ce n’est pas la première fois que 2030 et AGI apparaissent en même temps.
Les meilleures équipes d’IA considèrent unanimement l’horizon 2030 comme le point clé pour atteindre l’AGI.
Par exemple, OpenAI, dans son annonce de consacrer 20 % de sa puissance de calcul totale à la création d'un département d'alignement de la super-intelligence, a déclaré que nous pensons que la superintelligence arrivera dans cette décennie.
Même la communauté des investisseurs a des points de vue similaires. Masayoshi Son vient de présenter un tel PPT à la SoftBank World Corporate Conference.
Hormis OpenAI et Keen Technologies, peu d’organisations travaillent au développement de l’AGI.
Le plus grand concurrent d'OpenAI, Anthropic, qui vient de lever 4 milliards de dollars de financement, son PDG Dario Amodei a déclaré dans une récente interview que l'IA peut se comporter comme un humain bien éduqué d'ici deux ou trois ans.
Lorsque les auteurs de Transformer, Vaswani et Palmer, ont quitté Google, ils ont fondé AdeptAI dans le but de créer une intelligence générale.
Cependant, les deux hommes ont soudainement quitté l'entreprise plus tôt cette année, ne laissant qu'un seul co-fondateur, David Luan (à l'extrême droite).
Les deux auteurs de Transformer ont également fondé Essential AI, dont la vision est moins « de regarder les étoiles » que de commercialiser de grands modèles de manière plus pragmatique.
Il n'y a pas non plus beaucoup d'acteurs nationaux qui ont clairement énoncé les objectifs d'AGI, les principaux étant MiniMax et la nouvelle société Dark Side of the Moon par Yang Zhilin.
Liens de référence :
[1]
[2]
[3]
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le père de l’apprentissage par renforcement rejoint AGI pour démarrer une entreprise ! En faisant équipe avec le légendaire programmeur Carmack, nous ne nous appuyons pas sur de gros modèles
Source originale : Qubits
Le légendaire programmeur John Carmack s'est associé à Richard Sutton, le père de l'apprentissage par renforcement, pour créer All in AGI.
Et contrairement aux méthodes traditionnelles, elle ne s’appuie pas sur de grands paradigmes modèles et poursuit un apprentissage en ligne en temps réel.
Sutton rejoindra Keen Technologies, la startup d'IA de Carmack, tout en conservant son poste d'enseignant en Alberta.
Les deux hommes ont admis lors de l'événement que l'équipe de Keen Technologies est petite par rapport aux grandes entreprises comptant des centaines ou des milliers d'employés.
Elle n’en est qu’à ses balbutiements, et toute l’équipe technique de l’entreprise est sur place——
Seulement ces 4 personnes debout.
Mais ils pensent que le code source final d’AGI sera de l’ordre de celui qu’une seule personne peut écrire et ne comportera peut-être que des dizaines de milliers de lignes.
De plus, le domaine de l'IA se trouve actuellement à un moment particulier avec le plus grand effet de levier, et les petites équipes ont également la possibilité d'apporter de grandes contributions.
Programmeur légendaire et père de l'apprentissage par renforcement
L'expérience légendaire de Carmack, depuis le développement du premier jeu 3D au monde jusqu'à la transition vers la construction de fusées, jusqu'à rejoindre Oculus et devenir une figure clé du futur Meta VR, est bien connue.
Plus tard, il s’est impliqué dans l’IA et a également été lié à OpenAI.
Il a révélé un jour dans une autre interview que Sam Altman l'avait invité à rejoindre OpenAI et pensait qu'il pourrait jouer un rôle important dans l'optimisation du système.
Mais Carmack pensait qu’à l’époque il n’avait aucune compréhension de l’IA moderne dans le paradigme de l’apprentissage automatique, il n’était donc pas d’accord.
C’est devenu pour lui l’occasion de commencer à comprendre l’IA.
Alors qu'il avait du temps libre et envisageait de continuer à s'impliquer dans l'apprentissage profond, il a proposé un défi de programmation d'une semaine :
Imprimez quelques articles classiques de LeCun et mettez-les en pratique lorsque le réseau est déconnecté, en commençant par la formule de rétropropagation.
Au bout d'une semaine, il a terminé la retraite avec un réseau de neurones convolutifs créé à la main en C++, sans l'aide de frameworks modernes d'apprentissage profond en Python.
Tout ce que je peux dire, c'est que j'admire le grand maître.
Cependant, au cours de ce processus, des conflits et des désaccords sont progressivement apparus entre lui et la direction de l'entreprise. Il estimait que l'efficacité interne de l'entreprise était faible et a également exprimé publiquement son mécontentement.
En août 2022, il a annoncé que la nouvelle startup d'IA Keen Technologies avait annoncé un financement de 20 millions de dollars américains, avec des investisseurs dont Sequoia Capital, l'ancien PDG de GitHub Nat Friedman et d'autres.
Plus tard, il a également révélé qu’il pouvait réellement gagner de l’argent avec seulement 20 millions de dollars.
Mais prendre de l’argent aux autres peut lui donner un sentiment de crise et d’urgence, ainsi qu’une plus grande détermination à faire avancer les choses.
Ses jeux 3D à cette époque stimulaient la demande d'informatique graphique et les GPU commençaient à se développer et à se développer dans le domaine des jeux.
Aujourd’hui, c’est la puissance de calcul des GPU qui soutient l’explosion de l’IA et il est toujours fier de sa contribution en parlant de cela.
……
L'autre protagoniste d'aujourd'hui, Sutton, est également une légende.
Il est connu comme le père de l'apprentissage par renforcement et a apporté d'importantes contributions à des méthodes telles que l'apprentissage par renforcement par différence de temps et le gradient politique. Il est également co-auteur du manuel standard sur l'apprentissage par renforcement.
En 2017, il rejoint DeepMind en tant que scientifique exceptionnel et participe à la série de recherches AlphaGo. Son élève David Silver est l'un des principaux dirigeants d'AlphaGo.
Avant que les deux hommes ne communiquent officiellement, Carmack avait exprimé sa préoccupation et son approbation pour cet article.
Il y a quelques mois, après que Carmack a annoncé un financement pour AGI Ventures, il a reçu un courriel de Sutton.
Sutton voulait lui demander si son parcours de recherche devait être purement académique, commercial ou à but non lucratif.
Cependant, lors d'échanges de courriers électroniques ultérieurs, les deux hommes ont découvert qu'il existait une cohérence surprenante dans les orientations et les concepts de recherche en IA et ont progressivement établi une relation de coopération.
Plus précisément, les deux sont parvenus à un 4 consensus :
Non seulement s'appuient sur de grands modèles, les petites équipes ont également des opportunités
Un objectif très audacieux, et le public le pensait aussi.
Face à la question « Comment une petite équipe peut-elle atteindre un objectif aussi ambitieux ? », Carmack a estimé que la quantité de données et de puissance de calcul requise pour atteindre l'AGI n'était peut-être pas aussi importante qu'on l'imaginait.
Concernant la demande de puissance de calcul, il utilise également ce type de pensée intuitive pour considérer : la puissance de calcul du cerveau humain est également limitée, loin d'atteindre le niveau d'un grand cluster de puissance de calcul.
Et au fil du temps, l’algorithme deviendra plus efficace et la puissance de calcul nécessaire continuera de diminuer.
C’est ce que recherchait Sam Altman lorsqu’il l’a invité à rejoindre OpenAI.
L'architecture AGI qu'il envisageait devrait être modulaire et distribuée plutôt qu'un énorme modèle centralisé.
L'apprentissage devrait également être un apprentissage continu en ligne, au lieu de la pré-formation actuelle où la plupart des paramètres ne sont plus mis à jour.
Il a ajouté qu'en tant que programmeur système de bas niveau capable d'écrire le code Cuda original et de gérer lui-même la communication réseau, il pourrait être capable d'effectuer certains travaux que d'autres n'envisageraient pas du tout.
Il ne se limite même pas au cadre d'apprentissage en profondeur existant, mais testera une architecture de réseau et des méthodes informatiques plus efficaces.
L’objectif global est de simuler un agent virtuel doté d’une motivation intrinsèque et d’une capacité d’apprentissage continu pour apprendre en continu dans un environnement virtuel.
Pas des robots, car son expérience dans la construction de fusées lui a fait penser que moins il a à manipuler d’objets physiques, mieux c’est**.
Bien que peu de choses aient été dites lors de cet événement, l'essentiel a été écrit dans un article arXiv sous la forme du « Projet Alberta ».
Une feuille de route en 12 étapes a également été proposée.
Les six premières étapes se concentrent sur la conception d'une méthode d'apprentissage continu sans modèle, et les six dernières étapes introduisent les modèles et la planification environnementaux.
Sutton considère ce type d’amélioration comme un élément important pour réaliser le plein potentiel de l’intelligence artificielle.
Dans ce processus, il est très important mais aussi très difficile de déterminer les indicateurs permettant d’évaluer les progrès de l’IA, et l’équipe explore différents développements.
De plus, Carmack a toujours été un partisan de l'open source, mais sur la question de l'AGI, il a déclaré qu'il maintiendrait un certain degré d'ouverture, mais ne divulguerait pas tous les détails de l'algorithme**.
En tant que petite équipe, Carmack estime que nous devons maintenir un esprit pionnier et nous concentrer sur le développement à long terme plutôt que sur les intérêts à court terme.
La commercialisation ne sera pas envisagée prématurément et il n’existe pas de forme intermédiaire pouvant être rendue publique comme ChatGPT.
Concernant ce qui peut être réalisé en 2030, Carmack estime que "il existe des AGI qui peuvent être démontrées au public", la déclaration de Sutton est "Les prototypes d'IA peuvent montrer des signes de vie (signes de vie)".
2030 devient un nœud clé
Ce n’est pas la première fois que 2030 et AGI apparaissent en même temps.
Les meilleures équipes d’IA considèrent unanimement l’horizon 2030 comme le point clé pour atteindre l’AGI.
Par exemple, OpenAI, dans son annonce de consacrer 20 % de sa puissance de calcul totale à la création d'un département d'alignement de la super-intelligence, a déclaré que nous pensons que la superintelligence arrivera dans cette décennie.
Le plus grand concurrent d'OpenAI, Anthropic, qui vient de lever 4 milliards de dollars de financement, son PDG Dario Amodei a déclaré dans une récente interview que l'IA peut se comporter comme un humain bien éduqué d'ici deux ou trois ans.
Cependant, les deux hommes ont soudainement quitté l'entreprise plus tôt cette année, ne laissant qu'un seul co-fondateur, David Luan (à l'extrême droite).
Il n'y a pas non plus beaucoup d'acteurs nationaux qui ont clairement énoncé les objectifs d'AGI, les principaux étant MiniMax et la nouvelle société Dark Side of the Moon par Yang Zhilin.
Liens de référence : [1] [2] [3]