GPT-4 juste l'étincelle d'AGI ? LLM finira par sortir, le modèle mondial est l'avenir

Source originale : Xinzhiyuan

Dans la cognition humaine, il semble que l'intelligence générale artificielle (IAG) ait longtemps été utilisée pour définir la forme ultime de l'intelligence artificielle et l'objectif ultime du développement.

Bien qu'OpenAI ait depuis longtemps fixé l'objectif de l'entreprise d'atteindre l'AGI. Mais pour ce qui est AGI, le PDG d'OpenAI, Sam Altman lui-même, n'a pas pu donner de définition précise.

Quant à la date d'arrivée d'AGI, elle n'existe que dans les scénarios narratifs du futur proche lancés par les boss, elle semble à portée de main, mais elle est loin.

Aujourd'hui, sur le site Web de podcast étranger bien connu Substack, un vétéran de l'industrie de l'intelligence artificielle nommé Valentino Zocca, se tenant du point de vue narratif de l'histoire humaine, a écrit un article majestueux, qui raconte de manière complète et profonde l'histoire des êtres humains et de l'artificiel en général. intelligence La distance entre l'intelligence.

Dans l'article, AGI est grossièrement défini comme un "modèle qui peut comprendre le monde", et pas seulement "un modèle qui décrit le monde".

Il croit que si les humains veulent vraiment atteindre le monde de l'IAG, ils doivent construire un "système qui peut remettre en question leur propre réalité et être capable de s'explorer".

Dans ce grand processus d'exploration, peut-être que personne n'a les qualifications et la capacité de donner une feuille de route spécifique.

Comme l'expliquent les scientifiques d'OpenAI Kenneth Stanley et Joel Lehman dans leur récent livre, "Why Greatness Can't Be Planned", la poursuite de la grandeur a une direction, mais les résultats spécifiques peuvent être inattendus.

**À quelle distance sommes-nous d'AGI ? **

Il y a environ 200 000 ans, Homo sapiens a commencé à marcher debout sur la terre, et en même temps, ils ont également commencé à voyager dans le domaine de la pensée et de la connaissance.

Une série de découvertes et d'inventions dans l'histoire humaine ont façonné l'histoire humaine. Certains d'entre eux affectent non seulement notre langage et notre pensée, mais affectent également potentiellement notre constitution biologique.

Par exemple, la découverte du feu a permis à l'homme primitif de cuisiner. Les aliments cuits fournissent plus d'énergie au cerveau, favorisant ainsi le développement de l'intelligence humaine.

De l'invention de la roue à la création de la machine à vapeur, l'humanité a inauguré la révolution industrielle. L'électricité a encore ouvert la voie aux développements technologiques que nous avons aujourd'hui, et l'impression a accéléré la diffusion à grande échelle de nouvelles idées et cultures, stimulant le développement de l'innovation humaine.

Cependant, le progrès ne vient pas seulement de la découverte de nouvelles dimensions physiques, mais aussi de nouvelles idées.

L'histoire du monde occidental s'étend de la chute de l'Empire romain au Moyen Âge, en connaissant une renaissance au cours de la Renaissance et des Lumières.

Mais avec la croissance des connaissances humaines, l'espèce humaine a commencé à réaliser sa propre insignifiance.

Plus de deux mille ans après Socrate, les humains ont commencé à "savoir qu'ils ne savaient rien", et notre terre n'était plus considérée comme le centre de l'univers. L'univers lui-même est en expansion et nous ne sommes qu'un grain de poussière en son sein.

Changer la perception de la réalité

Mais le plus grand changement dans la perception humaine du monde s'est produit au XXe siècle.

En 1931, Kurt Gödel publie le théorème d'incomplétude.

Seulement quatre ans plus tard, afin de poursuivre le thème de la "complétude", Einstein, Podolsky et Rosen ont publié un article intitulé "Can Quantum-Mechanical Deion of Physical Reality Be Considered Complete?" of?)

Par la suite, Niels Bohr a réfuté cet article, prouvant la validité de la physique quantique.

Le théorème de Gödel montre que même les mathématiques ne peuvent pas tout prouver de manière concluante - les humains auront toujours des faits indémontrables - tandis que la théorie quantique montre que notre monde manque de certitude, nous empêchant de prédire certains événements, tels que la vitesse et la vitesse des électrons.

Malgré la célèbre déclaration d'Einstein selon laquelle « Dieu ne joue pas aux dés avec l'univers », les limites humaines sont pleinement visibles lorsqu'il s'agit simplement de prédire ou de comprendre des choses en physique.

Peu importe à quel point les humains essaient de concevoir un univers mathématique régi par les règles formulées par les humains, un tel univers abstrait est toujours incomplet, et il y a des axiomes objectifs qui ne peuvent être prouvés et ne peuvent être niés qui y sont cachés.

En plus de la formulation abstraite des mathématiques, le monde humain est également exprimé par la philosophie qui décrit la réalité.

Mais les humains se retrouvent incapables de décrire, d'articuler pleinement, de comprendre ou même simplement de définir ces représentations.

Au début du XXe siècle, le concept de "vérité" était encore incertain, et des concepts tels que "art", "beauté" et "vie" manquaient d'un consensus de base au niveau de la définition.

Il en va de même pour de nombreux autres concepts importants, la «sagesse» et la «conscience» ne peuvent pas non plus être clairement définies par les humains eux-mêmes.

Définition de l'intelligence

Afin de combler le vide dans la définition de l'intelligence, en 2007, Legg et Hart ont proposé la définition de l'intelligence artificielle dans le livre « General Intelligence » : « L'intelligence mesure la capacité d'un agent (Agent) à atteindre des objectifs dans un environnement changeant. ."

De même, dans "Résolution de problèmes et intelligence", Hambrick, Burgoyne et Altman soutiennent que la résolution de problèmes n'est pas seulement un aspect ou une caractéristique de l'intelligence, mais l'essence de l'intelligence.

Ces deux déclarations sont similaires dans la description du langage, et toutes deux pensent que "atteindre un objectif" peut être lié à "résoudre un problème".

Dans le livre "Mainstream Science on Intelligence: An Editorial with 52 Signatories", Gottfredson a résumé les définitions de l'intelligence de plusieurs chercheurs dans une perspective plus large :

"L'intelligence est une capacité mentale très générale qui comprend le raisonnement, la planification, la résolution de problèmes, la pensée abstraite, la compréhension d'idées complexes, l'apprentissage rapide et l'apprentissage par l'expérience. Ce n'est pas seulement la connaissance des livres, des compétences académiques étroites ou des compétences en matière de test. , cela reflète une capacité plus large et plus profonde à comprendre son environnement - la capacité de « capturer », de « comprendre » des choses ou de « découvrir » ce qu'il faut faire ».

Cette définition amène la construction de l'intelligence au-delà des simples "compétences de résolution de problèmes" et introduit deux dimensions clés : la capacité d'apprendre de l'expérience et la capacité de comprendre l'environnement qui l'entoure.

En d'autres termes, l'intelligence ne doit pas être considérée comme une capacité abstraite à trouver des solutions à des problèmes généraux, mais plutôt comme une capacité concrète à appliquer ce que nous avons appris de l'expérience précédente aux capacités de notre environnement pour différentes situations qui peuvent survenir.

Cela souligne le lien intrinsèque entre l'intelligence et l'apprentissage.

Dans le livre "Comment nous apprenons", Stanislas Dehaene définit l'apprentissage comme "l'apprentissage est le processus de formation d'un modèle du monde", ce qui signifie que l'intelligence est aussi une capacité qui nécessite de comprendre l'environnement qui l'entoure et de créer un modèle interne pour décrire le environnement.

Par conséquent, l'intelligence nécessite également la capacité de créer des modèles du monde, mais pas seulement cette capacité.

**À quel point les machines actuelles sont-elles intelligentes ? **

Lorsque nous discutons de l'intelligence artificielle générale (AGI) et de l'intelligence artificielle étroite (Narrow AI), nous soulignons souvent la différence entre elles.

L'intelligence artificielle étroite (ou intelligence artificielle faible) est très courante et réussie, dépassant souvent les humains dans des tâches spécifiques.

Par exemple, cet exemple bien connu, en 2016, l'intelligence artificielle au sens étroit AlphaGo a battu le champion du monde Li Shidol avec un score de 4 à 1 dans le jeu de Go, ce qui en est un bon exemple.

Cependant, en 2023, le joueur d'échecs amateur Kellin Perline a utilisé les tactiques auxquelles l'intelligence artificielle ne pouvait pas faire face pour gagner une partie pour les humains sur le terrain de Go, ce qui montre que l'intelligence artificielle étroite a des limites dans certains cas.

Il lui manque la capacité humaine de reconnaître les tactiques inhabituelles et de s'adapter en conséquence.

De plus, au niveau le plus élémentaire, même un data scientist novice comprend que chaque modèle d'apprentissage automatique sur lequel s'appuie l'intelligence artificielle doit trouver un équilibre entre biais et variance.

Cela signifie apprendre à partir des données, comprendre et généraliser les solutions, pas seulement mémoriser.

L'IA étroite utilise la puissance de calcul et la capacité de mémoire des ordinateurs pour générer des modèles complexes basés sur de grandes quantités de données observées avec une relative facilité.

Cependant, une fois que les conditions changent légèrement, ces modèles ne sont souvent pas généralisables.

Ce serait comme si nous proposions une théorie de la gravité pour décrire la Terre sur la base d'observations, pour constater que les objets sont beaucoup plus légers sur la Lune.

Si nous utilisons des variables au lieu de nombres basés sur nos connaissances théoriques de la gravité, nous pouvons comprendre comment utiliser les valeurs correctes pour prédire rapidement l'ampleur de la gravité sur chaque planète ou lune.

Mais si nous utilisons simplement des équations numériques sans variables, nous ne pourrons pas généraliser correctement ces équations à d'autres planètes sans les réécrire.

En d'autres termes, l'intelligence artificielle peut ne pas être capable de véritablement "apprendre", mais seulement distiller des informations ou de l'expérience. L'IA ne comprend pas en formant un modèle global du monde, mais seulement en créant un résumé à exprimer.

** Avons-nous vraiment atteint l'AGI ? **

L'IAG est désormais généralement comprise comme faisant référence à : un système d'intelligence artificielle capable de comprendre et de raisonner dans plusieurs domaines cognitifs au niveau humain ou supérieur, c'est-à-dire une intelligence artificielle forte.

Et notre intelligence artificielle actuelle pour des tâches spécifiques n'est qu'une intelligence artificielle faible, comme AlphaGO de Go.

AGI représente un système d'intelligence artificielle avec une intelligence au niveau humain couvrant divers domaines dans le domaine de la pensée abstraite.

Cela signifie que ce dont nous avons besoin pour AGI est un modèle du monde qui est cohérent avec l'expérience et qui peut faire des prédictions précises.

Comme le soulignent Everitt, Lea et Hutter dans le "Safety Literature Review" (AGI Safety Literature Review): AGI n'est pas encore là.

Pour la question "À quelle distance sommes-nous du vrai AGI ?", les différentes prédictions varient considérablement.

Mais cela correspond aux vues de la plupart des chercheurs en intelligence artificielle et des institutions faisant autorité, à savoir que les êtres humains sont à au moins quelques années d'une véritable intelligence artificielle générale.

Après la sortie de GPT-4, face à l'intelligence artificielle la plus puissante à l'heure actuelle, beaucoup de gens considèrent GPT-4 comme l'étincelle d'AGI.

Le 13 avril, le partenaire d'OpenAI, Microsoft, a publié un article "Sparks of Artificial General Intelligence: Early experiences with GPT-4" (Sparks of General Artificial Intelligence: Early experiences with GPT-4).

Adresse papier :

qui mentionne :

"GPT-4 maîtrise non seulement le langage, mais résout également des tâches de pointe couvrant les mathématiques, le codage, la vision, la médecine, le droit, la psychologie et d'autres domaines, sans nécessiter d'invites spéciales.

Et dans toutes les tâches ci-dessus, le niveau de performance de GPT-4 est presque à égalité avec le niveau humain. Sur la base de l'étendue et de la profondeur des capacités de GPT-4, nous pensons qu'il peut raisonnablement être considéré comme une version proche mais pas complète de l'intelligence artificielle générale. "

Mais comme l'a fait remarquer Maarten Sap, professeur à l'Université Carnegie Mellon, "l'étincelle d'AGI" n'est qu'un exemple de certaines grandes entreprises incluant des documents de recherche en tant que relations publiques.

D'un autre côté, le chercheur et entrepreneur en machines Rodney Brooks souligne une idée fausse : "Lorsque nous évaluons la fonctionnalité de systèmes comme ChatGPT, nous assimilons souvent la performance à la capacité."

Assimiler à tort performance et capacité signifie que GPT-4 génère des descriptions sommatives du monde qu'il considère comme une compréhension du monde réel.

Cela a à voir avec les données sur lesquelles le modèle d'IA est formé.

La plupart des modèles d'aujourd'hui ne sont formés qu'au texte et n'ont pas la capacité de parler, d'entendre, de sentir et de vivre dans le monde réel.

Cette situation est similaire à l'allégorie de la caverne de Platon : les personnes vivant dans la caverne ne peuvent voir que l'ombre sur le mur, mais ne peuvent pas reconnaître l'existence réelle des choses.

Les modèles de monde formés uniquement sur du texte ne sont garantis que grammaticalement corrects. Mais en substance, il ne comprend pas à quoi la langue fait référence et il lui manque le sens commun du contact direct avec l'environnement.

Principales limites du grand modèle actuel

Le défi le plus controversé des grands modèles de langage (LLM) est leur tendance à halluciner.

Les hallucinations font référence à des situations où un modèle falsifie les références et les faits, ou confond les inférences logiques, les inférences causales, etc., et génère un contenu dénué de sens.

L'illusion des grands modèles de langage découle de leur manque de compréhension des relations causales entre les événements.

Dans l'article "Is ChatGPT a Good Causal Reasoner? A Comprehensive uation", les chercheurs ont confirmé ce fait :

Les grands modèles de langage tels que ChatGPT, qu'il existe ou non une relation dans la réalité, ont tendance à supposer qu'il existe une relation causale entre les événements.

Adresse papier :

Les chercheurs ont finalement conclu :

"ChatGPT est un excellent explicateur causal, mais pas un bon inférence causal."

De même, cette conclusion peut également être étendue à d'autres LLM.

Cela signifie que LLM n'a essentiellement que la capacité d'induction causale par l'observation, mais pas la capacité de déduction causale.

Cela conduit également aux limites du LLM. Si l'intelligence signifie apprendre de l'expérience et transformer le contenu appris en un modèle mondial pour comprendre l'environnement environnant, alors l'inférence causale, en tant qu'élément de base de l'apprentissage, n'est pas possible pour l'intelligence. partie manquante.

Les LLM existants manquent de cet aspect, c'est pourquoi Yann LeCun estime que le grand modèle de langue actuel ne peut pas devenir AGI.

en conclusion

Comme l'a révélé la naissance de la mécanique quantique au début du XXe siècle, la réalité est souvent différente de notre intuition formée par l'observation quotidienne.

Le langage, les connaissances, les données textuelles, même la vidéo, l'audio et d'autres matériaux que nous construisons ne sont qu'une partie très limitée de la réalité que nous pouvons expérimenter.

Tout comme nous explorons, apprenons et maîtrisons une réalité qui défie notre intuition et notre expérience, l'IAG ne sera vraiment réalisée que lorsque nous pourrons construire des systèmes capables de remettre en question leur propre réalité, capables d'auto-enquête.

Et au moins à ce stade, nous devrions construire un modèle capable de faire des inférences causales et de comprendre le monde.

Cette perspective est un nouveau pas en avant dans l'histoire humaine, impliquant une meilleure compréhension de la nature de notre monde.

Bien que l'émergence de l'AGI affaiblira notre valeur unique et l'importance de notre existence, grâce à des progrès continus et à l'expansion des frontières cognitives, nous comprendrons plus clairement le statut des êtres humains dans l'univers, et la relation entre les êtres humains et la relation à l'univers.

Les références: