ChatGPT casse le test de Turing, il est temps de trouver une nouvelle façon d'évaluer la technologie de l'IA

**Source :**Ligne de front IA

** auteur | Céleste Biever**

Traducteur｜Nucle-Cola

Planification｜Dongmei

Source de l'image : générée par l'outil Unbounded AI, modèle général (papier découpé)

Les grands modèles de langage ont d'excellentes capacités de simulation du langage humain, mais les scientifiques sont toujours divisés sur leurs performances d'inférence.

Le 25 juillet, "Nature" a déclaré dans un article que ChatGPT avait cassé le test de Turing, et qu'il était temps d'activer d'autres nouvelles méthodes pour évaluer la technologie de l'intelligence artificielle.

Le système d'intelligence artificielle (IA) le plus puissant au monde peut réussir des examens rigoureux, rédiger des articles convaincants et participer à des discussions en douceur. Beaucoup de gens ne peuvent même pas faire la différence entre l'IA et les humains en termes d'expression du langage. Y a-t-il quelque chose qu'ils ne peuvent pas faire ? Bien sûr, il y en a, et ce sont des questions très simples.

Une série de graphiques aux couleurs vives sont disposés sur l'écran, et la plupart des gens peuvent rapidement trouver la réponse à ce type de test de logique visuelle. Mais en tant que lumière de la technologie derrière le robot de chat ChatGPT et le moteur de recherche Bing, et le chef-d'œuvre le plus élevé de l'IA actuelle, GPT-4 est évidemment incapable de faire ce qu'il veut. Une étude réalisée en mai de cette année a montré que GPT-4 n'était correct qu'un tiers du temps sur un type de test de modèle, et un maigre 3% sur l'autre.

L'équipe de recherche derrière le puzzle logique espère que le test fournira une meilleure référence pour les systèmes d'IA et aidera à combler les lacunes inhérentes aux grands modèles de langage tels que GPT-4. Pour résumer : dans le test de langage, le grand modèle de langage a facilement accompli l'exploit d'intelligence qui était autrefois considéré comme un jalon ; mais dans le test de logique visuelle, leur performance est assez faible, il y a des angles morts évidents, et ils ne peuvent pas être fondés sur l'abstraction. Les concepts font des inférences.

"Les praticiens du domaine de l'IA sont aux prises avec le difficile problème de l'évaluation de grands systèmes de modèles de langage", explique Melanie Mitchell, informaticienne à l'Institut de recherche de Santa Fe au Nouveau-Mexique. de problèmes logiques.

Au cours des deux ou trois dernières années, le grand modèle de langage a complètement écrasé le système d'IA précédent en termes de capacités multitâches croisées. Leur principe de fonctionnement est simple : sur la base des milliards de phrases en ligne auxquelles ils ont été exposés pendant la formation, ils résument la corrélation statistique entre chaque mot, puis génèrent un mot suivant raisonnable pour un texte d'entrée donné. Pour les chatbots construits sur de grands modèles de langage, un élément supplémentaire est ajouté : les formateurs humains fournissent des commentaires détaillés, affinant ainsi la façon dont le bot répond.

Il convient de noter que les algorithmes formés sur des corpus de langage humain aussi massifs avec des propriétés similaires à l'auto-complétion ont démontré avec succès un large éventail de capacités de résolution de problèmes. Alors que les systèmes d'IA hérités peuvent être capables de battre de grands modèles de langage sur une tâche spécifique, les premiers doivent être entraînés dans des quantités spécifiques au problème, et cette capacité ne peut pas être rapidement transférée d'une tâche à une autre.

D'une manière générale, les chercheurs de ces deux camps ont des opinions diamétralement opposées sur la façon dont les grands modèles de langage fonctionnent sous le capot, déclare Tomer Ullman, scientifique cognitif à l'Université de Harvard. Certains attribuent les réalisations de l'algorithme à un véritable raisonnement ou à une compréhension, mais d'autres (y compris Ullman lui-même et des chercheurs comme Mitchell ci-dessus) sont plus prudents.

Selon Ullamn, "les deux côtés de ce débat sont brillants et de haut niveau." La cause profonde du désaccord est le manque de preuves tangibles pour étayer leurs points de vue respectifs. "Après tout, il n'y a pas de détecteur intelligent stable et fiable comme un compteur Geiger, qui peut clairement donner la réponse d'intelligence ou de non-intelligence."

Les chercheurs des deux côtés de la discussion affirment que s'appuyer sur des tests tels que des questions logiques pour révéler les différences de capacités entre les humains et les systèmes d'IA devrait être un pas important dans la bonne direction. Brenden Lake, scientifique en informatique cognitive à l'Université de New York, affirme que de tels repères peuvent également aider à révéler les capacités qui manquent aux systèmes d'apprentissage automatique d'aujourd'hui et à clarifier de quoi est faite exactement l'intelligence humaine.

En outre, ce test de grands modèles linguistiques et de recherche sur les capacités de référence a une autre signification pratique. Mitchell a souligné que si vous souhaitez appliquer de grands modèles de langage à des scénarios du monde réel tels que la médecine et le droit, vous devez d'abord clarifier où se situent les limites de ses capacités. "Nous devons comprendre ce qu'il peut et ne peut pas faire avant de pouvoir juger comment l'utiliser en toute sécurité."

Le test de Turing est-il obsolète ?

Dans le domaine du test de l'intelligence des machines, le schéma le plus célèbre a toujours été le test de Turing. Le test a été proposé par le mathématicien britannique et pionnier de l'informatique Alan Turing en 1950, lorsque les ordinateurs en étaient à leurs balbutiements. Turing a proposé une méthode d'évaluation du soi-disant "jeu d'imitation". Dans ce scénario, l'arbitre humain a un court dialogue texte avec l'ordinateur et l'humain caché derrière l'écran pour voir s'il peut identifier avec précision la machine et l'humain. . Turing pensait que cela devrait répondre à la question "Les machines ont-elles la capacité de penser ?"

Mitchell a souligné que Turing n'avait pas précisé beaucoup de détails sur le scénario, il n'y avait donc pas de règles exactes à suivre. Selon François Chollet, ingénieur logiciel chez Google, "le test de Turing n'est pas un test concret qui peut réellement être exécuté sur une machine, c'est plutôt une expérience de pensée".

Mais cette vision de l'utilisation du langage pour tester si une machine a la capacité de penser est profondément ancrée dans le domaine de la technologie. Pendant des décennies, l'homme d'affaires et philanthrope Hugh Loebner a longtemps financé l'événement annuel du test de Turing, connu sous le nom de prix Loebner. Mais l'informaticien Rob Wortham a déclaré que la campagne s'était arrêtée après 2019 parce que le financement de la campagne s'était épuisé après la mort de Loebner. Wortham est codirecteur de la UK Society for Artificial Intelligence and Behavioral Simulation Research, qui organise le concours au nom de Loebner depuis 2014. Il a expliqué que le grand modèle de langage a désormais essentiellement la capacité de tromper les humains, de sorte que le prix Loebner a été contraint de s'arrêter à la veille du décollage complet du grand modèle de langage, ce qui est plutôt un humour noir.

D'autres chercheurs pensent également que les grands modèles de langage tels que GPT-4 ont déjà la capacité de passer le test de Turing. Au moins dans de courtes conversations, il est probablement difficile pour la plupart des gens de dire qui est un humain et qui est un grand modèle. En mai, des chercheurs du laboratoire AI21 de Tel Aviv, en Israël, ont rapporté que plus de 1,5 million de personnes avaient joué à un jeu en ligne basé sur le test de Turing. Les utilisateurs s'engageront dans une conversation de deux minutes avec un autre utilisateur ou un grand modèle de langage se faisant passer pour une personne réelle en fonction des invites des chercheurs. La probabilité que le joueur identifie correctement le robot n'est que de 60 %, ce qui équivaut presque à une estimation complètement aléatoire3.

Cependant, les chercheurs qui sont plus familiers avec les grands modèles de langage peuvent toujours distinguer les chatbots de divers détails. Chollet a noté qu'il avait trouvé qu'il était facile de détecter qui était un grand modèle de langage simplement en exploitant les faiblesses connues du système. "Si je devais me mettre à l'épreuve pour voir si je parlais à un grand modèle linguistique, j'obtiendrais certainement la bonne réponse."

La clé est de laisser le grand modèle linguistique sortir de sa zone de confort. Son astuce consiste à proposer des scénarios différenciant le grand modèle de langage des scénarios d'apprentissage communs. Dans la plupart des cas, le grand modèle de langage génère le mot le plus probable en fonction des données d'apprentissage, plutôt que de donner réellement la bonne réponse en fonction de la nouvelle scène.

De plus, Chollet et al sont sceptiques quant à cette méthode de test basée sur des performances trompeuses. "Cela existe évidemment pour tromper les arbitres humains." De tels tests ne feront qu'encourager les développeurs à instiller plus de compétences de camouflage dans l'IA, et n'inspireront pas de fonctions plus utiles ou intéressantes.

Les benchmarks ne sont pas fiables

Les chercheurs évaluent souvent les systèmes d'IA avec des repères qui évaluent des capacités spécifiques, telles que le langage, le raisonnement de bon sens et les mathématiques, et les équipes technologiques adoptent de plus en plus des examens académiques et professionnels conçus pour les humains.

Lorsque GPT-4 a été lancé pour la première fois en mars, la société OpenAI, basée à San Francisco, en Californie, a évalué les performances du nouveau modèle sur une série de critères conçus pour les machines, notamment la compréhension de la lecture, les mathématiques et le codage. Comme indiqué par OpenAI, GPT-4 a bien performé sur la plupart des tests4. Ils ont également établi une trentaine d'examens pour le GPT-4, notamment : une variété d'examens pour les lycéens américains, connus sous le nom de Advanced Placement ; un examen pour évaluer les connaissances cliniques des médecins américains ; et les critères utilisés dans le processus de sélection des diplômés américains. test des étudiants (GRE). GPT-4 a réussi à se classer parmi les 10 % supérieurs à l'examen uniforme du barreau (qui est inclus dans l'examen du barreau dans plusieurs États américains).

Performances du système d'IA - Extrait des résultats

Source : OpenAI/ Référence 4

Le centile de classement est ici la position des candidats humains qui ont atteint ce score parmi tous les sujets.

Mitchell reconnaît que "un bon nombre de modèles de langage réussissent bien sur ces points de repère. Mais dans la plupart des cas, ce n'est pas qu'ils surpassent les humains en termes de capacité générale, mais plutôt que les points de repère eux-mêmes ont des limites. " Les chercheurs font un cas solide modèle a été entraîné sur une grande quantité de texte, il est probable que des problèmes similaires aient été observés dans les données d'entraînement. Les conclusions de l'analyse comparative tirées dans cette situation sont appelées "pollution" et ne sont évidemment pas crédibles.

OpenAI dit avoir vérifié cela en recherchant des chaînes similaires dans le problème et les données de formation. Le test de grands modèles de langage avant et après la suppression de chaînes similaires montre peu de changement dans les performances. Cela suggérait que les scores extrêmement élevés n'avaient rien à voir avec la pollution, mais certains chercheurs se sont demandé si le test était suffisamment rigoureux.

Sam Bowman est un scientifique en technologie linguistique à l'Université de New York qui travaille également chez Anthropic, une société d'IA à San Francisco. Il a mis en garde contre le fait de simplement prendre les résultats du test GPT-4 en raison de "voir des problèmes similaires" et de nier la capacité du GPT-4. À son avis, "le discours sur la pollution complique un peu la situation, mais je ne pense pas que cela affecte vraiment la situation dans son ensemble".

Les chercheurs ont également souligné que la capacité des grands modèles linguistiques à réussir des examens élevés est également relativement fragile et qu'elle peut ne pas être transformée en capacité à porter des jugements corrects dans le monde réel. Selon Mitchell, une simple modification des questions d'examen pourrait rendre les grands modèles inacceptables. Par exemple, elle a pris une question d'un examen MBA que ChatGPT a réussi et l'a légèrement modifiée. Les humains pouvaient facilement ajuster la réponse en fonction du changement, mais ChatGPT a lamentablement échoué.

Il existe un autre problème, plus profond, lorsqu'il s'agit de déchiffrer les implications de l'analyse comparative. Pour les humains, des scores élevés à ces tests représentent généralement un niveau élevé d'intelligence - en fait, le niveau d'intelligence lui-même est également un concept vague, principalement reflété dans la capacité à s'adapter à différents environnements présentés dans une série de tâches . Autrement dit, un score élevé à un test démontre que la personne a de bonnes capacités cognitives et une bonne maîtrise de certains concepts abstraits. Mais ce n'est pas le cas pour les grands modèles de langage. Mitchell a souligné que la méthode de jugement des grands modèles est très différente de celle des humains : "Dans la plupart des cas, les systèmes d'IA ne raisonnent pas d'une manière familière aux humains."

Cela peut être dû au fait que les grands modèles de langage ne peuvent apprendre que de l'expérience du langage ; en raison du manque de canaux pour se connecter au monde réel, ils ne peuvent pas expérimenter le lien entre le langage et les objets, les attributs et les émotions comme les humains. "Il est clair qu'ils ne comprennent pas les mots comme les humains", déclare Lake. Selon lui, les preuves actuelles suggèrent que les grands modèles de langage "peuvent utiliser le langage très couramment sans vraiment comprendre ce qu'ils disent".

D'autre part, les grands modèles de langage ont également montré certaines capacités que les humains n'ont pas, telles que la compréhension du lien entre presque tous les mots que les humains écrivent. Mitchell a déclaré que cela peut signifier que le modèle s'appuie sur certaines caractéristiques du langage ou d'autres indicateurs pour résoudre le problème, sans avoir besoin de saisir la capacité de raisonnement plus large.

Nick Ryder, chercheur à OpenAI, est d'accord avec ce jugement, affirmant que les performances de l'IA sur un seul test ne suffisent pas à prouver sa capacité générale comme les sujets humains. "Je ne pense pas que les gens devraient comparer directement les scores humains avec les scores de grands modèles de langage." Les scores publiés par OpenAI "ne décrivent pas la capacité humaine ou le niveau de raisonnement de type humain des grands modèles de langage, mais montrent simplement que ces modèles fonctionnent bien sur ces tâches."

En plus des benchmarks traditionnels des machines et des examens professionnels humains, les chercheurs ont également exploré plus largement de grands modèles de langage. En mars de cette année, Sébastien Bubeck de Microsoft Research et ses collègues ont publié la version 5 pré-publiée intitulée "Spark of General Artificial Intelligence: GPT-4 Early Experiments", qui a provoqué des discussions animées dans l'industrie. À l'aide d'une première version de GPT-4, ils ont documenté un ensemble surprenant de fonctionnalités, dont beaucoup n'étaient pas directement ou explicitement liées à la langue. Une caractéristique remarquable est qu'il réussit les tests utilisés pour évaluer les théories psychologiques. La théorie psychologique est une capacité humaine fondamentale à prédire et à raisonner sur les états mentaux des autres. "Compte tenu de l'étendue et de la profondeur des capacités du GPT-4, nous avons des raisons de croire qu'il représente déjà une version précoce (mais pas encore parfaite) d'un système d'intelligence générale artificielle (AGI)", ont-ils écrit dans l'article.

Mais Bubeck lui-même a précisé plus tard, soulignant que "GPT-4 ne pense certainement pas comme un humain, et il a sa propre façon unique et différente de mettre en œuvre toute fonction qu'il présente".

Mitchell estime que bien que le rapport soit assez radical, il n'explore pas systématiquement les capacités des grands modèles de langage. "Cela ressemble plus à une étude anthropologique." Ullman a également déclaré que pour prouver que les machines peuvent maîtriser les théories psychologiques, elles doivent au moins fournir des preuves du processus cognitif sous-jacent correspondant, au lieu de simplement compter sur la machine pour produire la même réponse. en tant qu'êtres humains Affirmation grossière.

Les chercheurs en IA pensent qu'un examen plus large et plus rigoureux est nécessaire pour comprendre les forces et les faiblesses des grands modèles de langage. Le problème de la logique des couleurs peut en être une partie importante.

Puzzles frais

En 2019, juste avant l'explosion des grands modèles de langage, Chollet a publié un nouvel ensemble d'ensembles de tests logiques spécialement compilés pour les systèmes d'IA sur Internet, appelé Abstract and Reasoning Corpus (ARC). Le solveur est présenté avec une démonstration visuelle dans laquelle plusieurs grilles carrées se transforment en un autre modèle, qui indique à la grille suivante comment changer pour démontrer qu'ils ont compris les règles du changement. "C'est un test de notre capacité à nous adapter à des choses que nous n'avons jamais vues auparavant", déclare Chollet, qui estime que cette capacité à trouver des modèles est l'essence même de l'intelligence.

Selon Lake, l'ARC capture "la marque de l'intelligence humaine": faire abstraction des connaissances quotidiennes et les appliquer à des problèmes jamais vus auparavant.

Chollet a organisé un concours de robotique ARC en 2020, avant que les grands modèles de langage ne se généralisent. Le système d'IA gagnant a été spécialement formé pour être bon dans des tâches comme l'ARC. Mais contrairement au grand modèle de langage, il n'a pas de fonction générale, et il n'a répondu correctement qu'à 21% des questions. En comparaison, les humains résolvent correctement les problèmes d'ARC 80 % du temps7. Plusieurs équipes de recherche utilisent actuellement ARC pour tester les capacités de grands modèles de langage, et aucun ne s'est approché des performances humaines.

Mitchell et ses collègues ont développé un nouvel ensemble de puzzles (appelé ConceptARC) inspiré de l'ARC, avec deux différences principales. ConceptARC est encore plus simple : l'équipe de Mitchell voulait que les références reflètent les progrès des capacités de la machine, même si ce n'est qu'un tout petit peu. Deuxièmement, l'équipe a sélectionné des concepts spécifiques à tester, puis a créé une série de variations de puzzle liées au thème autour de chaque concept.

Par exemple, pour tester le concept d'identité, un problème nécessite que le solveur maintienne en place des objets de même forme, et un autre problème nécessite que le solveur aligne des objets de même forme le long d'un axe. L'idée est de réduire les chances qu'un système d'IA réussisse un test sans saisir le concept.

Que signifie une mauvaise performance ?

Les chercheurs ont publié la tâche ConceptARC sur GPT-4 et recruté 400 sujets. Les humains ont obtenu en moyenne 91 % dans tous les groupes de concepts (97 % pour le groupe ayant obtenu le score le plus élevé) ; 33 % pour le groupe GPT-4 ayant obtenu le meilleur score et pas plus de 30 % pour les groupes de concepts restants.

"Nous avons montré que la machine est toujours en deçà de l'intelligence au niveau humain", a déclaré Mitchell, "mais étonnamment, elle a été capable de résoudre certains de ces problèmes bien qu'elle n'ait jamais été formée à leur sujet."

L'équipe a également testé des robots qui ont remporté le concours de Chollet, qui ne sont pas des systèmes à capacité générale comme les grands modèles de langage, mais ont été formés spécifiquement pour des problèmes de vision tels que l'ARC. Dans l'ensemble, ils ont obtenu de meilleurs résultats que le GPT-4, mais toujours inférieurs aux humains, obtenant un score de 77 % dans le meilleur groupe de concepts mais inférieur à 60 % dans la plupart des groupes de concepts1.

Cependant, Bowman pense que l'échec du GPT-4 à réussir la formation de ConceptARC ne prouve pas qu'il manque de capacités potentielles de raisonnement abstrait. À son avis, il y a un biais entre ConceptARC et GPT-4, qui est un test visuel après tout. "Même si ces modèles sont vraiment bons dans ce type de raisonnement conceptuel, il est peu probable qu'ils obtiennent de bons résultats lors de tels tests la première fois."

La limitation de la méthode de test peut également être le facteur influençant les mauvaises performances du GPT-4. La version publique du Big Language Model ne peut accepter que la saisie de texte, de sorte que les chercheurs ont soumis des tableaux de nombres décrivant les images. (Par exemple, un pixel vide peut être représenté par un 0 et un carré coloré peut être représenté par un nombre correspondant.) En revanche, les sujets humains ont pu voir l'image directement. Mitchell admet également: "Nous comparons un système de langage pur à un humain, et les humains ont un système visuel très développé, donc je crains que la comparaison ne soit pas tout à fait juste."

OpenAI a construit une version "multimodale" de GPT-4 qui peut accepter directement l'entrée d'image. L'équipe de Mitchell attend que la technologie soit officiellement divulguée afin de pouvoir effectuer une autre série de ConceptARC. Mais elle ne pense pas que le GPT-4 multimodal soit beaucoup mieux."Je ne pense pas que ces systèmes aient encore le niveau d'abstraction et de raisonnement comparable à celui des humains."

Sam Acquaviva, un scientifique cognitif informatique au Massachusetts Institute of Technology, est d'accord, et le modèle est limité à une seule ligne au lieu de grid8. Cela devrait supprimer certains des problèmes d'injustice, mais Acquaviva constate que si les performances de GPT-4 se sont améliorées, cela ne suffit pas non plus pour démontrer une compréhension et un raisonnement fiables des règles pour les grands modèles de langage.

argument de raisonnement

Bowman a également mentionné quelques autres expériences.Selon les résultats complets, le grand modèle de langage a au moins maîtrisé la capacité de base de raisonner sur des concepts abstraits. Dans un cas, l'informaticien de Harvard Kenneth Li et ses collègues ont utilisé une version numérique de Reversi, dans laquelle les joueurs placent des pièces en noir et blanc sur une grille de 8 x 8. Ils espèrent évaluer si les grands modèles de langage s'appuient sur des relations statistiques linguistiques mémorisées pour générer du texte, ou s'ils peuvent vraiment construire des représentations internes de phénomènes comme les humains.

Après avoir soumis un ensemble d'actions d'entraînement des joueurs humains au grand modèle de langage, l'IA a rapidement maîtrisé la capacité de choisir la bonne stratégie pour le prochain mouvement. Les chercheurs pensent que cela montre que le grand modèle de langage peut même comprendre la situation sur l'échiquier et donner des suggestions de mouvements d'échecs basés sur les caractéristiques actuelles, ce qui dépasse évidemment les contraintes de la forme textuelle9.

Bowman admet que la capacité de raisonnement des grands modèles de langage peut être décrite comme "divers" en général, et qu'elle n'atteint pas la hauteur du raisonnement humain. Mais il pense que la capacité de raisonnement existe et qu'elle semble s'améliorer avec la taille du modèle. En d'autres termes, les futurs grands modèles de langage fonctionneront de mieux en mieux. "Ces systèmes ne sont pas aussi fiables ou généraux que nous le souhaiterions, et ils sont complètement confus à propos de certains types de raisonnement abstrait. Mais je pense que leurs capacités de raisonnement fondamentales existent objectivement."

Des chercheurs tels que Bowman et Mitchell conviennent également que la façon de mieux tester les grands modèles de langage pour le raisonnement abstrait et d'autres indicateurs d'intelligence reste une question ouverte. Michael Frank, spécialiste des sciences cognitives à l'Université de Stanford, estime qu'il n'existe pas de test unique capable de remplacer complètement le test de Turing. Au lieu de cela, il soutient que les chercheurs doivent concevoir des tests approfondis pour quantifier les forces et les faiblesses de divers systèmes. "Ces agents sont géniaux, ils ont juste des défauts à bien des égards, donc le plus important est d'explorer cela systématiquement."

Wortham conseille à ceux qui découvrent les systèmes d'IA de rester à l'écart de l'obsession de l'anthropomorphisme. "Nous essayons toujours de comprendre tout ce qui montre l'intelligence en tant qu'humain, ce qui est vraiment inutile."

"Il est même maudit, ce qui signifie que nous ne pouvons imaginer aucune forme d'intelligence qui affiche une orientation claire vers un objectif autre que le nôtre. Nous sommes toujours en train de penser qu'elle le fait de la même façon profonde de penser que nous."

les références:

Moskvichev, A., Odouard, VV & Mitchell, M. Préimpression à (2023).

Turing, AM Mind LIX, 433–460 (1950).

Article Google Scholar

Jannai, D., Meron, A., Lenz, B., Levine, Y. & Shoham, Y. Préimpression à (2023).

OpenAI. Préimpression à (2023).

Bubeck, S. et al. Préimpression à (2023).

Chollet, F. Prétirage à (2019).

Johnson, A., Vong, WK, Lake, BM & Gureckis, TM Préimpression à (2021).

Xu , Y. , Li , W. , Vaezipoor , P. , Sanner . S. & Khalil, EB Préimpression à (2023).

Li, K. et al. Proc. Onzième Int. Conf. Apprendre. Représenter. (2023).

Lien d'origine :