Dialogue avec Hippakis, lauréat du prix Turing : la plus grande menace apportée par l'IA est de transformer les humains en "esclaves d'esclaves"

Source : Technologie Tencent

Depuis le début de 2023, ChatGPT a plongé le monde dans une frénésie d'IA. Avec les débuts de GPT4, ses puissantes capacités émergentes font sentir aux gens que dans quelques années à peine, l'IA deviendra une existence omnipotente.

Mais où est la limite supérieure de l'IA basée sur le paradigme Transformer du grand modèle de langage ? Peut-il vraiment complètement nous remplacer ? Il y a eu de nombreuses réponses à ces questions. Certaines personnes pensent que le grand modèle de langage apportera une nouvelle ère, qui est très proche de l'intelligence artificielle qui peut compléter tout le travail humain ; mais certaines personnes pensent que ce n'est qu'un perroquet aléatoire, qui ne peut pas du tout comprendre le monde. À l'heure actuelle, quel que soit le point de vue, il manque une interprétation suffisante et un système bien formé.

Afin de permettre aux gens de voir ce problème plus en détail, Joseph Hifakis, un académicien étranger de l'Académie chinoise des sciences, a écrit "Comprendre et changer le monde", exposant sa compréhension de plusieurs décennies de l'intelligence artificielle menant à l'IAG du point de vue de principes cognitifs pensant aux chemins potentiels. Joseph Schiffakis avait remporté le prix Turing dix ans plus tôt que Hinton et al. Cette fois, il a exposé très clairement du point de vue des principes cognitifs sa "capacité et son incapacité de l'intelligence artificielle" et "la voie menant à l'IAG". ” réflexion de plusieurs décennies.

丨Focus

1. Les humains et l'intelligence artificielle se complètent plutôt que ne se substituent l'un à l'autre. Les humains possèdent des connaissances de bon sens et la capacité abstraite de former des modèles, ce qui ne peut être atteint par le paradigme actuel de l'intelligence artificielle, de sorte qu'ils ne peuvent pas former des innovations fondées sur des principes. L'intelligence artificielle peut prédire des choses complexes qui peuvent avoir un grand nombre de variables sans en maîtriser les principes. C'est ce que les humains ne peuvent pas réaliser en raison de la limitation de leurs capacités cognitives. C'est ce que Hippakis appelle "l'oracle de l'IA", et cela pourrait apporter une "nouvelle science". 2. La plus grande menace que l'IA apportera est que la dépendance des êtres humains à son égard peut nous amener à abandonner indéfiniment nos propres jugements, à perdre notre pouvoir de décision et à devenir finalement des "esclaves d'esclaves". Pour éviter cela, les humains doivent être capables de maîtriser tous les processus de développement et d'application des connaissances, en veillant à ce que ces machines ne prennent pas elles-mêmes des décisions clés pour nous. 3. Selon la situation des capacités complémentaires, pour les êtres humains, le meilleur scénario futur est une coopération harmonieuse entre les machines et les êtres humains, et une nouvelle prospérité peut être obtenue grâce à cette coopération. Dans ce processus, la société doit développer et appliquer la technologie dans le but d'améliorer la vie humaine.

01 L'IA actuelle est loin de l'AGI

**Technologie Tencent : Que signifie l'émergence de ChatGPT pour l'intelligence artificielle ? S'agit-il d'un nouveau paradigme ou plutôt d'une application spécifique d'un paradigme existant ? **

Joseph Schiffakis : Je pense que l'émergence de ChatGPT et d'autres modèles de langage est une étape importante dans le développement de l'intelligence artificielle. ** En fait, nous avons subi un changement de paradigme tel que pratiquement toutes les requêtes en langage naturel peuvent être répondues, souvent avec une réponse très pertinente à la question. Les grands modèles de langage résolvent des problèmes de longue date dans le traitement du langage naturel. ** C'est un domaine où les chercheurs échouent depuis des décennies, traditionnellement abordé par le courant de pensée symboliste, qui dissocie syntaxe et sémantique du langage pour construire les règles de l'intelligence artificielle.

Désormais, les grands modèles de langage adoptent une approche différente et considèrent que le sens d'un mot est défini par tous les contextes dans lesquels il est utilisé. Ils utilisent l'apprentissage automatique pour effectuer des calculs de distributions de probabilités. Pour les mots, cette distribution de probabilité est utilisée pour prédire le mot suivant le plus probable dans une phrase. C'est une méthode très simple mais efficace. C'est un peu naïf, mais c'est super pour résumer du texte. Bien sûr, la nature de la solution qu'il emploie détermine également ses limites. Les modèles de langage sont parfaits pour créer des résumés de certains textes, ou même pour écrire de la poésie. Si vous en faites un résumé de l'histoire chinoise du XXe siècle, cela peut faire un très bon travail. Mais d'un autre côté, si vous posez des questions très précises ou résolvez des problèmes de logique très simples, cela peut mal tourner. Nous pouvons comprendre cela car ce type de question est un modèle indépendant du contexte, par conséquent, nous ne pouvons pas vérifier la cohérence du texte et des réponses qu'il fournit.

**Technologie Tencent : il existe désormais de nombreuses nouvelles technologies, telles que les arbres logiques (LOT), qui peuvent aider les machines à se guider pour comprendre les processus logiques. Désormais, les grands modèles de langage s'entraînent à développer des processus logiques plus spécifiques ou plus complexes. Il existe de nombreuses couches dans un réseau de neurones, et plus le niveau est élevé, plus la compréhension est abstraite. Est-il possible qu'il y ait quelque chose comme un modèle ou une compréhension structurelle du monde dans ces neurones de niveau supérieur ? **

Joseph Schiffakis : Dans mon livre, j'explique que les humains et les machines développent et appliquent différents types de connaissances. Cette connaissance permet aux humains et aux machines de résoudre différents types de problèmes, selon leur validité et leur généralité. **Une distinction importante est faite entre les « connaissances scientifiques et techniques » et les « connaissances empiriques tactiles acquises par l'apprentissage ». Par exemple, quand je parle, quand je marche, mon cerveau résout en fait des problèmes très difficiles, mais je ne comprends pas comment ils fonctionnent, et Les réseaux de neurones génèrent les mêmes connaissances empiriques implicites, nous permettant de résoudre des problèmes sans comprendre Comment ils travaillent. **

C'est ce que nous appelons la connaissance basée sur les données ou axée sur les données. Au contraire, il est très important que les meilleures connaissances scientifiques et techniques reposent sur l'utilisation de modèles mathématiques qui permettent une compréhension approfondie des phénomènes physiques des objets et des composants. Par exemple, lorsque vous construisez un pont, vous pouvez être sûr (par ses principes) que le pont ne s'effondrera pas avant des siècles. Cependant, avec les réseaux de neurones, nous pouvons faire certaines prédictions, mais nous ne comprenons pas comment elles fonctionnent, et il est impossible de construire une théorie qui explique le comportement des réseaux de neurones. **Cette propriété rend les grands modèles de langage très limités dans les applications critiques sans intervention humaine.

La question est de savoir si ces systèmes GPT-LM peuvent atteindre une intelligence de niveau humain. C'est le problème. Je pense qu'il y a beaucoup de confusion sur ce qu'est l'intelligence et comment y parvenir. Parce que si nous n'avons pas un concept clair de l'intelligence, nous ne pouvons pas développer de théories sur son fonctionnement, et nous ne pouvons pas définir clairement l'intelligence.

Et aujourd'hui, il y a beaucoup de confusion. Récemment, j'ai écrit un article traitant de cette question. En fait, si vous ouvrez un dictionnaire, tel que le dictionnaire Oxford, vous verrez que **l'intelligence est définie comme la capacité d'apprendre, de comprendre et de penser au monde, et d'atteindre des objectifs et d'agir avec un but. **

**Les machines peuvent faire des choses impressionnantes. Ils peuvent surpasser les humains dans les jeux. Ils sont capables d'accomplir diverses tâches. De grandes réalisations ont également été faites récemment. Ils peuvent effectuer des tâches liées aux capacités sensorielles, telles que la reconnaissance visuelle. Cependant, les machines ne peuvent pas surpasser les humains en matière de conscience de la situation, d'adaptation aux changements environnementaux et de pensée créative. ** Tout simplement, GPT est très bon pour traduire le langage naturel, mais il ne peut pas conduire une voiture. Vous ne pouvez pas utiliser GPT pour conduire une voiture. Il y a encore un grand écart entre eux. Je pense que nous avons encore un long chemin à parcourir. **Aujourd'hui, nous n'avons qu'une faible intelligence artificielle, nous n'avons que quelques composants d'intelligence générale. Nous avons besoin de quelque chose de plus. **

** Je pense qu'une étape majeure vers l'intelligence générale sera les systèmes autonomes. Le concept est désormais clair, les systèmes autonomes naissent de la nécessité d'automatiser davantage les organisations existantes, en remplaçant les humains par des agents autonomes**, ce qui est également envisagé par l'Internet des objets. En fait, nous parlons de voitures autonomes, de réseaux intelligents, d'usines intelligentes, de fermes intelligentes, de réseaux de télécommunications plus intelligents. **Ces systèmes sont très différents de Narrow AI en ce sens que ces systèmes sont composés d'agents contraints en temps réel et doivent faire face à de nombreux objectifs différents. Ces objectifs impliquent des changements d'actions et d'activités dans de nombreux domaines différents, et GPT n'est pas bon dans ce domaine, il est bon pour gérer le langage naturel et la transformation de documents. ** De plus, nous avons besoin de systèmes capables de fonctionner harmonieusement avec des agents humains. Tout cela n'est pas possible avec d'autres modèles de langage. On est donc encore assez loin de l'intelligence artificielle générale. Bien sûr, tout se résume à ce que nous considérons exactement comme l'intelligence, car si l'intelligence est définie comme de simples conversations et jeux, alors nous avons atteint l'intelligence générale artificielle, mais je ne suis pas d'accord avec cette définition.

**Technologie Tencent : le test standard d'intelligence dans le passé était le test de Turing. Evidemment GPT a passé le test de Turing en termes de dialogue, mais ce n'est pas une intelligence autonome. Dans ce cas, comment juger de l'intelligence de l'IA ? **

Joseph Schiffakis : J'ai récemment écrit un article affirmant que le test de Turing n'est pas suffisant. **Je propose un autre test, que j'appelle le test de substitution. En fait, l'idée est que si je pouvais substituer une machine à un autre agent réalisant une tâche, je dirais que cet agent est aussi intelligent que l'agent réalisant la tâche. ** Si je pouvais remplacer un humain par une machine pour conduire une voiture, enseigner à un humain ou être un bon chirurgien, alors je dirais qu'une machine est aussi intelligente qu'un humain.

Donc, si vous prenez cette définition, au lieu de tester, vous penseriez que l'intelligence humaine est en fait une combinaison de compétences. Comprenez-vous à quel point nous sommes loin de l'intelligence générale ? Dans ce test alternatif, certaines actions peuvent devoir être réalisées par une machine, telle qu'un robot. Quand on veut faire du jardinage, il faut un robot pour le faire. GPT n'est qu'un modèle de langage, il n'inclut pas ces pièces de robot.

**Technologie Tencent : selon votre définition, nous ne verrons disparaître l'écart entre l'intelligence artificielle et l'intelligence humaine que lorsque l'informatique et les systèmes pourront exécuter automatiquement de grandes quantités de texte et s'adapter à des environnements changeants. Et maintenant, des applications telles que AutoGPT ou Baby AGI peuvent diviser la tâche en différentes étapes et essayer d'atteindre l'objectif de la tâche à travers différents processus. C'est assez automatisé d'une certaine manière. Pensez-vous qu'il se rapproche d'AGI dans le processus ? **

Joseph Schiffakis : Il y a beaucoup de problèmes ici, y compris des problèmes d'ingénierie des systèmes. **Il ne suffit pas d'avoir un agent superintelligent, car il faut aussi garantir que son comportement peut être expliqué. **C'est aussi un problème que j'aborde longuement dans ma thèse, qui est le problème de l'intelligence artificielle explicable ou de l'intelligence artificielle sûre dont tout le monde parle.

Ce que les gens ne comprennent pas, c'est qu'avec les réseaux de neurones, nous ne pouvons pas comprendre leur comportement. Évidemment, vous ne pouvez pas expliquer pourquoi il fait une telle sortie, car vous ne pouvez pas avoir de modèle mathématique pour décrire leur comportement. Bien sûr, nous comprenons parfaitement comment les fonctions mathématiques de chaque nœud du réseau de neurones sont calculées. ** C'est juste une combinaison linéaire d'entrées, plus quelques fonctions non linéaires, afin que nous puissions comprendre le comportement de chaque nœud. **Mais lorsque nous essayons de comprendre les propriétés émergentes de l'ensemble du réseau de neurones, nous désespérons. ** Mais ce n'est pas un problème spécifique à l'IA, c'est un problème général en science.

Vous ne pouvez pas déduire les propriétés de l'eau uniquement à partir des propriétés des atomes d'oxygène et d'hydrogène. Même si vous comprenez parfaitement cela, il y a un problème d'échelle et de complexité. C'est le point du désespoir. ** Nous ne pouvons pas utiliser la logique de la combinaison technologique ou du réductionnisme pour comprendre le comportement global du réseau de neurones à travers le comportement des éléments qui le composent. Ainsi, la seule façon de l'appliquer à un réseau de neurones est de le tester, car nous ne pouvons pas vérifier son comportement et nous ne pouvons pas raisonner à ce sujet. **Mais si seuls des tests sont appliqués, cela signifie que vous adoptez une approche purement expérimentale, et non une compréhension théorique. Ainsi, le type de contenu que vous pouvez réellement tester varie considérablement : par exemple, vous ne pouvez pas tester les problèmes de sécurité holistiques car vous ne pouvez pas analyser le comportement global. Mais vous pouvez effectuer des tests de sécurité de manière défensive.

Nous avons toujours appliqué les tests au matériel et aux logiciels. Mais pour tester, vous devez avoir des critères sur la durée du test. Pour le matériel et les logiciels, nous avons des modèles et des normes de couverture. Mais pour les réseaux de neurones, nous n'avons pas cette norme. Je ne dis pas que c'est un problème très difficile à résoudre, **Pour les réseaux de neurones, nous avons des possibilités alternatives, telles que des échantillons contradictoires. Mais ces manipulations cassent une certaine robustesse dans leur comportement. **Alors tu vois, si je te pose une question, tu me donneras une réponse. Si je modifie légèrement votre question, vous donneriez des réponses similaires si vous étiez un être humain. Mais nous savons que lorsque nous modifions légèrement l'entrée d'un neurone, la réponse peut être très différente. C'est donc aussi quelque chose à considérer.

02 L'émergence ne peut jamais être comprise

**Tencent Technology : pensez-vous que l'émergence de ce concept, c'est-à-dire la transformation des capacités de base en capacités plus avancées, est inexplicable ? **

Joseph Schiffakis : Oui. Vous sortez un sujet tel que la physique. La physique est une matière très mature. Les physiciens essaient d'établir un lien logique entre la théorie des particules, la théorie quantique ou la relativité générale, et je ne pense pas qu'ils y parviendront un jour car il y a un problème d'échelle. Je pense que des problèmes similaires existent dans tout type de système.

**Technologie Tencent : Donc, à votre avis, à cause de ce phénomène inexplicable, nous ne pouvons pas prédire ce que le grand modèle de langage peut faire ? **

Joseph Schiffakis : Évidemment, nous ne pouvons pas construire un modèle pour prédire ce qu'il peut faire. On ne peut pas construire de modèles, je veux dire des modèles mathématiques. Ici, la communauté IA utilise le mot modèle pour désigner un réseau de neurones, ce qui est source de confusion.

Je pense que nous devrions adopter une autre approche holistique. Puisque nous ne pouvons pas former un modèle pertinent, ** peut-être pouvons-nous avoir un moyen de former une théorie basée sur des tests et des observations empiriques. C'est censé être une théorie des tests sur les propriétés statistiques. **Mais selon ma compréhension, nous avons des besoins qui sont techniquement difficiles à satisfaire dans les réseaux de neurones d'aujourd'hui.

**Technologie Tencent : oui. Donc, pour comprendre ces capacités qui en découlent, faut-il établir une discipline comme la psychologie pour la comprendre ? **

Joseph Schiffakis : Exactement. C'est une bonne question. Mais il sera un peu problématique d'utiliser GPT lui-même pour établir une telle compréhension. Parce qu'en fait certaines personnes disent maintenant qu'un TPG réussit l'examen pour devenir avocat ou médecin, alors pourquoi un tel TPG ne peut-il pas devenir médecin ou avocat ?

Je pense que c'est un argument très intéressant, mais il implique le problème de robustesse que j'ai mentionné plus tôt. Passant également l'examen, la capacité entre les humains et les réseaux de neurones est très différente.

La question de la robustesse est que si vous demandez à une personne sensée de répondre à la question, si vous modifiez un peu la question, la réponse sera similaire. GPT ne garantit pas l'uniformité des réponses. Un autre problème est que les humains peuvent compter sur la logique pour contrôler ce qu'ils font et ce qu'ils doivent dire. Mais parce qu'un réseau de neurones, généralement comme ChatGPT, n'a aucun contrôle sémantique sur ce qu'il fait, il peut faire des choses qui sont manifestement fausses. Aucune personne raisonnable ne ferait cette erreur. Donc, la conclusion de tout l'argument est que si GPT peut logiquement contrôler la cohérence de ce qu'il dit, et qu'il est donc robuste, alors permettre à GPT d'être un avocat serait formidable. Mais nous sommes en fait loin de ce niveau d'intelligence artificielle. **

**Technologie Tencent : pourquoi ChatGPT est-il si difficile à contrôler ? Est-ce parce qu'il s'agit d'une fonctionnalité informatique distribuée d'un ordinateur ? **

Joseph Schiffakis : GPT est un autre type d'ordinateur. C'est un ordinateur naturel. Ce n'est pas un ordinateur qui exécute des programmes pendant que vous les écrivez, vous avez un contrôle absolu sur ce que le système peut et ne peut pas faire. Lorsque vous entraînez un réseau de neurones, vous perdez ce contrôle. Ces systèmes peuvent être créatifs dans un sens parce qu'ils ont des degrés de liberté.

Maintenant, si nous pouvons contrôler ces degrés de liberté et comprendre comment ils se comportent, tout ira bien. **Le problème est que nous ne pouvons pas contrôler cet énorme degré de liberté des réseaux de neurones, et il est presque impossible de le contrôler théoriquement. **Vous pouvez faire une approximation approximative de leur comportement, mais vous n'aurez pas de résultats exacts. Si vous avez un programme informatique traditionnel, même s'il s'agit d'un programme long, vous pouvez toujours extraire le modèle sémantique et comprendre ce qui s'y passe. C'est une distinction très importante.

**Technologie Tencent : pouvez-vous parler en détail du concept de machines naturelles ? **

Joseph Schiffakis : **Les machines naturelles sont des intelligences qui utilisent des phénomènes naturels. Par exemple, un réseau de neurones est une machine naturelle similaire à un ordinateur quantique ou à d'autres ordinateurs. **Avant, quand j'étais étudiant, nous avions aussi beaucoup d'ordinateurs. Dans la construction de cette machine naturelle, nous utiliserons certains principes des phénomènes physiques, car tout phénomène physique contient un certain contenu informatif. Par exemple, quand je lance une pierre, la pierre est comme un ordinateur, elle calcule une parabole, qui forme un algorithme. Vous pouvez observer n'importe quel phénomène, et vous pouvez utiliser des phénomènes naturels pour construire des ordinateurs. Mais ** ces ordinateurs ne sont pas préprogrammés. Ils exploitent certaines lois de la physique ou des mathématiques. C'est le cas des réseaux de neurones. **

**Technologie Tencent : Parlons d'un autre contenu de votre livre. Vous avez discuté de certains problèmes de recherche et d'innovation. Nous savons tous que bien que de nombreuses idées de réseaux de neurones viennent d'Europe ou du Japon, les entreprises qui les utilisent et produisent des produits, comme OpenAI et Deepmind, sont toutes aux États-Unis. Selon vous, quelle en est la raison? **

Joseph Schiffakis : Il y a une différence entre attention et innovation. **Parce que l'innovation est la capacité d'appliquer la recherche pour développer de nouveaux produits ou services afin de réaliser des ruptures technologiques. **

Je pense que c'est un très gros avantage des États-Unis, ils ont fait un excellent travail d'innovation. Cela a commencé en Californie, où vous avez ce que j'appelle l'écosystème de l'innovation. **L'écosystème de l'innovation rassemble de très bonnes institutions académiques, de grandes entreprises technologiques, des start-ups, du capital-risque et du capital. Cette cohérence permet une traduction efficace et efficiente des nouveaux résultats et applications. D'autres pays ont également adopté ce modèle. L'idée d'un écosystème d'innovation est courante, et des pays plus petits comme Israël et la Suisse ont eu beaucoup de succès. **Donc, pour résumer, je pense que pour réussir l'innovation, il faut associer de grandes universités à de grandes industries. Cela dépend non seulement des ressources matérielles, mais aussi de facteurs culturels, l'éducation et les institutions devraient reconnaître la créativité et l'esprit d'entreprise individuels.

03 Oracle du réseau de neurones : une nouvelle science incompréhensible

**Technologie Tencent : vous venez de mentionner que les réseaux de neurones sont le processus de simulation des cerveaux biologiques et du monde physique. Comment cette simulation est-elle possible alors que notre compréhension des cerveaux biologiques est encore très limitée ? À quelle distance ce réseau de neurones se trouve-t-il de notre cerveau biologique ? **

Joseph Schiffakis : C'est une bonne question. Je viens de dire que les réseaux de neurones sont une sorte d'ordinateur naturel, qui adopte un paradigme différent de celui des ordinateurs traditionnels. Plus précisément, les réseaux neuronaux s'inspirent du fonctionnement neuronal de notre cerveau. Il imite certains des processus naturels par lesquels les nerfs fonctionnent. **Cependant, les réseaux de neurones ne font qu'imiter les principes de calcul du cerveau, ce qui est plus complexe car il a des structures et des fonctions différentes dans différentes régions. Et ces différentes fonctions sont construites au-dessus d'une architecture plus complexe, que nous essayons encore de comprendre. **Et le réseau neuronal du cerveau est un mode de calcul parallèle. Les réseaux de neurones en sont également très différents à cet égard.

Il faut aussi comprendre que ** si nous n'étudions le cerveau qu'au niveau biologique, je ne pense pas que nous puissions saisir pleinement toutes les intentions humaines. **À titre d'exemple, utilisez votre ordinateur portable pour exécuter un logiciel. Ensuite, je vous donnerai des instruments électroniques pour étudier le fonctionnement de ce matériel par des mesures. Si vous avez compilé le programme, toutes les connaissances sont présentes sous forme de signaux électriques au niveau matériel. Mais uniquement en analysant ce signal électrique, il est impossible de trouver le code source du logiciel problématique, car vous avez ce problème d'échelle. ** Je pense que c'est la clé pour comprendre l'intelligence humaine, nous devons étudier le cerveau, mais pas seulement le cerveau. Par conséquent, le phénomène informatique du cerveau est une combinaison de signaux électriques, de phénomènes physico-chimiques et de phénomènes psychologiques. **

** Et le problème aujourd'hui est de savoir comment connecter les phénomènes mentaux au calcul cérébral. C'est un défi majeur à mon sens. Si nous n'y parvenons pas, je ne pense pas que nous pourrons jamais comprendre l'intelligence humaine. **

**Technologie Tencent : vous avez mentionné que l'intelligence artificielle ouvre une nouvelle voie pour le développement des connaissances humaines, dépassant les limites du cerveau humain pour traiter des problèmes complexes. À quel moment pensez-vous que l'IA peut complètement surpasser les humains ? **

Joseph Schiffakis : Oui. Dans mon livre, j'explique que **les machines peuvent nous aider à surmonter certaines des limites de notre pensée. ** Cela a été confirmé par des psychologues. Les limites ici incluent l'esprit humain étant limité par la complexité cognitive. **Nous, les humains, ne pouvons pas comprendre la relation entre plus de cinq paramètres indépendants. C'est pourquoi les théories que nous développons sont très simples. Nous n'avons pas de théorie avec des milliers de paramètres indépendants formés. **

**Je pense qu'il est maintenant possible de développer une théorie avec des milliers de paramètres. Je pense qu'aujourd'hui, nous pouvons construire ce que j'appelle un "oracle de réseau de neurones" à l'aide de superordinateurs et d'intelligence artificielle. Un oracle de réseau de neurones est un réseau de neurones formé pour comprendre et analyser des phénomènes complexes ou des systèmes complexes. Ces phénomènes complexes peuvent dépendre de milliers de paramètres. ** Prenant l'exemple des phénomènes physiques, il existe actuellement des projets intéressants, tels que la formation de réseaux de neurones pour prédire les tremblements de terre. Les participants à ces projets n'ont pas besoin de posséder beaucoup de connaissances scientifiques, il suffit d'alimenter le modèle avec la base de données. Ils ont entre les mains des données sur les séismes du monde entier. Ils ont publié un article expliquant qu'avec une procédure de formation très simple, ils pourraient faire de meilleures prédictions qu'ils ne le pourraient en utilisant les théories complexes existantes. **

** Je pense donc que c'est une direction très importante à l'avenir. Nous aurons plus d'"oracles" qui nous aideront à prédire le développement de phénomènes complexes ou de systèmes complexes. ** Par exemple, nous aurons des systèmes de jumeaux numériques intelligents qui nous aideront à faire des prédictions, mais ne comprendront pas (la logique des prédictions). Donc ** nous allons avoir un nouveau type de science. **Je pense que c'est intéressant de pouvoir utiliser ce genre de science, mais il faut aussi contrôler la qualité des connaissances produites. **Vous devriez y penser, car l'humain n'aura plus le privilège exclusif de produire des connaissances. Désormais, l'homme doit rivaliser avec les machines. **

La question importante pour notre société est donc de savoir si nous pouvons coopérer avec des machines et maîtriser le développement et l'évolution des connaissances développées par les machines. ** Ou nous développerons une situation où la science dirigée par l'homme et la science dirigée par la machine coexisteront. ** Ce serait un scénario intéressant si nous avions une science parallèle alimentée par ces machines.

**Technologie Tencent : vous avez mentionné que l'esprit humain est également un système informatique. Les deux systèmes sont très similaires dans leurs composants par rapport aux machines automatiques. Alors, quelles sont les capacités uniques des humains par rapport à une intelligence artificielle forte ? **

Joseph Schiffakis : C'est une très bonne question. Parce que j'ai travaillé sur des systèmes autonomes, j'ai essayé de concevoir des voitures autonomes. Pour une voiture autonome, vous auriez des fonctions comme la perception, transformant les informations sensorielles en concepts. Vous auriez une fonction réflexive qui modélise le monde extérieur et prend des décisions. Prendre des décisions signifie gérer de nombreux objectifs différents. Pour atteindre ces objectifs, vous avez besoin de planification et plus encore. Il existe en effet de nombreuses similitudes entre les systèmes autonomes et l'esprit humain.

Il existe cependant des différences importantes entre les humains et les systèmes autonomes. ** Une différence très importante est que les humains possèdent ce que j'appellerais une connaissance de bon sens. La connaissance de bon sens est le réseau de connaissances que nous développons dès la naissance. Nous avons un mécanisme, nous ne savons pas comment il fonctionne. Mais par l'expérience de chaque jour, vous enrichissez ce réseau et acquérez les connaissances de bon sens pour comprendre le monde. ** Pour un être humain, lorsqu'il pense, il relie des informations sensorielles à ce modèle conceptuel de bon sens. Les résultats de l'analyse sont ensuite renvoyés du modèle conceptuel aux informations sensorielles. Ceci est très différent des réseaux de neurones. Laissez-moi vous donner un exemple : je vous montre un panneau d'arrêt partiellement recouvert de neige, et vous dites immédiatement que c'est un panneau d'arrêt sans aucun doute.

Maintenant, si vous voulez entraîner un réseau de neurones à reconnaître un panneau d'arrêt partiellement recouvert de neige, cela signifie que puisque le réseau de neurones ne peut pas connecter les informations sensorielles au modèle conceptuel, vous devrez entraîner le réseau de neurones à comprendre tous les temps. condition. ** C'est pourquoi les enfants sont plus faciles à apprendre que les réseaux de neurones. Si vous montrez une voiture à un enfant une fois, il dira que c'est une voiture la prochaine fois. **Parce qu'ils forment un modèle abstrait de ce qu'est une voiture à travers l'observation. Ils peuvent relier des informations sensorielles à ce modèle conceptuel. ** C'est l'un des plus grands défis auxquels l'intelligence artificielle est confrontée aujourd'hui. **C'est également un problème important pour les voitures autonomes. Les voitures autonomes devraient être capables de collecter des informations sensorielles et de relier ces informations à des cartes, etc. Prendre des décisions basées uniquement sur des informations sensorielles pourrait être dangereux. Nous en avons déjà eu des exemples.

On ne sait pas pourquoi les humains sont capables de comprendre des situations complexes sans beaucoup d'analyses et de calculs. Nous pouvons le faire parce que nous pouvons relier des informations sensorielles à certaines informations conceptuelles, des informations abstraites. Donc, là où nous ne pouvons pas du tout nous tromper, les réseaux de neurones peuvent beaucoup se tromper. Je me souviens d'une fois où ma Tesla s'est arrêtée soudainement parce qu'elle pensait que la combinaison de la lune et des arbres était un feu jaune. Cela n'arrive absolument pas aux humains, car les humains peuvent contextualiser l'information pour lui donner un sens. J'ai tout de suite compris que c'était la lune, car les feux de circulation ne peuvent pas flotter dans le ciel.

Donc, quand quelqu'un dit que ces systèmes peuvent rivaliser avec les humains à certains égards, c'est peut-être le cas. **Mais l'intelligence humaine se caractérise par votre capacité à comprendre le monde et à poser des questions avec un but. L'intelligence artificielle est encore loin de cet objectif. **

**Technologie Tencent : parce que vous avez étudié la conduite autonome, qui comprend déjà une compréhension de l'environnement, de la cognition et de la perception. Lecun soutient que parce que nous sommes des animaux visuels, notre compréhension du monde est largement basée sur la vision. Si les grands modèles de langage peuvent être multimodaux et apprendre de l'environnement, peuvent-ils comprendre le monde lui-même ? **

Joseph Schiffakis : **Je pense que si l'IA ne peut pas relier les connaissances concrètes aux connaissances symboliques, il sera impossible de comprendre le monde uniquement en s'appuyant sur de grands modèles de langage. L'IA ne peut le faire qu'en combinant des connaissances concrètes, c'est-à-dire des connaissances dans des bases de données, avec des connaissances symboliques. Si ce n'est pas le cas, l'intelligence humaine surpassera les machines. J'en suis presque sûr. ** Je sais que beaucoup de gens ne seront pas d'accord avec moi car l'intelligence computationnelle peut analyser et extraire des données à travers des millions de paramètres. Les humains ne font pas ça bien. Mais les humains sont bons pour traiter les problèmes abstraits.

**L'intelligence humaine dépend de la capacité à utiliser des analogies et des métaphores. ** Même si nous ne comprenons pas comment fonctionne la créativité humaine, je peux quand même dire que c'est très important. **Parce que dans la créativité humaine une distinction doit être faite entre découverte et invention. **La machine peut découvrir quelque chose à partir de données plus complexes et plus volumineuses en utilisant l'analyse de données. Mais l'invention est une autre affaire. Invention signifie que j'ai inventé une théorie. Je pense que nous sommes loin de comprendre cette partie de l'intelligence humaine.

Mais la capacité de découverte est également utile, car elle peut aider les humains à deviner des modèles plus généraux. C'est quelque chose que nos propres esprits ne peuvent pas découvrir. Mais je ne pense pas que les machines seront capables de créer de nouvelles théories scientifiques ou de créer de nouvelles machines. **Ils fourniront une synthèse des connaissances qu'ils possèdent. Comme un processus de distillation, ils ont une énorme quantité de connaissances, qu'ils distillent ensuite et vous présentent. **Ceci est incroyable. Mais cela ne suffit pas. Pour atteindre plus de possibilités, il faut encore des capacités humaines.

Dans un article que j'ai écrit, j'ai expliqué qu'il existe en fait différents types d'intelligence. L'intelligence humaine est très spéciale car la base du développement de l'intelligence humaine est le monde spécial dans lequel nous nous efforçons de vivre. **Si nous étions nés dans un autre monde, peut-être développerions-nous une autre intelligence. L'intelligence est la capacité de générer des connaissances et de résoudre des problèmes. ** Bien sûr, maintenant que nous voyons des machines capables de résoudre certains problèmes que nous ne pouvons pas résoudre, elles possèdent en fait un autre type d'intelligence. C'est super, on a une sorte de complémentarité. **

04 Le développement de la science et de la technologie devrait donner la priorité à l'amélioration de la vie humaine

**Technologie Tencent : Nous venons d'avoir quelques discussions philosophiques, et nous allons maintenant discuter de certaines questions concernant l'impact moral de l'IA sur la société. La première question est que, contrairement à l'optimisme selon lequel les nouvelles technologies créeront suffisamment de nouveaux emplois, vous mentionnez que l'intelligence artificielle causera de graves problèmes de chômage. Et si ces problèmes peuvent être difficiles à résoudre sans changer le système socio-économique. Pouvez-vous expliquer pourquoi vous dites cela? Parce que beaucoup de gens s'en inquiètent. **

Joseph Schiffakis : Le développement de l'IA augmentera la productivité. Il existe des lois très simples en économie : si la productivité augmente, il faut de moins en moins de personnes pour faire le même travail. Ce point est très clair.

Maintenant, certaines personnes pensent que l'IA créera des opportunités d'emploi, en particulier pour les personnes de haute qualité, elle créera de nouvelles opportunités d'emploi. **Mais si vous pesez les emplois créés par l'IA par rapport aux emplois perdus à cause d'elle, l'impact de l'IA doit être négatif. **

Tout le monde s'accorde maintenant à dire que l'IA causera du chômage. C'est évident. **Mais tout au long de l'histoire de l'humanité, la technologie a été en mesure d'augmenter la productivité, ce qui, en fin de compte, améliore la qualité de vie des gens. **Pendant des siècles, les gens ont travaillé moins d'heures. Nous devrions envisager de résoudre ce problème par des réformes économiques et sociales appropriées. Y compris la réforme de l'éducation, car il faut éduquer les gens pour qu'ils s'adaptent à cette nouvelle ère.

**Technologie Tencent : lors de la révolution industrielle, la vie des gens n'a pas été grandement améliorée au début. Ils travaillent dans des usines et peuvent travailler 14 heures par jour. Pensez-vous que les conditions de vie des gens seront pires au début de l'innovation technologique ? **

Joseph Schiffakis : Non, je pense que la révolution industrielle a généralement amélioré la qualité de la vie humaine. C'est le cœur du sujet. ** Je pense que le problème avec la société d'aujourd'hui est qu'elle ne prend pas cet objectif au sérieux, ils pensent que le progrès technologique devrait être une priorité. Mais je pense que la plus haute priorité est de savoir comment améliorer la vie humaine, ce qui devrait être la première priorité. Au moins, je suis un humanitaire. **

**Tencent Technology : je suis également un humanitaire et je comprends la gravité de ce problème. Pensez-vous que l'IA pourrait avoir des conséquences graves autres que le chômage ? **

Joseph Schiffakis : C'est possible. Mais le problème est que certaines personnes disent que l'intelligence artificielle constituera une menace pour les êtres humains, et même nous pouvons devenir esclaves des machines. Je n'aime pas cette déclaration. Je dis dans mon livre que la technologie est neutre. Vous avez de l'énergie atomique, vous pouvez utiliser l'énergie atomique pour générer de l'électricité, et vous pouvez l'utiliser pour fabriquer des bombes et tuer des gens. C'est votre décision. Si vous y réfléchissez bien, tous ces gens qui disent que l'intelligence artificielle est une menace pour l'être humain sont complètement stupides. Parce que l'utilisation de la technologie est une responsabilité humaine. **

** Je pense que ces gens disent cela uniquement parce qu'ils veulent également réduire la responsabilité humaine à cet égard. **Parce qu'ils veulent que les gens acceptent l'IA, ce qui est dommage. Les gens doivent assumer la responsabilité des problèmes éventuels. Je ne sais pas ce qui se passe en Chine, mais malheureusement, dans le monde occidental, les gens ne sont pas trop sensibles à cela. Ils pensent que la technologie (l'impact négatif) est prédéterminée, ce qui est très mauvais. J'ai également dit dans mon livre que le plus grand risque n'est pas que les humains soient gouvernés par des machines, mais que les humains acceptent que les machines prennent toutes les décisions clés. Si j'avais un esclave qui pouvait faire ce que je voulais, comme dans ces mythes arabes, alors à la fin je serais l'esclave de mon esclave. **Donc le danger vient du peuple. J'ai aussi vu cela dans les écoles françaises, si un enfant a accès à un chatbot, il devient incapable d'écrire, d'organiser sa pensée et finit par dépendre de la machine. Ce n'est pas un scénario rose pour l'humanité.

**Tencent Technology : il y a quelques jours, de nombreuses personnalités bien connues dans le domaine de l'IA, dont Sam Altman, ont signé une déclaration sur la menace d'extinction de l'IA. Dans votre livre, vous avez déclaré que les médias et les initiés actuels de l'industrie sont exagérer les capacités et les menaces de l'IA. L'une d'entre elles ? Pensez-vous que le paradigme actuel de l'IA a la possibilité de provoquer une crise de la civilisation humaine ? **

Joseph Schiffakis : **Les dangers posés par l'IA sont clairs et peuvent provenir principalement de son utilisation abusive. ** Malheureusement, nous n'avons aujourd'hui aucune réglementation pertinente contre ce danger. Parce que le gouvernement ne sait pas comment ces choses sont développées, le manque de transparence signifie que les réglementations ne peuvent pas être appliquées. C'est tant pis pour la société. L'IA est très susceptible d'être utilisée à mauvais escient, j'ai donc également signé une pétition en faveur d'une enquête sur l'entreprise.

La technologie est très bonne et je n'ai rien contre la technologie. C'est une bonne chose que nous ayons des chatbots, et nous devrions progresser dans cette direction. ** L'intelligence artificielle, y compris l'intelligence artificielle générale, est une bonne chose, et je n'ai rien contre. Ce que je suis contre, c'est l'utilisation abusive de ces technologies. Divers pays et institutions internationales devraient appliquer les réglementations, bien qu'il existe certaines difficultés car le grand modèle linguistique lui-même manque d'interprétabilité. Mais nous pouvons toujours exiger une certaine transparence de la part des sociétés de développement, comme la manière dont les ensembles de données sont construits et la manière dont ces moteurs sont entraînés. **

**Technologie Tencent : Récemment, le Congrès américain a tenu une audience sur l'intelligence artificielle et les personnes standard. Y compris Sam Altman, Marcus a participé, et des projets de loi connexes sont en cours d'adoption en Europe. Pensez-vous que c'est un bon début ? **

Joseph Schiffakis : Mais le problème est que **lorsque les gens parlent d'intelligence artificielle sûre, souvent ils ne parlent pas de la même chose. **En tant qu'ingénieur, la sécurité a une définition très claire pour moi. D'autres peuvent penser qu'une IA sûre signifie faire autant confiance à l'IA qu'aux humains. La logique sous-jacente de cette idée est de traiter l'intelligence artificielle comme un être humain et non comme une machine. Il y a beaucoup d'autres articles qui disent que peu importe ce que fait l'IA, ce qui compte c'est l'intention de l'IA, donc vous devez être capable de séparer l'intention du résultat et ainsi de suite. Il y a donc beaucoup de discussions. ** J'espère que toute cette discussion mènera à une réglementation sérieuse, pas seulement à une liste de souhaits. **

**Technologie Tencent : Parlons donc de possibilités plus brillantes. Si l'intelligence artificielle n'est pas mal utilisée, en quoi peut-elle changer nos vies ? **

Joseph Schiffakis : Si nous n'abusons pas de l'intelligence artificielle, l'avenir est plutôt prometteur. C'est une énorme révolution. Il a un énorme potentiel de développement des connaissances pour relever certains des grands défis auxquels l'humanité est confrontée aujourd'hui, tels que le changement climatique, la gestion des ressources, les problèmes de population, les pandémies, etc.

J'ai dit précédemment qu'il y a une complémentarité évidente entre les humains et les machines. **Pour les humains, le meilleur scénario est une coopération harmonieuse entre les machines et les humains. Et dans ce processus, les humains pourront maîtriser tous les processus de développement et d'application des connaissances, garantissant que ces machines ne prendront pas elles-mêmes des décisions clés pour nous. **

Le défi qui nous attend est de trouver le bon équilibre, de trouver le bon équilibre des rôles entre les humains et les machines. J'espère que nous pourrons le faire avec succès.