Interview丨Ne croyez pas aux grands modèles, l'innovation à ce stade est encore "interactive"

Source de l'image : générée par l'IA illimitée

Source : Examen de la technologie IA

Auteur : Huang Nan ; Éditeur : Chen Caixian

MOSS, qui est considéré comme un "rebelle" dans "The Wandering Earth", est une vie numérique sur mesure pour le projet Tinder. Il est très intelligent et a la capacité de surpasser la moralité humaine, la philosophie, la science, l'art et d'autres connaissances.Il peut trouver la solution optimale et prendre la décision "la plus correcte" dans les plus brefs délais.C'est une intelligence parfaite.

De nos jours, le grand modèle est utilisé pour le changement technologique, et il offre une possibilité presque absolue pour la mise en œuvre de "l'industrie" et du "terrain" dans une gamme limitée. Dans le nouveau récit de commercialisation de l'IA, les gens rejoignent activement ou passivement la frénésie de milieu de la concurrence des ressources.

C'est un luxe de garder les êtres humains sains d'esprit pour toujours. Tout comme la civilisation humaine avant MOSS, qui a connu une histoire de destruction et de renaissance, nous devons aussi de toute urgence revenir à la rationalité technique du carnaval des maquettes à grande échelle.

Hua Xiansheng, CTO de Terminus, qui est dans cette course aux armements, a également donné sa propre réflexion calme sur le grand modèle et la réponse à la rupture de la situation.Ce qui suit est la transcription de la conversation entre Hua Xiansheng et AI Technology Review, qui est extrait par AI Technology Review comme suit :

1. Point de vue 1 : Les grands modèles ne sont pas la fin de l'émergence du renseignement

Un an seulement après « l'émergence intelligente » du grand modèle, le monde physique et le mode de production de l'information connaissent des mutations révolutionnaires, cartographiées sur un espace urbain plus large et induisant inévitablement un nouveau cycle d'innovation. À cet égard, Hua Xiansheng a déclaré sans ambages en parlant des examens de la technologie de l'IA : "** Bien que le grand modèle ait effectivement fait de grands progrès, ne soyez pas superstitieux à propos du grand modèle, il a ses limites. **"

Selon les souvenirs de Hua Xiansheng, après la sortie de ChatGPT l'année dernière, il y a prêté une attention particulière et l'a essayé pour la première fois. Il est indéniable qu'il s'agit en effet d'une énorme percée.D'une part, je suis étonné de l'amélioration substantielle de sa capacité, mais franchement, j'ai également trouvé qu'il n'est pas aussi puissant que nous l'avions imaginé.

"Lorsque l'apprentissage en profondeur est né, tout le monde pensait qu'il pouvait résoudre tous les problèmes. Il pouvait utiliser un modèle suffisamment complexe et suffisamment de données pour construire des modèles de divers problèmes dans le monde réel. Mais dans le combat réel, il doit en fait aller profondément dans le l'industrie pour vraiment le résoudre. Problème. Le grand modèle d'aujourd'hui n'a pas changé cette règle, ** doit encore approfondir le terrain pour comprendre le processus, les données, etc. correspondants, afin de résoudre les problèmes de l'industrie. **" Hua Xiansheng mentionné.

Aujourd'hui, dans le campus super intelligent de Terminus, les robots mous sont devenus des existences de type MOSS à l'ère des modèles à grande échelle. Il se cache dans les grands écrans du parc et sait tout sur le parc. Vous pouvez lui demander votre chemin, obtenir les informations dont vous avez besoin et l'utiliser pour effectuer des opérations. Derrière la coexistence des humains et des machines se cache l'alignement sémantique de grands modèles et de matériel IoT pour atteindre un degré élevé d'intelligence entre les humains, les appareils IoT et les villes.

Alors, quand l'AIoT rencontre le grand modèle, avec quel genre d'étincelles va-t-il entrer en collision ? Hua Xiansheng a donné sa réflexion : l'IA est l'âme de l'AIoT, et l'IoT est sa perception et son contrôle, comme ses "mains et ses pieds", et bien sûr, il inclut également la base physique de son "corps", c'est-à-dire les ressources de puissance de calcul. .

L'émergence du LLM (Large Language Model) a rapproché les capacités de l'IA d'un objectif plus général : premièrement, Le grand modèle de langage peut être directement utilisé comme interface interactive du système AIoT. Deuxièmement, les données AIoT sont intrinsèquement multimodales.Les grands modèles multimodaux sont censés résoudre de nombreux problèmes qui devaient être résolus par le biais de "IA + règles" dans le passé.

Aux yeux de Hua Xiansheng, en ce qui concerne les grands modèles AIoT, il existe deux voies principales : la première consiste à mettre à niveau ce que l'IA a fait dans le passé avec un grand modèle et à le refaire, ce que la plupart des gens font ; La première est un modèle AIoT à grande échelle au sens propre, où les données hétérogènes multimodales de l'AIoT sont réellement utilisées ** et intégrées au grand modèle. "Cependant, ce type de véritable modèle AIoT pourrait apparaître bientôt dans le futur, ou cela pourrait prendre beaucoup de temps", a déclaré Hua Xiansheng.

Le grand modèle utilisé dans l'industrie AIoT à ce stade est toujours dans la première voie technique à son avis, c'est-à-dire le "pseudo" grand modèle AIoT basé sur le langage ou le langage plus la vision.

Avant l'émergence du "pseudo" grand modèle AIoT, la connexion et la collaboration entre les appareils AIoT reposaient entièrement sur des règles prédéfinies par des experts humains. Ces règles sont fixes, incomplètes et non évolutives, et peuvent ne pas être directement comprises et suivies. par les humains. Mais avec un grand modèle, nous pouvons automatiquement et dynamiquement construire des règles de connexion et de coordination entre les objets selon des contextes très divers (n'importe quelle saison, heure, personnage, instruction, etc.), offrant une expérience de scène intelligente adaptative, diversifiée, approfondie et intégrée. avec des consignes humaines.

Hua Xiansheng a déclaré dans l'interview : "Peu importe la route, le modèle AIoT mondial le plus typique n'est pas encore apparu. **"

2. Point de vue 2 : Perception stéréoscopique, contrôle précis, libérant la puissance préhistorique des grands modèles AIoT

Quelles capacités un véritable modèle AIoT devrait-il avoir ? Hua Xiansheng pense qu'il existe deux différences majeures entre l'AIoT et les autres industries. Tout d'abord, il y a beaucoup de données hétérogènes. Un grand nombre de capteurs collectent diverses données telles que la météo, la température, l'humidité, l'électricité et les précipitations, et l'information est plus riche. Deuxièmement, les appareils IoT ne sont pas seulement des appareils de détection, mais également inverser le contrôle de l'environnement. Des dimensions de perception plus riches et un pouvoir d'action plus fort sont ce que le modèle AIoT devrait avoir.

Pour en revenir à la scène pour responsabiliser le domaine de l'AIoT, il est difficile d'y parvenir uniquement en s'appuyant sur un modèle général avec de nombreuses limitations. Par conséquent, le grand modèle AIoT doit répondre à plusieurs caractéristiques :

Tout d'abord, le professionnalisme. Il doit être professionnel et être capable de résoudre des problèmes plus professionnels sur le terrain. Les grands modèles d'aujourd'hui semblent puissants, mais ils n'ont pas suffisamment d'expertise dans le domaine pour être utilisés dans le parc.

Deuxièmement, fiabilité. Le modèle doit avoir une bonne compréhension de la scène qui l'intéresse. D'une part, il doit comprendre suffisamment en introduisant de nouvelles connaissances ; d'autre part, il a également besoin de méthodes de retenue pour rendre les résultats de sortie hautement fiables, sans "l'illusion " de "grotes bêtises".

Troisièmement, l'équilibre entre performance et coût. Du point de vue des coûts de formation, un modèle à usage général particulièrement grand ne peut pas être financé par une start-up régulière ; deuxièmement, lors de l'inférence, si le nombre d'utilisateurs ou de visites est trop important, le service du grand modèle échouera également. Par conséquent, un modèle simplifié est un bon choix. Nous n'avons pas besoin qu'il s'agisse d'un je-sais-tout, tant qu'il résout mes préoccupations et qu'il a du bon sens.

Quatrièmement, le système ** passe **. Ce grand modèle a non seulement des connaissances, mais doit également être profondément couplé au système du parc pour obtenir des informations en temps réel, et peut contre-contrôler le parc en temps réel sous le principe de l'autorisation.

En se référant à la technologie d'intelligence incarnée qui a récemment attiré beaucoup d'attention, Hua Xiansheng a mentionné dans l'interview : Le grand modèle AIoT que nous avons proposé est l'incarnation de la technologie de grand modèle existante. Les appareils AIoT sont nos yeux et nos oreilles ainsi que nos mains et nos pieds. À l'heure actuelle, nous nous concentrons davantage sur l'interaction et la liaison de scènes, et plus tard, nous remplacerons la perception et le contrôle par de grands modèles. En particulier, nos appareils et robots super-IoT sont eux-mêmes des manifestations de l'intelligence incarnée, soutenues par des capacités côté serveur parfaitement unies (IoT et maquettes) et des capacités côté robot (détection, planification, action et interaction), mais le robot de Terminus l'intelligence incarnée est l'intelligence incarnée de la "collaboration machine-environnement", pas seulement la capacité directe du robot lui-même.

3. Point de vue 3 : La difficulté d'atterrir, l'enjeu multimodal du grand modèle AIoT

En ce qui concerne les difficultés de mise en œuvre du grand modèle AIoT, Hua Xiansheng estime que les difficultés portent principalement sur plusieurs aspects.En plus de répondre aux critères de professionnalisme, de fiabilité, d'équilibre entre performances et coûts et d'intégration de système mentionnés ci-dessus, la mise en œuvre nécessite également une réelle Il sera beaucoup plus élevé, car il s'agit d'un véritable système AIoT fonctionnel ; de plus, son évolution des capacités n'est pas seulement la mise à jour du grand modèle lui-même, mais implique également l'accumulation de données, l'itération de la mémoire, etc. De manière générale**, la plus grande difficulté dans la mise en œuvre des grands modèles AIoT réside dans le multimodal**.

À long terme, il est possible d'intégrer les données IoT dans le modèle AIoT de manière unifiée, en se concentrant peut-être sur du texte/des images et en alignant d'autres données IoT avec le centre. Mais ** en raison de l'hétérogénéité et de la multimodalité des données AIoT, l'intégration et l'utilisation efficace de différents types de données doivent surmonter les défis de la représentation et de l'alignement des données **.

Tout d'abord, en termes de représentation des données, sous quelle forme les différentes données de capteur doivent-elles être modélisées, le texte de référence doit-il être utilisé comme entrée de séquence, l'image de référence doit-elle être utilisée comme entrée de matrice ou une nouvelle forme de modélisation ? À cet égard, tant le milieu universitaire que l'industrie ne sont toujours pas concluants.

De plus, en termes d'alignement des données, le modèle de langage apprend du langage et génère un langage compréhensible pour les humains.Cependant, dans le domaine de l'AIoT, il y a beaucoup de données sans étiquettes ni annotations d'informations, et la plupart de ses contextes ne pas de sémantique explicite. , Il est impossible de faire correspondre la sémantique avec les données, ce qui rend les données et les informations générées par celle-ci incompréhensibles. ** Il doit être retraité pour établir l'alignement sémantique entre les données AIoT et le langage naturel afin de donner sens à ces données**.

4. Point de vue 4 : Les grands modèles ne sont pas le seul moyen d'atteindre l'AGI, "modèle + système" est la bonne solution

Face aux difficultés rencontrées par l'IA dans divers domaines tels que l'AIoT, comment réaliser l'AGI au sens propre ? Hua Xiansheng estime qu'il existe actuellement trois voies possibles :

• Le premier chemin est l'évolution et les progrès continus du grand modèle, augmentant continuellement la taille du modèle, augmentant la quantité de données et la modalité pour générer un très grand modèle pour atteindre l'AGI.
• La deuxième voie est de renverser le connexionnisme actuel, d'étudier de nouveaux cadres de modèles pour le rendre plus proche du mode de fonctionnement du cerveau humain ou du cœur humain, et d'avoir de puissantes capacités d'analyse, de raisonnement, de découverte et d'innovation sous la prémisse de la faible puissance consommation.
• La troisième voie est la méthode de "modèle + système" que nous proposons ; différente de la première voie avec un grand système modèle comme noyau, le système mentionné ici est plus étendu, y compris la fusion des grands et des petits Les modèles et l'évolution incluent la fusion de modèles et de règles, la transformation mutuelle de règles et de modèles, etc. Grâce à la méthode de fusion de systèmes et de modèles, nous construirons un corps intelligent plus complexe qui pourra se développer en permanence.

Prenant le domaine AIoT comme exemple, Hua Xiansheng a déclaré que le grand modèle de langage lui-même est une extension de l'AIoT, et ** utilise le grand modèle de langage comme un "cerveau" avec de puissantes capacités de compréhension, puis connecte les appareils AIoT via le système pour associez-le aux "yeux", "nez", "oreilles", "mains" et "pieds", afin qu'il ait de multiples capacités de perception, d'analyse, de prise de décision et de contrôle, afin d'obtenir une intelligence plus forte **. Lorsque "modèle + système" est utilisé de plus en plus de données sont accumulées, il est possible de réaliser véritablement le modèle AIoT de "grande unification" de données multimodales et hétérogènes.