Résolvez le problème des modèles domestiques à grande échelle: évitez "l'eau passive", le dernier kilomètre doit connecter des algorithmes et des puces
Auteur : Hu Xiner, stagiaire, Shao Wen, journaliste de The Paper
Source de l'image : générée par l'IA illimitée
Dai Qionghai, académicien de l'Académie chinoise d'ingénierie, a déclaré: "Notre pays devrait approfondir la culture du personnel de l'intelligence artificielle et de la recherche fondamentale en termes de politiques, de mécanismes et d'investissements, renforcer l'innovation originale et éviter de tomber dans le dilemme de 'l'eau sans source'."
Wang Yu, professeur titulaire du Département de génie électronique de l'Université de Tsinghua, a souligné : « Il existe déjà de nombreuses sociétés de puces à Shanghai, et il existe également de nombreux algorithmes à Shanghai. Comment parvenir à un déploiement efficace et unifié et exécuter de tels algorithmes sur puces est une question très importante. question."
Le 7 juillet, lors du forum de la Conférence mondiale sur l'intelligence artificielle 2023 "Opportunités et risques de développement de l'industrie de l'intelligence artificielle générale à l'ère des modèles à grande échelle", un certain nombre d'experts dans le domaine de l'intelligence artificielle générale se sont concentrés respectivement sur les modèles à grande échelle. de l'innovation de base, de la technologie d'application et des perspectives d'avenir Discussion approfondie de l'intelligence artificielle à d'autres niveaux.
"Notre pays devrait approfondir la formation des talents en IA et la recherche fondamentale en termes de politiques, de mécanismes et d'investissements, renforcer l'innovation originale et éviter de tomber dans le dilemme de" l'eau sans source "." Dai Qionghai, conseiller du Conseil d'État et académicien de l'Académie chinoise d'ingénierie, a souligné dans son discours d'ouverture.
Wang Yu, professeur titulaire et chef du département de génie électronique de l'Université de Tsinghua, a déclaré que du point de vue des applications d'atterrissage, il est actuellement difficile de déployer des modèles à grande échelle dans le champ vertical, et les modèles nationaux à grande échelle sont confrontés à trois défis. : coûts de déploiement élevés sur le terrain, un grand écart dans la puissance de calcul du modèle et le remplacement de la puce domestique est difficile. "Dans le dernier kilomètre de l'atterrissage du grand modèle, nous devons connecter l'algorithme à la puce", a déclaré Wang Yu.
"L'intelligence cérébrale est la nouvelle direction du futur"
Dai Qionghai estime que dans l'innovation du grand modèle "0 à 1", les réalisations perturbatrices nationales dans le domaine de la recherche fondamentale sont faibles. « Du point de vue de l'industrie du développement intelligent, nous sommes à la fois optimistes et non optimistes. » Selon lui, la plupart des talents chinois en matière d'intelligence artificielle sont concentrés dans la couche application, il y a donc beaucoup de place pour les scénarios d'application et les couches technologiques. Cependant, la Chine est évidemment désavantagée en termes de talents au niveau de base, et manque d'innovation originale.
Dai Qionghai a déclaré que l'innovation et le développement de l'intelligence artificielle nécessitent trois piliers, à savoir les algorithmes, les données et la puissance de calcul. Les algorithmes déterminent le niveau d'intelligence, les données déterminent la portée de l'intelligence et la puissance de calcul détermine l'efficacité de l'intelligence. Au niveau des algorithmes, les grands modèles devraient devenir une plate-forme de base clé dans les applications d'intelligence artificielle d'ici cinq ans environ.
Dai Qionghai a également souligné que l'intelligence cérébrale est une nouvelle direction à l'avenir. Le nouvel algorithme d'intelligence artificielle qui intègre le cerveau et la cognition est à la pointe de la disposition de l'industrie et mènera une nouvelle génération d'intelligence. Il a suggéré lors du forum que le gouvernement devrait encourager les entreprises à diriger la construction de modèles à grande échelle, à explorer la combinaison des mécanismes biologiques et des caractéristiques des machines, à créer davantage de nouveaux paradigmes d'intelligence artificielle et à promouvoir simultanément la recherche fondamentale et l'expansion des applications. Il prédit que l'intelligence artificielle avec l'intelligence cognitive comme noyau commencera à être appliquée dix ans plus tard.
De plus, Dai Qionghai estime qu'il faut être vigilant sur les problèmes de sécurité des applications de modèles à grande échelle. Les grands modèles ne sont pas encore capables d'authentifier les sorties telles que la génération de contenu trompeur. "Cela signifie qu'une fois qu'il y a un problème avec l'application du grand modèle, ce n'est pas aussi simple que le virus de réseau informatique actuel, il suffit de tuer et de tuer le virus, ce qui aura un impact subversif. Par conséquent, lorsque le grand modèle est appliqué, la sécurité et la fiabilité doivent être combinées. La crédibilité a été discutée clairement.
** Les modèles nationaux à grande échelle doivent se concentrer sur la résolution des quatre problèmes rencontrés **
Wang Yu a déclaré dans le forum: "Shanghai est très préoccupé par l'intelligence artificielle et les puces, mais d'un autre point de vue, nos modèles les plus avancés et notre puissance de calcul relativement importante sont en fait soumis à certaines restrictions. Notre puissance de calcul devrait être plus dans quelle direction aller, comment mieux compenser la puissance de calcul domestique, et comment accompagner le développement du pays dans la formation et le raisonnement des grands modèles avec un tel espace, ces enjeux sont devenus extrêmement importants."
Wang Yu a également mentionné qu'actuellement dans les pays étrangers, seuls Nvidia et AMD peuvent choisir des puces avec une grande puissance de calcul. Nvidia domine le marché et son écosystème logiciel est relativement bon. "Ainsi, divers modèles étrangers, tels qu'OpenAI, Microsoft et Google, achètent des puces Nvidia en grande quantité, puis les développent sur le cadre logiciel de Nvidia. L'écologie étrangère est très simple. Les entreprises font un bon travail d'algorithmes. Dans ce domaine, le déploiement est pris en charge par le système logiciel de Nvidia."
"Cependant, le développement de puces à grande puissance de calcul en Chine en est encore à ses balbutiements", estime Wang Yu, "il existe déjà de nombreuses sociétés de puces à Shanghai, telles que Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, etc. également beaucoup à Shanghai. Les algorithmes, comment réaliser un déploiement efficace et unifié, et comment exécuter de tels algorithmes sur des puces est une question très importante.
Dans le même temps, Wang Yu a souligné qu'il est actuellement très difficile de déployer des modèles à grande échelle dans le domaine vertical, et que les modèles nationaux à grande échelle sont confrontés à trois défis majeurs : des coûts de déploiement élevés sur le terrain, un grand écart dans la puissance de calcul des modèles, et la difficulté à remplacer les puces domestiques.
« Différent d'un modèle de l'ère de l'IA 1.0 passée ciblant une tâche spécifique, l'ère de l'IA 2.0 d'aujourd'hui est un modèle qui résout plusieurs tâches, et la couche application, la couche algorithme et la couche système doivent être optimisées de manière collaborative », a déclaré Wang Yu. à la fin du grand modèle d'atterrissage Un kilomètre, les modèles nationaux à grande échelle devraient se concentrer sur la résolution de quatre points douloureux.
"Nous devons d'abord traiter le problème du texte long, c'est-à-dire bien l'utiliser." Wang Yu a déclaré que la tendance actuelle des algorithmes est d'augmenter la longueur du texte pris en charge par les grands modèles, mais le texte long entraînera également Transformer (Un modèle d'apprentissage en profondeur développé par Google, sur lequel OpenAI a développé GPT) La charge sur l'architecture augmente considérablement à mesure que l'entrée devient plus longue. Par conséquent, l'ajustement du texte long est une exigence extrêmement importante.
Une autre exigence pour les grands modèles est l'amélioration de la performance des coûts. "Si Google utilise un grand modèle dans son moteur de recherche, cela augmentera les coûts de 36 milliards de dollars américains et ses bénéfices pourraient être perdus de 65%." Wang Yu a déclaré que si l'entreprise peut réduire le coût d'un clic, la perte globale des profits peuvent être réduits. En allant dans ce sens, on s'attend à ce que tout le monde puisse s'offrir de grands modèles.
De plus, les grands modèles doivent habiliter une variété de champs verticaux.Pour tous les horizons de la vie, il n'y a pas beaucoup de grands modèles qui ont beaucoup de connaissances. Surtout dans des domaines tels que les soins médicaux et la finance, l'acquisition de données de corpus est coûteuse et très rare. "Si vous pouvez ajouter un modèle de base à usage général et l'affiner, les performances de base de diverses industries devraient encore être améliorées." Mais Wang Yu a également souligné que s'il se développe dans le domaine vertical, le modèle à usage général grand modèle doit être affiné, et plus le modèle est grand, le coût de l'ajustement augmente également de manière significative. Par conséquent, comment concevoir un algorithme de réglage fin efficace est un sujet qui doit être discuté.
Dans le même temps, les grands modèles apportent également de nouvelles exigences pour un déploiement à guichet unique. Dans l'optimisation des logiciels et du matériel, si l'optimisation de l'opérateur, l'optimisation de la compilation et le déploiement du matériel sont déployés en couches, un total de 100 personnes est nécessaire par jour, tandis que pour un déploiement automatisé à guichet unique, seulement 10 personnes sont nécessaires par jour. Wang Yu a souligné que le déploiement à guichet unique peut optimiser les coûts de main-d'œuvre, augmenter encore l'échelle de l'espace d'optimisation de la compilation et devrait favoriser le développement de l'ensemble de la chaîne industrielle.
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Résolvez le problème des modèles domestiques à grande échelle: évitez "l'eau passive", le dernier kilomètre doit connecter des algorithmes et des puces
Source: Le papier
Auteur : Hu Xiner, stagiaire, Shao Wen, journaliste de The Paper
Dai Qionghai, académicien de l'Académie chinoise d'ingénierie, a déclaré: "Notre pays devrait approfondir la culture du personnel de l'intelligence artificielle et de la recherche fondamentale en termes de politiques, de mécanismes et d'investissements, renforcer l'innovation originale et éviter de tomber dans le dilemme de 'l'eau sans source'."
Wang Yu, professeur titulaire du Département de génie électronique de l'Université de Tsinghua, a souligné : « Il existe déjà de nombreuses sociétés de puces à Shanghai, et il existe également de nombreux algorithmes à Shanghai. Comment parvenir à un déploiement efficace et unifié et exécuter de tels algorithmes sur puces est une question très importante. question."
Le 7 juillet, lors du forum de la Conférence mondiale sur l'intelligence artificielle 2023 "Opportunités et risques de développement de l'industrie de l'intelligence artificielle générale à l'ère des modèles à grande échelle", un certain nombre d'experts dans le domaine de l'intelligence artificielle générale se sont concentrés respectivement sur les modèles à grande échelle. de l'innovation de base, de la technologie d'application et des perspectives d'avenir Discussion approfondie de l'intelligence artificielle à d'autres niveaux.
"Notre pays devrait approfondir la formation des talents en IA et la recherche fondamentale en termes de politiques, de mécanismes et d'investissements, renforcer l'innovation originale et éviter de tomber dans le dilemme de" l'eau sans source "." Dai Qionghai, conseiller du Conseil d'État et académicien de l'Académie chinoise d'ingénierie, a souligné dans son discours d'ouverture.
Wang Yu, professeur titulaire et chef du département de génie électronique de l'Université de Tsinghua, a déclaré que du point de vue des applications d'atterrissage, il est actuellement difficile de déployer des modèles à grande échelle dans le champ vertical, et les modèles nationaux à grande échelle sont confrontés à trois défis. : coûts de déploiement élevés sur le terrain, un grand écart dans la puissance de calcul du modèle et le remplacement de la puce domestique est difficile. "Dans le dernier kilomètre de l'atterrissage du grand modèle, nous devons connecter l'algorithme à la puce", a déclaré Wang Yu.
"L'intelligence cérébrale est la nouvelle direction du futur"
Dai Qionghai estime que dans l'innovation du grand modèle "0 à 1", les réalisations perturbatrices nationales dans le domaine de la recherche fondamentale sont faibles. « Du point de vue de l'industrie du développement intelligent, nous sommes à la fois optimistes et non optimistes. » Selon lui, la plupart des talents chinois en matière d'intelligence artificielle sont concentrés dans la couche application, il y a donc beaucoup de place pour les scénarios d'application et les couches technologiques. Cependant, la Chine est évidemment désavantagée en termes de talents au niveau de base, et manque d'innovation originale.
Dai Qionghai a déclaré que l'innovation et le développement de l'intelligence artificielle nécessitent trois piliers, à savoir les algorithmes, les données et la puissance de calcul. Les algorithmes déterminent le niveau d'intelligence, les données déterminent la portée de l'intelligence et la puissance de calcul détermine l'efficacité de l'intelligence. Au niveau des algorithmes, les grands modèles devraient devenir une plate-forme de base clé dans les applications d'intelligence artificielle d'ici cinq ans environ.
Dai Qionghai a également souligné que l'intelligence cérébrale est une nouvelle direction à l'avenir. Le nouvel algorithme d'intelligence artificielle qui intègre le cerveau et la cognition est à la pointe de la disposition de l'industrie et mènera une nouvelle génération d'intelligence. Il a suggéré lors du forum que le gouvernement devrait encourager les entreprises à diriger la construction de modèles à grande échelle, à explorer la combinaison des mécanismes biologiques et des caractéristiques des machines, à créer davantage de nouveaux paradigmes d'intelligence artificielle et à promouvoir simultanément la recherche fondamentale et l'expansion des applications. Il prédit que l'intelligence artificielle avec l'intelligence cognitive comme noyau commencera à être appliquée dix ans plus tard.
De plus, Dai Qionghai estime qu'il faut être vigilant sur les problèmes de sécurité des applications de modèles à grande échelle. Les grands modèles ne sont pas encore capables d'authentifier les sorties telles que la génération de contenu trompeur. "Cela signifie qu'une fois qu'il y a un problème avec l'application du grand modèle, ce n'est pas aussi simple que le virus de réseau informatique actuel, il suffit de tuer et de tuer le virus, ce qui aura un impact subversif. Par conséquent, lorsque le grand modèle est appliqué, la sécurité et la fiabilité doivent être combinées. La crédibilité a été discutée clairement.
** Les modèles nationaux à grande échelle doivent se concentrer sur la résolution des quatre problèmes rencontrés **
Wang Yu a déclaré dans le forum: "Shanghai est très préoccupé par l'intelligence artificielle et les puces, mais d'un autre point de vue, nos modèles les plus avancés et notre puissance de calcul relativement importante sont en fait soumis à certaines restrictions. Notre puissance de calcul devrait être plus dans quelle direction aller, comment mieux compenser la puissance de calcul domestique, et comment accompagner le développement du pays dans la formation et le raisonnement des grands modèles avec un tel espace, ces enjeux sont devenus extrêmement importants."
Wang Yu a également mentionné qu'actuellement dans les pays étrangers, seuls Nvidia et AMD peuvent choisir des puces avec une grande puissance de calcul. Nvidia domine le marché et son écosystème logiciel est relativement bon. "Ainsi, divers modèles étrangers, tels qu'OpenAI, Microsoft et Google, achètent des puces Nvidia en grande quantité, puis les développent sur le cadre logiciel de Nvidia. L'écologie étrangère est très simple. Les entreprises font un bon travail d'algorithmes. Dans ce domaine, le déploiement est pris en charge par le système logiciel de Nvidia."
"Cependant, le développement de puces à grande puissance de calcul en Chine en est encore à ses balbutiements", estime Wang Yu, "il existe déjà de nombreuses sociétés de puces à Shanghai, telles que Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, etc. également beaucoup à Shanghai. Les algorithmes, comment réaliser un déploiement efficace et unifié, et comment exécuter de tels algorithmes sur des puces est une question très importante.
Dans le même temps, Wang Yu a souligné qu'il est actuellement très difficile de déployer des modèles à grande échelle dans le domaine vertical, et que les modèles nationaux à grande échelle sont confrontés à trois défis majeurs : des coûts de déploiement élevés sur le terrain, un grand écart dans la puissance de calcul des modèles, et la difficulté à remplacer les puces domestiques.
« Différent d'un modèle de l'ère de l'IA 1.0 passée ciblant une tâche spécifique, l'ère de l'IA 2.0 d'aujourd'hui est un modèle qui résout plusieurs tâches, et la couche application, la couche algorithme et la couche système doivent être optimisées de manière collaborative », a déclaré Wang Yu. à la fin du grand modèle d'atterrissage Un kilomètre, les modèles nationaux à grande échelle devraient se concentrer sur la résolution de quatre points douloureux.
"Nous devons d'abord traiter le problème du texte long, c'est-à-dire bien l'utiliser." Wang Yu a déclaré que la tendance actuelle des algorithmes est d'augmenter la longueur du texte pris en charge par les grands modèles, mais le texte long entraînera également Transformer (Un modèle d'apprentissage en profondeur développé par Google, sur lequel OpenAI a développé GPT) La charge sur l'architecture augmente considérablement à mesure que l'entrée devient plus longue. Par conséquent, l'ajustement du texte long est une exigence extrêmement importante.
Une autre exigence pour les grands modèles est l'amélioration de la performance des coûts. "Si Google utilise un grand modèle dans son moteur de recherche, cela augmentera les coûts de 36 milliards de dollars américains et ses bénéfices pourraient être perdus de 65%." Wang Yu a déclaré que si l'entreprise peut réduire le coût d'un clic, la perte globale des profits peuvent être réduits. En allant dans ce sens, on s'attend à ce que tout le monde puisse s'offrir de grands modèles.
De plus, les grands modèles doivent habiliter une variété de champs verticaux.Pour tous les horizons de la vie, il n'y a pas beaucoup de grands modèles qui ont beaucoup de connaissances. Surtout dans des domaines tels que les soins médicaux et la finance, l'acquisition de données de corpus est coûteuse et très rare. "Si vous pouvez ajouter un modèle de base à usage général et l'affiner, les performances de base de diverses industries devraient encore être améliorées." Mais Wang Yu a également souligné que s'il se développe dans le domaine vertical, le modèle à usage général grand modèle doit être affiné, et plus le modèle est grand, le coût de l'ajustement augmente également de manière significative. Par conséquent, comment concevoir un algorithme de réglage fin efficace est un sujet qui doit être discuté.
Dans le même temps, les grands modèles apportent également de nouvelles exigences pour un déploiement à guichet unique. Dans l'optimisation des logiciels et du matériel, si l'optimisation de l'opérateur, l'optimisation de la compilation et le déploiement du matériel sont déployés en couches, un total de 100 personnes est nécessaire par jour, tandis que pour un déploiement automatisé à guichet unique, seulement 10 personnes sont nécessaires par jour. Wang Yu a souligné que le déploiement à guichet unique peut optimiser les coûts de main-d'œuvre, augmenter encore l'échelle de l'espace d'optimisation de la compilation et devrait favoriser le développement de l'ensemble de la chaîne industrielle.