À propos du grand modèle, j'ai eu une conversation avec un professionnel

Source originale : White Horse Business Review

Source de l'image : générée par l'IA illimitée‌

"Ça devient presque une mer de rouge." Quand j'ai discuté avec un entrepreneur du grand modèle, il m'a directement lancé cette phrase.

En novembre de l'année dernière, OpenAI a publié ChatGPT basé sur GPT-3.5, qui a instantanément déclenché la recrudescence des grands modèles. Depuis plus de six mois, il y a eu une "guerre des cent modèles" en Chine. Les principales sociétés Internet telles que BAT et les sociétés d'intelligence artificielle ont essentiellement annoncé leurs propres modèles à grande échelle.

Début mai, Zhou Hongyi, le chef de 360, a déclaré au monde extérieur : « Si vous ne passez pas deux ans d'imitation et de plagiat, si vous venez dire que vous pouvez le surpasser, c'est de la vantardise. "Il y a un écart de deux ans entre le grand modèle et les pays étrangers, je le reprends, aujourd'hui c'est proche du niveau international."

Certaines personnes pensent qu'il a fallu six mois pour rattraper ChatGPT, et il semble que le grand modèle ne soit pas difficile.

Alors, quels sont les principaux obstacles aux grands modèles ? Quel est le niveau du grand modèle chinois ? Quels risques le grand modèle fait-il courir à la société humaine ?

À cette fin, nous avons discuté avec Shen Wei (pseudonyme), un professeur d'université 985 bien connu qui est engagé dans la recherche sur l'apprentissage automatique depuis de nombreuses années, pour découvrir le brouillard du grand modèle.

Le chemin GPT est terminé, il y a donc une "Hundred Model War"

**White Horse Business Review : Pouvez-vous expliquer le grand modèle dans le langage le plus populaire et le plus simple, quel est le grand modèle ? En quoi est-ce différent des modèles d'IA précédents ? **

Shen Wei: Le soi-disant grand modèle fait référence au grand nombre de paramètres dans le modèle, mais il n'y a pas de définition claire et nette dans les milieux académiques pour définir à quel point un paramètre est appelé "grand". de recherche et de développement rapide.D'une manière générale, la quantité de paramètres d'un grand modèle atteint 1. plus de 100 millions.

En fait, le développement de l'apprentissage en profondeur est passé à peu près par trois étapes. La première étape va de 2012 à 2017, représentée par de petits modèles spécifiques à un domaine tels que la segmentation d'images yolo et la classification d'images ResNet, de sorte que la quantité de paramètres occupe au maximum plusieurs centaines de Mo de mémoire.

En 2017, l'avènement de Transformer a permis à l'apprentissage en profondeur de paralléliser le calcul, qui est plus efficace, ce qui signifie que des opérations de modélisation à grande échelle peuvent être effectuées, et a ensuite produit de grands modèles de langage naturel tels que OpenAI GPT et Google Bert. À ce stade, un grand modèle d'une tâche spécifique est né et les paramètres du modèle ont dépassé 100 millions.

Vers 2020, le deep learning entrera dans le stade du modèle général. Son entrée est une phrase avec des blancs, et le rôle du modèle est de "remplir les blancs". Dans le passé, le modèle était adapté aux applications en aval, mais maintenant il est le modèle d'adaptation d'application en aval. Les modèles à ce stade incluent GPT 3.5 et GPT 4 dans le domaine du langage naturel et Clip, DALLE, Stable Diffusion, Midjourney, etc. dans le domaine de l'image. A ce stade, les paramètres du modèle peuvent atteindre des dizaines de milliards et des centaines de milliards.

**White Horse Business Review : Savez-vous quelle entreprise ou institution a été la première à étudier des modèles à grande échelle ? Quels sont les résultats ? **

Shen Wei : Au début, les universités et les instituts de recherche scientifique effectuaient des recherches connexes. Je sais que Wu Dao de l'Institut de recherche sur l'intelligence artificielle Zhiyuan de Pékin et les cerveaux de Pengcheng Lab sont les premiers. Désormais, la recherche dans l'industrie est également très synchronisée. La recherche dans le milieu universitaire a des résultats, mais les performances ne sont pas aussi étonnantes que ChatGPT.

**White Horse Business Review : En quelques mois seulement, il y a eu une "guerre des cent modèles" en Chine, et le nombre d'entreprises qui ont lancé des modèles à grande échelle est déjà incalculable. Que pensez-vous de ce phénomène ? **

Shen Wei : Les grands modèles sont définitivement une tendance, et les gens les ont recherchés. Dans le passé, de nombreuses entreprises pouvaient investir dans un petit domaine et faire des recherches ; maintenant qu'un bon produit tel que ChatGPT est soudainement apparu, tout le monde a vu une direction commerciale claire, ils ont donc commencé à augmenter leurs investissements.

D'autre part, de nombreuses entreprises subissent la pression de la concurrence commerciale et risquent de prendre du retard si elles ne réalisent pas de maquettes à grande échelle, il faut donc lancer des projets de maquettes à grande échelle.

White Horse Business Review: Zhou Hongyi a récemment déclaré qu'il avait retiré la phrase "l'écart entre les modèles nationaux à grande échelle et les pays étrangers est de deux ans".Il estime qu'aujourd'hui, il est proche du niveau international. Cela ne fait que quelques mois, et le grand modèle ne semble pas difficile. A votre avis, de combien est la différence ?

Shen Wei : La différence dépend de la personne avec laquelle on se compare. Je n'ai pas encore expérimenté les produits 360 Smart Brain, donc je ne suis pas très doué pour les évaluer. Cependant, il existe des produits d'IA générative en Chine. Après mon expérience, j'ai l'impression qu'il y a encore un écart avec ChatGPT. Les grands modèles nationaux doivent encore travailler dur.

**En vertu d'importants investissements en capital, seules les meilleures entreprises ont l'opportunité ? **

**White Horse Business Review : Quels sont les principaux obstacles au développement de grands modèles ? **

Shen Wei : Les principales barrières des grands modèles incluent les données, la puissance de calcul et les algorithmes.

Du point de vue de la puissance de calcul, au moins 10 000 cartes graphiques Nvidia A100 sont nécessaires pour former une IA générative comme ChatGPT. Le prix d'une seule carte graphique est actuellement de 60 000 à 70 000 yuans, et le prix unitaire de la V100 avec de meilleures performances est de 80 000 yuans. L'investissement doit atteindre au moins six ou sept milliards de yuans, et seules quelques grandes entreprises et institutions peuvent se le permettre. Pour les organisations commerciales, dépenser des centaines de millions pour acheter un tas de cartes graphiques ne produit pas nécessairement de résultats, c'est une question qui doit être prise en compte.

Viennent ensuite les données et les algorithmes. Les algorithmes sont plus faciles à comprendre, comme les cadres de développement et les algorithmes d'optimisation. En termes de données, la Chine ne manque pas de données, et encore plus de données Internet que les États-Unis, mais quelles données choisir pour la formation et comment les traiter sont des obstacles majeurs.

** Baima Business Review : Communiquez-vous habituellement avec les entreprises ? Quelle est la différence entre les institutions de recherche à but non lucratif et les entreprises de recherche ? **

Shen Wei : Nous aurons quelques échanges avec le service recherche de l'entreprise. En communiquant avec les entreprises, nous comprendrons mieux les besoins réels de l'entreprise. Parfois, la recherche universitaire que nous effectuons accordera plus d'attention à la technologie d'avenir et les exigences de mise en œuvre ne sont pas si élevées ; mais les entreprises accordent généralement plus d'importance à la mise en œuvre.

** Baima Business Review : Avez-vous déjà étudié des modèles domestiques à grande échelle ? Quel est celui que vous aimez le plus? **

Shen Wei : Peut-être que les meilleures entreprises peuvent sortir. L'un est l'investissement en capital lourd, et seules les grandes entreprises ont la force ; l'autre est que les données entre les mains de plusieurs grandes entreprises sont plus abondantes ; le troisième est qu'il y a eu une période d'accumulation de technologie dans le domaine de l'intelligence artificielle.

**White Horse Business Review : Quelle est votre application de modèle à grande échelle la plus prometteuse ? **

Shen Wei : D'un point de vue technique, la première application devrait être dans le domaine du traitement du langage naturel et des images, et la reconnaissance de la parole peut être plus tardive.

Vous pouvez voir que de plus en plus chatGPT est utilisé pour écrire du copywriting. Il y a de plus en plus d'applications pour ce genre de création de contenu. Je pense que d'autres applications comme le service client intelligent devraient être plus rapides. Certains des services clients intelligents actuels ne peuvent souvent pas comprendre les besoins des utilisateurs et ne peuvent pas résoudre les problèmes pratiques. Si les utilisateurs ne peuvent pas distinguer s'il s'agit d'un humain ou d'un robot, l'expérience sera considérablement améliorée ; y compris le PNJ dans le jeu, le précédent le dialogue est codé en dur, maintenant il est progressivement interactif et l'expérience du joueur sera meilleure.

** White Horse Business Review : vous étiez l'analyste en chef d'une grande société de courtage. Du point de vue de l'investissement, quelles opportunités pensez-vous que les grands modèles ont ? **

Shen Wei : La logique du battage médiatique du capital va de l'application aux algorithmes, aux modèles, puis à la puissance de calcul ; la logique de l'industrie est à l'opposé, et la puissance de calcul a une attente de croissance claire, donc Nvidia a récemment augmenté rapidement et beaucoup. Les investisseurs comprennent désormais également qu'il reste encore à vérifier que le grand modèle peut être réalisé et réalisé, mais la majeure partie de l'investissement en capital accru a été investie dans la puissance de calcul. Après un battage médiatique répété, la hausse générale du marché aurait dû prendre fin, et une vérification logique et une réalisation des performances sont nécessaires plus tard.

Au départ, je me suis principalement intéressé à l'industrie des médias et d'Internet, comme le secteur du jeu relativement fort il y a quelque temps. La logique du capital est d'abord d'appliquer de grands modèles pour améliorer l'efficacité de la R&D et réduire les coûts ; deuxièmement, les grands modèles apportent une meilleure expérience, et les NPC les caractères sont plus intelligents Augmentation de la viscosité, augmentation de la valeur UP. Bien sûr, une vérification des performances peut éventuellement être requise.

** Les humains ne peuvent pas contrôler l'IA, ni même leur propre destin **

** White Horse Business Review : nous avons vu qu'Altman et Musk ont soulevé des inquiétudes quant à la sécurité de l'intelligence artificielle. Maintenant, nous savons seulement qu'il y a des résultats intelligents grâce à la formation de grands modèles, mais le processus de formation est comme une boîte noire. C'est en fait plutôt effrayant. Que pensez-vous des problèmes de sécurité ? **

Shen Wei : En termes de sécurité, tout d'abord, j'ai observé plusieurs phénomènes anormaux. La première était une lettre ouverte signée en mars par plus de 1 000 personnes, dont Steve Wozniak, co-fondateur de Musk et Apple, appelant à un moratoire sur la formation de systèmes d'IA plus puissants que GPT-4.

La seconde est que Jeffrey Hinton, scientifique en chef de Google et "parrain de l'IA" âgé de 75 ans, a démissionné en mai de cette année. La raison directe de son départ de Google était qu'il s'inquiétait du danger de l'intelligence artificielle. , et a même regretté le travail qu'il avait fait toute sa vie. .

La troisième est qu'au cours des deux dernières années, le modèle de formation à grande échelle dans le domaine universitaire a ajouté des discussions éthiques.

À l'heure actuelle, je pense que le grand modèle est encore contrôlable, et il n'y a pas de problème majeur ; mais la technologie évolue trop rapidement. En quelques mois seulement depuis sa sortie, GPT a connu plusieurs itérations, et la vitesse de développement est trop rapide. Au fur et à mesure que nous devenons de plus en plus intelligents, développerons-nous la conscience de soi, cesserons-nous d'écouter les "commandes" humaines et perdrons-nous le contrôle ? Cette question est celle qui préoccupe tout le monde.

**White Horse Business Review : pensez-vous que l'IA entraînera un chômage de masse ? Face à l'IA, comment les gens ordinaires peuvent-ils conserver leur emploi ? **

Shen Wei : D'un point de vue macro, je ne pense pas que l'IA causera beaucoup de chômage. Les humains auront toujours des emplois. C'est juste que le contenu des emplois des gens va changer. Bien sûr, d'un point de vue individuel, il y aura certainement du chômage structurel, et nous ne pouvons que continuer à apprendre.

** White Horse Business Review : Beaucoup de gens ont dit auparavant que les machines n'avaient pas d'émotion, manquaient d'imagination et ne pouvaient pas remplacer les humains ; maintenant que le cerveau humain peut être simulé par l'IA, la luxure et le désir sexuel humains peuvent-ils être simulés à l'avenir ? Hormones , dopamine, etc. C'est un mécanisme de récompense biologique. **

Shen Wei : C'est l'hypothèse actuelle que les machines n'ont pas d'émotions. L'intelligence artificielle se rapproche du mode de pensée humain. Produira-t-elle des « émotions » similaires aux humains ? C'est juste qu'ils vivent dans une dimension spatiale différente de celle des humains, tout comme la fille de Tu Hengyu dans "The Wandering Earth". L'intelligence artificielle peut générer son propre monde avec des mécanismes de récompense biologiquement similaires à ceux des humains.

** White Horse Business Review : si tout peut être calculé, planifié et défini, ne serait-ce pas un peu ennuyeux ? **

Shen Wei : Le comportement de l'IA n'est pas prédit ni planifié par les humains, mais le résultat de son auto-renforcement et de son auto-formation. La prise de décision de MOSS dans "The Wandering Earth" est prise par lui-même, plutôt que d'obéir aux instructions. donnée par les humains.

**White Horse Business Review : Le remplacement de la civilisation basée sur le carbone par la civilisation basée sur le silicium est-il une direction déterministe ? **

Shen Wei : Cette question dépasse les grandes lignes. Selon la tendance actuelle du développement, c'est peut-être comme ça, tout comme dans "The Wandering Earth", c'est MOSS, pas les humains, qui domine vraiment le destin de l'humanité ; mais en réalité, il est également possible que la technologie stagne à une certaine étape et ne peut pas la franchir. Après tout, le développement technologique n'est pas linéaire.

Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Récompense
  • Commentaire
  • Partager
Commentaire
0/400
Aucun commentaire
  • Épingler
Trader les cryptos partout et à tout moment
qrCode
Scan pour télécharger Gate app
Communauté
Français (Afrique)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)