Médias de services d'innovation pour l'industrie du Big Data
——Focus sur les données · L'évolution de l'activité
Ces derniers mois, une tendance de développement très évidente dans le domaine des grands modèles nationaux est que tout le monde se rassemble pour construire de grands modèles dans l'industrie. Non seulement les entreprises de divers domaines verticaux ont lancé plusieurs grands modèles industriels, mais des géants de premier plan tels que Baidu, Alibaba, Huawei, Tencent et JD.com considèrent également les grands modèles industriels comme une priorité clé.
Concrètement, ces constructeurs peuvent être divisés en deux catégories en fonction de la proportion de grands modèles dans leurs stratégies :
Baidu, Alibaba, Tencent et iFlytek accordent la même attention aux grands modèles généraux et aux grands modèles industriels.
D'une part, ils accordent plus d'attention aux grands modèles généraux et ouvrent les grands modèles généraux aux utilisateurs finaux C. Baidu Wenxinyiyan et iFlytek Spark d'iFlytek ont même créé des applications mobiles pour promouvoir l'application de grands modèles généraux.
D’un autre côté, ils accordent également une grande attention aux grands modèles industriels. Généralement, il est exporté vers l’extérieur sous forme de solutions industrielles. Même le 19 septembre, Baidu a directement lancé un grand modèle de l'industrie médicale : le modèle de médecine spirituelle, qui sert directement les hôpitaux, les patients et les entreprises de dispositifs médicaux.
L’autre catégorie est représentée par Huawei et JD.com, qui se sont concentrés dès le début sur des modèles industriels à grande échelle et sont directement orientés vers les applications industrielles.
Dès le début, le slogan du modèle Pangu de Huawei était « N'écrivez pas de poésie, faites simplement des choses. » Il n'était pas enthousiasmé par les applications C-end et presque toute son orientation stratégique était axée sur l'industrie.
Le grand modèle Yanxi de JD.com est similaire. Adhérant au concept de JD Cloud « un cloud qui comprend mieux l'industrie », JD.com se concentre également sur les applications industrielles dans le domaine des grands modèles. En outre, JD Health a également publié un grand modèle de Jingyi Qianxun en tant que pionnier dans l'entrée dans l'industrie.
On constate que que ce soit Baidu, Alibaba, Tencent et iFlytek qui « accordent la même attention aux deux fronts », ou Huawei et JD.com, qui « se battent presque sur un seul front », ils considèrent tous le grand modèle de l'industrie. comme champ de bataille pour les stratèges militaires.
L'auteur estime que cela pose problème. Ces géants de la technologie devraient se concentrer sur les grands modèles généraux, et les applications industrielles devraient être laissées à des partenaires dans divers domaines industriels. Ils devraient uniquement construire « l'infrastructure » des grands modèles et ne pas toucher aux applications de couche supérieure.
Pourquoi disons-nous cela ? Ensuite, analysons les avantages et les inconvénients en détail.
Les géants devraient se concentrer sur la recherche et le développement de grands modèles généraux
Les grands modèles généraux sont comme la base de toute l'industrie du grand modèle : le fait que la fondation soit solide ou non déterminera la hauteur où le bâtiment peut être construit. Alors, les fondations actuelles sont-elles solides ?
Malheureusement, bien que les grands modèles aient initialement réalisé « l'émergence » de l'intelligence et aient fait de grands progrès dans la compréhension du langage naturel, la génération de contenu et le raisonnement logique, ils ne sont pas assez bons. Surtout si nous voulons mettre en œuvre commercialement de grands modèles dans diverses industries, les capacités actuelles des modèles ne suffisent pas.
La capacité mentionnée ici n’est pas assez puissante et ne fait pas spécifiquement référence à un certain grand modèle.
Même le GPT-4 présente encore d’importantes lacunes en termes de capacités s’il souhaite être mis en œuvre dans le domaine commercial. Regardons quelques exemples.
Les moteurs de recherche constituent un scénario d'application important pour les grands modèles. Bing de Microsoft a réalisé un grand revirement en modifiant la méthode de recherche par mot clé d'origine grâce à son accès à ChatGPT. Alors, quelles sont les performances réelles de Bing avec l’assistance ChatGPT ?
Nous l’avons essayé et c’était assez décevant pour être honnête.
Voici un exemple. Laissez Bing rechercher des actualités sur les grands modèles aujourd'hui (26 septembre). Les quatre actualités indiquées sont. Après avoir cliqué dessus, le contenu des éléments 1 et 3 provient en fait d'un article d'actualité, et ce sont les premiers. La nouvelle a été publiée le 21 février ; les deuxième et quatrième éléments sont également issus du même article de presse, publié le 27 juillet.
En d'autres termes, les nouvelles données sont fausses : nous recherchons les nouvelles d'aujourd'hui, mais le résultat est le contenu d'il y a quelques mois. De plus, nous recherchons des événements importants dans le domaine des grands modèles. Parmi les quatre réponses données, il y a deux reportages, un article d'analyse de l'actualité et une activité de forum. À proprement parler, les rapports et les articles d'analyse ne sont pas des événements d'actualité importants. De ce point de vue, les résultats fournis par Bing ne répondent absolument pas aux exigences.
L'auteur a ensuite demandé plus loin et lui a demandé d'utiliser un tableau pour trier le contenu des actualités donné. En conséquence, dans le tableau qu'il a donné, l'heure des informations a été modifiée au 26 septembre, et en ce qui concerne l'heure précise, cela n'a évidemment aucun sens.
L'auteur avait autrefois de grandes attentes à l'égard des nouveaux moteurs de recherche tels que Bing et les a essayés à plusieurs reprises. Mais le sentiment général est fondamentalement inutilisable. Il s'agit de la performance réelle de ChatGPT dans le domaine de recherche et, dans une certaine mesure, cela représente le niveau le plus élevé que les grands modèles puissent atteindre.
Baidu a également lancé une fonction similaire : en plus de la recherche habituelle sur le Web, vous pouvez également interroger via des conversations. Nous avions hâte de l'essayer.
Par rapport à Bing, Baidu a une meilleure compréhension des événements d'actualité. Bing donne plusieurs rapports, tandis que Baidu donne des résultats basés sur de grandes versions de modèles. La valeur d'actualité de ces événements est évidemment plus élevée.
Pour autant, ces résultats fournis par Baidu sont-ils fiables ? De même, nous permettons qu’il soit compilé sous forme de tableau et donnons l’heure et les liens des actualités. On constate que les horaires sont tous au 11 mai, ce qui est évidemment problématique : ce que nous voulons, c'est l'actualité du 26 septembre, pas du 11 mai.
De plus, il y a aussi un problème avec le lien d'actualité donné dans le tableau : à l'ouverture de la page web correspondante, il renvoie directement "404". Bien entendu, Bing de Microsoft a également ce problème : les liens d'actualités qu'il propose ne peuvent pas être ouverts ou n'existent pas.
De retour à ChatGPT, l'une de ses limitations importantes est qu'il ne peut pas être connecté à Internet et que ses données ne peuvent pas être mises à jour en temps réel. L'ensemble de données de formation de GPT-3 date de septembre 2021, et l'ensemble de données de formation de GPT -4 est en janvier 2022. lune.
De plus, ChatGPT commet souvent des erreurs dans le calcul et le traitement de données complexes. Ses capacités revendiquées de téléchargement et de compréhension de texte ne sont pas non plus idéales.
Essayons les capacités de compréhension de documents de GPT-4. Nous avons mis en ligne le rapport semestriel 2023 de Loongson Zhongke et avons essayé de le laisser effectuer une simple analyse SWOT. Après avoir téléchargé le document, ChatGPT commence à écrire du code pour analyser le document, ce qui semble très puissant.
Quel a été le résultat ?
En fin de compte, ChatGPT n'a pas réussi à analyser le document PDF. Nous avons essayé plusieurs fois mais nous n'avons pas réussi à l'analyser.
Imaginez, en vous appuyant sur ces grands modèles, si vous souhaitez les mettre en œuvre dans des scénarios industriels complexes, l'effet ne sera certainement pas idéal, et ce sont déjà les meilleurs grands modèles généraux du marché.
Il est vrai qu'il y a eu une certaine « émergence de l'intelligence » dans les grands modèles et que leurs capacités ont été qualitativement améliorées, mais ils en sont actuellement au stade initial du « petit lotus ne fait que montrer ses arêtes vives ». La découverte des grands modèles étant une voie prometteuse, le plus important à faire maintenant est d'accélérer et de cultiver cet « enfant » potentiel au lieu de le laisser subvenir prématurément aux besoins de la famille.
À en juger par l'expérience historique, chaque engouement pour l'intelligence artificielle sera suivi d'une longue période de silence, principalement parce que les attentes des gens ont été trop élevées au début et qu'ils seront déçus lorsqu'ils constateront que leurs attentes ne sont pas satisfaites.
De même, si nous nous précipitons dès maintenant pour mettre en œuvre de grands modèles dans diverses industries, nous connaîtrons bientôt une période de problèmes et les gens passeront rapidement d'attentes énormes à des plaintes folles. De tels hauts et bas ne sont pas propices au développement sain de l'industrie. .
Par conséquent, la tâche principale des géants de la technologie tels qu'Alibaba, Huawei, Baidu et Tencent est de cultiver « l'enfant » du modèle général. Tant que les capacités seront véritablement améliorées, la mise en œuvre à grande échelle sera en fait très rapide, il n’y a donc pas d’urgence à attendre jusqu’à maintenant.
Il existe une courbe d'émergence de l'intelligence bien connue dans le domaine des grands modèles, c'est-à-dire que les performances du modèle ne sont pas linéairement liées à l'échelle des paramètres. Un modèle avec 20 milliards de paramètres n'est pas deux fois meilleur qu'un modèle avec 10 milliards. paramètres.
Il existe un seuil sur cette courbe d’émergence de l’intelligence : actuellement, ce seuil est d’environ 100 milliards de paramètres. Avant ce seuil, le niveau d'intelligence affiché par le modèle ne change pas de manière significative à mesure que l'échelle des paramètres augmente. Un modèle avec 20 milliards de paramètres fonctionne à peu près de la même manière qu'un modèle avec 2 milliards de paramètres. Cependant, lorsque l’échelle des paramètres a franchi le seuil de 100 milliards, les performances du modèle se sont améliorées de façon exponentielle.
Bien que la taille du modèle ne puisse pas tout représenter, à en juger par l'expérience du développement de l'intelligence artificielle au cours des dix dernières années, la « violence quantitative » est souvent une direction clé. Des modèles plus grands, des réseaux neuronaux plus profonds et davantage de données apporteront de meilleures performances.
À en juger par la courbe actuelle d'émergence du renseignement, après l'échelle de centaines de milliards de paramètres, il entrera dans une période de goulot d'étranglement du renseignement. Il n'y aura peut-être pas de différence significative en « intelligence » entre un modèle avec 500 milliards de paramètres et un modèle avec 100 milliards de paramètres. . Cependant, si nous voulons atteindre le prochain « seuil d’urgence », la meilleure solution à l’heure actuelle est de continuer à élargir la taille des paramètres. Peut-être qu'une fois que l'échelle des paramètres s'étendra à des dizaines de milliards, le prochain seuil d'émergence sera inauguré et les capacités des grands modèles atteindront un nouveau niveau.
* Cartographie intelligente des singes avec données de prédiction d'émergence intelligente sur grand modèle *
Bien sûr, à mesure que l’échelle du modèle s’étend, le coût augmentera également considérablement, cela ne peut donc être qu’un jeu pour les géants. De plus, le simple fait d’augmenter la taille du modèle entraînera également des problèmes de surajustement. Par conséquent, l’expansion de l’échelle du modèle doit également s’accompagner d’une optimisation et d’un ajustement de l’architecture du modèle, où les capacités techniques sont véritablement testées.
Pour prendre du recul, les grands modèles actuels sont tous basés sur l'architecture Transformer, et cette architecture a été proposée dans un article par plusieurs chercheurs de Google il y a cinq ans. Alors, l’architecture Transformer est-elle vraiment la meilleure ? Existe-t-il une meilleure architecture de modèle ? Ces questions doivent être résolues par les géants de la technologie tels que Huawei, Baidu, Alibaba et Tencent.
En plus de l'échelle des paramètres et de l'architecture du modèle, les grands modèles doivent également résoudre des problèmes d'« illusion », des problèmes d'interprétabilité et des problèmes multimodaux. Ces problèmes n’ont pas encore été bien résolus, ce qui est un problème commun à l’ensemble du secteur. La clé pour résoudre ces problèmes réside dans les avancées technologiques sous-jacentes aux grands modèles généraux, plutôt que dans les grands modèles industriels.
Bien entendu, celui qui parviendra réellement à résoudre ces problèmes clés sera récompensé en conséquence par le marché.
Ne soyez pas à la fois arbitre et joueur
La raison pour laquelle il est recommandé aux géants de la technologie de ne pas toucher aux grands modèles de l'industrie est qu'outre le problème non résolu des grands modèles généraux, une autre raison très importante est d'éviter les conflits d'intérêts avec les partenaires.
Pour les géants de la technologie, ils jouent un jeu écologique et partagent les bénéfices des infrastructures.
Dans le domaine des grands modèles, la voie de transmission de la valeur doit être celle des grands modèles généraux - des grands modèles industriels - des clients industriels. Au stade des grands modèles industriels, les grands fabricants de modèles généraux tels que Huawei, Baidu et Alibaba peuvent soit développer eux-mêmes de grands modèles industriels, soit laisser des partenaires tiers mener la recherche et le développement sur la base de leurs propres grands modèles généraux.
* Cartographie des singes de données du mécanisme de transmission de la valeur des applications industrielles de grands modèles *
Les grands modèles généraux testent les capacités techniques, tandis que le seuil technique des grands modèles industriels n'est pas très élevé. Ses éléments fondamentaux sont les données et l'expérience de l'industrie, et ces deux points sont les lacunes des géants de la technologie. Recueillir des ensembles de données de haute qualité provenant de divers secteurs tels que la finance, les soins médicaux, l'industrie manufacturière et la vente au détail, et comprendre les scénarios commerciaux de divers secteurs, ce n'est certainement pas quelque chose qu'une seule entreprise peut faire. l’écosystème et utiliser des milliers de données provenant de l’ensemble de l’écosystème. Les partenaires le font.
Bien entendu, les grands fabricants généraux tels que Baidu, Huawei et Tencent peuvent également occuper les deux voies de transmission de valeur. Par exemple, dans le domaine médical, Baidu peut non seulement utiliser son propre modèle de médecine spirituelle à grande échelle pour servir directement les hôpitaux, les patients et les entreprises d'équipement médical, mais également promouvoir la construction d'un système de partenariat médical vertical à grande échelle.
Toutefois, cette situation se heurte au problème de la « concurrence avec le peuple pour le profit », qui est un tabou dans le monde des affaires.
Imaginez qu'une certaine entreprise de modèles médicaux à grande échelle A s'appuie sur le modèle général à grande échelle de l'entreprise B, ouvre ses données médicales de base à B et forme un modèle médical à grande échelle. Quelques mois plus tard, A a découvert que la société B avait également lancé un grand modèle médical et que ses fonctions étaient similaires aux siennes. Lorsqu'un client de l'industrie a passé une commande, il a découvert que la société B faisait également une offre et son partenaire est soudainement devenu un concurrent. Si tel est le cas, l’entreprise A est-elle toujours disposée à coopérer avec l’entreprise B ?
Dans un écosystème, la confiance des partenaires dans le propriétaire de l'écosystème est aussi précieuse que l'or. Ce n'est que lorsque les partenaires d'application de niveau supérieur croient fermement que l'écopropriétaire n'aura pas de conflit d'intérêts avec lui ni ne volera son entreprise qu'il se sentira en confiance en plaçant son entreprise sur la plate-forme construite par l'écopropriétaire.
Ceci est quelque peu similaire à la relation entre les fournisseurs IaaS et les fournisseurs SaaS dans le domaine du cloud computing. La raison la plus importante pour laquelle de nombreuses entreprises SaaS en Chine s'inquiètent des fournisseurs de cloud tels qu'Alibaba Cloud, Tencent Cloud, Baidu Cloud et Huawei Cloud est qu'elles ont peur des conflits d'intérêts. À l'heure actuelle, les limites commerciales des fournisseurs de cloud IaaS ne sont pas assez claires. Ils fournissent non seulement des produits IaaS et PaaS, mais entrent également dans de nombreux domaines SaaS, qui sont les plus tabous pour leurs partenaires SaaS.
Au début de l’Internet chinois, les investisseurs se posaient une célèbre question d’introspection pour les start-ups : que feriez-vous si Tencent fabriquait le même produit ?
De la même manière, si les grands fabricants de modèles généraux souhaitent créer un écosystème d'applications, alors les grands fabricants de modèles industriels dans les domaines des soins médicaux, de la finance, des affaires gouvernementales, de la fabrication et d'autres domaines demanderont également - si vous faites quelque chose comme moi dans le l'avenir, que dois-je faire ?
Alors, quel type d’écosystème de grands modèles est le plus raisonnable ? Nous pouvons tirer des leçons de l'écosystème du cloud computing : le grand modèle général est équivalent à l'IaaS et le grand modèle industriel est équivalent au SaaS.
Baidu, Huawei, Alibaba, Tencent, JD.com, ByteDance, iFlytek et d'autres grands fabricants de modèles généraux se concentrent sur les grands modèles généraux (IaaS+PaaS) et essaient de ne pas toucher aux grands modèles industriels (SaaS).
Il convient de souligner que même s'ils ne fabriquent pas de grands modèles industriels, les fabricants généraux de grands modèles sous-jacents peuvent toujours partager les dividendes des applications industrielles des grands modèles. Tout comme les applications SaaS consomment des ressources IaaS et paient pour IaaS, le modèle industriel de couche supérieure fera appel aux capacités du modèle général de couche inférieure, et un modèle commercial raisonnable peut être construit en fonction du nombre d'appels et de l'utilisation.
Par exemple, Baidu ne fabrique pas de modèles médicaux à grande échelle, mais compte 10 partenaires de modèles médicaux à grande échelle basés sur Wen Xinyiyan, et chaque partenaire dessert 1 000 hôpitaux. Supposons que chaque hôpital paie 1 million de yuans par an et que Baidu partage 20 % de ce million de yuans. Ensuite, chaque entreprise de modèles médicaux à grande échelle peut gagner 1 milliard de yuans par an, et le chiffre d'affaires de Baidu est de 1 milliard*20%*10=2 milliards de yuans. De cette façon, Baidu n’a besoin de servir que 10 partenaires, au lieu de desservir 10 000 hôpitaux.
Par analogie, si un écosystème de grands modèles industriels prospère peut être construit, l'application industrielle des grands modèles peut également rapporter des dizaines de milliards de revenus aux fabricants généraux de grands modèles sous-jacents.
Pour les grands fabricants de modèles généraux tels que Baidu, Huawei, Tencent et Alibaba, il n’y a pas lieu de s’inquiéter de manquer les dividendes des applications industrielles de grands modèles. Tout comme dans le domaine du cloud computing, quel fournisseur SaaS a des revenus comparables à ceux d'Alibaba Cloud, Tencent Cloud et Huawei Cloud qui fournissent des IaaS ?
Tant que vous vous concentrez sur la pose des bases du grand modèle général, vous pouvez alors vendre le « terrain » sans avoir à déplacer laborieusement des briques pour construire une maison. Revenons au domaine immobilier : les promoteurs immobiliers comme Vanke et Evergrande sont-ils les plus rentables ? Il est évidemment plus rentable et plus facile de vendre un terrain.
Pour les grands fabricants de modèles dans les secteurs verticaux, l'idéal est d'apprendre des stratégies de déploiement SaaS cross-cloud pour réaliser un déploiement inter-modèles généraux des grands modèles industriels et de migrer en douceur l'activité d'une plate-forme de modèles généraux à une autre. Cela évite d’être lié à une seule plateforme. Bien entendu, les grands modèles de l’industrie en sont actuellement à leurs débuts et il est encore trop tôt pour parler de déploiement de modèles généralisés.
Cartographie des singes de données en mode de déploiement inter-modèles de grands modèles industriels
En résumé, il est recommandé aux géants de la technologie tels que Baidu, Huawei, Alibaba et Tencent de se concentrer sur la recherche et le développement de grands modèles généraux plutôt que sur l'application de grands modèles industriels.
D'une part, les grands modèles à usage général ne sont pas encore assez performants. Des problèmes tels qu'un niveau d'intelligence insuffisant du modèle, des problèmes d'hallucinations, une mauvaise interprétabilité, une faible capacité de fusion multimodale et le coût élevé de la formation et de l'inférence du modèle sont toujours importants. Les géants de la technologie devraient résoudre ces problèmes : des niveaux inférieurs et des énigmes plus difficiles. Ce n’est que lorsque ces problèmes seront résolus que les bases d’une application industrielle à grande échelle pourront être solides.
Au niveau de l'application des grandes industries modèles, cela peut être entièrement laissé aux entreprises du domaine vertical de niveau supérieur. Il est prévisible qu'il y aura des centaines, voire des milliers d'entreprises modèles industrielles à grande échelle en compétition dans chaque domaine. En fin de compte, des dizaines d'entreprises survivront et les plus aptes survivront. Ces entreprises survivantes sont des partenaires qualifiés. Les grands fabricants généraux sous-jacents devraient construire un écosystème avec leurs partenaires pour servir conjointement les clients de l'industrie.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Je suggère à Alibaba, Baidu et Huawei de ne pas se précipiter pour s'emparer des « emplois » des grands modèles de l'industrie !
Original : Yibi Yanyu
Source : Données Ape
Médias de services d'innovation pour l'industrie du Big Data
——Focus sur les données · L'évolution de l'activité
Ces derniers mois, une tendance de développement très évidente dans le domaine des grands modèles nationaux est que tout le monde se rassemble pour construire de grands modèles dans l'industrie. Non seulement les entreprises de divers domaines verticaux ont lancé plusieurs grands modèles industriels, mais des géants de premier plan tels que Baidu, Alibaba, Huawei, Tencent et JD.com considèrent également les grands modèles industriels comme une priorité clé.
Concrètement, ces constructeurs peuvent être divisés en deux catégories en fonction de la proportion de grands modèles dans leurs stratégies :
Baidu, Alibaba, Tencent et iFlytek accordent la même attention aux grands modèles généraux et aux grands modèles industriels.
D'une part, ils accordent plus d'attention aux grands modèles généraux et ouvrent les grands modèles généraux aux utilisateurs finaux C. Baidu Wenxinyiyan et iFlytek Spark d'iFlytek ont même créé des applications mobiles pour promouvoir l'application de grands modèles généraux.
D’un autre côté, ils accordent également une grande attention aux grands modèles industriels. Généralement, il est exporté vers l’extérieur sous forme de solutions industrielles. Même le 19 septembre, Baidu a directement lancé un grand modèle de l'industrie médicale : le modèle de médecine spirituelle, qui sert directement les hôpitaux, les patients et les entreprises de dispositifs médicaux.
L’autre catégorie est représentée par Huawei et JD.com, qui se sont concentrés dès le début sur des modèles industriels à grande échelle et sont directement orientés vers les applications industrielles.
Dès le début, le slogan du modèle Pangu de Huawei était « N'écrivez pas de poésie, faites simplement des choses. » Il n'était pas enthousiasmé par les applications C-end et presque toute son orientation stratégique était axée sur l'industrie.
Le grand modèle Yanxi de JD.com est similaire. Adhérant au concept de JD Cloud « un cloud qui comprend mieux l'industrie », JD.com se concentre également sur les applications industrielles dans le domaine des grands modèles. En outre, JD Health a également publié un grand modèle de Jingyi Qianxun en tant que pionnier dans l'entrée dans l'industrie.
On constate que que ce soit Baidu, Alibaba, Tencent et iFlytek qui « accordent la même attention aux deux fronts », ou Huawei et JD.com, qui « se battent presque sur un seul front », ils considèrent tous le grand modèle de l'industrie. comme champ de bataille pour les stratèges militaires.
L'auteur estime que cela pose problème. Ces géants de la technologie devraient se concentrer sur les grands modèles généraux, et les applications industrielles devraient être laissées à des partenaires dans divers domaines industriels. Ils devraient uniquement construire « l'infrastructure » des grands modèles et ne pas toucher aux applications de couche supérieure.
Pourquoi disons-nous cela ? Ensuite, analysons les avantages et les inconvénients en détail.
Les géants devraient se concentrer sur la recherche et le développement de grands modèles généraux
Les grands modèles généraux sont comme la base de toute l'industrie du grand modèle : le fait que la fondation soit solide ou non déterminera la hauteur où le bâtiment peut être construit. Alors, les fondations actuelles sont-elles solides ?
Malheureusement, bien que les grands modèles aient initialement réalisé « l'émergence » de l'intelligence et aient fait de grands progrès dans la compréhension du langage naturel, la génération de contenu et le raisonnement logique, ils ne sont pas assez bons. Surtout si nous voulons mettre en œuvre commercialement de grands modèles dans diverses industries, les capacités actuelles des modèles ne suffisent pas.
La capacité mentionnée ici n’est pas assez puissante et ne fait pas spécifiquement référence à un certain grand modèle.
Les moteurs de recherche constituent un scénario d'application important pour les grands modèles. Bing de Microsoft a réalisé un grand revirement en modifiant la méthode de recherche par mot clé d'origine grâce à son accès à ChatGPT. Alors, quelles sont les performances réelles de Bing avec l’assistance ChatGPT ?
Nous l’avons essayé et c’était assez décevant pour être honnête.
Voici un exemple. Laissez Bing rechercher des actualités sur les grands modèles aujourd'hui (26 septembre). Les quatre actualités indiquées sont. Après avoir cliqué dessus, le contenu des éléments 1 et 3 provient en fait d'un article d'actualité, et ce sont les premiers. La nouvelle a été publiée le 21 février ; les deuxième et quatrième éléments sont également issus du même article de presse, publié le 27 juillet.
L'auteur a ensuite demandé plus loin et lui a demandé d'utiliser un tableau pour trier le contenu des actualités donné. En conséquence, dans le tableau qu'il a donné, l'heure des informations a été modifiée au 26 septembre, et en ce qui concerne l'heure précise, cela n'a évidemment aucun sens.
Baidu a également lancé une fonction similaire : en plus de la recherche habituelle sur le Web, vous pouvez également interroger via des conversations. Nous avions hâte de l'essayer.
Par rapport à Bing, Baidu a une meilleure compréhension des événements d'actualité. Bing donne plusieurs rapports, tandis que Baidu donne des résultats basés sur de grandes versions de modèles. La valeur d'actualité de ces événements est évidemment plus élevée.
Essayons les capacités de compréhension de documents de GPT-4. Nous avons mis en ligne le rapport semestriel 2023 de Loongson Zhongke et avons essayé de le laisser effectuer une simple analyse SWOT. Après avoir téléchargé le document, ChatGPT commence à écrire du code pour analyser le document, ce qui semble très puissant.
Il est vrai qu'il y a eu une certaine « émergence de l'intelligence » dans les grands modèles et que leurs capacités ont été qualitativement améliorées, mais ils en sont actuellement au stade initial du « petit lotus ne fait que montrer ses arêtes vives ». La découverte des grands modèles étant une voie prometteuse, le plus important à faire maintenant est d'accélérer et de cultiver cet « enfant » potentiel au lieu de le laisser subvenir prématurément aux besoins de la famille.
À en juger par l'expérience historique, chaque engouement pour l'intelligence artificielle sera suivi d'une longue période de silence, principalement parce que les attentes des gens ont été trop élevées au début et qu'ils seront déçus lorsqu'ils constateront que leurs attentes ne sont pas satisfaites.
De même, si nous nous précipitons dès maintenant pour mettre en œuvre de grands modèles dans diverses industries, nous connaîtrons bientôt une période de problèmes et les gens passeront rapidement d'attentes énormes à des plaintes folles. De tels hauts et bas ne sont pas propices au développement sain de l'industrie. .
Par conséquent, la tâche principale des géants de la technologie tels qu'Alibaba, Huawei, Baidu et Tencent est de cultiver « l'enfant » du modèle général. Tant que les capacités seront véritablement améliorées, la mise en œuvre à grande échelle sera en fait très rapide, il n’y a donc pas d’urgence à attendre jusqu’à maintenant.
Il existe une courbe d'émergence de l'intelligence bien connue dans le domaine des grands modèles, c'est-à-dire que les performances du modèle ne sont pas linéairement liées à l'échelle des paramètres. Un modèle avec 20 milliards de paramètres n'est pas deux fois meilleur qu'un modèle avec 10 milliards. paramètres.
Il existe un seuil sur cette courbe d’émergence de l’intelligence : actuellement, ce seuil est d’environ 100 milliards de paramètres. Avant ce seuil, le niveau d'intelligence affiché par le modèle ne change pas de manière significative à mesure que l'échelle des paramètres augmente. Un modèle avec 20 milliards de paramètres fonctionne à peu près de la même manière qu'un modèle avec 2 milliards de paramètres. Cependant, lorsque l’échelle des paramètres a franchi le seuil de 100 milliards, les performances du modèle se sont améliorées de façon exponentielle.
À en juger par la courbe actuelle d'émergence du renseignement, après l'échelle de centaines de milliards de paramètres, il entrera dans une période de goulot d'étranglement du renseignement. Il n'y aura peut-être pas de différence significative en « intelligence » entre un modèle avec 500 milliards de paramètres et un modèle avec 100 milliards de paramètres. . Cependant, si nous voulons atteindre le prochain « seuil d’urgence », la meilleure solution à l’heure actuelle est de continuer à élargir la taille des paramètres. Peut-être qu'une fois que l'échelle des paramètres s'étendra à des dizaines de milliards, le prochain seuil d'émergence sera inauguré et les capacités des grands modèles atteindront un nouveau niveau.
Bien sûr, à mesure que l’échelle du modèle s’étend, le coût augmentera également considérablement, cela ne peut donc être qu’un jeu pour les géants. De plus, le simple fait d’augmenter la taille du modèle entraînera également des problèmes de surajustement. Par conséquent, l’expansion de l’échelle du modèle doit également s’accompagner d’une optimisation et d’un ajustement de l’architecture du modèle, où les capacités techniques sont véritablement testées.
Pour prendre du recul, les grands modèles actuels sont tous basés sur l'architecture Transformer, et cette architecture a été proposée dans un article par plusieurs chercheurs de Google il y a cinq ans. Alors, l’architecture Transformer est-elle vraiment la meilleure ? Existe-t-il une meilleure architecture de modèle ? Ces questions doivent être résolues par les géants de la technologie tels que Huawei, Baidu, Alibaba et Tencent.
En plus de l'échelle des paramètres et de l'architecture du modèle, les grands modèles doivent également résoudre des problèmes d'« illusion », des problèmes d'interprétabilité et des problèmes multimodaux. Ces problèmes n’ont pas encore été bien résolus, ce qui est un problème commun à l’ensemble du secteur. La clé pour résoudre ces problèmes réside dans les avancées technologiques sous-jacentes aux grands modèles généraux, plutôt que dans les grands modèles industriels.
Bien entendu, celui qui parviendra réellement à résoudre ces problèmes clés sera récompensé en conséquence par le marché.
Ne soyez pas à la fois arbitre et joueur
La raison pour laquelle il est recommandé aux géants de la technologie de ne pas toucher aux grands modèles de l'industrie est qu'outre le problème non résolu des grands modèles généraux, une autre raison très importante est d'éviter les conflits d'intérêts avec les partenaires.
Pour les géants de la technologie, ils jouent un jeu écologique et partagent les bénéfices des infrastructures.
Dans le domaine des grands modèles, la voie de transmission de la valeur doit être celle des grands modèles généraux - des grands modèles industriels - des clients industriels. Au stade des grands modèles industriels, les grands fabricants de modèles généraux tels que Huawei, Baidu et Alibaba peuvent soit développer eux-mêmes de grands modèles industriels, soit laisser des partenaires tiers mener la recherche et le développement sur la base de leurs propres grands modèles généraux.
Les grands modèles généraux testent les capacités techniques, tandis que le seuil technique des grands modèles industriels n'est pas très élevé. Ses éléments fondamentaux sont les données et l'expérience de l'industrie, et ces deux points sont les lacunes des géants de la technologie. Recueillir des ensembles de données de haute qualité provenant de divers secteurs tels que la finance, les soins médicaux, l'industrie manufacturière et la vente au détail, et comprendre les scénarios commerciaux de divers secteurs, ce n'est certainement pas quelque chose qu'une seule entreprise peut faire. l’écosystème et utiliser des milliers de données provenant de l’ensemble de l’écosystème. Les partenaires le font.
Bien entendu, les grands fabricants généraux tels que Baidu, Huawei et Tencent peuvent également occuper les deux voies de transmission de valeur. Par exemple, dans le domaine médical, Baidu peut non seulement utiliser son propre modèle de médecine spirituelle à grande échelle pour servir directement les hôpitaux, les patients et les entreprises d'équipement médical, mais également promouvoir la construction d'un système de partenariat médical vertical à grande échelle.
Toutefois, cette situation se heurte au problème de la « concurrence avec le peuple pour le profit », qui est un tabou dans le monde des affaires.
Imaginez qu'une certaine entreprise de modèles médicaux à grande échelle A s'appuie sur le modèle général à grande échelle de l'entreprise B, ouvre ses données médicales de base à B et forme un modèle médical à grande échelle. Quelques mois plus tard, A a découvert que la société B avait également lancé un grand modèle médical et que ses fonctions étaient similaires aux siennes. Lorsqu'un client de l'industrie a passé une commande, il a découvert que la société B faisait également une offre et son partenaire est soudainement devenu un concurrent. Si tel est le cas, l’entreprise A est-elle toujours disposée à coopérer avec l’entreprise B ?
Dans un écosystème, la confiance des partenaires dans le propriétaire de l'écosystème est aussi précieuse que l'or. Ce n'est que lorsque les partenaires d'application de niveau supérieur croient fermement que l'écopropriétaire n'aura pas de conflit d'intérêts avec lui ni ne volera son entreprise qu'il se sentira en confiance en plaçant son entreprise sur la plate-forme construite par l'écopropriétaire.
Ceci est quelque peu similaire à la relation entre les fournisseurs IaaS et les fournisseurs SaaS dans le domaine du cloud computing. La raison la plus importante pour laquelle de nombreuses entreprises SaaS en Chine s'inquiètent des fournisseurs de cloud tels qu'Alibaba Cloud, Tencent Cloud, Baidu Cloud et Huawei Cloud est qu'elles ont peur des conflits d'intérêts. À l'heure actuelle, les limites commerciales des fournisseurs de cloud IaaS ne sont pas assez claires. Ils fournissent non seulement des produits IaaS et PaaS, mais entrent également dans de nombreux domaines SaaS, qui sont les plus tabous pour leurs partenaires SaaS.
Au début de l’Internet chinois, les investisseurs se posaient une célèbre question d’introspection pour les start-ups : que feriez-vous si Tencent fabriquait le même produit ?
De la même manière, si les grands fabricants de modèles généraux souhaitent créer un écosystème d'applications, alors les grands fabricants de modèles industriels dans les domaines des soins médicaux, de la finance, des affaires gouvernementales, de la fabrication et d'autres domaines demanderont également - si vous faites quelque chose comme moi dans le l'avenir, que dois-je faire ?
Alors, quel type d’écosystème de grands modèles est le plus raisonnable ? Nous pouvons tirer des leçons de l'écosystème du cloud computing : le grand modèle général est équivalent à l'IaaS et le grand modèle industriel est équivalent au SaaS.
Baidu, Huawei, Alibaba, Tencent, JD.com, ByteDance, iFlytek et d'autres grands fabricants de modèles généraux se concentrent sur les grands modèles généraux (IaaS+PaaS) et essaient de ne pas toucher aux grands modèles industriels (SaaS).
Il convient de souligner que même s'ils ne fabriquent pas de grands modèles industriels, les fabricants généraux de grands modèles sous-jacents peuvent toujours partager les dividendes des applications industrielles des grands modèles. Tout comme les applications SaaS consomment des ressources IaaS et paient pour IaaS, le modèle industriel de couche supérieure fera appel aux capacités du modèle général de couche inférieure, et un modèle commercial raisonnable peut être construit en fonction du nombre d'appels et de l'utilisation.
Par exemple, Baidu ne fabrique pas de modèles médicaux à grande échelle, mais compte 10 partenaires de modèles médicaux à grande échelle basés sur Wen Xinyiyan, et chaque partenaire dessert 1 000 hôpitaux. Supposons que chaque hôpital paie 1 million de yuans par an et que Baidu partage 20 % de ce million de yuans. Ensuite, chaque entreprise de modèles médicaux à grande échelle peut gagner 1 milliard de yuans par an, et le chiffre d'affaires de Baidu est de 1 milliard*20%*10=2 milliards de yuans. De cette façon, Baidu n’a besoin de servir que 10 partenaires, au lieu de desservir 10 000 hôpitaux.
Par analogie, si un écosystème de grands modèles industriels prospère peut être construit, l'application industrielle des grands modèles peut également rapporter des dizaines de milliards de revenus aux fabricants généraux de grands modèles sous-jacents.
Pour les grands fabricants de modèles généraux tels que Baidu, Huawei, Tencent et Alibaba, il n’y a pas lieu de s’inquiéter de manquer les dividendes des applications industrielles de grands modèles. Tout comme dans le domaine du cloud computing, quel fournisseur SaaS a des revenus comparables à ceux d'Alibaba Cloud, Tencent Cloud et Huawei Cloud qui fournissent des IaaS ?
Tant que vous vous concentrez sur la pose des bases du grand modèle général, vous pouvez alors vendre le « terrain » sans avoir à déplacer laborieusement des briques pour construire une maison. Revenons au domaine immobilier : les promoteurs immobiliers comme Vanke et Evergrande sont-ils les plus rentables ? Il est évidemment plus rentable et plus facile de vendre un terrain.
Pour les grands fabricants de modèles dans les secteurs verticaux, l'idéal est d'apprendre des stratégies de déploiement SaaS cross-cloud pour réaliser un déploiement inter-modèles généraux des grands modèles industriels et de migrer en douceur l'activité d'une plate-forme de modèles généraux à une autre. Cela évite d’être lié à une seule plateforme. Bien entendu, les grands modèles de l’industrie en sont actuellement à leurs débuts et il est encore trop tôt pour parler de déploiement de modèles généralisés.
En résumé, il est recommandé aux géants de la technologie tels que Baidu, Huawei, Alibaba et Tencent de se concentrer sur la recherche et le développement de grands modèles généraux plutôt que sur l'application de grands modèles industriels.
D'une part, les grands modèles à usage général ne sont pas encore assez performants. Des problèmes tels qu'un niveau d'intelligence insuffisant du modèle, des problèmes d'hallucinations, une mauvaise interprétabilité, une faible capacité de fusion multimodale et le coût élevé de la formation et de l'inférence du modèle sont toujours importants. Les géants de la technologie devraient résoudre ces problèmes : des niveaux inférieurs et des énigmes plus difficiles. Ce n’est que lorsque ces problèmes seront résolus que les bases d’une application industrielle à grande échelle pourront être solides.
Au niveau de l'application des grandes industries modèles, cela peut être entièrement laissé aux entreprises du domaine vertical de niveau supérieur. Il est prévisible qu'il y aura des centaines, voire des milliers d'entreprises modèles industrielles à grande échelle en compétition dans chaque domaine. En fin de compte, des dizaines d'entreprises survivront et les plus aptes survivront. Ces entreprises survivantes sont des partenaires qualifiés. Les grands fabricants généraux sous-jacents devraient construire un écosystème avec leurs partenaires pour servir conjointement les clients de l'industrie.