Est-il difficile de faire atterrir un modèle vertical ?

Source originale : ces choses sur Internet

Source de l'image : générée par l'IA illimitée‌

L'état actuel de la piste de modèles à grande échelle : ** D'une part, les start-up s'appuient sur des modèles à grande échelle open source et, d'autre part, les grands fabricants impliquent divers paramètres de modèles à grande échelle* *.

Selon les statistiques incomplètes de l'organisation, il existe actuellement 79 modèles à grande échelle avec une échelle de plus d'un milliard de paramètres en Chine. Dans le processus d'involution de grands paramètres, une autre voix a commencé à apparaître sur le marché, "l'amélioration des paramètres sans direction de développement n'a pas de sens".

Pour cette raison, en termes de direction de développement, certains grands modèles se sont concentrés sur l'application de champs verticaux. Sur la base du développement de milliers de modèles, la base peut changer, mais si vous y réfléchissez bien, il y aura toujours quelqu'un qui pourra manquer à l'industrie verticale.

Dans le même temps, au début du développement, bien que les grands modèles à source fermée soient de meilleure qualité et relativement sûrs, l'écologie des modèles à grande échelle a besoin d'un certain degré d'involution après tout, et l'open source peut en fait favoriser la prospérité de grands modèles. D'un autre point de vue, basé sur l'open source, de nombreuses entreprises ont les qualifications pour participer à la piste, mais il y a toujours des gens qui tombent facilement au premier niveau - la pénurie de puissance de calcul.

Après tout, le nombre de grands modèles augmente par multiples, mais si nous regardons le nombre croissant de grands modèles de manière unilatérale, alors dans une certaine mesure, nous ignorerons les choix, les luttes et même les problèmes de certaines entreprises derrière les grands modèles La possibilité d'abandonner après avoir choisi.

Comme nous le savons tous, les trois éléments de l'intelligence artificielle sont : la puissance de calcul, l'algorithme et les données. L'open source n'en est qu'au stade de l'algorithme, après quoi les entreprises ont besoin de beaucoup de puissance de calcul et de formation aux données, le coût derrière cela est élevé.

01 Modèle vertical, y a-t-il encore de l'espoir pour les start-up ?

Dans la sélection de grands modèles open source, basée sur des raisons de coût et de développement personnalisé, il n'y a pas quelques entreprises entrepreneuriales qui choisissent des modèles à petits paramètres, et ils sont même le premier choix de ces entreprises.

** L'un est le problème des coûts de pré-formation. **

Guosheng Securities a déjà estimé que le coût de la formation GPT-3 est d'environ 1,4 million de dollars américains, et pour certains modèles LLM plus importants, le coût de la formation se situe entre 2 millions de dollars américains et 12 millions de dollars américains.

Y compris en janvier de cette année, environ 13 millions de visiteurs uniques en moyenne utilisent chaque jour ChatGPT. La demande de puces correspondante est supérieure à 30 000 GPU NVIDIA A100. Le coût d'investissement initial est d'environ 800 millions de dollars américains et le coût quotidien de l'électricité est d'environ 50 000 Dollars américains.

De plus, avant d'investir beaucoup d'argent, de nombreuses ressources de données sont nécessaires pour prendre en charge la formation des modèles. Une autre raison à cela est la question des exigences de pré-formation.

Certaines personnes de l'industrie ont également exprimé leur point de vue à ce sujet : "La capacité de généralisation du grand modèle lui-même est encore limitée par les données."

Parce qu'une fois que les données de haute qualité du grand modèle sont filtrées et formées trop peu, le problème de qualité de sortie du grand modèle sera évident et l'expérience utilisateur sera considérablement réduite en termes d'expérience.

On peut dire que dans le processus de pré-formation, beaucoup d'argent et de temps ont été consacrés uniquement à l'accumulation de données.

De plus, dans la filière des modèles à grande échelle, la plupart des startups se développent autour du champ vertical de l'industrie.Bien que l'effort soit relativement faible, cela ne doit pas être facile.

Plus précisément, si un grand modèle veut changer le modèle commercial de l'industrie, le critère le plus simple pour en juger est de savoir si le grand modèle de ce type dispose de suffisamment de données sur l'industrie, par exemple, il est nécessaire d'analyser les produits noirs cachés dans le Ce n'est qu'avec suffisamment de compréhension que nous ne pouvons pas être utilisés par des produits noirs et être dans un état sûr et passif.

** Un autre critère de jugement est la qualité de la sortie finale des données traitées par le grand modèle lorsqu'il est en cours d'exécution. **

Après tout, si vous voulez briser le monopole du modèle basé sur le modèle open source, vous devez optimiser et améliorer une grande quantité de données et investir dans une infrastructure suffisante.

Le modèle open source d'aujourd'hui ressemble en fait plus à Android à l'ère d'Internet. Il n'est pas facile pour les start-up sans les avantages des scénarios d'atterrissage et de l'accumulation de données des grands fabricants de se développer, mais il existe encore des opportunités.

En fait, l'Institut Bodhidharma considérait autrefois le "développement coopératif de grands et petits modèles" comme l'une des tendances futures.

Même la start-up Zhuiyi Technology estime que "le grand modèle vertical est une opportunité solide, tout comme la découverte du continent américain est bien plus qu'une seule personne".

Nous pouvons donc maintenant voir que de nombreuses startups ont commencé à choisir d'entrer dans la piste des modèles à grande échelle, notamment DriveGPT Xuehu Hairuo, Qizhi Kongming et ChatYuan Yuanyu lancées par des startups d'IA telles que Momo Zhixing, Innovation Qizhi et Yuanyu Intelligence. grands modèles.

Cependant, bien qu'il n'y ait pas de produits nationaux pour l'extrémité C, basés sur l'extrémité B, les principaux fabricants ont commencé le processus de mise en œuvre initiale.

Il est rapporté que les principaux fabricants envisagent actuellement d'exporter de grands modèles via le cloud. Le cloud computing est devenu le meilleur moyen de mettre en œuvre un grand modèle. Le modèle en tant que service (MaaS) a attiré de plus en plus d'attention, ce qui apportera également le coût des grands modèles.

Alors, y a-t-il encore de l'espoir pour les startups ?

02 L'expérience produit correspond-elle à la demande du marché ?

Selon les prévisions du magazine faisant autorité "Fast Company", les revenus d'OpenAI en 2023 atteindront 200 millions de dollars américains, y compris la fourniture de services d'interface de données API, les frais de service d'abonnement aux robots de chat, etc.

Évidemment, il existe une demande pour de grands modèles dans diverses industries, mais sur la base de considérations de sécurité et de l'attitude de B envers les grands modèles, le facteur de sécurité actuel des grands modèles est limité. Par conséquent, sur une base relativement basique, les grandes entreprises Internet donnent également la priorité aux dialogues à forte demande, à la génération de contenu de documents et aux scénarios de questions-réponses, y compris les dialogues dans un bureau collaboratif, la génération de documents et de nombreux autres scénarios.

Par exemple, désormais, les humains n'ont plus qu'à informer l'IA des informations sur le produit, laisser l'IA générer automatiquement une variété de styles de scripts et de styles de livraison de produits, puis attribuer une ancre humaine numérique pour aider les entreprises à vendre les marchandises. Selon Baidu, par rapport à la diffusion en direct, la diffusion numérique en direct peut atteindre 7 \ * 24 heures de diffusion en direct ininterrompue, et le taux de conversion est le double de celui des salles de diffusion en direct sans pilote.

Avec l'infrastructure cloud comme base nécessaire pour l'entrepreneuriat à grande échelle, les géants de l'Internet avec le cloud computing ont certains avantages.

Selon les données de suivi du marché mondial du cloud computing IaaS 2022 publiées par IDC, les 10 principaux acteurs du marché sont tous de grandes entreprises en Chine et aux États-Unis, notamment Amazon, Google, Microsoft et IBM aux États-Unis, et Ali, Huawei, Tencent et Baidu en Chine.

Bien que les conflits open source et open source des grands modèles ne se termineront pas avec l'émergence d'un ou plusieurs produits, davantage de participation des meilleurs talents, d'itérations techniques et de soutien financier sont nécessaires.

Mais comparées horizontalement, de nombreuses start-up d'IA n'ont pas non plus la chance de la startup licorne MiniMax. (La différence est que MiniMax se concentre sur les grands modèles généraux)

Le 20 juillet, Tencent Cloud a dévoilé les derniers progrès pour aider MiniMax à développer de grands modèles. À l'heure actuelle, Tencent Cloud prend en charge les tâches de niveau kilocalorie de MiniMax pour s'exécuter de manière stable sur Tencent Cloud pendant une longue période, avec une disponibilité de 99,9 %.

Il est rapporté qu'à partir de juin 2022, sur la base des capacités du produit telles que les clusters de puissance de calcul, le cloud natif, le big data et la sécurité, Tencent Cloud a construit une architecture cloud pour MiniMax à partir de la couche de ressources, de la couche de données et de la couche métier.

La réalité semble prouver une fois de plus que l'obtention du billet d'entrée est la première étape, et le prochain test est la capacité des acteurs du marché à explorer la commercialisation et les mises à niveau technologiques. Pour le dire franchement, les start-up d'IA veulent courir jusqu'au bout sur la piste, et elles ne doivent pas manquer chaque étape.

Dans une certaine mesure, les entreprises en démarrage ne sont pas sans avantages dans le développement de grands modèles.

Bien que certaines grandes entreprises de l'Internet aient déjà réalisé des scénarios initiaux, ou commencé à vendre des services pour gagner un revenu, les yeux des grandes entreprises et de MiniMax sont plus portés sur les gros modèles à usage général.

La maquette verticale est toujours un vide. En particulier pour les groupes d'entreprises traditionnels, compte tenu des faibles attributs informatiques de leurs propres activités et du faible ratio entrée/production, la probabilité de choisir un grand modèle auto-développé est faible.

Par exemple, Chuangxin Qizhi se concentre sur le produit de modèle industriel à grande échelle "Qizhi Kongming" ; a un certain avantage en matière de données et développe un modèle de langage à grande échelle dans ChatYuan ; le principal modèle à grande échelle génératif autonome DriveGPT Xuehu · Hairuo .

Cependant, il y a une chose à dire, les données et la direction de la formation sont différentes et le coût varie considérablement.

Premièrement, le coût de la formation d'un grand modèle de métalangage à partir de zéro peut atteindre des dizaines de millions de RMB. Dans le domaine de la conduite autonome générative, il faut concevoir un nouveau langage que ChatGPT, puis "traduire" toutes les données réelles de conduite routière dans un langage unifié.

Dans une certaine mesure, les start-up d'IA peuvent réaliser un investissement important dans de grands modèles et bénéficier davantage du succès de ChatGPT dans les affaires et le marketing, ce qui peut permettre aux gens de constater instantanément la faisabilité de grands modèles, au lieu de continuer à cachez-vous dans la longue itération technique.

Pour cette raison, la première étape pour réaliser l'implémentation actuelle est que le coût de formation et le coût de raisonnement du grand modèle doivent être inférieurs à ceux de la recherche, et l'immédiateté peut également être garantie.

03 Quelle est la difficulté du concept à la mise en œuvre ?

Certains pensent que les start-up chinoises à grande échelle qui peuvent s'épuiser sont susceptibles d'être intégrées verticalement.

Pour faire simple, lors de la réalisation du grand modèle sous-jacent, identifier le scénario d'application principal final d'un modèle, collecter des données utilisateur et effectuer des itérations rapides.

Visuellement, l'intelligence métalinguistique est plus encline à cette catégorie. En résumé, pendant longtemps, l'intelligence métalangage s'est focalisée sur le business des grands modèles de langage naturel.

Yuanyu COO Zhu Lei a également déclaré : « Nous n'étendrons pas aveuglément le secteur de l'image et de la vidéo juste pour suivre le mouvement. Une bonne orientation commerciale est importante.

Cependant, pour d'autres start-up qui se développent dans des modèles verticaux à grande échelle tels que la conduite autonome et la production industrielle, elles peuvent ne pas connaître certaines données sectorielles spécifiques.

Après tout, dans la voie verticale des modèles à grande échelle, les données privées et l'expérience privée sont un facteur essentiel de la concurrence future des entreprises.Lorsque le processus d'une entreprise individuelle n'est pas connu des modélisateurs à grande échelle, il peut avoir une compétitivité unique.

De plus, dans le processus de concentration sur les affaires, l'exactitude des données de la source à la pré-formation et à la sortie est également requise.

L'IA générative fait également l'objet d'une plus grande attention réglementaire. Récemment, la Chine a publié les "Mesures de gestion des services d'intelligence artificielle générative (projet pour commentaires)", qui exigent clairement qu'il n'y ait pas de discrimination, que le contenu généré soit vrai et exact, et que les fausses informations soient évitées. en plus du filtrage de contenu, de l'optimisation du modèle, etc. pour l'optimisation.

Cependant, s'il s'agit d'un défaut inhérent à l'intelligence artificielle générative, il est techniquement difficile de le garantir et de le résoudre complètement.

De plus, avec l'émergence d'un meilleur modèle open source, il y aura un afflux de plus d'entreprises désireuses d'essayer.Pour les start-up, n'est-ce pas de la concurrence ?

Par exemple, l'actuel Llama 2, le 18 juillet, Meta a publié la version commerciale Llama 2 du premier modèle d'intelligence artificielle open source Llama. Certaines entreprises pensent que, selon les divers documents d'évaluation actuels, en plus de la faible capacité de codage, de nombreux endroits ont commencé à approcher ChatGPT.

Peut-être que la frénésie de la communauté open source à l'avenir popularisera les modèles à grande échelle avec des capacités de base, et les modèles à grande échelle privatisés seront le prix du chou à l'avenir. Pour le dire franchement, les entreprises peuvent utiliser le modèle de la privatisation à très bon marché.

Plus important encore, Tang Daosheng a dit un jour : "Le grand modèle général a de fortes capacités, mais il ne peut pas résoudre les problèmes spécifiques de nombreuses entreprises. Il peut résoudre 70 % à 80 % des problèmes dans 100 scénarios, mais il peut ne pas être en mesure de résoudre les problèmes spécifiques de nombreuses entreprises.100 % répondent aux besoins d'un certain scénario de l'entreprise.Cependant, si l'entreprise procède à des ajustements basés sur le grand modèle de l'industrie et ses propres données, elle peut construire un modèle dédié et créer des services intelligents disponibles."

Bien sûr, ce type de modèle de privatisation n'est pas encore venu, mais les startups en piste doivent avoir à la fois des opportunités et des difficultés.