Carnaval de l'informatique, qui est la "version chinoise" de Nvidia ?

**Source : **Core Tide IC

Texte : Wang Yike Ten Alleys

Éditeur : Su Yang Xubai

* "Les choses de base sont lourdes" Plan de recherche de l'industrie des semi-conducteurs de Tencent Technology, ce numéro de Core Tide IC et Tencent Technology, se concentrant sur derrière l'explosion de grands modèles, la formation d'un nouveau modèle sur le marché mondial de la puissance de calcul des puces, la disposition de les principales entreprises et la croissance des fabricants nationaux chassent. *

Une vague de révolution de l'IA accidentellement déclenchée par ChatGPT a de nouveau enflammé le marché des puces IA.

"Les puces telles que A800 et H800 sont passées d'environ 120 000 RMB à 250 000 ou même 300 000, voire jusqu'à 500 000." C'est une véritable scène dans le cercle de la distribution de puces nationales. Montée en flèche, les principaux fabricants nationaux veulent obtenir des puces en grand quantités, et ils doivent avoir une "relation directe" avec Huang Renxun.

Alors que la soi-disant "pas de puce, pas d'IA", alors que la demande de puissance de calcul des grands modèles monte en flèche, les puces, qui sont le fondement de la technologie de l'IA, ouvrent d'importantes opportunités commerciales. OpenAI a un jour prédit que pour faire des percées dans la recherche scientifique sur l'intelligence artificielle, les ressources informatiques nécessaires à la consommation doubleront tous les 3 à 4 mois, et les fonds devront également être assortis d'une croissance exponentielle.

Le directeur financier de Nvidia, Kress, a déclaré que la demande actuelle du marché pour la puissance de calcul de l'IA a dépassé les attentes de l'entreprise pour les prochains trimestres, et qu'il y a trop de commandes à honorer.

La vague d'IA générative a fait gagner beaucoup d'argent à Nvidia. Après 14 ans de cotation, Nvidia est entrée avec succès dans le club des capitalisations boursières à mille milliards de dollars. Pour atteindre cet objectif, les géants de la Silicon Valley comme Apple ont mis 37 ans, Microsoft a pris 33 ans, Amazon a pris 21 ans et Tesla a couru le plus vite. , n'a pris que 11 ans.

Cela a également stimulé les sociétés de puces chinoises à vouloir essayer.Les sociétés de puces nationales telles que Haiguang Information, Cambrian, Loongson Zhongke, Biren Technology, Tianshu Zhixin, etc., ont toutes l'ambition d'une "version chinoise" de Nvidia, et essaient de s'appuyer sur leurs propres recherches Autonomisation des modèles nationaux à grande échelle. Certains grands fabricants ont également commencé à utiliser des puces d'IA auto-développées pour supporter une partie des tâches d'entraînement ou de raisonnement du modèle, comme les puces Baidu Kunlun, Ali Hanguang 800...

Face au marché de mille milliards de dollars créé par la puissance de calcul de l'IA, les entreprises nationales peuvent-elles profiter de cette vague de dividendes ? Comment les fabricants de puces nationaux devraient-ils surmonter la "montagne" de Nvidia ? C'est un problème auquel aucune entreprise ne peut échapper.

01. La frénésie de l'IA a créé une valeur marchande d'un billion de dollars Nvidia

Les hommes qui aiment porter des vêtements en cuir sont les premiers à profiter des dividendes de l'IA.

Fin 2022, après la sortie de ChatGPT, il a rapidement provoqué une frénésie d'IA dans le monde entier. Parmi elles, Nvidia, qui parie sur l'avenir de l'IA, est devenue l'une des entreprises qui a le plus profité de la vague ChatGPT. Lors de la conférence Nvidia GTC de cette année, le fondateur et PDG de Nvidia, Jen-Hsun Huang, a dévoilé une nouvelle technologie d'intelligence artificielle et de puce, et a déclaré que le "moment iPhone" pour l'intelligence artificielle était arrivé.

Lors de la conférence de presse, Huang Renxun a déclaré que le déploiement de modèles de langage à grande échelle similaires à ChatGPT est une nouvelle charge de travail de raisonnement importante. Parmi eux, une nouvelle architecture est adoptée et la puce H100 avec un processus plus avancé est la plus accrocheuse.

Source : site officiel de NVIDIA

Ce GPU est un H100 basé sur l'architecture NVIDIA Hopper, équipé d'un moteur Transformer conçu pour traiter et piloter des modèles pré-entraînés similaires à ChatGPT. Un serveur standard avec quatre paires de H100 et NVLink à double GPU peut accélérer la formation d'un facteur 10 par rapport à HGX A100 pour le traitement GPT-3.

"H100 peut réduire d'un ordre de grandeur le coût de traitement des grands modèles de langage", a déclaré Huang Renxun. Basé sur la puce H100, Nvidia a également construit le dernier supercalculateur DGX, équipé de 8 GPU H100, afin qu'ils puissent être connectés pour former un énorme GPU, fournissant un "plan" pour la construction de l'infrastructure d'IA. Le supercalculateur DGX a été entièrement mis en production.

Après cela, les puces GPU hautes performances de Nvidia telles que A100, H100, A800 et H800 ont augmenté leurs prix en conséquence, en particulier la puce phare H100, qui a été vendue pour plus de 40 000 dollars américains sur les plateformes de commerce électronique à l'étranger à la mi-avril, et certains vendeurs l'ont même fixé à 6,5 dix mille dollars américains.

Dans le même temps, les puces A800 et H800 spécifiques à la Chine de Nvidia ont également été pillées. "Il est fondamentalement difficile pour les entreprises nationales de modèles à grande échelle d'obtenir ces puces. La demande sur l'ensemble du marché dépasse la demande et la pénurie est très grave. " Zhang Jue, fondateur du fournisseur d'approvisionnement en composants électroniques "Guangxin Century", a déclaré franchement. à Xinchao IC : "Cette année, ce type de puce GPU est passé d'environ 120 000 RMB à 250 000 RMB ou même 300 000 RMB, voire jusqu'à 500 000 RMB."

Il ne fait aucun doute que le leadership technologique de Nvidia dans les GPU hautes performances et ses deux puces AI, l'A100 et le H100, sont le moteur principal des grands modèles de langage comme ChatGPT.

Certains professionnels du cloud computing estiment que 10 000 puces Nvidia A100 constituent le seuil de puissance de calcul pour un bon modèle d'IA. Le supercalculateur IA construit par Microsoft pour OpenAI pour entraîner ses modèles est équipé de 10 000 puces GPU Nvidia. Par coïncidence, de grandes sociétés Internet nationales ont également passé d'importantes commandes à Nvidia. Selon un rapport tardif de LatePost, Byte a commandé plus d'un milliard de dollars américains de GPU à Nvidia cette année. Une autre grande entreprise qui ne peut pas être nommée a une commande d'au moins plus plus de 1 milliard de Yuan Renminbi.

Ce qui est encore plus exagéré, c'est que la possibilité pour ces entreprises de saisir enfin la carte dépend davantage de la relation commerciale, notamment s'il s'agissait d'un client majeur de Nvidia dans le passé. "Que vous parliez à Nvidia en Chine ou que vous alliez aux États-Unis pour parler directement à Lao Huang (Huang Renxun), cela fait une différence."

En conséquence, les données financières de Nvidia ont de nouveau atteint de nouveaux sommets. Le 25 mai, Nvidia a publié son rapport financier du premier trimestre.Le chiffre d'affaires de l'activité des centres de données où se trouvent les puces IA a atteint un niveau record, maintenant un taux de croissance annuel supérieur à 10%.

Huang Renxun a révélé que toute la gamme de produits du centre de données est désormais en production et que l'offre est considérablement augmentée pour répondre à l'augmentation de la demande.

Une série de bonnes nouvelles a directement fait monter de plus en plus le cours de l'action Nvidia. Le soir du 30 mai, le marché boursier américain a ouvert et la valeur marchande de Nvidia a directement dépassé 1 000 milliards de dollars. Le 19 juillet, la valeur marchande totale de Nvidia a grimpé de 175 milliards de dollars américains du jour au lendemain, déclenchant à nouveau un boom des investissements.

Selon le site Web Companiesmarketcap, la valeur marchande totale de Nvidia se classe au sixième rang mondial, et c'est également la société de puces avec la valeur marchande la plus élevée à l'heure actuelle, près de deux TSMC (533,6 milliards de dollars). année. Je dois admettre que cette vague de frénésie d'IA a rempli le Nvidia de Huang Renxun.

02. Il est impossible pour Nvidia de profiter de la frénésie de la puissance de calcul

"Nvidia n'aura pas éternellement le monopole des puces d'entraînement et d'inférence à grande échelle."

C'était la réponse du PDG de Tesla, Elon Musk, à un tweet d'Adam D'Angelo, PDG du site social de questions-réponses et du marché de la connaissance en ligne Quora, qui a écrit: "L'une des raisons pour lesquelles le boom de l'IA est sous-estimé est la pénurie de GPU. /TPU, ", ce qui a conduit à diverses restrictions sur les lancements de produits et la formation des modèles, mais rien de tout cela n'était apparent. Au lieu de cela, nous avons vu le cours de l'action Nvidia monter en flèche. Une fois que l'offre a répondu à la demande, les choses se sont accélérées."

Évidemment, Silicon Valley Iron Man n'est pas d'accord avec cela, il a également commenté : "De nombreuses autres puces d'accélération de réseau neuronal sont également en cours de développement, et Nvidia ne monopolisera pas éternellement la formation et le raisonnement à grande échelle."

Une tempête est à venir.

Quelle taille de marché de la puissance de calcul la frénésie de l'IA centrée sur les grands modèles peut-elle conduire ? Soochow Securities estime que la demande de puissance de calcul des modèles d'IA continue d'augmenter, ouvrant la demande du marché pour les puces informatiques hautes performances. On estime que la taille du marché des puces d'IA de mon pays atteindra 178 milliards de yuans en 2025, et la le taux de croissance annuel composé de 2019 à 2025 atteindra 42,9 %. Du point de vue de la taille du marché, les puces IA en sont à leurs balbutiements, mais elles ont un énorme potentiel de croissance.

La puce AI est un concept large, qui fait généralement référence à un module spécialement utilisé pour traiter des tâches informatiques dans des applications d'intelligence artificielle.C'est un matériel de tâche informatique né à l'ère du développement rapide des applications d'intelligence artificielle.Toutes les puces pour l'intelligence artificielle les applications sont appelées puces AI. Il existe trois voies techniques principales : polyvalente (GPU), semi-personnalisée (FPGA) et personnalisée (ASIC).

Du point de vue de la formation de modèles à grande échelle, du réglage fin basé sur des scénarios et des scénarios d'application d'inférence, la puissance de calcul hétérogène fournie par les puces CPU + AI, les capacités de calcul parallèle supérieures et la bande passante d'interconnexion élevée peuvent prendre en charge l'efficacité maximale de l'informatique AI et devenir un intelligent La solution grand public pour l'informatique.

En termes de part de marché, selon iResearch, d'ici 2027, le marché chinois des puces IA devrait atteindre 216,4 milliards de yuans. Avec l'optimisation des modèles d'IA mis en œuvre, la proportion de puces de raisonnement d'IA augmentera de jour en jour. En 2022, les puces d'entraînement à l'IA et les puces de raisonnement à l'IA de la Chine représenteront respectivement 47,2 % et 52,8 %.

À l'heure actuelle, il existe trois types d'acteurs dans le domaine des puces IA : l'un est les anciens géants des puces représentés par Nvidia et AMD, avec des performances de produit exceptionnelles ; l'autre est les géants du cloud computing représentés par Google, Baidu et Huawei. , et développé des puces d'IA, des plateformes d'apprentissage en profondeur, etc. pour soutenir le développement de grands modèles. Par exemple, Kunpeng Ascend de Huawei, CANN et Mindspore, Kunlun Core de Baidu, etc. Enfin, il existe de petites et belles licornes à puce AI, telles que Cambrian, Biren Technology, Tianshu Zhixin, etc.

Bien que l'apparition de modèles nationaux à grande échelle puisse entraîner un écart de puissance de calcul, ce n'est qu'une question de temps avant que les fabricants de puces nationaux ne profitent des dividendes du remplacement national. En tant que développeur de puces d'entraînement à l'IA, Cambrian, le « premier stock de puces à IA », a de nouveau attiré l'attention du marché, et son cours de bourse a continué d'augmenter. La dernière valeur marchande a dépassé les 90 milliards.

Dans la gamme de produits cloud, Cambricon a lancé quatre générations de produits à puce : Siyuan 100 en 2018, Siyuan 270 en 2019, Siyuan 290 (véhicule) en 2020 et la série Siyuan 370 sortie en 2021. Il est utilisé pour prendre en charge les tâches de traitement de l'intelligence artificielle. avec une croissance rapide de la complexité et du débit de données dans les scénarios de cloud computing et de centre de données. De plus, Cambrian a également un produit en cours de recherche, le Siyuan 590, qui n'est pas encore sorti. De plus, d'ici la fin de 2022, la série Siyuan 370 et le produit AIGC Baidu Flying Paddle termineront les tests de compatibilité de niveau II.

Cependant, la question de savoir si les entreprises nationales de modèles à grande échelle ont adopté les puces Cambrian n'a pas encore reçu d'informations précises. "Dans le domaine des puces IA haut de gamme, les fabricants nationaux en sont à leurs balbutiements, et beaucoup de choses ont besoin de temps et d'argent pour être vérifiées", a révélé un ingénieur senior en puces. Même les puces d'entreprises telles que Huawei, Baidu et Haiguang Information ont un écart évident avec les produits Nvidia.

Quelqu'un a dit un jour franchement que l'écart entre Nvidia et les autres fabricants de puces est la différence entre les académiciens et les lycéens. Comme l'a dit Huang Renxun, Nvidia "fonctionne", et les autres fabricants de puces qui veulent surpasser les géants ne peuvent que courir sauvagement.

03. Le "Game of Thrones" derrière le grand modèle d'IA

En plus de Nvidia, AMD, un autre géant du GPU, est également intervenu récemment.

Récemment, AMD a sorti la dernière carte accélératrice. Sur le site de la conférence où AMD a lancé la dernière carte accélératrice Instinct MI300X, une ligne de mots a été spécialement tapée sur le PPT - dédié aux grands modèles de langage. Ceci est considéré par l'industrie comme une déclaration directe de guerre contre Nvidia !

Il est rapporté que la densité de la mémoire à bande passante élevée (HBM) du MI300X peut atteindre jusqu'à 2,4 fois celle de Nvidia H100, et la bande passante de la mémoire à bande passante élevée peut atteindre jusqu'à 1,6 fois celle du H100. Modèle AI que H100.

La série MI300 où se trouve le MI300X est une série des dernières cartes accélératrices APU créées par AMD pour AI et HPC. Parmi eux, MI300A est le "modèle de base" et MI300X est le "modèle optimisé pour les grands modèles" avec des performances matérielles supérieures.

À l'heure actuelle, le MI300A a été échantillonné, et on estime qu'il sera bientôt disponible à l'achat ; la carte dédiée à grande échelle MI300X et la plate-forme informatique AMD Instinct intégrant 8 MI300X devraient être échantillonnées au troisième trimestre de cette année. année et sera lancé au quatrième trimestre.

Au cours des dernières années, par rapport aux grands mouvements de Nvidia dans le domaine de l'IA, les actions d'AMD semblent un peu lentes. Comme l'a dit Eric Jang, PDG de DeepBrain AI, il a le sentiment qu'AMD l'a déçu ces dernières années et que rien n'a changé au cours des cinq dernières années. Surtout lors de l'épidémie d'AIGC, si AMD ne travaille pas dur pour suivre, l'écart ne fera que se creuser.

Avec le lancement des produits de la série MI300 d'AMD, nous pouvons enfin voir AMD et Nvidia se battre de front.

Malheureusement, le marché ne semble pas acheter les nouvelles cartes d'AMD.

Lors de cette conférence AMD, son cours de bourse n'a pas augmenté mais baissé. En revanche, le cours de l'action Nvidia a également augmenté d'une vague. Le sentiment du marché n'est pas difficile à comprendre, car dans le domaine de la haute technologie, en particulier dans les marchés émergents, il devient une logique commune sur le marché commercial de suivre le rythme à chaque étape et de garder le fort.

Mais en fait, après une étude approfondie des raisons, on peut constater que la principale raison pour laquelle Nvidia monopolise le marché des puces de formation à l'intelligence artificielle est son écologie CUDA auto-développée. Par conséquent, si AMD MI300 veut remplacer Nvidia, il doit d'abord être compatible avec l'écosystème CUDA de Nvidia.AMD a lancé l'écosystème ROCm à cet effet et a atteint une compatibilité totale avec CUDA via HIP, réduisant ainsi le coût connu des utilisateurs.

À cet égard, Murong Yi, un blogueur d'investissement bien connu, estime que la difficulté d'emprunter la voie compatible avec NVIDIA CUDA est que sa vitesse d'itération de mise à jour ne peut jamais suivre CUDA, et il est difficile d'obtenir une compatibilité totale, c'est-à-dire , d'une part, l'itération est toujours un pas plus lent. Le GPU Nvidia itère rapidement sur la micro-architecture et le jeu d'instructions, et des mises à jour de fonctions correspondantes sont requises à de nombreux endroits sur la pile logicielle supérieure, mais il est impossible pour AMD de connaître la feuille de route des produits de Nvidia, et les mises à jour logicielles seront toujours un peu plus lentes que Nvidia (par exemple, AMD vient peut-être d'annoncer le support de CUDA11, mais Nvidia a lancé CUDA12) ; d'autre part, la difficulté d'une compatibilité totale augmentera la charge de travail des développeurs. L'architecture des logiciels à grande échelle comme CUDA est très compliqué, et AMD a besoin d'investir beaucoup de ressources humaines et matérielles. Il faudra des années voire plus de dix ans pour rattraper, car il y aura forcément des différences fonctionnelles, et si la compatibilité n'est pas bien faite, cela affectera la performance. Par conséquent, ce sont aussi les principales raisons pour lesquelles tout le monde ne l'achète pas.

Selon les estimations de Khaveen Investments, la part de marché des GPU des centres de données de Nvidia atteindra 88 % en 2022, et AMD et Intel se partageront le reste.

Depuis qu'OpenAI a publié ChatGPT l'année dernière, un nouveau cycle de révolution technologique a continué à fermenter. On peut dire qu'aucune avancée technologique n'a autant attiré l'attention du monde que ChatGPT depuis de nombreuses années.

Diverses entreprises technologiques, instituts de recherche scientifique et collèges et universités nationaux et étrangers suivent.En moins de six mois, de nombreuses entreprises en démarrage pour des applications modèles à grande échelle ont vu le jour et l'ampleur du financement a augmenté à plusieurs reprises. atteint de nouveaux sommets.

Selon le blogueur wgang, Baidu, iFLYTEK, 4Paradigm, l'Université Tsinghua, Fudan et d'autres grandes usines nationales, start-up et instituts de recherche scientifique ont successivement publié des modèles de produits à grande échelle :

Source : Zhihu wgwang

On peut voir que non seulement dans le domaine général, mais aussi dans des scénarios industriels spécifiques, en particulier dans certains domaines à fort professionnalisme et à haute densité de connaissances, les entreprises technologiques publient également de grands modèles dans des domaines verticaux. Par exemple, Baijiayun (RTC), une société cotée aux États-Unis, a récemment lancé le produit AIGC "Market Easy" basé sur sa compréhension des besoins de service des entreprises. Il s'agit également du premier moteur de modèle GPT à grande échelle adapté aux scénarios de production de contenu. des services marketing des entreprises.

Certains initiés de l'industrie ont déclaré avec un sourire: "Les modèles nationaux à grande échelle ont formé une situation où des groupes de modèles dansent sauvagement et une centaine de modèles s'affrontent. On s'attend à ce qu'il y ait plus de 100 modèles à grande échelle d'ici la fin du année."

Cependant, le développement de grands modèles nécessite le support de trois facteurs importants : les algorithmes, la puissance de calcul et les données. La puissance de calcul est un moteur énergétique important pour la formation de grands modèles, et c'est aussi un obstacle majeur au développement de l'industrie des grands modèles. en Chine.

La capacité de la puce affecte directement l'effet et la vitesse de la formation en calcul intensif. Comme mentionné ci-dessus, malgré l'émergence fréquente de produits modèles nationaux à grande échelle, à en juger par les puces derrière eux, toutes ces plates-formes utilisent soit les GPU Nvidia A100 et H100, soit les versions de configuration réduite des GPU A800 et A800 de Nvidia spécialement lancées après l'interdiction l'année dernière. H800, la bande passante de ces deux processeurs est d'environ 3/4 et environ la moitié de la version originale, évitant ainsi la limitation standard des GPU hautes performances.

En mars de cette année, Tencent a pris les devants en annonçant qu'il avait utilisé le H800. Il avait déjà utilisé le H800 dans la nouvelle version des services de calcul haute performance publiée par Tencent Cloud, et a déclaré que c'était le premier en Chine.

Alibaba Cloud a également proposé en interne en mai de cette année que la "bataille informatique intelligente" serait la bataille numéro un cette année, et le nombre de GPU est devenu un indicateur important de sa bataille.

Par ailleurs, Shangtang a également annoncé que près de 30 000 GPU ont été déployés dans son cluster informatique « AI large device », dont 10 000 sont des Nvidia A100. Byte et Meituan allouent directement des GPU d'autres équipes commerciales de l'entreprise pour la formation de grands modèles. Certains fabricants recherchent même depuis le second semestre 2022 divers produits de machines complètes capables de retirer l'A100 du marché, dans le seul but d'obtenir des puces GPU. "Il y a trop de machines et pas assez d'endroits pour les stocker."

Il est entendu que les principales entreprises technologiques nationales ont investi massivement dans l'IA et le cloud computing.Dans le passé, l'accumulation d'A100 a atteint des dizaines de milliers.

Dans le même temps, les principales entreprises technologiques chinoises sont toujours engagées dans une nouvelle série de concours d'approvisionnement.

Selon un fournisseur de services cloud, les grandes entreprises telles que Byte et Alibaba négocient principalement les achats directement avec l'usine Nvidia d'origine, et il est difficile pour les agents et les marchés de l'occasion de répondre à leurs énormes besoins.

Comme mentionné ci-dessus, ByteDance a commandé plus d'un milliard de dollars américains de produits GPU à Nvidia cette année.Le volume d'achat de Byte cette année est proche des ventes totales de GPU commerciaux vendus par Nvidia en Chine l'année dernière. Selon les rapports, il existe une autre grande entreprise avec une commande d'au moins plus d'un milliard de yuans.

On peut voir que les grandes entreprises technologiques chinoises sont très pressées d'acheter des GPU.

Non seulement les entreprises nationales, mais aussi les grands clients étrangers ont une très forte demande pour les puces A100/H100 de Nvidia. Selon les statistiques, Baidu, qui a commencé à tester des produits de type ChatGPT, a des dépenses en capital annuelles comprises entre 800 et 2 milliards de dollars depuis 2020, et celle d'Alibaba entre 6 et 8 milliards de dollars. Au cours de la même période, Amazon, Meta, Google et Microsoft, les quatre entreprises technologiques américaines qui ont construit leurs propres centres de données, ont réalisé des dépenses en immobilisations annuelles d'au moins 15 milliards de dollars américains.

À l'heure actuelle, la visibilité des commandes de Nvidia a atteint 2024 et les puces haut de gamme se font rares. Avec le calendrier de production actuel, même l'A800/H800 ne sera pas livré avant la fin de cette année ou l'année prochaine. À court terme, du point de vue de sa popularité, la seule chose qui affecte les ventes de GPU haut de gamme de Nvidia pourrait être la capacité de production de TSMC.

04. Derrière le "fou" Nvidia, les puces domestiques sont-elles insuffisantes tant au niveau matériel que logiciel ?

À en juger par l'offre de puces de produits modèles à grande échelle, il n'existe actuellement aucun substitut pour A100, H100 et les versions réduites d'A800 et H800 spécialement fournies à la Chine en termes de formation de modèles à grande échelle d'IA.

Alors, pourquoi dans ce cycle de boom GPT, Nvidia a pris les devants et a bien performé ?

Zhang Gaonan, associé directeur de Huaying Capital, a déclaré que d'une part, c'est parce que Nvidia a la disposition la plus ancienne, et que sa structure de micro-noyau a également évolué et s'est améliorée de génération en génération. Maintenant, que ce soit en termes de concurrence, de vitesse de bus ou de prise en charge mature du micro-noyau pour la transformation matricielle, ses capacités sont déjà très efficaces, notamment en fournissant une plate-forme informatique CUDA très complète en même temps, qui est en fait devenue une norme industrielle potentielle pour algorithmes d'apprentissage en profondeur Les installations de support de l'ensemble de la chaîne industrielle sont également très complètes, et les barrières de concurrence complètes et la profondeur de la douve sont extrêmement élevées.

Pour résumer, l'irremplaçabilité actuelle du GPU Nvidia vient du mécanisme de formation des grands modèles.Ses étapes principales sont la pré-formation et le réglage fin.Le premier consiste à jeter les bases, ce qui équivaut à recevoir une formation générale.Diplômé de l'université ; ce dernier est optimisé pour des scénarios et des tâches spécifiques afin d'améliorer les performances au travail.

Alors, les puces GPU nationales peuvent-elles prendre en charge les besoins en puissance de calcul des grands modèles ?

Dans les applications pratiques, la demande de puissance de calcul du grand modèle est divisée en deux étapes : l'une est le processus de formation du grand modèle ChatGPT ; l'autre est le processus de raisonnement de commercialisation du modèle. Autrement dit, la formation à l'IA consiste à créer des modèles, et le raisonnement de l'IA consiste à utiliser des modèles, et la formation nécessite des performances de puce plus élevées.

Sur cette base, les entreprises nationales de puces AI continuent d'émerger, lançant des produits sur le marché les uns après les autres. Des entreprises telles que Suiyuan Technology, Biren Technology, Tianshu Zhixin et Cambrian ont toutes lancé leurs propres produits GPU cloud, et les indicateurs de performance théoriques ne sont pas faibles. La puce DCU "Shensu No. 1" de Haiguang Information possède un écosystème logiciel et matériel relativement complet et est compatible avec l'architecture CUDA. Et de grandes sociétés Internet telles que Tencent, Baidu et Ali se déploient également vigoureusement dans le domaine des puces d'IA par le biais d'investissements et d'incubation.

Parmi eux, la formation de modèles à grande échelle doit traiter des informations à haute granularité, ce qui nécessite une précision et une vitesse de calcul plus élevées pour les puces de formation en nuage.À l'heure actuelle, la plupart des GPU nationaux n'ont pas la capacité de prendre en charge la formation de modèles à grande échelle. pour le travail d'inférence cloud qui ne nécessite pas une telle granularité d'informations.

* Les produits AI et les circuits intégrés d'onde de base d'application de certaines sociétés nationales liées sont triés en fonction des informations publiques *

En mars de cette année, Baidu Li Yanhong a déclaré publiquement que la puce Kunlun est désormais très adaptée au raisonnement de grands modèles et conviendra à la formation à l'avenir.

Zou Wei, vice-président de Tianshu Zhixin, a également déclaré à Xinchao IC qu'il existe encore un certain écart entre les puces nationales et les derniers produits de Nvidia, mais en termes de calculs d'inférence, les puces nationales peuvent atteindre les mêmes performances que les produits grand public, et avec l'application de l'intelligence artificielle Popularité, la demande du marché pour les puces de raisonnement accélérera la croissance, et avec l'expansion de la demande, les puces nationales auront également un marché plus vaste.

Une autre personne de l'industrie qui n'a pas voulu être nommée a déclaré: "Les produits GPU à usage général nationaux ont un écart avec les produits phares internationaux pour répondre à la formation de modèles à grande échelle, mais ce n'est pas irréparable. C'est juste que l'industrie a pas conçu dans le sens des modèles à grande échelle dans la définition du produit. »

À l'heure actuelle, les praticiens de l'industrie font des explorations et des efforts pertinents, par exemple en se demandant si la puissance de calcul des puces peut être améliorée grâce à des puces et à des emballages avancés. À l'heure actuelle, les sociétés nationales de GPU développent et agencent des puces dans le domaine des grands modèles.

Du point de vue du capital, Zhang Gaonan, associé directeur de Huaying Capital, a déclaré à Xinchao IC que Huaying accordait depuis longtemps une attention particulière à l'infrastructure de puissance de calcul, qu'il s'agisse de GPU, de DPU ou d'informatique hybride photoélectrique de pointe, d'informatique quantique. , il y a Recherche ciblée et mise en page. Dans l'ensemble, il se concentre sur les infrastructures informatiques à usage général, telles que les FPGA et l'informatique de pointe. En revanche, à l'heure actuelle, de nombreuses puces de puissance de calcul autour de l'apprentissage en profondeur, des algorithmes spéciaux, de l'optimisation de la puissance de calcul locale, etc. ne sont pas au centre de son examen.

En fait, en plus de l'écart de performances matérielles, l'écosystème logiciel est également une lacune des fabricants nationaux de puces AI.

La puce doit s'adapter à plusieurs niveaux tels que le système matériel, la chaîne d'outils, le compilateur, etc., et a besoin d'une forte adaptabilité. Sinon, cette puce peut exécuter 90 % de la puissance de calcul dans une scène, mais ne peut fonctionner qu'à 90 % dans une autre Scénario de performance à court de 80 %.

Comme mentionné ci-dessus, Nvidia présente des avantages évidents à cet égard. Dès 2006, Nvidia a lancé la plate-forme de calcul CUDA, qui est un moteur logiciel de calcul parallèle. Le framework CUDA intègre de nombreux codes nécessaires pour invoquer la puissance de calcul du GPU. Les ingénieurs peuvent utiliser directement ces codes sans les écrire un par un. Les développeurs peuvent utiliser CUDA pour effectuer plus efficacement la formation et le raisonnement de l'IA, et mieux utiliser la puissance de calcul du GPU. Aujourd'hui, CUDA est devenu une infrastructure d'IA, et les frameworks, bibliothèques et outils d'IA grand public sont tous développés sur la base de CUDA.

Sans cet ensemble de langages de codage, il sera extrêmement difficile pour les ingénieurs en logiciel de réaliser la valeur du matériel.

Si des GPU et des puces AI autres que Nvidia veulent accéder à CUDA, ils doivent fournir leur propre logiciel d'adaptation. Selon des initiés de l'industrie, j'ai contacté un fabricant de GPU non-NVIDIA.Bien que ses devis de puces et de services soient inférieurs à ceux de NVIDIA et promettent de fournir des services plus rapides, les coûts globaux de formation et de développement liés à l'utilisation de son GPU seront plus élevés que ceux de NVIDIA. l'incertitude des résultats et le temps de développement.

Bien que les GPU Nvidia soient chers, ils sont en fait les moins chers à utiliser. Pour les entreprises qui ont l'intention de saisir l'opportunité des modèles à grande échelle, l'argent n'est souvent pas un problème, et le temps est une ressource plus précieuse.Chacun doit obtenir suffisamment de puissance de calcul avancée dès que possible pour assurer l'avantage du premier arrivé.

Par conséquent, pour les fournisseurs de puces nationaux, même si un produit avec une puissance de calcul comparable peut être empilé en empilant des puces, il est plus difficile pour les clients d'accepter l'adaptation et la compatibilité logicielles. De plus, du point de vue du fonctionnement du serveur, ses dépenses de carte mère, ses frais d'électricité, ses dépenses d'exploitation et des problèmes tels que la consommation d'énergie et la dissipation thermique qui doivent être pris en compte augmenteront considérablement les coûts d'exploitation du centre de données.

Étant donné que les ressources de puissance de calcul doivent souvent être présentées sous forme de mise en commun, les centres de données sont généralement plus disposés à utiliser la même puce ou les mêmes puces de la même société pour réduire la difficulté de la mise en commun de la puissance de calcul.

La libération de la puissance de calcul nécessite une coopération logicielle et matérielle complexe pour transformer la puissance de calcul théorique de la puce en puissance de calcul effective. Pour les clients, il n'est pas facile d'utiliser des puces d'intelligence artificielle domestiques. Le remplacement des puces d'intelligence artificielle dans le cloud nécessite certains coûts et risques de migration, à moins que le nouveau produit ne présente des avantages en termes de performances ou ne puisse poser des problèmes que d'autres ne peuvent pas résoudre dans une certaine dimension. Sinon, la volonté de clients à remplacer est très faible.

En tant que seul fournisseur de GPU capable de traiter ChatGPT, Nvidia est le "roi de la puissance de calcul de l'IA" bien mérité. Il y a six ans, Huang Renxun a personnellement livré le premier supercalculateur équipé de la puce A100 à OpenAI, aidé ce dernier à créer ChatGPT, et est devenu le leader de l'ère de l'IA.

Cependant, depuis que les États-Unis ont mis en place des contrôles à l'exportation l'année dernière, Nvidia s'est vu interdire d'exporter deux de ses puces GPU les plus avancées, les H100 et A100, vers la Chine. C'est sans aucun doute un coup dur pour les entreprises d'application en aval.

Du point de vue de la sécurité et de la maîtrise de soi, cela offre également une nouvelle fenêtre d'opportunité aux entreprises nationales de puces. Bien que les puces nationales soient inférieures aux géants de l'industrie tels que Nvidia et AMD en termes de performances et d'écologie logicielle, motivées par des relations commerciales internationales complexes et des facteurs géopolitiques, la "substitution nationale" est devenue le thème principal du développement de l'industrie nationale des semi-conducteurs.

05. Conclusion

Chaque augmentation de la puissance de calcul déclenchera une vague de changements technologiques et industriels : les processeurs font entrer l'humanité dans l'ère du PC, les puces mobiles déclenchent une vague d'Internet mobile et les puces d'IA brisent le goulot d'étranglement de la puissance de calcul qui dure depuis des décennies dans l'IA industrie.

Aujourd'hui, le "moment AI iPhone" est arrivé, et la route vers la prochaine ère est peut-être déjà devant nous.

Bien que les domaines des puces d'IA et des systèmes logiciels dans ces centres de données soient encore dominés par des fabricants étrangers, la porte du marché de la "localisation de la puissance de calcul" pourrait s'ouvrir maintenant.