Le 17 octobre, le Bureau de l’industrie et de la sécurité (BIS) du département américain du Commerce a émis une nouvelle interdiction d’exportation de puces, renforçant les restrictions sur l’achat par la Chine d’importantes puces haut de gamme.
Restreindre les importations chinoises de puces haut de gamme est sans aucun doute freiner le développement de l’industrie technologique chinoise. Des études antérieures ont montré que pour chaque augmentation de 1 point de l’indice de puissance de calcul, l’économie numérique et le PIB augmenteront respectivement de 3,5 et 1,8 ‰.
Cependant, le durcissement des restrictions extérieures n’a pas provoqué la stagnation de l’industrie chinoise de la puissance de calcul, qui a dépassé la barre des mille milliards de dollars. **Selon l’Académie chinoise des technologies de l’information et de la communication, à la fin de 2021, l’échelle de l’industrie chinoise de la puissance de calcul de base a dépassé 1,5 billion de yuans, et l’échelle des industries connexes a dépassé 8 billions de yuans.
Derrière ce marché de mille milliards de dollars, les entreprises et les gouvernements travaillent ensemble pour saisir l’ère de l’IA.
D’une part, depuis le lancement de ChatGPT, les entreprises nationales et les instituts de recherche ont lancé plus de 130 grands modèles en un peu plus de six mois, parmi lesquels des acteurs de premier plan ont commencé à appliquer de grands modèles à des scénarios spécifiques et à créer des applications explosives.
D’autre part, afin de construire une base de puissance de calcul, les gouvernements locaux ont commencé la construction de centres de calcul intelligents, mettant l’information à grande vitesse à l’ère du big data, promouvant l’innovation industrielle et la mise à niveau, et réduisant le coût des entreprises appelant les réalisations scientifiques et technologiques représentées par de grands modèles.
Le commerce externe des puces s’est progressivement refroidi, et le marché interne de la puissance de calcul a scintillé, et entre les deux cieux de glace et de feu, les gens ne peuvent s’empêcher d’être curieux :
Dans quelle ville la bataille décisive de l’industrie chinoise de la puissance de calcul a-t-elle été capturée ? Comment casser la chaîne de l’industrie de la puissance de calcul ? Dans ce processus, quelles sont les entreprises qui ont assumé la responsabilité de pionniers ?
**01 NVIDIA coupe l’alimentation, affecte la géométrie ? **
Si le grand modèle de langage est utilisé comme base pour traiter les demandes d’inférence de 1,4 milliard de personnes en Chine en même temps, la quantité de calcul requise dépasse la puissance de calcul totale des centres de données chinois de 3 ordres de grandeur. "**
Lors de la Conférence mondiale sur l’intelligence artificielle (WAIC) 2023 qui s’est tenue à Shanghai en juillet de cette année, Wang Yu, professeur d’ingénierie électronique à l’Université Tsinghua, a révélé l’ampleur de l’écart de puissance de calcul national.
En fait, non seulement les grands modèles, mais aussi la popularité d’applications diversifiées dans la 5G, les villes intelligentes et l’Internet des objets ont également entraîné une accélération continue de la génération de données.
IDC prévoit que l’échelle de la puissance de calcul intelligent de la Chine atteindra 1271EFLOPS en 2026, avec un taux de croissance annuel composé de 69,45 %. À la fin de l’année 2022, le « Livre blanc sur le développement de la puissance de calcul intelligent 2023 » compilé par le New H3C Group et l’Académie chinoise des technologies de l’information et des communications montre que la puissance de calcul nationale totale n’est que de 180 EFLOPS. (Remarque : FLOPS fait référence aux opérations en virgule flottante par seconde, et 1271EFLOPS signifie 1271 opérations exaflopiques par seconde.) ）
** Afin de résoudre la situation actuelle de pénurie de puissance de calcul, l’État a successivement publié un certain nombre de documents pour soutenir et guider toutes les localités afin d’accélérer la construction d’infrastructures de puissance de calcul. **
Parmi eux, le Plan d’action pour le développement de haute qualité de l’infrastructure de puissance de calcul publié en octobre indique clairement que l’échelle de la puissance de calcul dépassera 300 EFLOPS en 2025, dont la proportion de puissance de calcul intelligente pouvant être utilisée pour l’entraînement de grands modèles doit atteindre 35 %.
À l’heure actuelle, il y a environ 31 centres de calcul intelligents financés par le gouvernement, ce qui correspond à la puissance de calcul totale de 10,13 EFLOPS dans le plan, avec un investissement total de près de 47 milliards de yuans, ce qui est encore loin de l’échelle de puissance de calcul intelligente totale prévue de 105E, 50 centres de calcul intelligents et une échelle de puissance de calcul monocentrique de 2,1 EFLOPS.
En fait, non seulement en Chine, mais aussi dans le monde, il y a une pénurie de puissance de calcul. Selon les données d’OpenAI, il existe un écart de 10 000 fois entre le taux de croissance du volume de calcul des modèles et le taux de croissance de la puissance de calcul du matériel d’intelligence artificielle. **
La pénurie de puissance de calcul a d’abord contribué à la flambée des prix des GPU. Depuis décembre de l’année dernière, le prix du NVIDIA A100 a augmenté de près de 40% en 5 mois. Le nouveau H100 de cette année est encore plus inestimable.
En raison de l’afflux de commandes, le cycle de livraison de NVIDIA, le fabricant de GPU avec la plus grande part de marché, a été prolongé d’un mois à plus de trois mois, et même certaines commandes pourraient ne pas être livrées avant 2024. La raison principale est que la chaîne d’approvisionnement en puces est longue et fragmentée, et qu’il est impossible d’augmenter rapidement la capacité de production.
**En raison des restrictions de l’interdiction américaine, les plans des fabricants nationaux pour augmenter la puissance de calcul sont plus difficiles à mettre en œuvre que Google, Meta et OpenAI. **
Avant d’annoncer la nouvelle série d’interdictions, Nvidia a adapté les règles de restriction en fournissant au marché chinois des « versions castrées » des puces informatiques phares A800 et H800, qui ont des vitesses d’interconnexion réduites.
En août, les médias ont rapporté que des entreprises telles que Baidu, Tencent, Alibaba et ByteDance avaient commandé pour 5 milliards de dollars de puces à Nvidia. Sur ce montant, 1 milliard de dollars a été commandé pour l’A800, qui devrait être livré cette année. La commande restante, d’un montant de 4 milliards de dollars, sera livrée en 2024.
Après l’annonce de cette interdiction, en raison de la densité de performance en tant qu’exigence pertinente pour limiter la nouvelle norme, les puces A800 et H800, en raison du dépassement de la norme, seront également complètement interdites.
Dans le dépôt 8-K mis à jour de NVIDIA auprès de la Securities and Exchange Commission (SEC) des États-Unis, il est mentionné que le gouvernement américain a avancé la date d’entrée en vigueur de l’interdiction des cinq puces GPU de NVIDIA, y compris A100, A800, H100, H800 et L40S, de la fin novembre initiale à prendre effet immédiatement.
**Les modifications ci-dessus signifient que les quelque 100 000 puces A800 que BAT a déjà commandées ne seront probablement pas livrées. **
Cependant, l’infrastructure nationale de puissance de calcul ne semble pas être beaucoup affectée. À l’heure actuelle, près de 30 centres de calcul intelligents sont en construction ou achevés, dont plus de 50 % des fournisseurs de puces sont Huawei Ascend.
Auparavant, Liu Qingfeng, président d’iFLYTEK, avait déclaré lors de la conférence de presse que les performances du Huawei Ascend 910B pouvaient déjà être comparées à celles de l’A100.
Dans l’ensemble, bien que le durcissement des restrictions américaines à l’égard de la Chine ait freiné les progrès de l’itération des grands modèles de certains géants de l’Internet, l’infrastructure nationale de puissance de calcul continue de progresser régulièrement. **
Et comme la difficulté d’importer des puces continuera d’augmenter dans un avenir prévisible, pour des raisons de sécurité de la chaîne d’approvisionnement, les fabricants nationaux de puces devraient inaugurer une nouvelle vague d’opportunités de développement.
02 Percée en matière de puissance de calcul : auto-recherche pour gaucher, écologie pour droitier
Bien que les seuls fabricants de GPU généralement reconnus sur le marché international soient NVIDIA et AMD, cela ne signifie pas qu’il n’y a pas d’autres choix qu’eux.
**Par rapport aux puces ASIC, les GPU ont l’avantage d’une grande polyvalence et conviennent à divers domaines de recherche. Cependant, subdivisée en diverses entreprises, il existe en fait une puissance de calcul excédentaire générale, comme la capacité d’inférence d’un grand modèle qui n’a besoin que d’utiliser le GPU et n’a pas besoin de sa puissance de calcul graphique.
Par conséquent, de nombreux fabricants se sont lancés sur la voie de la recherche et du développement indépendants en fonction de leurs propres besoins. **
Par exemple, Alibaba a lancé sa puce auto-développée Hanguang 800 en mai de cette année, qui serait la plus performante des puces d’IA à l’époque, avec une puissance de calcul équivalente à 10 processeurs ; La puce d’IA multifonctionnelle dans le cloud Kunlun, développée par Baidu, a également été itérée vers la version 3.0 et atteindra une production de masse en 2024.
Parmi les sociétés de puces auto-développées, la plus bruyante est sans aucun doute Huawei susmentionnée.
Récemment, la machine tout-en-un Spark créée conjointement par Huawei et iFLYTEK a été remise sur le point d’être relancée.
Selon les informations publiques, la machine tout-en-un Xinghuo est basée sur le CPU Kunpeng + le GPU Ascend, utilisant le stockage et le réseau Huawei pour fournir une solution d’armoire complète, avec une puissance de calcul FP16 de 2,5 PFLOPS. En revanche, le NVIDIA DGX A100 8-GPU, qui est le plus populaire dans l’entraînement des grands modèles, peut produire une puissance de calcul FP16 de 5 PFLOPS.
« Wisdom » a rapporté que dans des scénarios spécifiques de grands modèles tels que Pangu et Xunfei Xinghuo, l’Ascend 910 a légèrement dépassé la version PCIe A100 80 Go, réalisant un remplacement national. Cependant, la polyvalence est encore insuffisante et d’autres modèles, tels que GPT-3, doivent être profondément optimisés avant de pouvoir fonctionner correctement sur la plate-forme Huawei.
En outre, Moore Thread et Walltech qui ont été nouvellement inclus dans la liste des entités dans cette série de sanctions ont également des produits GPU à carte unique correspondants, et certains indicateurs sont proches de NVIDIA.
En plus de l’impact des sanctions américaines, les puces auto-développées peuvent également affaiblir la dépendance excessive à l’égard de NVIDIA, améliorer l’autonomie stratégique des entreprises et prendre la tête de l’expansion de l’échelle de la puissance de calcul avant les concurrents. **
Une preuve est que même des entreprises telles que Google, OpenAI et Apple qui ne sont pas soumises à des sanctions ont lancé des plans pour développer leurs propres puces.
Afin de ne plus être soumis à un seul fournisseur, certains fabricants de serveurs ont également commencé à adopter une architecture ouverte compatible avec les puces d’innovation indépendantes nationales. **
Par exemple, Inspur Information, qui détient actuellement la plus grande part de marché des serveurs domestiques, a lancé une architecture informatique ouverte, qui présenterait les caractéristiques d’une grande puissance de calcul, d’une interconnexion élevée et d’une forte expansion.
Sur cette base, Inspur a lancé trois générations de produits de serveurs d’IA, a réalisé l’atterrissage de plusieurs produits informatiques d’IA avec plus de 10 partenaires de puces et a lancé la plate-forme AIStation, qui peut planifier efficacement plus de 30 puces d’IA.
**Objectivement parlant, les fabricants de serveurs sont un maillon relativement faible de la chaîne de l’industrie de la puissance de calcul, l’amont a besoin de géants internationaux en position de monopole comme NVIDIA pour acheter des puces, et l’aval est constitué par les fabricants de G-end et de cloud, qui manquent de pouvoir de négociation de haut en bas. **
Nous pouvons donc voir que bien que le chiffre d’affaires de NVIDIA ait atteint un niveau record en un seul trimestre, atteignant 13,51 milliards de dollars, soit une augmentation de 101 % en glissement annuel, et que le bénéfice net ait grimpé de 843 % en glissement annuel pour atteindre 6,188 milliards de dollars, le bénéfice net d’Inspur au premier semestre de cette année est toujours dans le rouge.
Afin de s’assurer qu’ils peuvent survivre jusqu’au trillion de dollars du marché, les fournisseurs de serveurs ne ménagent aucun effort pour prouver leur valeur. Plus précisément, il fournit des solutions de gestion et de déploiement de clusters de serveurs IA pour garantir une haute disponibilité, des performances élevées et une efficacité élevée des serveurs.
Dans le même temps, les fabricants rivalisent également pour lancer des rapports, des normes et des lignes directrices de l’industrie dans l’espoir de se faire entendre.
Avec des puces auto-développées dans la main gauche et une écologie ouverte dans la main droite, la chaîne industrielle de puissance de calcul nationale se trouve dans une situation d’une complexité sans précédent, avec à la fois la concurrence et la coopération entre elles.
Sur le long terme, le véritable facteur décisif de la percée de la puissance de calcul reste la technologie, qui couvre l’écologie, le logiciel et le matériel, etc., ce qui oblige les acteurs amont et aval à faire un trou pour surmonter ensemble les difficultés.
Mais avant de vraiment passer par la voie indépendante de la puce, le plus critique est de savoir comment utiliser chaque centime de puissance de calcul sur la lame, dans une certaine mesure, la réponse à cette question fait également allusion à la silhouette des acteurs qui gagneront le marché des 100 milliards à l’avenir. **
03 Bien utiliser la puissance de calcul est une priorité absolue
Avant de répondre à la question de savoir comment bien utiliser la puissance de calcul, il faut réfléchir à une autre question : comment utiliser la puissance de calcul pour bien l’utiliser ?
**Le dilemme auquel est confrontée l’industrie nationale de la puissance de calcul est principalement triple : **
**Tout d’abord, le manque de puissance de calcul. **Les ressources de puissance de calcul de haute qualité sont insuffisantes et dispersées, les incréments de GPU sont limités et le stock est sérieusement insuffisant, ce qui est difficile à prendre en charge pour l’entraînement de grands modèles, et devient progressivement un nouveau problème de « cou bloqué ».
Deuxièmement, la puissance de calcul coûte cher. **L’infrastructure de puissance de calcul est une industrie à forte intensité d’actifs et de capital, avec les caractéristiques d’un investissement initial important, d’une itération technologique rapide et d’un seuil de construction élevé, et sa construction et son exploitation nécessitent d’énormes coûts en temps et en capital, bien au-delà de la portée des petites et moyennes entreprises.
Troisièmement, la demande de puissance de calcul est diversifiée et fragmentée, et des inadéquations entre l’offre et la demande de ressources de puissance de calcul se produisent de temps à autre. **
Le premier dilemme est en train d’être résolu, mais il ne s’agit pas d’un effort d’un jour, de sorte qu’à ce stade, le sens réel de l’utilisation de la puissance de calcul devrait être de rendre la puissance de calcul moins coûteuse et capable de répondre à des besoins diversifiés.
Alors, quelles sont les entreprises qui ont les mouvements les plus imaginatifs ?
** En termes de réduction de la consommation et d’augmentation de l’efficacité du centre de calcul intelligent, le concept d’Alibaba consistant à « verdir l’ensemble de la chaîne industrielle de puissance de calcul » vaut la peine d’être attendu avec impatience. **
Comme nous le savons tous, le coût énergétique de l’entraînement des grands modèles est très élevé. Mais en réalité, seulement 20 % de cette puissance est utilisée pour le calcul lui-même, et le reste est utilisé pour faire fonctionner le serveur. Le rapport environnemental 2023 de Google le confirme d’ailleurs. Selon le rapport, Google a consommé près de 5,2 milliards de gallons d’eau en 2022 pour refroidir les centres de données, soit l’équivalent de 1/4 de l’eau potable quotidienne dans le monde, et peut remplir un lac et demi de l’Ouest.
Afin d’obtenir un plus grand degré d’économies d’énergie globales et d’effets de réduction des émissions, Ant Group et l’Académie chinoise des technologies de l’information et de la communication (CAICT) ont publié le livre blanc sur l’écologisation de l’informatique pour les applications de puissance de calcul, qui met en avant le concept d'« informatique verte de bout en bout ».
Plus précisément, l’informatique verte de bout en bout consiste à prendre en compte le coût de la consommation d’énergie pendant l’exploitation au début de la construction, de la production d’énergie, de la production de puissance de calcul (y compris les constructeurs de centres de calcul intelligents, les fabricants de matériel, les fournisseurs de cloud) aux applications de puissance de calcul.
Dans une certaine mesure, si l’on se fie à la proportion de la consommation d’énergie dans le passé, la réduction des coûts apportée par la chaîne de l’industrie verte peut être plus rentable que la percée de la technologie des puces à court terme, qui est propice à la mise à niveau de l’intelligence numérique des petites et moyennes entreprises.
**En termes d’amélioration du niveau de planification de la puissance de calcul, Huawei, Alibaba, Tencent, Baidu et d’autres entreprises ont toutes contribué à leur propre force, mais parmi elles, les gènes d’entreprise les plus compatibles restent Huawei. **
À l’heure actuelle, le projet de planification de la puissance de calcul le plus important en Chine est le projet « East Data and West Computing » explicitement proposé pour la première fois dans le « Plan de mise en œuvre du centre national intégré d’innovation collaborative Big Data Center Computing Power Hub » en 2021, visant à construire la tâche du système national de réseau de puissance de calcul.
Le stockage et le traitement des données à l’est et à l’ouest présentent de grands défis, tant du côté de l’offre que du côté de la distribution.
Prenons l’exemple du problème courant de perte de paquets.
Lorsque plusieurs serveurs envoient un grand nombre de paquets à un serveur en même temps, le nombre de paquets dépasse la capacité de cache du commutateur et une perte de paquets se produit, ce qui affecte à son tour l’efficacité du calcul et du stockage.
Pour résoudre ce problème, Huawei a introduit des algorithmes intelligents dans les commutateurs de réseau des centres de données, a collecté des informations en temps réel sur l’état du réseau, telles que la profondeur de la file d’attente, le débit de bande passante, le modèle de trafic et d’autres dimensions, et a défini dynamiquement le pipeline de file d’attente idéal grâce à des algorithmes intelligents sans perte, atteignant enfin un équilibre entre l’absence de perte de paquets, des performances élevées et une faible latence après l’entraînement par simulation.
En outre, Huawei a innové dans des technologies telles que le routage adaptatif distribué et les algorithmes de cartographie intelligente du cloud pour participer à la conception et à la construction de nœuds de hub nationaux.
Au fur et à mesure que les grands modèles nationaux deviennent de plus en plus pratiques sur la voie de l’autonomisation de milliers d’industries, la question de savoir « comment résoudre le dilemme de la puissance de calcul de la Chine » deviendra de plus en plus importante. Nous pouvons voir que la chaîne industrielle de la puissance de calcul de la Chine a produit de nombreux changements, tels que l’ajout de puces auto-développées par les géants de l’Internet, la base de puissance de calcul construite avec des puces domestiques et la germination de l’écologie logicielle qui n’était pas valorisée dans le passé... Derrière ces changements, il y a la persévérance et la détermination des entreprises chinoises à franchir les barrières techniques.
** Objectivement parlant, en termes de force technique, les acteurs nationaux ont encore une certaine distance avec les fabricants de classe mondiale, mais on ne peut ignorer que même NVIDIA, qui bat son plein, a plané sur le bord de la vie et de la mort pendant de nombreuses années avant l’avènement de l’ère de l’IA. **
La nuit avant l’aube est la plus sombre, mais les rayons du soleil sont déjà au-dessus de l’horizon.
Ressources:
Enquête sur la pénurie de serveurs d’IA : le prix a augmenté de 300 000 en deux jours, et même le « MSG King » est entré sur le marché|Wisdom Stuff
Nouvelle infrastructure de puissance de calcul intelligente superposée à l’étranger, mise à niveau multimodale, application de puissance de calcul pour répondre au catalyseur | Zheshang Titres*
Maître de la chaîne technologique, écosystème Huawei | Titres TF
Explosion de la demande de formation « soif de puissance de calcul » comment résoudre | Netinfo Jilin
L’interdiction des puces aux États-Unis s’est intensifiée ! NVIDIA, Intel ou Limited | Nouvelles économiques du 21e siècle*
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
NVIDIA a coupé l’approvisionnement en puces haut de gamme à l’avance, et la puissance de calcul des entreprises chinoises a percé
Source d’origine : Laboratoire à base de silicium
Le 17 octobre, le Bureau de l’industrie et de la sécurité (BIS) du département américain du Commerce a émis une nouvelle interdiction d’exportation de puces, renforçant les restrictions sur l’achat par la Chine d’importantes puces haut de gamme.
Restreindre les importations chinoises de puces haut de gamme est sans aucun doute freiner le développement de l’industrie technologique chinoise. Des études antérieures ont montré que pour chaque augmentation de 1 point de l’indice de puissance de calcul, l’économie numérique et le PIB augmenteront respectivement de 3,5 et 1,8 ‰.
Cependant, le durcissement des restrictions extérieures n’a pas provoqué la stagnation de l’industrie chinoise de la puissance de calcul, qui a dépassé la barre des mille milliards de dollars. **Selon l’Académie chinoise des technologies de l’information et de la communication, à la fin de 2021, l’échelle de l’industrie chinoise de la puissance de calcul de base a dépassé 1,5 billion de yuans, et l’échelle des industries connexes a dépassé 8 billions de yuans.
Derrière ce marché de mille milliards de dollars, les entreprises et les gouvernements travaillent ensemble pour saisir l’ère de l’IA.
D’une part, depuis le lancement de ChatGPT, les entreprises nationales et les instituts de recherche ont lancé plus de 130 grands modèles en un peu plus de six mois, parmi lesquels des acteurs de premier plan ont commencé à appliquer de grands modèles à des scénarios spécifiques et à créer des applications explosives.
D’autre part, afin de construire une base de puissance de calcul, les gouvernements locaux ont commencé la construction de centres de calcul intelligents, mettant l’information à grande vitesse à l’ère du big data, promouvant l’innovation industrielle et la mise à niveau, et réduisant le coût des entreprises appelant les réalisations scientifiques et technologiques représentées par de grands modèles.
Le commerce externe des puces s’est progressivement refroidi, et le marché interne de la puissance de calcul a scintillé, et entre les deux cieux de glace et de feu, les gens ne peuvent s’empêcher d’être curieux :
Dans quelle ville la bataille décisive de l’industrie chinoise de la puissance de calcul a-t-elle été capturée ? Comment casser la chaîne de l’industrie de la puissance de calcul ? Dans ce processus, quelles sont les entreprises qui ont assumé la responsabilité de pionniers ?
**01 NVIDIA coupe l’alimentation, affecte la géométrie ? **
Si le grand modèle de langage est utilisé comme base pour traiter les demandes d’inférence de 1,4 milliard de personnes en Chine en même temps, la quantité de calcul requise dépasse la puissance de calcul totale des centres de données chinois de 3 ordres de grandeur. "**
Lors de la Conférence mondiale sur l’intelligence artificielle (WAIC) 2023 qui s’est tenue à Shanghai en juillet de cette année, Wang Yu, professeur d’ingénierie électronique à l’Université Tsinghua, a révélé l’ampleur de l’écart de puissance de calcul national.
En fait, non seulement les grands modèles, mais aussi la popularité d’applications diversifiées dans la 5G, les villes intelligentes et l’Internet des objets ont également entraîné une accélération continue de la génération de données.
IDC prévoit que l’échelle de la puissance de calcul intelligent de la Chine atteindra 1271EFLOPS en 2026, avec un taux de croissance annuel composé de 69,45 %. À la fin de l’année 2022, le « Livre blanc sur le développement de la puissance de calcul intelligent 2023 » compilé par le New H3C Group et l’Académie chinoise des technologies de l’information et des communications montre que la puissance de calcul nationale totale n’est que de 180 EFLOPS. (Remarque : FLOPS fait référence aux opérations en virgule flottante par seconde, et 1271EFLOPS signifie 1271 opérations exaflopiques par seconde.) ）
Parmi eux, le Plan d’action pour le développement de haute qualité de l’infrastructure de puissance de calcul publié en octobre indique clairement que l’échelle de la puissance de calcul dépassera 300 EFLOPS en 2025, dont la proportion de puissance de calcul intelligente pouvant être utilisée pour l’entraînement de grands modèles doit atteindre 35 %.
À l’heure actuelle, il y a environ 31 centres de calcul intelligents financés par le gouvernement, ce qui correspond à la puissance de calcul totale de 10,13 EFLOPS dans le plan, avec un investissement total de près de 47 milliards de yuans, ce qui est encore loin de l’échelle de puissance de calcul intelligente totale prévue de 105E, 50 centres de calcul intelligents et une échelle de puissance de calcul monocentrique de 2,1 EFLOPS.
En fait, non seulement en Chine, mais aussi dans le monde, il y a une pénurie de puissance de calcul. Selon les données d’OpenAI, il existe un écart de 10 000 fois entre le taux de croissance du volume de calcul des modèles et le taux de croissance de la puissance de calcul du matériel d’intelligence artificielle. **
La pénurie de puissance de calcul a d’abord contribué à la flambée des prix des GPU. Depuis décembre de l’année dernière, le prix du NVIDIA A100 a augmenté de près de 40% en 5 mois. Le nouveau H100 de cette année est encore plus inestimable.
En raison de l’afflux de commandes, le cycle de livraison de NVIDIA, le fabricant de GPU avec la plus grande part de marché, a été prolongé d’un mois à plus de trois mois, et même certaines commandes pourraient ne pas être livrées avant 2024. La raison principale est que la chaîne d’approvisionnement en puces est longue et fragmentée, et qu’il est impossible d’augmenter rapidement la capacité de production.
**En raison des restrictions de l’interdiction américaine, les plans des fabricants nationaux pour augmenter la puissance de calcul sont plus difficiles à mettre en œuvre que Google, Meta et OpenAI. **
Avant d’annoncer la nouvelle série d’interdictions, Nvidia a adapté les règles de restriction en fournissant au marché chinois des « versions castrées » des puces informatiques phares A800 et H800, qui ont des vitesses d’interconnexion réduites.
En août, les médias ont rapporté que des entreprises telles que Baidu, Tencent, Alibaba et ByteDance avaient commandé pour 5 milliards de dollars de puces à Nvidia. Sur ce montant, 1 milliard de dollars a été commandé pour l’A800, qui devrait être livré cette année. La commande restante, d’un montant de 4 milliards de dollars, sera livrée en 2024.
Dans le dépôt 8-K mis à jour de NVIDIA auprès de la Securities and Exchange Commission (SEC) des États-Unis, il est mentionné que le gouvernement américain a avancé la date d’entrée en vigueur de l’interdiction des cinq puces GPU de NVIDIA, y compris A100, A800, H100, H800 et L40S, de la fin novembre initiale à prendre effet immédiatement.
**Les modifications ci-dessus signifient que les quelque 100 000 puces A800 que BAT a déjà commandées ne seront probablement pas livrées. **
Cependant, l’infrastructure nationale de puissance de calcul ne semble pas être beaucoup affectée. À l’heure actuelle, près de 30 centres de calcul intelligents sont en construction ou achevés, dont plus de 50 % des fournisseurs de puces sont Huawei Ascend.
Auparavant, Liu Qingfeng, président d’iFLYTEK, avait déclaré lors de la conférence de presse que les performances du Huawei Ascend 910B pouvaient déjà être comparées à celles de l’A100.
Dans l’ensemble, bien que le durcissement des restrictions américaines à l’égard de la Chine ait freiné les progrès de l’itération des grands modèles de certains géants de l’Internet, l’infrastructure nationale de puissance de calcul continue de progresser régulièrement. **
Et comme la difficulté d’importer des puces continuera d’augmenter dans un avenir prévisible, pour des raisons de sécurité de la chaîne d’approvisionnement, les fabricants nationaux de puces devraient inaugurer une nouvelle vague d’opportunités de développement.
02 Percée en matière de puissance de calcul : auto-recherche pour gaucher, écologie pour droitier
Bien que les seuls fabricants de GPU généralement reconnus sur le marché international soient NVIDIA et AMD, cela ne signifie pas qu’il n’y a pas d’autres choix qu’eux.
**Par rapport aux puces ASIC, les GPU ont l’avantage d’une grande polyvalence et conviennent à divers domaines de recherche. Cependant, subdivisée en diverses entreprises, il existe en fait une puissance de calcul excédentaire générale, comme la capacité d’inférence d’un grand modèle qui n’a besoin que d’utiliser le GPU et n’a pas besoin de sa puissance de calcul graphique.
Par conséquent, de nombreux fabricants se sont lancés sur la voie de la recherche et du développement indépendants en fonction de leurs propres besoins. **
Par exemple, Alibaba a lancé sa puce auto-développée Hanguang 800 en mai de cette année, qui serait la plus performante des puces d’IA à l’époque, avec une puissance de calcul équivalente à 10 processeurs ; La puce d’IA multifonctionnelle dans le cloud Kunlun, développée par Baidu, a également été itérée vers la version 3.0 et atteindra une production de masse en 2024.
Parmi les sociétés de puces auto-développées, la plus bruyante est sans aucun doute Huawei susmentionnée.
Récemment, la machine tout-en-un Spark créée conjointement par Huawei et iFLYTEK a été remise sur le point d’être relancée.
Selon les informations publiques, la machine tout-en-un Xinghuo est basée sur le CPU Kunpeng + le GPU Ascend, utilisant le stockage et le réseau Huawei pour fournir une solution d’armoire complète, avec une puissance de calcul FP16 de 2,5 PFLOPS. En revanche, le NVIDIA DGX A100 8-GPU, qui est le plus populaire dans l’entraînement des grands modèles, peut produire une puissance de calcul FP16 de 5 PFLOPS.
En outre, Moore Thread et Walltech qui ont été nouvellement inclus dans la liste des entités dans cette série de sanctions ont également des produits GPU à carte unique correspondants, et certains indicateurs sont proches de NVIDIA.
En plus de l’impact des sanctions américaines, les puces auto-développées peuvent également affaiblir la dépendance excessive à l’égard de NVIDIA, améliorer l’autonomie stratégique des entreprises et prendre la tête de l’expansion de l’échelle de la puissance de calcul avant les concurrents. **
Une preuve est que même des entreprises telles que Google, OpenAI et Apple qui ne sont pas soumises à des sanctions ont lancé des plans pour développer leurs propres puces.
Afin de ne plus être soumis à un seul fournisseur, certains fabricants de serveurs ont également commencé à adopter une architecture ouverte compatible avec les puces d’innovation indépendantes nationales. **
Par exemple, Inspur Information, qui détient actuellement la plus grande part de marché des serveurs domestiques, a lancé une architecture informatique ouverte, qui présenterait les caractéristiques d’une grande puissance de calcul, d’une interconnexion élevée et d’une forte expansion.
**Objectivement parlant, les fabricants de serveurs sont un maillon relativement faible de la chaîne de l’industrie de la puissance de calcul, l’amont a besoin de géants internationaux en position de monopole comme NVIDIA pour acheter des puces, et l’aval est constitué par les fabricants de G-end et de cloud, qui manquent de pouvoir de négociation de haut en bas. **
Nous pouvons donc voir que bien que le chiffre d’affaires de NVIDIA ait atteint un niveau record en un seul trimestre, atteignant 13,51 milliards de dollars, soit une augmentation de 101 % en glissement annuel, et que le bénéfice net ait grimpé de 843 % en glissement annuel pour atteindre 6,188 milliards de dollars, le bénéfice net d’Inspur au premier semestre de cette année est toujours dans le rouge.
Afin de s’assurer qu’ils peuvent survivre jusqu’au trillion de dollars du marché, les fournisseurs de serveurs ne ménagent aucun effort pour prouver leur valeur. Plus précisément, il fournit des solutions de gestion et de déploiement de clusters de serveurs IA pour garantir une haute disponibilité, des performances élevées et une efficacité élevée des serveurs.
Dans le même temps, les fabricants rivalisent également pour lancer des rapports, des normes et des lignes directrices de l’industrie dans l’espoir de se faire entendre.
Avec des puces auto-développées dans la main gauche et une écologie ouverte dans la main droite, la chaîne industrielle de puissance de calcul nationale se trouve dans une situation d’une complexité sans précédent, avec à la fois la concurrence et la coopération entre elles.
Mais avant de vraiment passer par la voie indépendante de la puce, le plus critique est de savoir comment utiliser chaque centime de puissance de calcul sur la lame, dans une certaine mesure, la réponse à cette question fait également allusion à la silhouette des acteurs qui gagneront le marché des 100 milliards à l’avenir. **
03 Bien utiliser la puissance de calcul est une priorité absolue
Avant de répondre à la question de savoir comment bien utiliser la puissance de calcul, il faut réfléchir à une autre question : comment utiliser la puissance de calcul pour bien l’utiliser ?
**Le dilemme auquel est confrontée l’industrie nationale de la puissance de calcul est principalement triple : **
**Tout d’abord, le manque de puissance de calcul. **Les ressources de puissance de calcul de haute qualité sont insuffisantes et dispersées, les incréments de GPU sont limités et le stock est sérieusement insuffisant, ce qui est difficile à prendre en charge pour l’entraînement de grands modèles, et devient progressivement un nouveau problème de « cou bloqué ».
Deuxièmement, la puissance de calcul coûte cher. **L’infrastructure de puissance de calcul est une industrie à forte intensité d’actifs et de capital, avec les caractéristiques d’un investissement initial important, d’une itération technologique rapide et d’un seuil de construction élevé, et sa construction et son exploitation nécessitent d’énormes coûts en temps et en capital, bien au-delà de la portée des petites et moyennes entreprises.
Troisièmement, la demande de puissance de calcul est diversifiée et fragmentée, et des inadéquations entre l’offre et la demande de ressources de puissance de calcul se produisent de temps à autre. **
Le premier dilemme est en train d’être résolu, mais il ne s’agit pas d’un effort d’un jour, de sorte qu’à ce stade, le sens réel de l’utilisation de la puissance de calcul devrait être de rendre la puissance de calcul moins coûteuse et capable de répondre à des besoins diversifiés.
Alors, quelles sont les entreprises qui ont les mouvements les plus imaginatifs ?
** En termes de réduction de la consommation et d’augmentation de l’efficacité du centre de calcul intelligent, le concept d’Alibaba consistant à « verdir l’ensemble de la chaîne industrielle de puissance de calcul » vaut la peine d’être attendu avec impatience. **
Comme nous le savons tous, le coût énergétique de l’entraînement des grands modèles est très élevé. Mais en réalité, seulement 20 % de cette puissance est utilisée pour le calcul lui-même, et le reste est utilisé pour faire fonctionner le serveur. Le rapport environnemental 2023 de Google le confirme d’ailleurs. Selon le rapport, Google a consommé près de 5,2 milliards de gallons d’eau en 2022 pour refroidir les centres de données, soit l’équivalent de 1/4 de l’eau potable quotidienne dans le monde, et peut remplir un lac et demi de l’Ouest.
Afin d’obtenir un plus grand degré d’économies d’énergie globales et d’effets de réduction des émissions, Ant Group et l’Académie chinoise des technologies de l’information et de la communication (CAICT) ont publié le livre blanc sur l’écologisation de l’informatique pour les applications de puissance de calcul, qui met en avant le concept d'« informatique verte de bout en bout ».
Dans une certaine mesure, si l’on se fie à la proportion de la consommation d’énergie dans le passé, la réduction des coûts apportée par la chaîne de l’industrie verte peut être plus rentable que la percée de la technologie des puces à court terme, qui est propice à la mise à niveau de l’intelligence numérique des petites et moyennes entreprises.
**En termes d’amélioration du niveau de planification de la puissance de calcul, Huawei, Alibaba, Tencent, Baidu et d’autres entreprises ont toutes contribué à leur propre force, mais parmi elles, les gènes d’entreprise les plus compatibles restent Huawei. **
À l’heure actuelle, le projet de planification de la puissance de calcul le plus important en Chine est le projet « East Data and West Computing » explicitement proposé pour la première fois dans le « Plan de mise en œuvre du centre national intégré d’innovation collaborative Big Data Center Computing Power Hub » en 2021, visant à construire la tâche du système national de réseau de puissance de calcul.
Le stockage et le traitement des données à l’est et à l’ouest présentent de grands défis, tant du côté de l’offre que du côté de la distribution.
Prenons l’exemple du problème courant de perte de paquets.
Lorsque plusieurs serveurs envoient un grand nombre de paquets à un serveur en même temps, le nombre de paquets dépasse la capacité de cache du commutateur et une perte de paquets se produit, ce qui affecte à son tour l’efficacité du calcul et du stockage.
Pour résoudre ce problème, Huawei a introduit des algorithmes intelligents dans les commutateurs de réseau des centres de données, a collecté des informations en temps réel sur l’état du réseau, telles que la profondeur de la file d’attente, le débit de bande passante, le modèle de trafic et d’autres dimensions, et a défini dynamiquement le pipeline de file d’attente idéal grâce à des algorithmes intelligents sans perte, atteignant enfin un équilibre entre l’absence de perte de paquets, des performances élevées et une faible latence après l’entraînement par simulation.
Au fur et à mesure que les grands modèles nationaux deviennent de plus en plus pratiques sur la voie de l’autonomisation de milliers d’industries, la question de savoir « comment résoudre le dilemme de la puissance de calcul de la Chine » deviendra de plus en plus importante. Nous pouvons voir que la chaîne industrielle de la puissance de calcul de la Chine a produit de nombreux changements, tels que l’ajout de puces auto-développées par les géants de l’Internet, la base de puissance de calcul construite avec des puces domestiques et la germination de l’écologie logicielle qui n’était pas valorisée dans le passé... Derrière ces changements, il y a la persévérance et la détermination des entreprises chinoises à franchir les barrières techniques.
** Objectivement parlant, en termes de force technique, les acteurs nationaux ont encore une certaine distance avec les fabricants de classe mondiale, mais on ne peut ignorer que même NVIDIA, qui bat son plein, a plané sur le bord de la vie et de la mort pendant de nombreuses années avant l’avènement de l’ère de l’IA. **
La nuit avant l’aube est la plus sombre, mais les rayons du soleil sont déjà au-dessus de l’horizon.
Ressources:
Enquête sur la pénurie de serveurs d’IA : le prix a augmenté de 300 000 en deux jours, et même le « MSG King » est entré sur le marché|Wisdom Stuff
Maître de la chaîne technologique, écosystème Huawei | Titres TF
Explosion de la demande de formation « soif de puissance de calcul » comment résoudre | Netinfo Jilin