Pénurie de cœurs d'IA, Nvidia épuisé

Auteur : Sun Pengyue Éditeur : Gale

Source : ZincFinance

Source de l'image : générée par l'IA illimitée

Le 8 août, la conférence mondiale d'infographie SIGGRAPH, la plus importante table ronde de l'industrie informatique mondiale, s'est tenue officiellement.

Le fondateur et PDG de NVIDIA, Jensen Huang, était présent et a apporté une nouvelle génération de puce NVIDIA super AI GH200. Jensen Huang est très confiant quant à son nouveau produit phare, qualifiant le GH200 de "mémoire la plus rapide au monde".

** Sur le marché actuel de l'IA, Nvidia est appelé "le centre qui gère l'ensemble du monde de l'IA". ** Qu'il s'agisse d'OpenAI ou de Google, META, Baidu, Tencent, Alibaba, toutes les IA génératives dépendent fortement des puces IA de Nvidia pour la formation.

De plus, selon les médias, la demande totale du marché pour la puce Nvidia AI H100 en août 2023 pourrait être d'environ 432 000 pièces, et le prix actuel d'une puce H100 sur Ebay a même atteint 45 000 dollars américains, soit plus de 300 000 RMB. Yuan.

Il y a plus de 400 000 trous de puces, avec un prix unitaire de 45 000 dollars américains, et le prix total peut facilement atteindre des millions de dollars.

Nvidia connaît une vague de marché plus folle que "l'ère minière".

Puce IA, difficile à trouver

Les soi-disant puces AI sont en fait des unités de traitement graphique (GPU), dont le rôle principal est d'aider à exécuter les innombrables calculs impliqués dans la formation et le déploiement d'algorithmes d'intelligence artificielle.

**C'est-à-dire que toutes sortes de performances intelligentes de l'IA générative proviennent de l'empilement d'innombrables GPU. Plus il y a de puces utilisées, plus l'IA générative devient intelligente. **

OpenAI est discret sur les détails de la formation GPT-4, mais selon les spéculations des médias, GPT-4 a besoin d'au moins 8192 puces H100, à un prix de 2 $ par heure, la pré-formation peut être complétée en environ 55 jours, et le coût est d'environ 21,5 millions de dollars (150 millions de RMB).

Selon les dirigeants de Microsoft, le supercalculateur AI qui fournit un support de puissance de calcul pour ChatGPT est un supercalculateur de haut niveau à grande échelle que Microsoft a investi 1 milliard de dollars américains en 2019, équipé de dizaines de milliers de GPU Nvidia A100 et de plus de 60 centres de données Au total, des centaines de milliers de GPU Nvidia sont déployés dans le centre.

La puce AI requise par ChatGPT n'est pas fixe, mais augmentée progressivement. Plus ChatGPT est intelligent, plus le prix à payer est que de plus en plus de puissance de calcul est nécessaire. Selon les prévisions de Morgan Stanley, le GPT-5 devra utiliser environ 25 000 GPU, soit environ trois fois celui du GPT-4.

** Si vous souhaitez répondre aux besoins d'une série de produits d'IA tels que OpenAI et Google, cela équivaut à une société de Nvidia fournissant des cœurs pour les produits d'IA dans le monde entier, ce qui est un excellent test pour la capacité de production de Nvidia. **

NVIDIA H100

Bien que Nvidia produise des puces d'intelligence artificielle à pleine capacité, selon les médias, la capacité du cluster H100 à grande échelle des petits et grands fournisseurs de cloud est sur le point de s'épuiser, et le "problème de grave pénurie" de H100 se poursuivra au moins jusqu'à la fin. de 2024.

À l'heure actuelle, les puces de Nvidia pour le marché de l'IA sont principalement divisées en deux types : H100 et A100. H100 est le produit phare. En termes de détails techniques, H100 est environ 3,5 fois plus rapide que A100 en vitesse de raisonnement 16 bits, et La vitesse d'entraînement 16 bits est environ 2,3 fois plus rapide.

Qu'il s'agisse de H100 ou A100, ils sont tous coproduits par TSMC, ce qui limite la production de H100. Selon certains médias, il faut environ six mois pour que chaque H100 passe de la production à la livraison, et l'efficacité de la production est très lente.

Nvidia a déclaré qu'elle augmenterait la capacité d'approvisionnement des puces AI au second semestre 2023, mais n'a fourni aucune information quantitative.

De nombreuses entreprises et acheteurs demandent à Nvidia d'augmenter la production de fabs, non seulement pour coopérer avec TSMC, mais pour passer plus de commandes à Samsung et Intel.

** Vitesse d'entraînement plus rapide **

** S'il n'y a aucun moyen d'augmenter la capacité de production, alors la meilleure solution est de lancer des puces avec des performances plus élevées pour gagner en qualité. **

En conséquence, Nvidia a commencé à lancer fréquemment de nouveaux GPU pour améliorer les capacités de formation de l'IA. Tout d'abord, en mars de cette année, Nvidia a lancé quatre puces AI, le GPU H100 NVL, le GPU L4 Tensor Core, le GPU L40 et NVIDIA Grace Hopper, pour répondre aux demandes croissantes de puissance de calcul des IA génératives.

La génération précédente n'a pas encore été produite en série et lancée. Nvidia a publié la version améliorée du H100, GH200, par Huang Renxun lors de la conférence mondiale SIGGRAPH sur l'infographie le 8 août.

Il est entendu que le nouveau GH200 Grace Hopper Superchip est basé sur un processeur Grace à 72 cœurs, équipé d'une mémoire ECC LPDDR5X de 480 Go et d'un GPU de calcul GH100, avec une mémoire HBM3E de 141 Go, utilise six piles de 24 Go et utilise une interface mémoire de 6144 bits.

NVIDIA GH200

La plus grande technologie noire du GH200 est qu'en tant que première puce au monde équipée d'une mémoire HBM3e, elle peut augmenter sa mémoire GPU locale de 50 %. Et c'est aussi une "mise à niveau spécifique" spécifiquement pour le marché de l'intelligence artificielle, car l'IA générative de haut niveau est souvent énorme en taille mais limitée en capacité de mémoire.

Selon des informations publiques, la mémoire HBM3e est la mémoire à bande passante élevée de cinquième génération de SK Hynix. Il s'agit d'un nouveau type de technologie de mémoire à bande passante élevée qui peut fournir des débits de transmission de données plus élevés dans un espace réduit. Il a une capacité de 141 Go et une bande passante de 5 To par seconde, qui peuvent atteindre respectivement 1,7 fois et 1,55 fois celle du H100.

Depuis sa sortie en juillet, SK Hynix est devenu la coqueluche du marché des GPU, devant ses rivaux directs l'Optane DC d'Intel et les puces flash Z-NAND de Samsung.

Il convient de mentionner que SK Hynix a toujours été l'un des partenaires de Nvidia.À partir de la mémoire HBM3, la plupart des produits de Nvidia utilisent des produits SK Hynix. Cependant, SK Hynix s'est inquiété de la capacité de production de la mémoire requise pour les puces AI, et Nvidia a demandé à SK Hynix d'augmenter la capacité de production à plusieurs reprises.

Lorsqu'une famille nombreuse atteinte de dystocie rencontre une autre famille nombreuse atteinte de dystocie, les gens ne peuvent s'empêcher de s'inquiéter de la capacité de production de GH200.

NVIDIA a officiellement déclaré que par rapport au produit de génération actuelle H100, le GH200 a une capacité de mémoire 3,5 fois plus élevée et une bande passante 3 fois plus élevée ; et la mémoire HBM3e permettra au GH200 de nouvelle génération d'exécuter des modèles d'IA 3,5 fois plus rapidement que le modèle actuel.

**La vitesse d'exécution du modèle AI est 3,5 fois plus rapide que celle du H100. Cela signifie-t-il que 1 GH200 équivaut à 3,5 H100 ? Tout doit être appris par la pratique. **

Mais pour l'instant, ce qui est certain, c'est qu'en tant que premier fournisseur du marché de l'IA, Nvidia a encore consolidé sa position de leader et creusé l'écart avec AMD et Intel.

** Rivaux NVIDIA **

Face à un écart de 430 000 puces IA, aucune entreprise n'est indifférente. En particulier, les plus grands concurrents de Nvidia, AMD et Intel, ne les laisseront pas monopoliser l'ensemble du marché.

Le 14 juin de cette année, le président-directeur général d'AMD, Su Zifeng, a publié de manière intensive une variété de nouveaux produits logiciels et matériels d'IA, y compris la puce d'IA conçue pour les grands modèles de langage, MI300X. Lancement officiel d'un défi positif à Nvidia sur le marché de l'IA.

En termes de paramètres matériels, AMD MI300X possède jusqu'à 13 petites puces, contenant un total de 146 milliards de transistors, et est équipé de 128 Go de mémoire HBM3. Sa densité HBM est de 2,4 fois celle de Nvidia H100 et sa bande passante est de 1,6 fois celle de Nvidia H100, ce qui signifie que la vitesse de traitement de l'IA générative peut être accélérée.

Mais malheureusement, cette puce AI phare n'est pas en stock, mais elle devrait être entièrement produite en série au quatrième trimestre 2023.

Un autre concurrent, Intel, a acquis le fabricant de puces d'intelligence artificielle HABANA Labs pour environ 2 milliards de dollars en 2019, entrant sur le marché des puces d'IA.

En août de cette année, lors du dernier appel aux résultats d'Intel, le PDG d'Intel, Pat Gelsinger, a déclaré qu'Intel développait une puce de supercalculateur Falcon Shores AI de nouvelle génération, provisoirement nommée Falcon Shores 2, qui devrait sortir en 2026.

En plus de Falcon Shores 2, Intel a également lancé la puce AI Gaudi2, qui a déjà commencé à se vendre, tandis que Gaudi3 est en cours de développement.

Dommage que la spécification de la puce Gaudi2 ne soit pas élevée et qu'il soit difficile de défier Nvidia H100 et A100.

AMD MI300X

** En plus des géants étrangers des semi-conducteurs qui fléchissent leurs muscles et lancent la "concurrence des puces", les entreprises nationales de semi-conducteurs ont également lancé la recherche et le développement de puces IA. **

Parmi eux, la carte accélératrice RG800 Kunlun core AI, la carte accélératrice Tiangai 100 de Tianshu Zhixin et le produit de formation de deuxième génération Yunsui T20/T21 de Suiyuan Technology indiquent tous qu'ils peuvent prendre en charge la formation de modèles à grande échelle.

Dans cette bataille pour les puces qui utilisent la puissance de calcul comme standard et les grands modèles d'IA comme champ de bataille, Nvidia, en tant que l'un des plus grands gagnants du marché de l'IA, a démontré sa force dans la conception de puces et sa part de marché.

Cependant, bien que les puces IA nationales soient légèrement en retard, le rythme de la recherche et du développement et de l'expansion du marché ne s'est jamais arrêté, et l'avenir vaut la peine d'être envisagé.