De l'ère de l'exploitation minière à l'ère de l'IA, la puissance de calcul du GPU est revenue en jeu. La concurrence sur la réserve de puissance de calcul entre les fournisseurs de cloud nationaux et étrangers bat son plein...
Byte a acheté 100 000 cartes accélératrices A100 et H800 à Nvidia, dépassant le milliard de dollars américains (plus de 7 milliards de RMB).Le volume d'achat de Byte à lui seul cette année est proche des ventes totales de GPU commerciaux vendus par Nvidia en Chine l'année dernière. , Une autre grande entreprise a une valeur de commande d'au moins plus de 1 milliard de yuans.
OpenAI, qui utilise déjà environ 25 000 GPU Nvidia, affirme qu'il y a toujours une pénurie de GPU. ChatGPT a besoin de 13,5 EPLOPS de puissance de calcul pour 100 millions d'utilisateurs actifs, pris en charge par environ 69 000 serveurs NVIDIA DGX A100 80G, et la puissance de calcul mondiale actuelle ne peut prendre en charge que 100 millions d'utilisateurs en ligne quotidiens moyens.
Sur le marché de la circulation au comptant de ces GPU haut de gamme, même un demi-profane est impatient d'essayer quand il voit l'opportunité, et ses yeux sont pleins de "briques dorées".
** L'A800, qui coûtait à l'origine environ 74 000 yuans, est maintenant passé à plus de 85 000 yuans, et la version haut de gamme à environ 100 000 yuans. ** Fin avril, la cotation à terme du module A800 à 8 cartes sur le marché était encore de 900 000 et le délai de livraison était de 2 semaines. Maintenant, la cotation a atteint plus de 1 million et le délai de livraison a été prolongé à 7-8 semaines. En mai, A800 a même été viré à 100 000 yuans.
"Le délai de livraison pour ceux qui sont sur la touche est plus long, et le prix est plus cher." Ceux qui n'avaient qu'une seule carte sont allés acheter des modules, et ceux qui n'ont pas pu acheter de modules ont ensuite acheté un serveur entier.
De la carte GPU unique au module en passant par le serveur IA, les augmentations de prix sont folles, la pénurie est sérieuse, et les délais de livraison s'allongent de plus en plus, la demande sur le marché est-elle vraiment si forte ? Pourquoi le GPU de Nvidia est-il si court ? De plus, il n'y a pas de date de livraison garantie pour les produits authentiques neufs, le marché de l'occasion, les canaux gris, l'acompte ne sera pas remboursé après paiement, et le chaos autour du serveur AI se déroule...
Chaos du marché des GPU NVIDIA
"J'ai besoin de 1 000 ou 3 000 billets d'un coup, et je ne peux pas du tout les fournir. La demande ici est-elle réelle ou fausse ?"
« Le marché est-il bon ? J'ai un moyen d'obtenir la marchandise, mais j'ai peur qu'il soit détruit. »
** En mai, les GPU de Nvidia étaient toujours en rupture de stock et leur prix augmentait. **
Selon un agent, le prix de Nvidia A100 a commencé à augmenter en décembre de l'année dernière. Au cours de la première quinzaine d'avril de cette année, son augmentation de prix cumulée en cinq mois a atteint 37,5 % ; l'augmentation de prix cumulée de l'A800 a atteint 20,0 % au cours de la même période.
Les délais de livraison ont été allongés d'un mois à trois mois ou plus, et certaines nouvelles commandes "ne seront peut-être pas livrées avant décembre".
Certains fabricants qui ont un avantage quantitatif dans les serveurs d'IA utilisent les ressources GPU tout en se serrant la ceinture. Microsoft est tombé dans le dilemme de la pénurie de matériel de serveur d'IA en interne et a adopté un mécanisme de "fourniture de quotas". En juin, il a été mentionné dans les minutes de discussion supprimées du PDG d'OpenAI, Sam Altman, qu'Open AI manque également de GPU, et la pénurie de GPU a retardé de nombreux plans à court terme des clients.
Debout sur la vague de l'intelligence artificielle, Nvidia, le "vendeur de pelles", a maintenant presque monopolisé l'ensemble du marché des puces pour serveurs d'IA et est devenu le plus grand gagnant. Il n'y a pas si longtemps, sa valeur marchande dépassait un billion de yuans, devenant ainsi la première entreprise de puces dans l'histoire avec une valeur marchande supérieure à 1 000 milliards de dollars américains.
Affecté par l'interdiction américaine, l'approvisionnement au comptant de Nvidia A100 dans mon pays a été directement coupé. Il y a environ 40 000 à 50 000 A100 qui peuvent être utilisés pour former de grands modèles d'IA en Chine. L'approvisionnement est assez serré. L'utilisation interne est strictement limité.
Cependant, l'A800, la version castrée de l'A100 qui est actuellement en approvisionnement normal, n'a commencé sa production qu'au troisième trimestre de l'année dernière. Couplé à l'augmentation de la nouvelle demande, il fait face à une pénurie d'approvisionnement. Début mai, l'A800 a augmenté à 100 000 yuans en Chine.
De manière générale, les A800, A100, etc. à prix élevé rapportés par les médias appartiennent à la configuration supérieure de cette série, c'est-à-dire que la mémoire GPU est de 80G et que la technologie d'interconnexion prend en charge la version de NVLink.
Des amis du secteur des GPU sur le marché nous ont dit que le prix de l'A800 sur le marché au comptant changeait tous les jours et que les changements de taux de change à court terme affecteraient également le prix. L'offre la plus basse pourrait avoir atteint 86 000. »
Alors que la pénurie et l'augmentation des prix s'intensifiaient, de plus en plus de participants expédiaient et recherchaient des GPU, et le chaos sur le marché des GPU a commencé : essaims de demandes, marché à terme populaire et dépôts élevés, et sorties des canaux d'occasion. "fosse"...
L'impression la plus directe est la demande bruyante de toutes les directions. De nombreux praticiens du marché liés aux machines serveurs et aux GPU de serveur ont signalé que récemment, en raison de la popularité de l'IA, de nombreuses personnes sont venues se renseigner sur les cartes et les prix, mais peu peuvent réellement faire offres.
Je suis venu chercher des cartes simples A800, A100, la demande est faible et je suis intéressé par le prix, mais la demande est importante et des centaines de milliers de cartes sont nécessaires, en disant que j'aide les clients, les amis et les commerçants. de Huaqiangbei sont expédiés, on dirait qu'ils fixent les prix.
"Lorsque vous proposez autant, comment pouvez-vous le fournir ? Demandez-lui s'il fait attention à l'avantage du prix ou à l'avantage du délai de livraison, et il n'y a pas d'autres informations." "Certaines personnes n'ont presque pas de paiement pour les marchandises, et ils disparaissent après avoir demandé." Transaction d'achat facile.
À l'heure actuelle, il existe deux principaux canaux de distribution pour la fourniture de GPU d'entreprise tels que Nvidia : l'un est l'usine d'origine-agent général-revendeur-marché ; l'autre est l'usine d'origine-usine OEM (fabricant de serveurs)-revendeur- marché. Ceux qui circulent sur le marché spot sont principalement dans la distribution, les solutions serveurs ou les marchés de seconde main.
Ces produits au niveau de l'entreprise couvrent les clients en aval tels que les entreprises, les écoles et les fournisseurs de solutions de serveur. Frère Xu, qui se concentre sur le secteur des serveurs, a déclaré que la demande réelle d'Alibaba et d'autres sociétés est généralement une commande importante.Ces gros clients ont la priorité pour trouver l'agent général ou le serveur OEM au niveau supérieur pour obtenir les marchandises, et le niveau inférieur est petit, les revendeurs et les fournisseurs de pièces de serveur sont difficiles à trouver. Les médias rapportent également que les fournisseurs de cloud disent que les grandes entreprises telles que Byte et Ali négocient principalement directement avec l'usine d'origine de Nvidia pour l'approvisionnement, et que les agents et les marchés d'occasion ont du mal à répondre à leurs énormes besoins.
L'absence de demande réelle sur le marché au comptant n'empêche pas tout le monde de rechercher des marchandises. Si les marchandises au comptant sont épuisées, elles doivent réserver des contrats à terme. Elles doivent supporter des dépôts élevés qui ne peuvent être remboursés et la date de livraison peut être éloignée. loin.
Il est entendu que les cartes A800 sont toujours en stock sur le marché, les cartes A100 sont presque "éteintes" et les modules A800 sont rarement en stock, ils doivent donc choisir des contrats à terme. Prenant l'exemple d'un module A800 à 8 cartes, un vendeur a indiqué un prix total de 1,12 million, un acompte de 50 % et un délai de livraison de 7 à 8 semaines. Il n'y a aucune garantie de livraison dans les délais (le délai de livraison était encore 6 semaines il y a quelques jours), et l'acompte Aucun remboursement. Fin avril, le prix du module A800 à 8 cartes d'un autre vendeur était encore de 900 000, avec un acompte de 30% à 50% et un délai de livraison de 2 semaines.
En plus d'un mois, on peut voir que la différence de prix d'un module A800 à 8 cartes est supérieure à 200 000 yuans, le délai de livraison est prolongé et le dépôt peut également augmenter.
Un vendeur qui prétendait être l'usine source nous a dit que le module à 8 cartes était en stock et que les acheteurs qui le souhaitaient avaient déjà passé une commande d'un montant de 500 millions de yuans et qu'ils ne pouvaient plus attendre que l'avis d'arrivée.
Payer un acompte semble pouvoir faire la queue tôt, mais des risques élevés coexistent. Prenant l'exemple du module A800 à 8 cartes, un dépôt de 50 % est généralement facturé. Un module 80G NV A800 haut de gamme coûte plus d'un million et le dépôt est d'au moins 500 000, et une fois le dépôt effectué payé, il n'est pas remboursable. Un acheteur sur Internet a déclaré que les 10 cartes individuelles commandées en mars et avril de cette année n'ont pas encore reçu la marchandise.
Le délai de livraison promis par de nombreux vendeurs n'est pas garanti, le prix de base est élevé et le taux de dépôt est également élevé, de sorte que l'argent réel à payer est supérieur. Si vous ne recevez pas la marchandise, vous ne pouvez qu'attendre, après tout, l'argent a été payé.
**Si vous avez un lot d'A800 et d'A100 en stock, aux yeux de tout le monde, ce ne sont pas des cartes graphiques ordinaires, ce sont des briques dorées. **
Certaines personnes voient la chaleur et veulent faire du GPU mais craignent que la marchandise ne tombe entre leurs mains.Pour les spéculateurs individuels qui recherchent le profit, la demande réelle est incertaine.Le prix est trop élevé, n'en vaut pas la chandelle.
Les produits d'occasion ne cessent d'émerger, et certains recyclent à prix d'or les puces IA d'occasion.A fortiori là où elles sont utilisées, la garantie de ce type de GPU pose problème.
Capacité de production amont urgente : les procédés de fabrication avancés ne manquent pas, où est le problème ?
Après que ChatGPT est devenu populaire, les sociétés Internet et les fournisseurs de cloud ont déployé de plus en plus de grands modèles d'IA pour rivaliser avec la grande puissance de calcul des GPU Nvidia.Ce qui manque, ce ne sont pas seulement les A100 et A800, mais aussi les H100 et H800 haut de gamme. Quelqu'un a demandé, il n'y a pas de pénurie de capacité de production de plaquettes, pourquoi les GPU ne peuvent-ils pas être fournis ?
"Les performances des GPU augmentent de 1000 fois tous les 10 ans", "plus vous achetez, plus vous économisez", la loi de Huang remplacera la loi de Moore. Bien que les processus de fabrication avancés puissent améliorer les performances des GPU, la loi de Moore a pris fin, et Le but du serveur est différent des exigences d'espace exigeantes des puces de téléphonie mobile. Si la fabrication avancée est le premier choix pour les GPU, l'emballage avancé est la cerise sur le gâteau.
Il ne suffit pas de fabriquer des GPU avec des processus de fabrication avancés. C'est un grand pas en avant pour améliorer les performances du GPU sous les contraintes actuelles du processus de fabrication des puces en rendant le boîtier petit, à faible consommation d'énergie et moins de broches, et en réalisant une interconnexion plus étroite entre les puces, puces et substrats d'emballage. Avec l'une des quatre technologies Magic Bump, RDL, Wafer et TSV d'emballage avancé, de nouvelles compétences en matière d'emballage peuvent être mises en lumière.
Les V100, A100, A800, H100, etc. de Nvidia adoptent tous la technologie de packaging avancée CoWoS de TSMC, qui résout le problème de "l'intégration du stockage et du calcul" des puces dans le contexte d'une IA à haute puissance de calcul. Cependant, la capacité de fonderie de plaquettes de 7 nm de TSMC n'est en effet pas courte, mais cette fois, la pénurie est toujours plantée sur TSMC.
** Tout d'abord, la technologie de base de l'emballage avancé CoWoS ne peut être réalisée que par TSMC, et elle ne peut pas être réalisée sans TSMC. **
La plaquette d'emballage avancée qui fait défaut actuellement, la technologie qu'elle contient est le brevet de TSMC, et Nvidia ne peut que trouver TSMC pour le faire.Le processus de fabrication avancé et l'emballage avancé sont fermement saisis par TSMC. En 2012, TSMC a lancé sa technologie d'emballage avancée unique CoWoS et dispose depuis lors d'un service à guichet unique allant de la fonderie de plaquettes à l'emballage du terminal. La famille CoWoS comprend CoWoS-S et CoWoS-L/R et d'autres composants, et les clients correspondant aux applications informatiques à haut débit incluent de nombreux fabricants de premier plan tels que NVIDIA. De plus, la plupart des séries d'emballages avancés InFO sont sous l'emballage d'Apple.
Vous avez dit externalisation ? Le processus low-tech est bien, mais la technologie de base n'est toujours pas suffisante sans TSMC, et d'autres usines d'emballage ne peuvent manger que de la soupe.
Récemment, en réponse à des besoins temporaires, TSMC a adopté la méthode d'externalisation et de sous-traitance d'une partie de l'os (sur substrat), mais il ne s'agit pas de l'externalisation du processus CoWoS. TSMC se concentre toujours sur la partie d'emballage avancée la plus précieuse.
TSMC a réalisé un emballage unique à partir de la fonderie de plaquettes Google TPU, Nvidia GPU et AMD MI300, qui ont tous importé des fabricants de puces AI génératives, ont contribué un grand nombre de commandes AIGC à TSMC, stimulant la demande d'expansion de CoWoS.
Deuxièmement, ce type d'emballage avancé consomme également la capacité de production d'emballages correspondante, qui est actuellement en pénurie.
D'une part, l'emballage avancé se développe vers le domaine du processus de tranche en amont, c'est-à-dire l'emballage au niveau de la tranche, qui accueille plus de broches dans une zone d'emballage plus petite, et d'autre part, il s'étend vers le domaine du module en aval et se développe système en package. Récemment @手机chip达人 a révélé que le processus CoWoS est divisé en l'interposeur du processus de plaquette frontale et la puce empilée die-to-die de l'emballage arrière. Le manque de capacité de production CoWoS de TSMC est dû à l'absence d'interposeur 65nm.
L'interposeur (interposeur) adopte ici la technologie Wafer (wafer).Par exemple, la solution de technologie d'emballage CoWoS de TSMC est la technologie d'emballage 2.5D, qui emballe la puce dans l'interposeur de silicium (interposeur) et utilise la tranche haute densité sur l'interposeur de silicium. Le câblage est utilisé pour interconnecter puis monté sur le substrat du boîtier.
Par conséquent, le GPU nécessite des tranches supplémentaires dans le processus de conditionnement avancé, c'est-à-dire la capacité CoWoS. Capital étranger Nomura Securities s'attend à ce que la capacité de production annualisée CoWoS de TSMC passe de 70 000 à 80 000 wafers d'ici la fin de 2022 à 140 000 à 150 000 wafers d'ici la fin de 2023. Avec l'expansion continue de la capacité de production, on estime que la capacité de production de 200 000 wafers seront challengeés d'ici fin 2024.
Combler le manque de capacité de conditionnement au niveau de la plaquette est devenu une priorité absolue. De plus, avec le développement continu de la technologie des plaquettes, la zone des plaquettes augmente progressivement.Par rapport à InFO, CoWoS pour le marché haut de gamme a un nombre relativement important de connexions et de taille de boîtier. Selon @手机chip达人, la demande d'interposeur 65 nm est 1,4 fois supérieure à celle de la matrice supérieure (H100).
La capacité de production d'emballages avancés CoWoS de TSMC a été sérieusement insuffisante Depuis l'année dernière, la demande CoWoS de TSMC a presque doublé et la demande continuera d'être forte l'année prochaine. L'emballage avancé ne peut être effectué que par l'usine taïwanaise de TSMC, et TSMC déploie et se développe directement dans chaque usine pour accélérer la progression du processus d'emballage avancé.
"Carte graphique manquante" brûlée sur le serveur vrai feu ou faux feu ?
Pour les acheteurs qui en ont vraiment besoin, l'utilisation d'une telle carte graphique haut de gamme est essentiellement utilisée pour les serveurs d'IA, soit à défaut d'une carte, soit d'un module, soit d'une machine complète. ** Mais en termes de besoins réels, "BRIC" est en réalité inférieur aux serveurs. **
Les GPU pour l'IA sont à court d'augmentations de prix et les prix des serveurs qui en sont équipés augmentent. Dès avril, il a été signalé qu'Inspur augmenterait le prix des serveurs d'IA d'environ 20 %. C'est après que Nvidia a mis fin à la fourniture de ses meilleures puces A100 et H100 à la décision de la Chine. Des sources ultérieures ont confirmé que l'augmentation n'était pas précisée.Une autre source a déclaré que le fournisseur de serveurs n'avait augmenté que le prix des serveurs Nvidia AI et que les prix des autres produits de serveur n'avaient pas changé.
Selon les données de Pacific Securities, les 8 principaux consommables de serveur sur le marché chinois des serveurs d'IA représenteront 92 % en 2022, et Inspur sera en tête de liste avec 37 %. La divulgation financière d'Inspur montre que Nvidia a été son principal fournisseur de puces. En 2019, Intel et Nvidia sont les deux principaux fournisseurs de puces d'Inspur.
Une seule carte GPU équivaut à un composant d'un serveur. La demande d'une seule carte est plus sensible au prix. Le serveur doit utiliser plusieurs modules GPU, avec un maximum de 8 cartes. Même la version PCle du serveur coûte actuellement environ 800 000 yuans, et la version NV est de 100 000 yuans.
À l'heure actuelle, le prix à terme de l'A800 est supérieur à 1,2 million de yuans et le prix au comptant est relativement faible.Selon un vendeur d'un fournisseur de services informatiques bien connu, le prix au comptant de la machine A800 est de 1,68 million de yuans et le dépôt est de 50% "Il y a 35 unités fin juillet. 25 unités ont été commandées." Même pour un usage professionnel, le prix n'est pas bon marché. De plus, selon les nouvelles du marché, le délai de livraison normal de la machine A800 est prévu jusqu'à fin octobre, et même de nombreux vendeurs ont directement signalé pendant 24 semaines, et le délai de livraison est proche de 6 mois.
Aux yeux de certains amis qui sont engagés dans l'ensemble du secteur des serveurs, quelle que soit la popularité du GPU, il n'est pas aussi proche de la demande réelle que le serveur et il est plus facile de faire des affaires. Frère Xu a déclaré qu'il se concentrait désormais sur les serveurs et qu'il n'était pas intéressé par les cartes individuelles. Vendre des serveurs, c'est envoyer des configurations aux clients avant de faire un devis. Les cartes sont plus gênantes, et cela dépend de la compatibilité de l'interface... En bref , le serveur est relativement bon marché. Pour être honnête, il y a plus de transactions et un taux de roulement élevé. Et la carte ne fait que beaucoup de demandes, le volume de transactions est trop petit, seules les grandes entreprises en demandent beaucoup. "Ceux qui en demandent plus sont presque tous destinés à l'ensemble de la machine, et ceux qui sont en petites quantités sont tous des cartes."
Dans le large éventail de besoins des clients, tous les serveurs d'IA ne sont pas haut de gamme lorsqu'ils se présentent, et il y a beaucoup de demandes lorsqu'ils se présentent. Qu'il s'agisse d'un serveur A800 PCIE, d'un serveur NVlinvk ou d'un serveur H800 HGX, etc., les entreprises choisissent des configurations en fonction de leurs différents besoins. Bien sûr, le prix du serveur sera plus transparent et il y aura plus de possibilités de comparaison de prix.
Les GPU et les disques durs font partie des accessoires des serveurs. Maintenant que l'IA est devenue populaire dans les serveurs connexes, les GPU haut de gamme comme l'A800 représentent un coût élevé et sont rares. Parmi les machines complètes, leur sensibilité au prix est aussi à l'avant-garde.
** La pénurie de GPU limite à elle seule l'offre normale de serveurs d'IA, qui semblent être en vogue sur le marché, mais sont mélangés à davantage de fausses demandes. **
Cette vague de fièvre GPU n'est pas sans rappeler l'année 2020, où les hommes spéculaient frénétiquement sur le business des pistolets à température frontale. A cette époque, l'effet de fission du cercle d'amis entraînait une fausse demande sur le marché infiniment plus importante que la vraie demande. En conséquence, l'offre est insuffisante, le prix au comptant est beaucoup plus élevé que le prix à terme, le délai de livraison n'est pas garanti et le coût par défaut du vendeur est faible.
L'époque des pénuries extrêmes de puces est révolue. Bien que la capacité de production de GPU haut de gamme ne soit pas disponible pendant un certain temps, les barrières correspondantes à la demande au niveau de l'entreprise sont relativement élevées, nécessitant un support technique et un service après-vente formels, associés à la forte augmentation de la demande, qui sont toutes proposées à tout le monde.Sans un travail acharné de longue haleine et une base solide, il est difficile d'obtenir une part de la tendance en ne s'appuyant que sur des moyens opportunistes.
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Saisissant la "nourriture et l'herbe" de la guerre de l'IA, le prix de la carte graphique AI de Nvidia s'envole
Texte original : Shinsei
De l'ère de l'exploitation minière à l'ère de l'IA, la puissance de calcul du GPU est revenue en jeu. La concurrence sur la réserve de puissance de calcul entre les fournisseurs de cloud nationaux et étrangers bat son plein...
Byte a acheté 100 000 cartes accélératrices A100 et H800 à Nvidia, dépassant le milliard de dollars américains (plus de 7 milliards de RMB).Le volume d'achat de Byte à lui seul cette année est proche des ventes totales de GPU commerciaux vendus par Nvidia en Chine l'année dernière. , Une autre grande entreprise a une valeur de commande d'au moins plus de 1 milliard de yuans.
OpenAI, qui utilise déjà environ 25 000 GPU Nvidia, affirme qu'il y a toujours une pénurie de GPU. ChatGPT a besoin de 13,5 EPLOPS de puissance de calcul pour 100 millions d'utilisateurs actifs, pris en charge par environ 69 000 serveurs NVIDIA DGX A100 80G, et la puissance de calcul mondiale actuelle ne peut prendre en charge que 100 millions d'utilisateurs en ligne quotidiens moyens.
Sur le marché de la circulation au comptant de ces GPU haut de gamme, même un demi-profane est impatient d'essayer quand il voit l'opportunité, et ses yeux sont pleins de "briques dorées".
** L'A800, qui coûtait à l'origine environ 74 000 yuans, est maintenant passé à plus de 85 000 yuans, et la version haut de gamme à environ 100 000 yuans. ** Fin avril, la cotation à terme du module A800 à 8 cartes sur le marché était encore de 900 000 et le délai de livraison était de 2 semaines. Maintenant, la cotation a atteint plus de 1 million et le délai de livraison a été prolongé à 7-8 semaines. En mai, A800 a même été viré à 100 000 yuans.
"Le délai de livraison pour ceux qui sont sur la touche est plus long, et le prix est plus cher." Ceux qui n'avaient qu'une seule carte sont allés acheter des modules, et ceux qui n'ont pas pu acheter de modules ont ensuite acheté un serveur entier.
De la carte GPU unique au module en passant par le serveur IA, les augmentations de prix sont folles, la pénurie est sérieuse, et les délais de livraison s'allongent de plus en plus, la demande sur le marché est-elle vraiment si forte ? Pourquoi le GPU de Nvidia est-il si court ? De plus, il n'y a pas de date de livraison garantie pour les produits authentiques neufs, le marché de l'occasion, les canaux gris, l'acompte ne sera pas remboursé après paiement, et le chaos autour du serveur AI se déroule...
Chaos du marché des GPU NVIDIA
"J'ai besoin de 1 000 ou 3 000 billets d'un coup, et je ne peux pas du tout les fournir. La demande ici est-elle réelle ou fausse ?"
« Le marché est-il bon ? J'ai un moyen d'obtenir la marchandise, mais j'ai peur qu'il soit détruit. »
** En mai, les GPU de Nvidia étaient toujours en rupture de stock et leur prix augmentait. **
Selon un agent, le prix de Nvidia A100 a commencé à augmenter en décembre de l'année dernière. Au cours de la première quinzaine d'avril de cette année, son augmentation de prix cumulée en cinq mois a atteint 37,5 % ; l'augmentation de prix cumulée de l'A800 a atteint 20,0 % au cours de la même période.
Les délais de livraison ont été allongés d'un mois à trois mois ou plus, et certaines nouvelles commandes "ne seront peut-être pas livrées avant décembre".
Certains fabricants qui ont un avantage quantitatif dans les serveurs d'IA utilisent les ressources GPU tout en se serrant la ceinture. Microsoft est tombé dans le dilemme de la pénurie de matériel de serveur d'IA en interne et a adopté un mécanisme de "fourniture de quotas". En juin, il a été mentionné dans les minutes de discussion supprimées du PDG d'OpenAI, Sam Altman, qu'Open AI manque également de GPU, et la pénurie de GPU a retardé de nombreux plans à court terme des clients.
Debout sur la vague de l'intelligence artificielle, Nvidia, le "vendeur de pelles", a maintenant presque monopolisé l'ensemble du marché des puces pour serveurs d'IA et est devenu le plus grand gagnant. Il n'y a pas si longtemps, sa valeur marchande dépassait un billion de yuans, devenant ainsi la première entreprise de puces dans l'histoire avec une valeur marchande supérieure à 1 000 milliards de dollars américains.
Affecté par l'interdiction américaine, l'approvisionnement au comptant de Nvidia A100 dans mon pays a été directement coupé. Il y a environ 40 000 à 50 000 A100 qui peuvent être utilisés pour former de grands modèles d'IA en Chine. L'approvisionnement est assez serré. L'utilisation interne est strictement limité.
Cependant, l'A800, la version castrée de l'A100 qui est actuellement en approvisionnement normal, n'a commencé sa production qu'au troisième trimestre de l'année dernière. Couplé à l'augmentation de la nouvelle demande, il fait face à une pénurie d'approvisionnement. Début mai, l'A800 a augmenté à 100 000 yuans en Chine.
De manière générale, les A800, A100, etc. à prix élevé rapportés par les médias appartiennent à la configuration supérieure de cette série, c'est-à-dire que la mémoire GPU est de 80G et que la technologie d'interconnexion prend en charge la version de NVLink.
Des amis du secteur des GPU sur le marché nous ont dit que le prix de l'A800 sur le marché au comptant changeait tous les jours et que les changements de taux de change à court terme affecteraient également le prix. L'offre la plus basse pourrait avoir atteint 86 000. »
Alors que la pénurie et l'augmentation des prix s'intensifiaient, de plus en plus de participants expédiaient et recherchaient des GPU, et le chaos sur le marché des GPU a commencé : essaims de demandes, marché à terme populaire et dépôts élevés, et sorties des canaux d'occasion. "fosse"...
L'impression la plus directe est la demande bruyante de toutes les directions. De nombreux praticiens du marché liés aux machines serveurs et aux GPU de serveur ont signalé que récemment, en raison de la popularité de l'IA, de nombreuses personnes sont venues se renseigner sur les cartes et les prix, mais peu peuvent réellement faire offres.
Je suis venu chercher des cartes simples A800, A100, la demande est faible et je suis intéressé par le prix, mais la demande est importante et des centaines de milliers de cartes sont nécessaires, en disant que j'aide les clients, les amis et les commerçants. de Huaqiangbei sont expédiés, on dirait qu'ils fixent les prix.
"Lorsque vous proposez autant, comment pouvez-vous le fournir ? Demandez-lui s'il fait attention à l'avantage du prix ou à l'avantage du délai de livraison, et il n'y a pas d'autres informations." "Certaines personnes n'ont presque pas de paiement pour les marchandises, et ils disparaissent après avoir demandé." Transaction d'achat facile.
À l'heure actuelle, il existe deux principaux canaux de distribution pour la fourniture de GPU d'entreprise tels que Nvidia : l'un est l'usine d'origine-agent général-revendeur-marché ; l'autre est l'usine d'origine-usine OEM (fabricant de serveurs)-revendeur- marché. Ceux qui circulent sur le marché spot sont principalement dans la distribution, les solutions serveurs ou les marchés de seconde main.
Ces produits au niveau de l'entreprise couvrent les clients en aval tels que les entreprises, les écoles et les fournisseurs de solutions de serveur. Frère Xu, qui se concentre sur le secteur des serveurs, a déclaré que la demande réelle d'Alibaba et d'autres sociétés est généralement une commande importante.Ces gros clients ont la priorité pour trouver l'agent général ou le serveur OEM au niveau supérieur pour obtenir les marchandises, et le niveau inférieur est petit, les revendeurs et les fournisseurs de pièces de serveur sont difficiles à trouver. Les médias rapportent également que les fournisseurs de cloud disent que les grandes entreprises telles que Byte et Ali négocient principalement directement avec l'usine d'origine de Nvidia pour l'approvisionnement, et que les agents et les marchés d'occasion ont du mal à répondre à leurs énormes besoins.
L'absence de demande réelle sur le marché au comptant n'empêche pas tout le monde de rechercher des marchandises. Si les marchandises au comptant sont épuisées, elles doivent réserver des contrats à terme. Elles doivent supporter des dépôts élevés qui ne peuvent être remboursés et la date de livraison peut être éloignée. loin.
Il est entendu que les cartes A800 sont toujours en stock sur le marché, les cartes A100 sont presque "éteintes" et les modules A800 sont rarement en stock, ils doivent donc choisir des contrats à terme. Prenant l'exemple d'un module A800 à 8 cartes, un vendeur a indiqué un prix total de 1,12 million, un acompte de 50 % et un délai de livraison de 7 à 8 semaines. Il n'y a aucune garantie de livraison dans les délais (le délai de livraison était encore 6 semaines il y a quelques jours), et l'acompte Aucun remboursement. Fin avril, le prix du module A800 à 8 cartes d'un autre vendeur était encore de 900 000, avec un acompte de 30% à 50% et un délai de livraison de 2 semaines.
En plus d'un mois, on peut voir que la différence de prix d'un module A800 à 8 cartes est supérieure à 200 000 yuans, le délai de livraison est prolongé et le dépôt peut également augmenter.
Un vendeur qui prétendait être l'usine source nous a dit que le module à 8 cartes était en stock et que les acheteurs qui le souhaitaient avaient déjà passé une commande d'un montant de 500 millions de yuans et qu'ils ne pouvaient plus attendre que l'avis d'arrivée.
Payer un acompte semble pouvoir faire la queue tôt, mais des risques élevés coexistent. Prenant l'exemple du module A800 à 8 cartes, un dépôt de 50 % est généralement facturé. Un module 80G NV A800 haut de gamme coûte plus d'un million et le dépôt est d'au moins 500 000, et une fois le dépôt effectué payé, il n'est pas remboursable. Un acheteur sur Internet a déclaré que les 10 cartes individuelles commandées en mars et avril de cette année n'ont pas encore reçu la marchandise.
Le délai de livraison promis par de nombreux vendeurs n'est pas garanti, le prix de base est élevé et le taux de dépôt est également élevé, de sorte que l'argent réel à payer est supérieur. Si vous ne recevez pas la marchandise, vous ne pouvez qu'attendre, après tout, l'argent a été payé.
**Si vous avez un lot d'A800 et d'A100 en stock, aux yeux de tout le monde, ce ne sont pas des cartes graphiques ordinaires, ce sont des briques dorées. **
Certaines personnes voient la chaleur et veulent faire du GPU mais craignent que la marchandise ne tombe entre leurs mains.Pour les spéculateurs individuels qui recherchent le profit, la demande réelle est incertaine.Le prix est trop élevé, n'en vaut pas la chandelle.
Les produits d'occasion ne cessent d'émerger, et certains recyclent à prix d'or les puces IA d'occasion.A fortiori là où elles sont utilisées, la garantie de ce type de GPU pose problème.
Capacité de production amont urgente : les procédés de fabrication avancés ne manquent pas, où est le problème ?
Après que ChatGPT est devenu populaire, les sociétés Internet et les fournisseurs de cloud ont déployé de plus en plus de grands modèles d'IA pour rivaliser avec la grande puissance de calcul des GPU Nvidia.Ce qui manque, ce ne sont pas seulement les A100 et A800, mais aussi les H100 et H800 haut de gamme. Quelqu'un a demandé, il n'y a pas de pénurie de capacité de production de plaquettes, pourquoi les GPU ne peuvent-ils pas être fournis ?
"Les performances des GPU augmentent de 1000 fois tous les 10 ans", "plus vous achetez, plus vous économisez", la loi de Huang remplacera la loi de Moore. Bien que les processus de fabrication avancés puissent améliorer les performances des GPU, la loi de Moore a pris fin, et Le but du serveur est différent des exigences d'espace exigeantes des puces de téléphonie mobile. Si la fabrication avancée est le premier choix pour les GPU, l'emballage avancé est la cerise sur le gâteau.
Il ne suffit pas de fabriquer des GPU avec des processus de fabrication avancés. C'est un grand pas en avant pour améliorer les performances du GPU sous les contraintes actuelles du processus de fabrication des puces en rendant le boîtier petit, à faible consommation d'énergie et moins de broches, et en réalisant une interconnexion plus étroite entre les puces, puces et substrats d'emballage. Avec l'une des quatre technologies Magic Bump, RDL, Wafer et TSV d'emballage avancé, de nouvelles compétences en matière d'emballage peuvent être mises en lumière.
** Tout d'abord, la technologie de base de l'emballage avancé CoWoS ne peut être réalisée que par TSMC, et elle ne peut pas être réalisée sans TSMC. **
La plaquette d'emballage avancée qui fait défaut actuellement, la technologie qu'elle contient est le brevet de TSMC, et Nvidia ne peut que trouver TSMC pour le faire.Le processus de fabrication avancé et l'emballage avancé sont fermement saisis par TSMC. En 2012, TSMC a lancé sa technologie d'emballage avancée unique CoWoS et dispose depuis lors d'un service à guichet unique allant de la fonderie de plaquettes à l'emballage du terminal. La famille CoWoS comprend CoWoS-S et CoWoS-L/R et d'autres composants, et les clients correspondant aux applications informatiques à haut débit incluent de nombreux fabricants de premier plan tels que NVIDIA. De plus, la plupart des séries d'emballages avancés InFO sont sous l'emballage d'Apple.
Vous avez dit externalisation ? Le processus low-tech est bien, mais la technologie de base n'est toujours pas suffisante sans TSMC, et d'autres usines d'emballage ne peuvent manger que de la soupe.
Récemment, en réponse à des besoins temporaires, TSMC a adopté la méthode d'externalisation et de sous-traitance d'une partie de l'os (sur substrat), mais il ne s'agit pas de l'externalisation du processus CoWoS. TSMC se concentre toujours sur la partie d'emballage avancée la plus précieuse.
TSMC a réalisé un emballage unique à partir de la fonderie de plaquettes Google TPU, Nvidia GPU et AMD MI300, qui ont tous importé des fabricants de puces AI génératives, ont contribué un grand nombre de commandes AIGC à TSMC, stimulant la demande d'expansion de CoWoS.
Deuxièmement, ce type d'emballage avancé consomme également la capacité de production d'emballages correspondante, qui est actuellement en pénurie.
D'une part, l'emballage avancé se développe vers le domaine du processus de tranche en amont, c'est-à-dire l'emballage au niveau de la tranche, qui accueille plus de broches dans une zone d'emballage plus petite, et d'autre part, il s'étend vers le domaine du module en aval et se développe système en package. Récemment @手机chip达人 a révélé que le processus CoWoS est divisé en l'interposeur du processus de plaquette frontale et la puce empilée die-to-die de l'emballage arrière. Le manque de capacité de production CoWoS de TSMC est dû à l'absence d'interposeur 65nm.
Par conséquent, le GPU nécessite des tranches supplémentaires dans le processus de conditionnement avancé, c'est-à-dire la capacité CoWoS. Capital étranger Nomura Securities s'attend à ce que la capacité de production annualisée CoWoS de TSMC passe de 70 000 à 80 000 wafers d'ici la fin de 2022 à 140 000 à 150 000 wafers d'ici la fin de 2023. Avec l'expansion continue de la capacité de production, on estime que la capacité de production de 200 000 wafers seront challengeés d'ici fin 2024.
Combler le manque de capacité de conditionnement au niveau de la plaquette est devenu une priorité absolue. De plus, avec le développement continu de la technologie des plaquettes, la zone des plaquettes augmente progressivement.Par rapport à InFO, CoWoS pour le marché haut de gamme a un nombre relativement important de connexions et de taille de boîtier. Selon @手机chip达人, la demande d'interposeur 65 nm est 1,4 fois supérieure à celle de la matrice supérieure (H100).
La capacité de production d'emballages avancés CoWoS de TSMC a été sérieusement insuffisante Depuis l'année dernière, la demande CoWoS de TSMC a presque doublé et la demande continuera d'être forte l'année prochaine. L'emballage avancé ne peut être effectué que par l'usine taïwanaise de TSMC, et TSMC déploie et se développe directement dans chaque usine pour accélérer la progression du processus d'emballage avancé.
"Carte graphique manquante" brûlée sur le serveur vrai feu ou faux feu ?
Pour les acheteurs qui en ont vraiment besoin, l'utilisation d'une telle carte graphique haut de gamme est essentiellement utilisée pour les serveurs d'IA, soit à défaut d'une carte, soit d'un module, soit d'une machine complète. ** Mais en termes de besoins réels, "BRIC" est en réalité inférieur aux serveurs. **
Les GPU pour l'IA sont à court d'augmentations de prix et les prix des serveurs qui en sont équipés augmentent. Dès avril, il a été signalé qu'Inspur augmenterait le prix des serveurs d'IA d'environ 20 %. C'est après que Nvidia a mis fin à la fourniture de ses meilleures puces A100 et H100 à la décision de la Chine. Des sources ultérieures ont confirmé que l'augmentation n'était pas précisée.Une autre source a déclaré que le fournisseur de serveurs n'avait augmenté que le prix des serveurs Nvidia AI et que les prix des autres produits de serveur n'avaient pas changé.
Selon les données de Pacific Securities, les 8 principaux consommables de serveur sur le marché chinois des serveurs d'IA représenteront 92 % en 2022, et Inspur sera en tête de liste avec 37 %. La divulgation financière d'Inspur montre que Nvidia a été son principal fournisseur de puces. En 2019, Intel et Nvidia sont les deux principaux fournisseurs de puces d'Inspur.
Une seule carte GPU équivaut à un composant d'un serveur. La demande d'une seule carte est plus sensible au prix. Le serveur doit utiliser plusieurs modules GPU, avec un maximum de 8 cartes. Même la version PCle du serveur coûte actuellement environ 800 000 yuans, et la version NV est de 100 000 yuans.
À l'heure actuelle, le prix à terme de l'A800 est supérieur à 1,2 million de yuans et le prix au comptant est relativement faible.Selon un vendeur d'un fournisseur de services informatiques bien connu, le prix au comptant de la machine A800 est de 1,68 million de yuans et le dépôt est de 50% "Il y a 35 unités fin juillet. 25 unités ont été commandées." Même pour un usage professionnel, le prix n'est pas bon marché. De plus, selon les nouvelles du marché, le délai de livraison normal de la machine A800 est prévu jusqu'à fin octobre, et même de nombreux vendeurs ont directement signalé pendant 24 semaines, et le délai de livraison est proche de 6 mois.
Aux yeux de certains amis qui sont engagés dans l'ensemble du secteur des serveurs, quelle que soit la popularité du GPU, il n'est pas aussi proche de la demande réelle que le serveur et il est plus facile de faire des affaires. Frère Xu a déclaré qu'il se concentrait désormais sur les serveurs et qu'il n'était pas intéressé par les cartes individuelles. Vendre des serveurs, c'est envoyer des configurations aux clients avant de faire un devis. Les cartes sont plus gênantes, et cela dépend de la compatibilité de l'interface... En bref , le serveur est relativement bon marché. Pour être honnête, il y a plus de transactions et un taux de roulement élevé. Et la carte ne fait que beaucoup de demandes, le volume de transactions est trop petit, seules les grandes entreprises en demandent beaucoup. "Ceux qui en demandent plus sont presque tous destinés à l'ensemble de la machine, et ceux qui sont en petites quantités sont tous des cartes."
Dans le large éventail de besoins des clients, tous les serveurs d'IA ne sont pas haut de gamme lorsqu'ils se présentent, et il y a beaucoup de demandes lorsqu'ils se présentent. Qu'il s'agisse d'un serveur A800 PCIE, d'un serveur NVlinvk ou d'un serveur H800 HGX, etc., les entreprises choisissent des configurations en fonction de leurs différents besoins. Bien sûr, le prix du serveur sera plus transparent et il y aura plus de possibilités de comparaison de prix.
Les GPU et les disques durs font partie des accessoires des serveurs. Maintenant que l'IA est devenue populaire dans les serveurs connexes, les GPU haut de gamme comme l'A800 représentent un coût élevé et sont rares. Parmi les machines complètes, leur sensibilité au prix est aussi à l'avant-garde.
** La pénurie de GPU limite à elle seule l'offre normale de serveurs d'IA, qui semblent être en vogue sur le marché, mais sont mélangés à davantage de fausses demandes. **
Cette vague de fièvre GPU n'est pas sans rappeler l'année 2020, où les hommes spéculaient frénétiquement sur le business des pistolets à température frontale. A cette époque, l'effet de fission du cercle d'amis entraînait une fausse demande sur le marché infiniment plus importante que la vraie demande. En conséquence, l'offre est insuffisante, le prix au comptant est beaucoup plus élevé que le prix à terme, le délai de livraison n'est pas garanti et le coût par défaut du vendeur est faible.
L'époque des pénuries extrêmes de puces est révolue. Bien que la capacité de production de GPU haut de gamme ne soit pas disponible pendant un certain temps, les barrières correspondantes à la demande au niveau de l'entreprise sont relativement élevées, nécessitant un support technique et un service après-vente formels, associés à la forte augmentation de la demande, qui sont toutes proposées à tout le monde.Sans un travail acharné de longue haleine et une base solide, il est difficile d'obtenir une part de la tendance en ne s'appuyant que sur des moyens opportunistes.