L'ambition de Nvidia : "l'IA native" subvertit complètement le data center

Source de l'image : générée par l'IA illimitée

Source : Nouvelles de Wall Street

Auteur : Zhao Ying

Le PDG de Nvidia, Jensen Huang, l'a déclaré lors d'une conférence de presse mardi. Hier, Nvidia a lancé une nouvelle génération de plate-forme de super puce GH200 Grace Hopper, spécialement conçue pour l'ère de l'informatique accélérée et de l'IA générative.

Huang Renxun a souligné que pour répondre à la demande croissante d'IA générative, les centres de données doivent disposer de plates-formes informatiques accélérées pour les besoins spéciaux. La nouvelle plate-forme de puces GH200 offre une technologie de mémoire et une bande passante supérieures, la possibilité de connecter des GPU pour agréger les performances sans perte, et a une conception de serveur qui peut être facilement déployée dans un centre de données. **

Il convient de mentionner que l'arrivée de la vague de modèles à grande échelle a engendré diverses applications natives de l'IA, entraînant une forte demande de puissance de calcul.Le marché des centres de données dédiés aux applications d'intelligence artificielle gourmandes en données émerge rapidement.

Le centre de données inaugure de nouveaux changements

Les analystes notent qu'alors que les fournisseurs de cloud computing établis se précipitent pour moderniser les centres de données avec des puces avancées et d'autres mises à niveau pour répondre aux exigences des logiciels d'intelligence artificielle, certains constructeurs débutants voient une opportunité de construire de nouvelles installations à partir de rien.

Un centre de données est similaire à un grand entrepôt, équipé de plusieurs racks de serveurs, de réseaux et d'équipements de stockage pour le stockage et le traitement des données. Par rapport aux centres de données traditionnels, les centres de données AI ont plus de serveurs utilisant des puces hautes performances, de sorte que la consommation d'énergie moyenne par rack de serveurs de centre de données AI peut atteindre 50 kilowatts ou plus, tandis que chaque rack de centres de données traditionnels La consommation d'énergie est d'environ 7 kW.

** Cela signifie que le centre de données IA doit construire plus d'infrastructures pouvant fournir une puissance plus élevée. Étant donné que la consommation d'énergie supplémentaire générera plus de chaleur, le centre de données IA a également besoin d'autres méthodes de refroidissement **, telles que le refroidissement liquide systèmes, pour protéger l'appareil contre la surchauffe.

Manju Naglapur, vice-président senior de la société de services et de conseil Unisys, a déclaré :

**Les centres de données d'IA spécialement conçus peuvent héberger des serveurs utilisant des puces d'IA telles que les GPU de Nvidia, permettant à plusieurs calculs de s'exécuter simultanément lorsque les applications d'IA parcourent de vastes magasins de données. ** Ces centres de données sont également équipés de réseaux de fibre optique et de dispositifs de stockage plus efficaces pour prendre en charge des modèles d'intelligence artificielle à grande échelle.

Les centres de données d'IA sont des bâtiments hautement spécialisés qui nécessitent un investissement important en argent et en temps. Selon les données de la société de recherche Data Bridge Market Research, d'ici 2029, les dépenses sur le marché mondial des infrastructures d'intelligence artificielle devraient atteindre 422,55 milliards de dollars, avec un taux de croissance annuel composé de 44 % au cours des six prochaines années.

Le directeur général de DataBank, Raul Martynek, a déclaré que le rythme de déploiement de l'IA entraînerait probablement une pénurie de capacité des centres de données au cours des 12 à 24 prochains mois.

AI Computing Rookie reçoit un financement de 2,3 milliards de dollars

À l'heure actuelle, divers géants parient sur les centres de données d'IA, et la "référence immobilière" Blackstone vend des maisons et passe aux centres de données d'IA. Meta a également déclaré qu'il construirait un nouveau centre de données d'IA.

Comme mentionné dans l'article précédent, CoreWeave, une recrue de la puissance de calcul de l'IA, a contracté un prêt hypothécaire auprès de Nvidia H100 et a obtenu un financement par emprunt de 2,3 milliards de dollars américains (environ 16,5 milliards de yuans).

** CoreWeave a déclaré que les fonds seront utilisés pour accélérer la construction de centres de données d'intelligence artificielle. Il s'agit d'un autre financement après que la société a reçu 221 millions de dollars en avril de cette année et 200 millions de dollars en mai. Fondé il y a six ans, CoreWeave dispose déjà de sept centres de données d'IA en ligne et prévoit de doubler ce nombre d'ici la fin de cette année.

CoreWeave travaille avec Nvidia et Inflection AI pour créer un très grand cluster de serveurs AI, dans le but d'exécuter 22 000 Nvidia H100. ** S'il est terminé, il deviendra le plus grand cluster de serveurs d'IA au monde. **

Il convient de mentionner que, selon le site officiel de CoreWeave, leurs services sont 80 % moins chers que les fournisseurs traditionnels de cloud computing. Le dernier serveur HGX H100 de Nvidia, qui contient 8 H100 avec une mémoire vidéo 80G et une mémoire 1T, commence à seulement 2,23 $ par heure (16 RMB). **

Par rapport à la plate-forme de génération précédente, la configuration à double puce de la nouvelle plate-forme GH200 Grace Hopper augmente la capacité de mémoire de 3,5 fois et la bande passante de trois fois. la dernière technologie de mémoire HBM3e de 282 Go.

Pas étonnant qu'en cette ère d'explosion du LLM, Huang Renxun ait toujours dit avec audace "plus vous achetez, plus vous économisez" !