Nvidia, qui bat son plein, est le prochain objectif pour voler le business des éditeurs de cloud ?

Source de l'image : générée par l'IA illimitée

Celui qui a le GPU Nvidia est la société de cloud computing

Il y a toujours de nouvelles nouvelles sur Nvidia pour vous surprendre.

Le plus récent vient de CoreWeave, une startup du cloud aux États-Unis.

La société a annoncé un financement de 2,3 milliards de dollars, et ce qui est encore plus choquant, c'est que la garantie de cet argent est le GPU qu'elle possède. Sous la montée en puissance des grands modèles, le GPU est devenu une monnaie forte, et la raison pour laquelle CoreWeave peut avoir autant d'articles rares de Nvidia est à cause de son statut passé - le plus grand mineur d'Ethereum en Amérique du Nord.

À cette époque, il disposait de plus de 50 000 GPU pour l'exploitation minière. Après avoir fait face à la non-durabilité de l'exploitation minière, CoreWeave s'est tourné vers l'IA et d'autres domaines qui nécessitaient un calcul parallèle, et a acheté un grand nombre de puces NVIDIA avant que ChatGPT ne devienne populaire. temps, la capacité de production de puces était suffisante.

En conséquence, CoreWeave prétend être la seule entreprise au monde capable de fournir une puissance de calcul H100 à grande échelle, et s'est également transformée en "fournisseur de cloud".

Oui, son offre de GPU dépasse tous les géants des services cloud, y compris Google Cloud, Amazon Cloud et Azure de Microsoft.

Cela peut sembler étrange. Même sans le goulot d'étranglement du nombre de GPU, la construction d'un centre de données nécessite toujours des coûts énormes, un espace exquis, une conception de dissipation d'énergie et de chaleur, et une collaboration logicielle et matérielle très complexe. De manière générale, seuls ceux qui peuvent répondre à ces conditions C'est peut-être un géant, pas une startup qui vient de lever un tour de série B (421 millions de dollars).

La capacité de CoreWeave à le faire découle d'une compréhension très différente du centre de données.

Les centres de données traditionnels sont constitués de processeurs, qui se concentrent sur les capacités informatiques à usage général, dominées par les puces d'abord d'Intel, puis d'AMD.

Cependant, le tout nouveau centre de données pour le calcul accéléré met davantage l'accent sur le calcul parallèle, ce qui signifie qu'il a besoin de plus de mémoire, de bande passante et de la capacité de connecter étroitement toutes les unités de calcul accéléré. "modernisation du centre de données", qu'il considère comme un cycle de 10 ans.

Le début de ce nouveau cycle annonce la construction de l'ensemble du datacenter, la coordination logicielle et matérielle, et même les structures d'alimentation et de refroidissement doivent être repensées. Cela a presque ramené tous les fournisseurs de services cloud à la ligne de départ - la génération précédente de solutions de centres de données conçues pour les processeurs peut difficilement être copiée. Par exemple, la technologie Infinite Band utilisée par Nvidia pour connecter d'énormes clusters GPU nécessite plus de 500 miles de câbles, ce qui n'existe tout simplement pas dans les conceptions de centres de données traditionnels.

CoreWeave a donné un autre exemple : à taille de site identique, les clusters GPU nécessitent 4 fois plus de puissance que les centres de données traditionnels. Par conséquent, le système d'alimentation et le système de refroidissement du nouveau centre de données doivent être entièrement repensés, ce qui n'est même pas une combinaison de matériel. et logiciels.

CoreWeave, qui a anticipé l'opportunité, peut non seulement fournir une énorme puissance de calcul H100, mais est également des dizaines de fois plus rapide que d'autres services cloud et, en même temps, le coût est inférieur de 80. Nous pouvons attribuer cela à sa mise en œuvre précoce de Huang Renxun vision du centre de données - le centre de données se transforme en informatique accélérée, et la puissance de calcul rare est fournie via le cloud.

De cette façon, une société d'extraction de monnaie virtuelle est devenue une société de cloud computing populaire, simplement parce qu'elle est le disciple le plus fidèle de Nvidia.

Quel type de cloud est Nvidia Cloud

Celui qui a des GPU Nvidia est le fournisseur de cloud le plus populaire, alors qui a le plus de GPU Nvidia ? Apparemment, c'est lui-même.

Ainsi, tout en soutenant des start-ups cloud similaires, Nvidia construit également son propre cloud.

Nvidia a de nombreux avantages à faire le cloud lui-même, le plus évident étant qu'il n'est pas troublé par la relation entre l'offre et la demande de GPU. Musk a dit un jour en public qu'il était beaucoup plus difficile d'obtenir des GPU que d'obtenir des médicaments, et la raison pour laquelle CoreWeave peut fournir une puissance de calcul H100 à très grande échelle serait également liée à l'offre suffisante de Nvidia - Nvidia a participé à CoreWeave quelques il y a quelques mois B ronde de financement.

Mais évidemment, il ne suffit pas d'investir dans certaines start-up, et l'énorme demande de puissance de calcul de l'IA générative finira par laisser Nvidia se terminer par elle-même. Lors de la conférence GTC en mars de cette année, Nvidia a lancé son propre service cloud DGX Cloud, qui a été officiellement lancé au milieu de l'année.

Comme son nom l'indique, DGX Cloud utilise directement les capacités du supercalculateur DGX de Nvidia, et chaque instance du cloud est équipée de 8 GPU H100 ou A100 et de 640 Go de mémoire.

DGX Cloud adopte une structure à faible latence qui permet de faire évoluer les flux de travail volumineux sur les clusters et de les distribuer en parallèle sur plusieurs nœuds de calcul. Par exemple, Oracle, qui a annoncé pour la première fois sa coopération avec DGX Cloud, peut déployer plus de 30 000 GPU A100 par cluster sur OCI Supercluster, afin que de grands modèles puissent être entraînés sur le cloud. Les utilisateurs peuvent accéder librement à leurs propres supercalculateurs IA n'importe où (Nvidia a déclaré que la distribution de la puissance de calcul est exclusive), et seule l'interface frontale est utilisée pour les traiter. tout problème lié à l'infrastructure matérielle. .

Le service est offert sur une base mensuelle pour près de 40 000 $. Bien sûr, cela reste beaucoup moins cher que d'acheter directement un serveur DGX pour 200 000 dollars américains, mais de nombreuses personnes ont souligné qu'Azure de Microsoft facture moins de 20 000 dollars américains pour les mêmes 8 A100GPU, soit près de la moitié des premiers.

Pourquoi est-ce si cher? Parce que le service cloud de Nvidia est différent des autres, il comprend non seulement une puissance de calcul, mais également un ensemble complet de solutions d'IA.

Deux services appelés Base Command Platform et AI Enterprise sont intégrés à DGX Cloud. Le premier est un logiciel de gestion et de surveillance, qui peut non seulement être utilisé pour enregistrer la charge de formation de la puissance de calcul en nuage, fournir une intégration de puissance de calcul inter-cloud et locale, mais également permettre aux utilisateurs d'accéder directement à DGX Cloud à partir d'un navigateur. Ce dernier est la couche logicielle de la plate-forme Nvidia AI.Des milliers de progiciels fournissent une variété de modèles pré-formés, de cadres d'IA et de bibliothèques accélérées, simplifiant ainsi les coûts de développement et de déploiement de l'IA de bout en bout. En outre, DGX Cloud fournit également un service de moulage de modèles appelé AI Foundations, permettant aux utilisateurs professionnels d'utiliser leurs propres données propriétaires pour personnaliser leurs propres grands modèles verticaux.

Cette solution complète combinée avec le logiciel et le matériel rend la vitesse de formation de DGX Cloud deux à trois fois supérieure à celle du cloud computing traditionnel.C'est la plus grande différence entre DGX Cloud et les services de cloud traditionnels.Il intègre très bien les deux aspects de NVIDIA. Point fort : écologie de l'IA et puissance de calcul. Pour Nvidia, l'expression "logiciel en tant que service" semble être remplacée par "intégration logicielle et matérielle en tant que service". DGX Cloud représente au centre le plafond de capacité de l'intégration verticale ascendante d'un fabricant de matériel.

L'ambition et la réalité de Huang Renxun

Mais cela ne signifie pas que Nvidia a complètement levé le tableau des fournisseurs de cloud traditionnels. Son service est fourni par des fournisseurs de cloud traditionnels. DGX Cloud a été initialement annoncé pour être lancé sur Oracle Cloud, suivi par Microsoft et Google, et la façon dont Nvidia travaille avec ces fournisseurs de cloud est assez intéressante : Nvidia vend d'abord du matériel GPU à ces partenaires cloud, puis loue le matériel afin de fonctionner. Nuage DGX.

Certaines personnes ont plaisanté en disant que cela s'appelait gagner de l'argent des deux côtés sans délai.

En fait, Huang Jensen a expliqué ce modèle : "Nous bénéficions du fait que nos clients utilisent notre plate-forme informatique, et les clients bénéficient en nous plaçant (la plate-forme informatique) dans leur cloud (du fournisseur de cloud)."

Si vous n'écoutez que ce que Huang Renxun a dit, c'est une fin heureuse pour tous, mais ce n'est que son récit cohérent. Nvidia est déjà en concurrence avec ses propres clients, et elle le sait.

Les progrès de DGX Cloud nous indiquent que Huang Renxun n'a pas l'intention de le déployer uniquement sur les fournisseurs de cloud traditionnels. Lors du SIGGRAPH 2023 en août, Nvidia a d'abord annoncé sa coopération avec Hugging Face, puis a lancé un service appelé AI Workbench. Ils permettent tous aux utilisateurs de créer, tester et personnaliser facilement de grands modèles de pré-formation, et la prise en charge de la puissance de calcul derrière eux inclut naturellement DGX Cloud.

Cela aura évidemment un impact sur la relation entre Nvidia et les fournisseurs de cloud : les principaux fournisseurs de services cloud, dont Google, Amazon et Microsoft, sont également des clients majeurs de Nvidia, et la promotion par Nvidia de ses propres services cloud ne peut que leur ravir leur part de marché. En particulier, nous avons déjà mentionné dans la première partie qu'en tant que géants des centres de données et des services cloud, ils n'ont pas beaucoup d'avantages pour construire la prochaine génération de centres de données.La menace de son propre service cloud n'est pas petite.

Huang Renxun ne l'ignore pas, son attitude à l'égard de DGX Cloud est donc assez intéressante : par exemple, il a déclaré publiquement qu'un ratio de mix de services cloud approprié devrait être de 10 % de Nvidia DGX plus 90 % de cloud public. En d'autres termes, dans le positionnement de Huang Renxun, DGX Cloud n'est pas un adversaire ou une menace pour les fournisseurs de cloud traditionnels, mais un partenaire.

Lors de la conférence téléphonique avec les analystes après l'annonce du rapport financier trimestriel du premier trimestre, Huang Renxun a parlé davantage des avantages de cette coopération, "une énorme situation gagnant-gagnant", Huang Renxun l'a décrit ainsi. Dans sa compréhension, DGX Cloud est une pile Nvidia pure (pile Nvidia pure), qui combine le développement de l'intelligence artificielle, de grandes bases de données et des réseaux à haut débit et à faible latence pour devenir une infrastructure d'IA pratique pour ouvrir un nouveau marché énorme - les participants à ce marché comprend Nvidia et les fournisseurs de cloud traditionnels, et tout le monde bénéficiera de l'explosion de l'IA générative.

Essayer d'éviter les conflits est en fait dû au fait que DGX Cloud ne peut maintenir qu'un petit volume pendant une longue période.

La première raison est bien sûr le goulot d'étranglement de la puissance de calcul. "Incroyablement beaucoup de commandes" est la description du volume d'activité du centre de données par Huang Renxun. Bien sûr, la priorité principale de Nvidia est de développer et d'assurer la production d'autant de puces avancées qui répondent à la demande du marché que possible, sinon l'échelle des services cloud ne peut pas être élargi.

Bien que TSMC soit en production non-stop, il convient de noter que l'écart de puissance de calcul ne diminue pas mais augmente, car une fois le grand modèle lancé et commercialisé (comme ChatGPT), son coût de raisonnement augmentera de façon exponentielle avec l'échelle de utilisateurs À mesure que le niveau augmente, à long terme, il sera beaucoup plus important que la puissance de calcul nécessaire pour former le modèle (le grossissement donné par quelqu'un est de 100).

En outre, il prend également en compte la complexité du partenariat entre Nvidia et les fournisseurs de cloud traditionnels. Si DGX Cloud apparaît comme un produit purement concurrentiel, il occupera peut-être une part de marché considérable, mais il ne manquera pas d'accélérer encore les fabricants de cloud pour se débarrasser de leur dépendance à Nvidia - ils ont déjà développé leurs propres puces afin de réduire le "NVIDIA taxe".

D'un autre point de vue, il n'est peut-être pas dans l'intérêt de Nvidia d'étendre complètement l'échelle de DGX Cloud. Des puces aux cartes graphiques de jeu en passant par les serveurs et les centres de données, Nvidia fabrique rarement des produits matériels par elle-même. Elle préfère coopérer avec les fabricants OEM, à tel point que vous devez toujours passer par les fabricants OEM pour acheter des puces Nvidia. Cela permet à Nvidia de bien contrôler les coûts et de maintenir ses marges bénéficiaires.

Aujourd'hui, Nvidia et les fournisseurs de cloud semblent maintenir un équilibre, mais l'équilibre est utilisé pour rompre, surtout quand l'une des parties est Nvidia.Après tout, c'est la première année du cycle de mise à jour du soi-disant "dix ans à venir" de Huang Renxun. centre de données de génération ».