Nvidia, que está em pleno andamento, é o próximo objetivo para roubar os negócios dos fornecedores de nuvem?

Fonte da imagem: Gerada por Unbounded AI

Quem tem GPU Nvidia é a empresa cloud

Sempre há novidades sobre a Nvidia para te surpreender.

O mais recente vem da CoreWeave, uma startup de nuvem nos EUA.

A empresa anunciou US$ 2,3 bilhões em financiamento, e o que é ainda mais chocante é que a garantia desse dinheiro é a GPU que ela possui. Com o surgimento de modelos grandes, a GPU se tornou uma moeda forte, e a razão pela qual o CoreWeave pode ter tantos itens escassos da Nvidia é por causa de seu status anterior - o maior minerador de Ethereum da América do Norte.

Naquela época, ela tinha mais de 50.000 GPUs para mineração. Depois de enfrentar a insustentabilidade da mineração, a CoreWeave voltou sua atenção para a IA e outros campos que exigiam computação paralela e comprou um grande número de chips NVIDIA antes que o ChatGPT se tornasse popular. tempo, a capacidade de produção de chips era suficiente.

Como resultado, a CoreWeave afirma ser a única empresa no mundo que pode fornecer poder de computação H100 em larga escala e também se transformou em um "fornecedor de nuvem".

Sim, seu fornecimento de GPU supera todos os gigantes de serviços em nuvem, incluindo Google Cloud, Amazon Cloud e Azure da Microsoft.

Isso pode soar estranho. Mesmo sem o gargalo do número de GPUs, a construção de um data center ainda requer custos elevados, espaço requintado, projeto de dissipação de energia e calor e colaboração de software e hardware muito complexa. De um modo geral, apenas aqueles que podem atender a esses requisitos condições Pode ser uma gigante, não uma startup que acabou de levantar uma rodada da Série B (US$ 421 milhões).

A capacidade do CoreWeave de fazer isso decorre de uma compreensão muito diferente do data center.

Os datacenters tradicionais são compostos por CPUs, que se concentram em recursos de computação de uso geral, dominados por chips primeiro da Intel e depois da AMD.

No entanto, o novo data center para computação acelerada coloca mais ênfase na computação paralela, o que significa que ele precisa de mais memória, largura de banda e a capacidade de conectar todas as unidades de computação acelerada. O fundador e CEO da Nvidia, Huang Renxun, disse que o processo é "modernização do data center", que ele vê como um ciclo de 10 anos.

O início deste novo ciclo marca a construção de todo o data center, coordenação de software e hardware, e até estruturas de alimentação e refrigeração precisam ser redesenhadas. Isso quase trouxe todos os provedores de serviços de nuvem de volta à linha de partida - a geração anterior de soluções de data center projetadas para CPUs dificilmente pode ser copiada. Por exemplo, a tecnologia Infinite Band usada pela Nvidia para conectar enormes clusters de GPU requer mais de 500 milhas de cabos, o que simplesmente não existe em projetos tradicionais de data center.

CoreWeave deu outro exemplo. Com o mesmo tamanho de site, os clusters de GPU exigem 4 vezes mais energia do que os data centers tradicionais. Portanto, o sistema de energia e o sistema de resfriamento do novo data center precisam ser totalmente redesenhados, o que nem é uma combinação de hardware e software. custo.

CoreWeave, que antecipou a oportunidade, não só pode fornecer enorme poder de computação H100, mas também é dezenas de vezes mais rápido do que outros serviços em nuvem e, ao mesmo tempo, o custo é 80% menor. visão do data center - o data center está se transformando em computação acelerada, e o escasso poder de computação é fornecido por meio da nuvem.

Desta forma, uma empresa de mineração de moeda virtual tornou-se uma empresa popular de computação em nuvem, apenas porque é a discípula mais fiel da Nvidia.

Que tipo de nuvem é Nvidia Cloud

Quem tem GPUs Nvidia é o fornecedor de nuvem mais popular, então quem tem mais GPUs Nvidia? Aparentemente é ele mesmo.

Portanto, ao mesmo tempo em que oferece suporte a startups de nuvem semelhantes, a Nvidia também está construindo sua própria nuvem.

A Nvidia tem muitas vantagens em fazer a própria nuvem, sendo a mais óbvia que não se preocupa com a relação entre oferta e demanda de GPU. Musk disse uma vez em público que a obtenção de GPUs é muito mais difícil do que a obtenção de medicamentos, e a razão pela qual o CoreWeave pode fornecer poder de computação H100 em escala ultragrande também está relacionada ao fornecimento suficiente de Nvidia - a Nvidia participou do CoreWeave alguns meses atrás rodada B de financiamento.

Mas, obviamente, apenas investir em algumas empresas iniciantes não é suficiente, e a enorme demanda por poder de computação de IA generativa acabará deixando a Nvidia acabar sozinha. Na conferência GTC em março deste ano, a Nvidia lançou seu próprio serviço de nuvem DGX Cloud, que foi lançado oficialmente no meio do ano.

Como pode ser visto no nome, o DGX Cloud utiliza diretamente os recursos do supercomputador DGX da Nvidia, e cada instância da nuvem é equipada com 8 GPUs H100 ou A100 e 640 GB de memória.

O DGX Cloud adota uma estrutura de baixa latência que permite que grandes fluxos de trabalho sejam dimensionados em clusters e distribuídos em paralelo em vários nós de computação. Por exemplo, a Oracle, que anunciou pela primeira vez sua cooperação com a DGX Cloud, pode implantar mais de 30.000 GPUs A100 por cluster no OCI Supercluster, para que grandes modelos possam ser treinados na nuvem. Os usuários podem acessar livremente seus próprios supercomputadores de IA em qualquer lugar (a Nvidia disse que a distribuição do poder de computação é exclusiva) e apenas a interface front-end é usada para lidar com eles. Exceto pelo próprio processo de desenvolvimento, não há necessidade de se preocupar com quaisquer problemas relacionados à infraestrutura de hardware.

O serviço é oferecido mensalmente por cerca de US$ 40.000. Claro, ainda é muito mais barato do que comprar um servidor DGX diretamente por 200.000 dólares americanos, mas muitas pessoas apontaram que o Azure da Microsoft cobra menos de 20.000 dólares americanos pelos mesmos 8 A100GPUs, quase metade do antigo.

Por que é tão caro? Como o serviço de nuvem da Nvidia é diferente dos outros, ele inclui não apenas poder de computação, mas também um conjunto completo de soluções de IA.

Dois serviços chamados Base Command Platform e AI Enterprise são integrados ao DGX Cloud. O primeiro é um software de gerenciamento e monitoramento, que pode ser usado não apenas para registrar a carga de treinamento do poder de computação em nuvem, fornecer integração entre nuvens e poder de computação local, mas também permitir que os usuários acessem diretamente o DGX Cloud a partir de um navegador. A última é a camada de software na plataforma Nvidia AI. Milhares de pacotes de software fornecem uma variedade de modelos pré-treinados, estruturas AI e bibliotecas aceleradas, simplificando assim os custos de implantação e desenvolvimento de ponta a ponta. Além disso, a DGX Cloud também fornece um serviço de modelagem de modelo chamado AI Foundations, permitindo que os usuários de negócios usem seus próprios dados proprietários para personalizar seus próprios modelos verticais grandes.

Esta solução completa combinada com software e hardware faz com que a velocidade de treinamento do DGX Cloud seja duas a três vezes maior do que a computação em nuvem tradicional. Essa é a maior diferença entre o DGX Cloud e os serviços de nuvem tradicionais. Ele integra muito bem os dois aspectos da NVIDIA. Ponto forte: ecologia de IA e poder de computação. Para a Nvidia, a frase "software como serviço" parece ser alterada para "integração de software e hardware como serviço". A DGX Cloud representa centralmente o teto de capacidade da integração vertical ascendente de um fabricante de hardware.

Ambição e realidade de Huang Renxun

Mas isso não significa que a Nvidia levantou completamente a tabela dos fornecedores tradicionais de nuvem. Seu serviço é fornecido por meio de fornecedores de nuvem tradicionais. O DGX Cloud foi inicialmente anunciado para ser lançado no Oracle Cloud, seguido pela Microsoft e pelo Google, e a maneira como a Nvidia trabalha com esses fornecedores de nuvem é bastante interessante: a Nvidia primeiro vende hardware de GPU para esses parceiros de nuvem e depois aluga o hardware para executar DGX Nuvem.

Algumas pessoas brincaram que isso se chama ganhar dinheiro de ambos os lados sem demora.

Na verdade, Huang Jensen explicou esse modelo: "Nós nos beneficiamos quando os clientes usam nossa plataforma de computação, e os clientes se beneficiam ao nos colocar (a plataforma de computação) na nuvem deles (do fornecedor de nuvem)."

Se você apenas ouvir o que Huang Renxun disse, este é um final feliz em que todos saem ganhando, mas esta é apenas sua narrativa consistente. A Nvidia já está travada na competição com seus próprios clientes e sabe disso.

O progresso do DGX Cloud nos diz que Huang Renxun não pretende implantá-lo apenas em fornecedores de nuvem tradicionais. No SIGGRAPH 2023 em agosto, a Nvidia anunciou pela primeira vez sua cooperação com o Hugging Face e, em seguida, lançou um serviço chamado AI Workbench. Todos eles permitem que os usuários criem, testem e personalizem facilmente grandes modelos de pré-treinamento, e o suporte de poder de computação por trás deles inclui naturalmente o DGX Cloud.

Obviamente, isso afetará o relacionamento entre a Nvidia e os fornecedores de nuvem: os provedores de serviços de nuvem mais importantes, incluindo Google, Amazon e Microsoft, também são grandes clientes da Nvidia, e a promoção de seus próprios serviços de nuvem pela Nvidia certamente conquistará sua participação no mercado. Em particular, já mencionamos na primeira parte que, como gigantes de data centers e serviços de nuvem, eles não têm muita vantagem na construção da próxima geração de data centers.A ameaça de seu próprio serviço de nuvem não é pequena.

Huang Renxun não vai ignorar isso, então sua atitude em relação ao DGX Cloud é bastante interessante. Por exemplo, ele declarou publicamente que uma taxa de mix de serviço de nuvem apropriada deve ser de 10% Nvidia DGX mais 90% de nuvem pública. Em outras palavras, no posicionamento de Huang Renxun, a DGX Cloud não é um oponente ou uma ameaça para os fornecedores de nuvem tradicionais, mas um parceiro.

Na teleconferência com analistas após o anúncio do relatório financeiro trimestral do primeiro trimestre, Huang Renxun falou mais sobre os benefícios dessa cooperação, "uma enorme situação ganha-ganha", Huang Renxun descreveu desta forma. Em seu entendimento, a DGX Cloud é uma pilha Nvidia pura (pilha Nvidia pura), que combina desenvolvimento de inteligência artificial, grandes bancos de dados e redes de alta velocidade e baixa latência para se tornar uma infraestrutura de IA conveniente para abrir novos e enormes participantes do mercado em esse mercado inclui a Nvidia e fornecedores tradicionais de nuvem, e todos se beneficiarão da explosão da IA generativa.

Tentar evitar conflitos é, na verdade, porque o DGX Cloud pode manter apenas um pequeno volume por muito tempo.

A primeira razão é, obviamente, o gargalo do poder de computação. "Incrivelmente muitos pedidos" é a descrição de Huang Renxun do volume de negócios do data center. Claro, a principal prioridade da Nvidia é desenvolver e garantir a produção de tantos chips avançados que atendam à demanda do mercado quanto possível, caso contrário, a escala dos serviços em nuvem não pode ser expandido.

Embora o TSMC esteja em produção ininterrupta, vale a pena notar que a lacuna de poder de computação não está diminuindo, mas aumentando, porque uma vez lançado e comercializado o modelo grande (como o ChatGPT), seu custo de raciocínio aumentará exponencialmente com a escala de users À medida que o nível aumenta, a longo prazo, será muito maior do que o poder computacional necessário para treinar o modelo (a ampliação dada por alguém é 100).

Além disso, também leva em consideração a complexidade da parceria entre a Nvidia e os fornecedores tradicionais de nuvem. Se o DGX Cloud aparecer como um produto puramente competitivo, pode ocupar uma fatia considerável do mercado, mas deve acelerar ainda mais os fabricantes de nuvem a se livrarem de sua dependência da Nvidia - eles já desenvolveram seus próprios chips para reduzir o "nvidia". imposto".

De outra perspectiva, pode não ser do interesse da Nvidia expandir totalmente a escala do DGX Cloud. De chips a placas gráficas de jogos a servidores e centros de dados, a Nvidia raramente fabrica produtos de hardware por conta própria, preferindo cooperar com fabricantes OEM - tanto que você ainda precisa passar por fabricantes OEM para comprar chips Nvidia. Isso permite que a Nvidia controle bem os custos e mantenha as margens de lucro.

Hoje, a Nvidia e os fornecedores de nuvem parecem manter um equilíbrio, mas o equilíbrio é usado para quebrar, especialmente quando uma das partes é a Nvidia. Afinal, este é o primeiro ano do ciclo de atualização dos chamados “próximos dez anos” de Huang Renxun. data center de última geração”. .