Falta de núcleo de IA, Nvidia esgotou

Autor: Sun Pengyue Editor: Gale

Fonte: Zinc Finance

Fonte da imagem: Gerada por Unbounded AI

No dia 8 de agosto, foi oficialmente realizada a conferência mundial de computação gráfica SIGGRAPH, a mais importante mesa redonda da indústria global de computadores.

O fundador e CEO da NVIDIA, Jensen Huang, compareceu e trouxe uma nova geração do chip super AI da NVIDIA GH200. Jensen Huang está muito confiante sobre seu novo produto principal, chamando o GH200 de "a memória mais rápida do mundo".

**No mercado de IA atual, a Nvidia é chamada de "o centro que administra todo o mundo da IA". **Seja OpenAI ou Google, META, Baidu, Tencent, Alibaba, todas as IAs generativas dependem muito dos chips de IA da Nvidia para treinamento.

Além disso, de acordo com relatos da mídia, a demanda total do mercado pelo chip Nvidia AI H100 em agosto de 2023 pode ser de cerca de 432.000 peças, e o preço atual de um chip H100 no Ebay chegou a 45.000 dólares americanos, equivalente a mais de 300.000 RMB. Yuan.

Existem mais de 400.000 chips gaps, com um preço unitário de 45.000 dólares americanos, e o preço total pode chegar facilmente a milhões de dólares.

A Nvidia está passando por uma onda de mercado mais louca do que a "era da mineração".

Chip AI, é difícil encontrar um

Os chamados chips de IA são, na verdade, unidades de processamento gráfico (GPUs), cujo principal papel é ajudar a executar os inúmeros cálculos envolvidos no treinamento e implantação de algoritmos de inteligência artificial.

**Ou seja, todos os tipos de desempenho inteligente de IA generativa vêm do empilhamento de inúmeras GPUs. Quanto mais chips usados, mais inteligente fica a IA generativa. **

A OpenAI não fala sobre os detalhes do treinamento GPT-4, mas de acordo com a especulação da mídia, o GPT-4 precisa de pelo menos 8192 chips H100, a um preço de $ 2 por hora, o pré-treinamento pode ser concluído em cerca de 55 dias e o custo é de cerca de US$ 21,5 milhões (150 milhões de RMB).

De acordo com executivos da Microsoft, o supercomputador AI que fornece suporte de poder de computação para ChatGPT é um supercomputador de alto nível em grande escala que a Microsoft investiu 1 bilhão de dólares americanos em 2019, equipado com dezenas de milhares de GPUs Nvidia A100 e mais de 60 centros de dados. No total, centenas de milhares de GPUs Nvidia são implantados no centro.

O chip AI exigido pelo ChatGPT não é fixo, mas aumentado de forma incremental. Quanto mais inteligente for o ChatGPT, o preço por trás disso é que mais e mais poder de computação é necessário. De acordo com a previsão do Morgan Stanley, o GPT-5 precisará usar cerca de 25.000 GPUs, o que é cerca de três vezes o do GPT-4.

**Se você deseja atender às necessidades de uma série de produtos de IA, como OpenAI e Google, isso equivale a uma empresa da Nvidia fornecendo núcleos para produtos de IA em todo o mundo, o que é um ótimo teste para a capacidade de produção da Nvidia. **

NVIDIA H100

Embora a Nvidia esteja produzindo chips de IA em plena capacidade, de acordo com relatos da mídia, a capacidade de cluster H100 em grande escala de pequenos e grandes provedores de nuvem está prestes a se esgotar, e o "severo problema de escassez" do H100 continuará até pelo menos o fim de 2024.

Atualmente, os chips da Nvidia para o mercado de IA são divididos principalmente em dois tipos: H100 e A100. O H100 é o principal produto. Em termos de detalhes técnicos, o H100 é cerca de 3,5 vezes mais rápido que o A100 em velocidade de raciocínio de 16 bits e A velocidade de treinamento de 16 bits é cerca de 2,3 vezes mais rápida.

Seja H100 ou A100, todos são co-produzidos pela TSMC, o que limita a produção do H100. De acordo com alguns meios de comunicação, leva cerca de meio ano para cada H100 ir da produção à entrega, e a eficiência da produção é muito lenta.

A Nvidia afirmou que aumentará a capacidade de fornecimento de chips AI no segundo semestre de 2023, mas não forneceu nenhuma informação quantitativa.

Muitas empresas e compradores estão pedindo que a Nvidia aumente a produção de fabs, não apenas para cooperar com a TSMC, mas para entregar mais pedidos à Samsung e à Intel.

** Velocidade de treinamento mais rápida **

**Se não há como aumentar a capacidade de produção, então a melhor solução é lançar chips com maior desempenho para ganhar em qualidade. **

Como resultado, a Nvidia começou a lançar novas GPUs com frequência para melhorar os recursos de treinamento de IA. Primeiro, em março deste ano, a Nvidia lançou quatro chips AI, H100 NVL GPU, L4 Tensor Core GPU, L40 GPU e NVIDIA Grace Hopper, para atender às crescentes demandas de poder de computação de AIs generativas.

A geração anterior ainda não foi produzida e lançada em massa. A Nvidia lançou a versão atualizada do H100, GH200, por Huang Renxun na SIGGRAPH World Conference on Computer Graphics em 8 de agosto.

Entende-se que o novo GH200 Grace Hopper Superchip é baseado em uma CPU Grace de 72 núcleos, equipada com memória ECC LPDDR5X de 480 GB e GPU de computação GH100, com memória HBM3E de 141 GB, usa seis pilhas de 24 GB e usa uma interface de memória de 6144 bits.

NVIDIA GH200

A maior tecnologia negra do GH200 é que, como o primeiro chip do mundo equipado com memória HBM3e, ele pode aumentar sua memória GPU local em 50%. E esta também é uma "atualização específica" especificamente para o mercado de inteligência artificial, porque a IA generativa de nível superior geralmente é enorme em tamanho, mas limitada em capacidade de memória.

De acordo com informações públicas, a memória HBM3e é a memória de alta largura de banda de quinta geração da SK Hynix. É um novo tipo de tecnologia de memória de alta largura de banda que pode fornecer taxas de transmissão de dados mais altas em um espaço menor. Tem uma capacidade de 141 GB e uma largura de banda de 5 TB por segundo, que pode atingir 1,7 vezes e 1,55 vezes a do H100, respetivamente.

Desde seu lançamento em julho, o SK Hynix se tornou o queridinho do mercado de GPUs, à frente dos rivais diretos Optane DC da Intel e dos chips flash Z-NAND da Samsung.

Vale ressaltar que a SK Hynix sempre foi uma das parceiras da Nvidia, começando pela memória HBM3, a maioria dos produtos da Nvidia usa produtos SK Hynix. No entanto, a SK Hynix tem se preocupado com a capacidade de produção da memória necessária para os chips AI, e a Nvidia pediu à SK Hynix para aumentar a capacidade de produção mais de uma vez.

Quando uma grande família com distocia encontra outra grande família com distocia, as pessoas não podem deixar de se preocupar com a capacidade de produção do GH200.

A NVIDIA declarou oficialmente que, em comparação com o produto de geração atual H100, o GH200 tem capacidade de memória 3,5 vezes maior e largura de banda 3 vezes maior; e a memória HBM3e permitirá que o GH200 de próxima geração execute modelos de IA 3,5 vezes mais rápido que o modelo atual.

**A velocidade de execução do modelo AI é 3,5 vezes mais rápida que a do H100. Isso significa que 1 GH200 é equivalente a 3,5 H100? Tudo tem que ser aprendido na prática. **

Mas, por enquanto, o que é certo é que, como maior fornecedora do mercado de IA, a Nvidia consolidou ainda mais sua posição de liderança e ampliou a distância com AMD e Intel.

Rivais da NVIDIA

Diante de uma lacuna de 430.000 chips de IA, nenhuma empresa fica indiferente. Em particular, os maiores concorrentes da Nvidia, AMD e Intel, não os deixarão monopolizar todo o mercado.

Em 14 de junho deste ano, o presidente e CEO da AMD, Su Zifeng, lançou intensamente uma variedade de novos produtos de software e hardware de IA, incluindo o chip de IA projetado para modelos de linguagem grande, o MI300X. Lançou oficialmente um desafio positivo para a Nvidia no mercado de IA.

Em termos de parâmetros de hardware, o AMD MI300X possui até 13 pequenos chips, contendo um total de 146 bilhões de transistores, e está equipado com 128 GB de memória HBM3. Sua densidade HBM é 2,4 vezes a da Nvidia H100 e sua largura de banda é 1,6 vezes a da Nvidia H100, o que significa que a velocidade de processamento da IA generativa pode ser acelerada.

Mas, infelizmente, este chip AI principal não está em estoque, mas espera-se que seja totalmente produzido em massa no quarto trimestre de 2023.

Outro concorrente, a Intel, adquiriu a fabricante de chips de inteligência artificial HABANA Labs por cerca de US$ 2 bilhões em 2019, entrando no mercado de chips de IA.

Em agosto deste ano, na teleconferência de resultados mais recente da Intel, o CEO da Intel, Pat Gelsinger, disse que a Intel está desenvolvendo um chip de supercomputação Falcon Shores AI de próxima geração, provisoriamente chamado Falcon Shores 2, que deve ser lançado em 2026.

Além do Falcon Shores 2, a Intel também lançou o chip AI Gaudi2, que já começou a ser vendido, enquanto o Gaudi3 está em desenvolvimento.

É uma pena que a especificação do chip Gaudi2 não seja alta e seja difícil desafiar a Nvidia H100 e A100.

AMD MI300X

** Além dos gigantes estrangeiros de semicondutores flexionando seus músculos e iniciando a "competição de chips", as empresas nacionais de semicondutores também iniciaram a pesquisa e o desenvolvimento de chips de IA. **

Entre eles, o cartão acelerador de IA Kunlun RG800, o cartão acelerador Tiangai 100 da Tianshu Zhixin e o produto de treinamento de segunda geração da Suiyuan Technology, Yunsui T20/T21, todos indicam que podem suportar o treinamento de modelo em grande escala.

Nesta batalha por chips que usam o poder da computação como padrão e modelos grandes de IA como campo de batalha, a Nvidia, como uma das maiores vencedoras no mercado de IA, demonstrou sua força em design de chips e participação de mercado.

No entanto, embora os chips domésticos de IA estejam um pouco atrasados, o ritmo de pesquisa e desenvolvimento e a expansão do mercado nunca pararam, e vale a pena esperar pelo futuro.