Da era da mineração à era da IA, o poder de computação da GPU entrou em ação novamente. A competição de reserva de energia de computação entre fornecedores de nuvem nacionais e estrangeiros está em pleno andamento...
A Byte comprou 100.000 unidades de placas aceleradoras A100 e H800 da Nvidia, ultrapassando US$ 1 bilhão (mais de RMB 7 bilhões). O volume de compras da Byte sozinho este ano está próximo do total de vendas de GPUs comerciais vendidas pela Nvidia na China no ano passado. , Outra grande empresa tem um valor de pedido de pelo menos mais de 1 bilhão de yuans.
A OpenAI, que já usa cerca de 25.000 GPUs Nvidia, diz que ainda há escassez de GPUs. O ChatGPT precisa de 13,5 EPLOPS de poder de computação para cada 100 milhões de usuários ativos, suportado por cerca de 69.000 servidores NVIDIA DGX A100 80G, e o atual poder de computação global pode suportar apenas 100 milhões de usuários on-line diários médios.
No mercado de circulação spot dessas GPUs de ponta, até meio leigo fica ansioso para experimentar quando vê a oportunidade, e seus olhos estão cheios de "tijolos dourados".
**O A800, que originalmente custava cerca de 74.000 yuans, agora subiu para mais de 85.000 yuans, e a versão de ponta subiu para cerca de 100.000 yuans. ** No final de abril, a cotação futura do módulo A800 de 8 cartões no mercado ainda era de 900.000 e o prazo de entrega era de 2 semanas. Agora a cotação atingiu mais de 1 milhão e o prazo de entrega foi estendido a 7-8 semanas. Em maio, o A800 foi disparado para 100.000 yuans.
“O prazo de entrega para quem está à margem é maior, e o preço é mais caro.” Quem não tinha um único cartão foi comprar módulos, e quem não conseguiu comprar módulos depois comprou um servidor inteiro.
Da placa única de GPU ao módulo e ao servidor AI, os aumentos de preço são absurdos, a escassez é séria e o tempo de entrega está ficando cada vez mais longo. A demanda no mercado é realmente tão alta? Por que a GPU da Nvidia é tão curta? Além disso, não há data de entrega garantida para produtos genuínos novos, mercado de segunda mão, canais cinza, o depósito não será reembolsado após o pagamento e o caos em torno do servidor AI está se desenrolando...
Caos do mercado de GPU NVIDIA
"Preciso de 1.000 ou 3.000 ingressos de uma só vez e não posso fornecê-los. A demanda aqui é real ou falsa?"
"O mercado está bom? Eu tenho uma maneira de conseguir as mercadorias, mas tenho medo de que seja esmagado."
**Em maio, as GPUs da Nvidia ainda estavam esgotadas e subindo de preço. **
Segundo um agente, o preço do Nvidia A100 começou a subir em dezembro do ano passado. Na primeira quinzena de abril deste ano, seu aumento de preço acumulado em cinco meses chegou a 37,5%; o aumento de preço acumulado do A800 atingiu 20,0% durante o mesmo período.
Os prazos de entrega foram estendidos de um mês para três meses ou mais, e alguns novos pedidos "podem não ser entregues até dezembro".
Alguns fabricantes que têm uma vantagem quantitativa em servidores de IA usam recursos de GPU enquanto apertam os cintos. A Microsoft caiu internamente no dilema da escassez de hardware de servidor AI e adotou um mecanismo de "fornecimento de cota". Em junho, foi mencionado nos minutos de conversa excluídos do CEO da OpenAI, Sam Altman, que a Open AI também carece de GPUs, e a escassez de GPUs atrasou muitos planos de curto prazo dos clientes.
Na onda da inteligência artificial, a Nvidia, a "vendedora de pás", quase monopolizou todo o mercado de chips de servidor de IA e se tornou a maior vencedora. Não muito tempo atrás, seu valor de mercado ultrapassou um trilhão de yuans, tornando-se a primeira empresa de chips na história com um valor de mercado superior a US$ 1 trilhão.
Afetado pela proibição dos EUA, o fornecimento local de Nvidia A100 no meu país foi cortado diretamente. Existem cerca de 40.000 a 50.000 A100s que podem ser usados para treinar modelos grandes de IA na China. O fornecimento é bastante limitado. O uso interno é estritamente limitado.
No entanto, o A800, versão castrada do A100 que atualmente está em oferta normal, só começou a ser produzido no terceiro trimestre do ano passado. Juntamente com o aumento da nova demanda, enfrenta escassez de oferta. No início de maio, o A800 aumentou para 100.000 yuans na China.
De um modo geral, os caros A800, A100, etc. relatados pela mídia pertencem à configuração superior desta série, ou seja, a memória da GPU é de 80G e a tecnologia de interconexão suporta a versão do NVLink.
Um amigo do negócio de GPU no mercado nos disse que o preço do A800 no mercado spot está mudando todos os dias, e mudanças cambiais de curto prazo também afetarão o preço. A oferta mais baixa pode ter subido para 86.000."
À medida que a escassez e o aumento de preços se intensificavam, mais e mais participantes estavam enviando e procurando GPUs, e o caos no mercado de GPUs começou: enxames de consultas, mercado futuro popular e altos depósitos e saídas de canais de segunda mão. "poço"...
A impressão mais direta é a demanda barulhenta de todas as direções. Muitos profissionais do mercado relacionados a máquinas de servidor e GPUs de servidor relataram que, recentemente, devido à popularidade da IA, muitas pessoas vieram perguntar sobre placas e preços, mas poucos podem realmente fazer um acordo.
Vim procurar cartões individuais A800, A100, a demanda é pequena e estou interessado no preço, mas a demanda é grande e são necessários centenas de milhares de cartões, dizendo que estou ajudando clientes e amigos e comerciantes de Huaqiangbei são despachados. Parece que eles estão estabelecendo preços.
"Quando você chega com tanto, como você pode fornecê-lo? Pergunte a ele se ele presta atenção à vantagem de preço ou à vantagem de tempo de entrega, e não há mais informações." "Algumas pessoas quase não pagam pelas mercadorias, e eles desaparecem depois de perguntar." Fácil transação de compra.
No momento, existem dois canais de distribuição principais para o fornecimento de GPUs de nível empresarial, como a Nvidia: um é o mercado-revendedor-agente geral de fábrica original; o outro é o revendedor-revendedor-de-fábrica original-OEM (fabricante de servidores) mercado . As que circulam no mercado spot são principalmente em distribuição, soluções de servidores ou mercados de segunda mão.
Esses produtos de nível empresarial cobrem clientes downstream, como empresas, escolas e provedores de soluções de servidor. O irmão Xu, que se concentra no negócio de servidores, disse que a demanda real do Alibaba e de outras empresas geralmente é um pedido grande. Esses grandes clientes têm prioridade para encontrar o agente geral ou o OEM do servidor no nível superior para obter as mercadorias e o nível inferior é pequeno Revendedores e fornecedores de peças de servidor são difíceis de encontrar. Também há relatos da mídia de que os fornecedores de nuvem dizem que grandes empresas como Byte e Ali negociam principalmente diretamente com a fábrica original da Nvidia para aquisição, e agentes e mercados de segunda mão são difíceis de atender às suas enormes necessidades.
A falta de demanda real no mercado spot não impede que todos procurem mercadorias. Se as mercadorias spot estiverem esgotadas, eles terão que reservar futuros. Eles precisam arcar com altos depósitos que não podem ser reembolsados e a data de entrega pode ser longa ausente.
Entende-se que os cartões A800 ainda estão em estoque no mercado, os cartões A100 estão quase "extintos" e os módulos A800 raramente estão em estoque, então eles têm que escolher futuros. Tomando como exemplo um módulo A800 de 8 cartões, um vendedor citou um preço total de 1,12 milhão, um depósito de 50% e um prazo de entrega de 7 a 8 semanas. Não há garantia de entrega no prazo (o prazo de entrega ainda estava 6 semanas alguns dias atrás), e o depósito Sem reembolso. No final de abril, o preço do módulo A800 de 8 cartões de outro vendedor ainda era de 900.000, com um depósito de 30% a 50% e um prazo de entrega de 2 semanas.
Em mais de um mês, pode-se ver que a diferença de preço de um módulo A800 de 8 cartões é superior a 200.000 yuan, o prazo de entrega é estendido e o depósito também pode aumentar.
Um vendedor que alegou ser a fábrica de origem nos disse que o módulo de 8 cartões está em estoque e os compradores que o desejam já fizeram um pedido no valor de 500 milhões de yuans e agora só podem aguardar o aviso de chegada.
Pagar um depósito parece ser capaz de fazer fila cedo, mas coexistem altos riscos. Tomando o módulo A800 de 8 cartões como exemplo, geralmente é cobrado um depósito de 50%. Um módulo 80G NV A800 top de linha é superior a 1 milhão e o depósito é de pelo menos 500.000 pago, não é reembolsável. Um comprador na Internet disse que os 10 cartões individuais encomendados em março e abril deste ano ainda não receberam a mercadoria.
O tempo de entrega prometido por muitos vendedores não é garantido, o preço básico é alto e a taxa de depósito também é alta, então o dinheiro real que precisa ser pago é maior. Se não receber a mercadoria, só resta esperar, afinal o dinheiro foi pago.
**Se você tem um lote de A800 e A100 em estoque, aos olhos de todos, eles não são placas gráficas comuns, são tijolos de ouro. **
Algumas pessoas veem o calor e querem fazer negócios com GPU, mas têm medo de que os produtos caiam em suas mãos. Para especuladores individuais que buscam lucros, a demanda real é duvidosa. O preço é muito alto, não vale a pena.
Os produtos de segunda mão surgem indefinidamente, e algumas pessoas reciclam chips de IA de segunda mão a preços altos, e muito menos onde são usados, a garantia desse tipo de GPU é um problema.
Capacidade de produção upstream urgente: não faltam processos avançados de fabricação, onde está o problema?
Depois que o ChatGPT se tornou popular, empresas de Internet e fornecedores de nuvem implantaram grandes modelos de IA mais extensivamente para competir pelo grande poder de computação das GPUs Nvidia. O que falta não é apenas o A100 e o A800, mas também o H100 e o H800 de ponta. Alguém perguntou, não há falta de capacidade de produção de wafer, por que as GPUs não podem ser fornecidas?
"O desempenho da GPU aumenta 1.000 vezes a cada 10 anos", "quanto mais você compra, mais economiza", a Lei de Huang substituirá a Lei de Moore. Embora os processos avançados de fabricação possam melhorar o desempenho das GPUs, a Lei de Moore chegou ao fim, e A finalidade do servidor é diferente dos exigentes requisitos de espaço dos chips de telefonia móvel. Se a fabricação avançada é a primeira escolha para GPUs, a embalagem avançada é a cereja do bolo.
Não basta fabricar GPUs com processos de fabricação avançados. É um grande passo melhorar o desempenho da GPU sob as atuais restrições do processo de fabricação de chips, tornando o pacote pequeno, com baixo consumo de energia e menos pinos, além de realizar uma interconexão mais estreita entre os chips, chips e substratos de embalagens. Com qualquer uma das quatro tecnologias mágicas Bump, RDL, Wafer e TSV de embalagem avançada, novas habilidades de embalagem podem ser iluminadas.
Nvidia's V100, A100, A800, H100, etc. todos adotam a tecnologia de embalagem avançada CoWoS da TSMC, que resolve o problema de "armazenamento e integração de cálculo" de chips sob o pano de fundo de IA de alto poder de computação. No entanto, a capacidade de fundição de wafer de 7nm da TSMC não é realmente curta, mas desta vez a escassez ainda é plantada na TSMC.
**Em primeiro lugar, a tecnologia central da embalagem avançada CoWoS só pode ser feita pela TSMC e não pode ser feita sem a TSMC. **
A bolacha de embalagem avançada que está faltando agora, a tecnologia nela é patente da TSMC, e a Nvidia só pode encontrar a TSMC para fazer isso. O processo de fabricação avançado e a embalagem avançada são firmemente compreendidos pela TSMC. Em 2012, a TSMC lançou sua exclusiva tecnologia avançada de embalagem CoWoS e, desde então, oferece um serviço completo, desde a fundição de wafer até a embalagem terminal. A família CoWoS inclui CoWoS-S e CoWoS-L/R e outras peças, e os clientes correspondentes a aplicativos de computação de alta velocidade incluem muitos fabricantes de primeira linha, como a NVIDIA. Além disso, a maioria das séries de embalagens avançadas InFO estão sob o pacote da Apple.
Você disse terceirização? O processo de baixa tecnologia é bom, mas a tecnologia principal ainda não é suficiente sem o TSMC, e outras fábricas de embalagens só podem comer sopa.
Recentemente, em resposta a necessidades temporárias, a TSMC adotou o método de terceirização e subcontratação de parte do sistema operacional (no substrato), mas não é a terceirização do processo CoWoS. A TSMC ainda está focada na parte de embalagem avançada mais valiosa.
A TSMC alcançou a embalagem completa da fundição de wafer. Google TPU, Nvidia GPU e AMD MI300, que importaram fabricantes de chips de IA generativa, contribuíram com um grande número de pedidos de AIGC para a TSMC, impulsionando a demanda por expansão de CoWoS.
Em segundo lugar, este tipo de embalagem avançada também consome a capacidade de produção de embalagem correspondente, que atualmente é escassa.
Por um lado, a embalagem avançada está se desenvolvendo para o campo de processamento de wafer upstream, ou seja, embalagem em nível de wafer, que acomoda mais pinos em uma área de embalagem menor e, por outro lado, está se expandindo para o campo de módulo downstream e desenvolvendo system-in-package. Recentemente @手机chip达人 revelou que o processo CoWoS é dividido em interposer do processo de wafer front-end e matriz empilhada die-to-die da embalagem back-end. A falta de capacidade de produção CoWoS da TSMC é devido a a falta de 65nm interposer.
O interposer (interposer) aqui adota a tecnologia Wafer (wafer). Por exemplo, a solução de tecnologia de embalagem CoWoS da TSMC é a tecnologia de embalagem 2.5D, que empacota o chip no interposer de silício (interposer) e usa o wafer de alta densidade no interposer de silício. A fiação é usada para interconectar e depois montada no substrato da embalagem.
Portanto, a GPU requer wafers adicionais no processo de empacotamento avançado, ou seja, capacidade de CoWoS. O capital estrangeiro Nomura Securities espera que a capacidade de produção anualizada de CoWoS da TSMC aumente de 70.000 para 80.000 wafers até o final de 2022 para 140.000 a 150.000 wafers até o final de 2023. Com a expansão contínua da capacidade de produção, estima-se que a capacidade de produção de 200.000 wafers serão desafiados até o final de 2024.
Preencher a lacuna na capacidade de embalagem em nível de wafer tornou-se uma prioridade. Além disso, com o desenvolvimento contínuo da tecnologia de wafer, a área de wafer está aumentando gradualmente.Comparado com o InFO, o CoWoS para o mercado high-end tem um número relativamente grande de conexões e tamanho de pacote. De acordo com @手机chip达人, a demanda por interposer de 65 nm é 1,4 vezes maior que a do die superior (H100).
A capacidade de produção de embalagens CoWoS avançadas da TSMC tem sido seriamente escassa.Desde o ano passado, a demanda de CoWoS da TSMC quase dobrou e a demanda continuará forte no próximo ano. A embalagem avançada só pode ser feita pela fábrica da TSMC em Taiwan, e a TSMC está implantando e expandindo diretamente em cada fábrica para acelerar o progresso do processo de embalagem avançada.
"Falta de placa gráfica" queimada no servidor fogo real ou fogo falso?
Para os compradores que realmente precisam, o uso de uma placa gráfica de última geração é usado essencialmente para servidores de IA, seja faltando uma placa, um módulo ou uma máquina completa. ** Mas em termos de necessidades reais, "BRIC" é realmente inferior a servidores. **
As GPUs para IA estão com falta de aumentos de preços e os preços dos servidores equipados com elas estão subindo. Já em abril, foi relatado que a Inspur aumentará o preço dos servidores de IA em cerca de 20%. Isso ocorre depois que a Nvidia encerrou o fornecimento de seus principais chips A100 e H100 para a decisão da China. Fontes subsequentes confirmaram que o aumento não foi especificado, outra fonte disse que o fornecedor do servidor apenas aumentou o preço dos servidores Nvidia AI e os preços de outros produtos de servidor não mudaram.
De acordo com dados da Pacific Securities, os 8 principais consumíveis de servidor no mercado de servidores de IA da China representarão 92% em 2022, e o Inspur liderará a lista com 37%. A divulgação financeira da Inspur mostra que a Nvidia tem sido seu principal fornecedor de chips. Em 2019, Intel e Nvidia são os dois principais fornecedores de chips da Inspur.
Uma única placa GPU equivale a um componente de um servidor. A demanda por uma única placa é mais sensível ao preço. O servidor precisa usar vários módulos GPU, com no máximo 8 placas. Mesmo a versão PCle do servidor custa atualmente cerca de 800.000 yuans, e a versão NV é de 100.000 yuans, milhões de nível.
Atualmente, o preço futuro do A800 é superior a 1,2 milhão de yuans e o preço à vista é relativamente pequeno. De acordo com um vendedor de um conhecido provedor de serviços de computação, o preço à vista da máquina A800 é de 1,68 milhão de yuans e o depósito é de 50% "Há 35 unidades no final de julho. 25 unidades foram encomendadas." Mesmo para uso comercial, o preço não é barato. Além disso, de acordo com as notícias do mercado, o prazo normal de entrega da máquina A800 foi agendado até o final de outubro, e até mesmo muitos vendedores relataram diretamente por 24 semanas, e o prazo de entrega é próximo a 6 meses.
Aos olhos de alguns amigos que estão envolvidos em todo o negócio de servidores, não importa o quão popular seja a GPU, ela não está tão próxima da demanda real quanto o servidor e é mais fácil fazer negócios. O irmão Xu disse que agora está focado em servidores e não está interessado em cartões individuais. Vender servidores é enviar configurações aos clientes antes de orçar. Cartões são mais problemáticos e depende se a interface é compatível... Resumindo , o servidor é relativamente barato, para ser honesto, há mais transações e uma alta taxa de rotatividade. E o cartão é só muita consulta, o volume de transações é muito pequeno, só as grandes empresas pedem muito. "Os que exigem mais são quase todos para a máquina toda, e os que estão em pouca quantidade são todos cartões."
Na ampla gama de necessidades dos clientes, nem todos os servidores de IA são os melhores quando surgem, e há muitas demandas quando surgem. Seja servidor A800 PCIE, servidor NVlinvk ou servidor H800 HGX, etc., as empresas escolhem configurações de acordo com diferentes necessidades. Obviamente, o preço do servidor será mais transparente e haverá mais oportunidades de comparação de preços.
GPUs e discos rígidos são um dos acessórios dos servidores. Agora que a IA se tornou popular em servidores relacionados, GPUs de ponta, como o A800, representam um custo alto e são escassos. Entre as máquinas completas, sua sensibilidade ao preço é também na vanguarda.
**A escassez de GPUs por si só limita o fornecimento normal de servidores AI, que parecem estar em alta no mercado, mas estão misturados com mais demandas falsas. **
Essa onda de febre da GPU lembra o ano de 2020, quando os homens especulavam freneticamente sobre o negócio de pistolas de temperatura na testa. Naquela época, o efeito de fissão do círculo de amigos levou a uma falsa demanda no mercado infinitamente maior que a real demanda. Como resultado, a oferta é escassa, o preço à vista é muito superior ao preço futuro, o prazo de entrega não é garantido e o custo de inadimplência do vendedor é baixo.
Os dias de escassez extrema de chips chegaram ao fim. Embora a capacidade de produção de GPU de ponta não esteja disponível por um tempo, as barreiras de demanda de nível empresarial correspondentes são relativamente altas, exigindo suporte técnico formal e serviço pós-venda, juntamente com o forte aumento da demanda, todos propostos a todos.Sem um trabalho árduo de longo prazo e uma base sólida, é difícil obter uma parte da tendência contando apenas com meios oportunistas.
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Pegando a "comida e grama" da guerra da IA, o preço da placa de vídeo AI da Nvidia está subindo
Texto original: Shinsei
Da era da mineração à era da IA, o poder de computação da GPU entrou em ação novamente. A competição de reserva de energia de computação entre fornecedores de nuvem nacionais e estrangeiros está em pleno andamento...
A Byte comprou 100.000 unidades de placas aceleradoras A100 e H800 da Nvidia, ultrapassando US$ 1 bilhão (mais de RMB 7 bilhões). O volume de compras da Byte sozinho este ano está próximo do total de vendas de GPUs comerciais vendidas pela Nvidia na China no ano passado. , Outra grande empresa tem um valor de pedido de pelo menos mais de 1 bilhão de yuans.
A OpenAI, que já usa cerca de 25.000 GPUs Nvidia, diz que ainda há escassez de GPUs. O ChatGPT precisa de 13,5 EPLOPS de poder de computação para cada 100 milhões de usuários ativos, suportado por cerca de 69.000 servidores NVIDIA DGX A100 80G, e o atual poder de computação global pode suportar apenas 100 milhões de usuários on-line diários médios.
No mercado de circulação spot dessas GPUs de ponta, até meio leigo fica ansioso para experimentar quando vê a oportunidade, e seus olhos estão cheios de "tijolos dourados".
**O A800, que originalmente custava cerca de 74.000 yuans, agora subiu para mais de 85.000 yuans, e a versão de ponta subiu para cerca de 100.000 yuans. ** No final de abril, a cotação futura do módulo A800 de 8 cartões no mercado ainda era de 900.000 e o prazo de entrega era de 2 semanas. Agora a cotação atingiu mais de 1 milhão e o prazo de entrega foi estendido a 7-8 semanas. Em maio, o A800 foi disparado para 100.000 yuans.
“O prazo de entrega para quem está à margem é maior, e o preço é mais caro.” Quem não tinha um único cartão foi comprar módulos, e quem não conseguiu comprar módulos depois comprou um servidor inteiro.
Da placa única de GPU ao módulo e ao servidor AI, os aumentos de preço são absurdos, a escassez é séria e o tempo de entrega está ficando cada vez mais longo. A demanda no mercado é realmente tão alta? Por que a GPU da Nvidia é tão curta? Além disso, não há data de entrega garantida para produtos genuínos novos, mercado de segunda mão, canais cinza, o depósito não será reembolsado após o pagamento e o caos em torno do servidor AI está se desenrolando...
Caos do mercado de GPU NVIDIA
"Preciso de 1.000 ou 3.000 ingressos de uma só vez e não posso fornecê-los. A demanda aqui é real ou falsa?"
"O mercado está bom? Eu tenho uma maneira de conseguir as mercadorias, mas tenho medo de que seja esmagado."
**Em maio, as GPUs da Nvidia ainda estavam esgotadas e subindo de preço. **
Segundo um agente, o preço do Nvidia A100 começou a subir em dezembro do ano passado. Na primeira quinzena de abril deste ano, seu aumento de preço acumulado em cinco meses chegou a 37,5%; o aumento de preço acumulado do A800 atingiu 20,0% durante o mesmo período.
Os prazos de entrega foram estendidos de um mês para três meses ou mais, e alguns novos pedidos "podem não ser entregues até dezembro".
Alguns fabricantes que têm uma vantagem quantitativa em servidores de IA usam recursos de GPU enquanto apertam os cintos. A Microsoft caiu internamente no dilema da escassez de hardware de servidor AI e adotou um mecanismo de "fornecimento de cota". Em junho, foi mencionado nos minutos de conversa excluídos do CEO da OpenAI, Sam Altman, que a Open AI também carece de GPUs, e a escassez de GPUs atrasou muitos planos de curto prazo dos clientes.
Na onda da inteligência artificial, a Nvidia, a "vendedora de pás", quase monopolizou todo o mercado de chips de servidor de IA e se tornou a maior vencedora. Não muito tempo atrás, seu valor de mercado ultrapassou um trilhão de yuans, tornando-se a primeira empresa de chips na história com um valor de mercado superior a US$ 1 trilhão.
Afetado pela proibição dos EUA, o fornecimento local de Nvidia A100 no meu país foi cortado diretamente. Existem cerca de 40.000 a 50.000 A100s que podem ser usados para treinar modelos grandes de IA na China. O fornecimento é bastante limitado. O uso interno é estritamente limitado.
No entanto, o A800, versão castrada do A100 que atualmente está em oferta normal, só começou a ser produzido no terceiro trimestre do ano passado. Juntamente com o aumento da nova demanda, enfrenta escassez de oferta. No início de maio, o A800 aumentou para 100.000 yuans na China.
De um modo geral, os caros A800, A100, etc. relatados pela mídia pertencem à configuração superior desta série, ou seja, a memória da GPU é de 80G e a tecnologia de interconexão suporta a versão do NVLink.
Um amigo do negócio de GPU no mercado nos disse que o preço do A800 no mercado spot está mudando todos os dias, e mudanças cambiais de curto prazo também afetarão o preço. A oferta mais baixa pode ter subido para 86.000."
À medida que a escassez e o aumento de preços se intensificavam, mais e mais participantes estavam enviando e procurando GPUs, e o caos no mercado de GPUs começou: enxames de consultas, mercado futuro popular e altos depósitos e saídas de canais de segunda mão. "poço"...
A impressão mais direta é a demanda barulhenta de todas as direções. Muitos profissionais do mercado relacionados a máquinas de servidor e GPUs de servidor relataram que, recentemente, devido à popularidade da IA, muitas pessoas vieram perguntar sobre placas e preços, mas poucos podem realmente fazer um acordo.
Vim procurar cartões individuais A800, A100, a demanda é pequena e estou interessado no preço, mas a demanda é grande e são necessários centenas de milhares de cartões, dizendo que estou ajudando clientes e amigos e comerciantes de Huaqiangbei são despachados. Parece que eles estão estabelecendo preços.
"Quando você chega com tanto, como você pode fornecê-lo? Pergunte a ele se ele presta atenção à vantagem de preço ou à vantagem de tempo de entrega, e não há mais informações." "Algumas pessoas quase não pagam pelas mercadorias, e eles desaparecem depois de perguntar." Fácil transação de compra.
No momento, existem dois canais de distribuição principais para o fornecimento de GPUs de nível empresarial, como a Nvidia: um é o mercado-revendedor-agente geral de fábrica original; o outro é o revendedor-revendedor-de-fábrica original-OEM (fabricante de servidores) mercado . As que circulam no mercado spot são principalmente em distribuição, soluções de servidores ou mercados de segunda mão.
Esses produtos de nível empresarial cobrem clientes downstream, como empresas, escolas e provedores de soluções de servidor. O irmão Xu, que se concentra no negócio de servidores, disse que a demanda real do Alibaba e de outras empresas geralmente é um pedido grande. Esses grandes clientes têm prioridade para encontrar o agente geral ou o OEM do servidor no nível superior para obter as mercadorias e o nível inferior é pequeno Revendedores e fornecedores de peças de servidor são difíceis de encontrar. Também há relatos da mídia de que os fornecedores de nuvem dizem que grandes empresas como Byte e Ali negociam principalmente diretamente com a fábrica original da Nvidia para aquisição, e agentes e mercados de segunda mão são difíceis de atender às suas enormes necessidades.
A falta de demanda real no mercado spot não impede que todos procurem mercadorias. Se as mercadorias spot estiverem esgotadas, eles terão que reservar futuros. Eles precisam arcar com altos depósitos que não podem ser reembolsados e a data de entrega pode ser longa ausente.
Entende-se que os cartões A800 ainda estão em estoque no mercado, os cartões A100 estão quase "extintos" e os módulos A800 raramente estão em estoque, então eles têm que escolher futuros. Tomando como exemplo um módulo A800 de 8 cartões, um vendedor citou um preço total de 1,12 milhão, um depósito de 50% e um prazo de entrega de 7 a 8 semanas. Não há garantia de entrega no prazo (o prazo de entrega ainda estava 6 semanas alguns dias atrás), e o depósito Sem reembolso. No final de abril, o preço do módulo A800 de 8 cartões de outro vendedor ainda era de 900.000, com um depósito de 30% a 50% e um prazo de entrega de 2 semanas.
Em mais de um mês, pode-se ver que a diferença de preço de um módulo A800 de 8 cartões é superior a 200.000 yuan, o prazo de entrega é estendido e o depósito também pode aumentar.
Um vendedor que alegou ser a fábrica de origem nos disse que o módulo de 8 cartões está em estoque e os compradores que o desejam já fizeram um pedido no valor de 500 milhões de yuans e agora só podem aguardar o aviso de chegada.
Pagar um depósito parece ser capaz de fazer fila cedo, mas coexistem altos riscos. Tomando o módulo A800 de 8 cartões como exemplo, geralmente é cobrado um depósito de 50%. Um módulo 80G NV A800 top de linha é superior a 1 milhão e o depósito é de pelo menos 500.000 pago, não é reembolsável. Um comprador na Internet disse que os 10 cartões individuais encomendados em março e abril deste ano ainda não receberam a mercadoria.
O tempo de entrega prometido por muitos vendedores não é garantido, o preço básico é alto e a taxa de depósito também é alta, então o dinheiro real que precisa ser pago é maior. Se não receber a mercadoria, só resta esperar, afinal o dinheiro foi pago.
**Se você tem um lote de A800 e A100 em estoque, aos olhos de todos, eles não são placas gráficas comuns, são tijolos de ouro. **
Algumas pessoas veem o calor e querem fazer negócios com GPU, mas têm medo de que os produtos caiam em suas mãos. Para especuladores individuais que buscam lucros, a demanda real é duvidosa. O preço é muito alto, não vale a pena.
Os produtos de segunda mão surgem indefinidamente, e algumas pessoas reciclam chips de IA de segunda mão a preços altos, e muito menos onde são usados, a garantia desse tipo de GPU é um problema.
Capacidade de produção upstream urgente: não faltam processos avançados de fabricação, onde está o problema?
Depois que o ChatGPT se tornou popular, empresas de Internet e fornecedores de nuvem implantaram grandes modelos de IA mais extensivamente para competir pelo grande poder de computação das GPUs Nvidia. O que falta não é apenas o A100 e o A800, mas também o H100 e o H800 de ponta. Alguém perguntou, não há falta de capacidade de produção de wafer, por que as GPUs não podem ser fornecidas?
"O desempenho da GPU aumenta 1.000 vezes a cada 10 anos", "quanto mais você compra, mais economiza", a Lei de Huang substituirá a Lei de Moore. Embora os processos avançados de fabricação possam melhorar o desempenho das GPUs, a Lei de Moore chegou ao fim, e A finalidade do servidor é diferente dos exigentes requisitos de espaço dos chips de telefonia móvel. Se a fabricação avançada é a primeira escolha para GPUs, a embalagem avançada é a cereja do bolo.
Não basta fabricar GPUs com processos de fabricação avançados. É um grande passo melhorar o desempenho da GPU sob as atuais restrições do processo de fabricação de chips, tornando o pacote pequeno, com baixo consumo de energia e menos pinos, além de realizar uma interconexão mais estreita entre os chips, chips e substratos de embalagens. Com qualquer uma das quatro tecnologias mágicas Bump, RDL, Wafer e TSV de embalagem avançada, novas habilidades de embalagem podem ser iluminadas.
**Em primeiro lugar, a tecnologia central da embalagem avançada CoWoS só pode ser feita pela TSMC e não pode ser feita sem a TSMC. **
A bolacha de embalagem avançada que está faltando agora, a tecnologia nela é patente da TSMC, e a Nvidia só pode encontrar a TSMC para fazer isso. O processo de fabricação avançado e a embalagem avançada são firmemente compreendidos pela TSMC. Em 2012, a TSMC lançou sua exclusiva tecnologia avançada de embalagem CoWoS e, desde então, oferece um serviço completo, desde a fundição de wafer até a embalagem terminal. A família CoWoS inclui CoWoS-S e CoWoS-L/R e outras peças, e os clientes correspondentes a aplicativos de computação de alta velocidade incluem muitos fabricantes de primeira linha, como a NVIDIA. Além disso, a maioria das séries de embalagens avançadas InFO estão sob o pacote da Apple.
Você disse terceirização? O processo de baixa tecnologia é bom, mas a tecnologia principal ainda não é suficiente sem o TSMC, e outras fábricas de embalagens só podem comer sopa.
Recentemente, em resposta a necessidades temporárias, a TSMC adotou o método de terceirização e subcontratação de parte do sistema operacional (no substrato), mas não é a terceirização do processo CoWoS. A TSMC ainda está focada na parte de embalagem avançada mais valiosa.
A TSMC alcançou a embalagem completa da fundição de wafer. Google TPU, Nvidia GPU e AMD MI300, que importaram fabricantes de chips de IA generativa, contribuíram com um grande número de pedidos de AIGC para a TSMC, impulsionando a demanda por expansão de CoWoS.
Em segundo lugar, este tipo de embalagem avançada também consome a capacidade de produção de embalagem correspondente, que atualmente é escassa.
Por um lado, a embalagem avançada está se desenvolvendo para o campo de processamento de wafer upstream, ou seja, embalagem em nível de wafer, que acomoda mais pinos em uma área de embalagem menor e, por outro lado, está se expandindo para o campo de módulo downstream e desenvolvendo system-in-package. Recentemente @手机chip达人 revelou que o processo CoWoS é dividido em interposer do processo de wafer front-end e matriz empilhada die-to-die da embalagem back-end. A falta de capacidade de produção CoWoS da TSMC é devido a a falta de 65nm interposer.
Portanto, a GPU requer wafers adicionais no processo de empacotamento avançado, ou seja, capacidade de CoWoS. O capital estrangeiro Nomura Securities espera que a capacidade de produção anualizada de CoWoS da TSMC aumente de 70.000 para 80.000 wafers até o final de 2022 para 140.000 a 150.000 wafers até o final de 2023. Com a expansão contínua da capacidade de produção, estima-se que a capacidade de produção de 200.000 wafers serão desafiados até o final de 2024.
Preencher a lacuna na capacidade de embalagem em nível de wafer tornou-se uma prioridade. Além disso, com o desenvolvimento contínuo da tecnologia de wafer, a área de wafer está aumentando gradualmente.Comparado com o InFO, o CoWoS para o mercado high-end tem um número relativamente grande de conexões e tamanho de pacote. De acordo com @手机chip达人, a demanda por interposer de 65 nm é 1,4 vezes maior que a do die superior (H100).
A capacidade de produção de embalagens CoWoS avançadas da TSMC tem sido seriamente escassa.Desde o ano passado, a demanda de CoWoS da TSMC quase dobrou e a demanda continuará forte no próximo ano. A embalagem avançada só pode ser feita pela fábrica da TSMC em Taiwan, e a TSMC está implantando e expandindo diretamente em cada fábrica para acelerar o progresso do processo de embalagem avançada.
"Falta de placa gráfica" queimada no servidor fogo real ou fogo falso?
Para os compradores que realmente precisam, o uso de uma placa gráfica de última geração é usado essencialmente para servidores de IA, seja faltando uma placa, um módulo ou uma máquina completa. ** Mas em termos de necessidades reais, "BRIC" é realmente inferior a servidores. **
As GPUs para IA estão com falta de aumentos de preços e os preços dos servidores equipados com elas estão subindo. Já em abril, foi relatado que a Inspur aumentará o preço dos servidores de IA em cerca de 20%. Isso ocorre depois que a Nvidia encerrou o fornecimento de seus principais chips A100 e H100 para a decisão da China. Fontes subsequentes confirmaram que o aumento não foi especificado, outra fonte disse que o fornecedor do servidor apenas aumentou o preço dos servidores Nvidia AI e os preços de outros produtos de servidor não mudaram.
De acordo com dados da Pacific Securities, os 8 principais consumíveis de servidor no mercado de servidores de IA da China representarão 92% em 2022, e o Inspur liderará a lista com 37%. A divulgação financeira da Inspur mostra que a Nvidia tem sido seu principal fornecedor de chips. Em 2019, Intel e Nvidia são os dois principais fornecedores de chips da Inspur.
Uma única placa GPU equivale a um componente de um servidor. A demanda por uma única placa é mais sensível ao preço. O servidor precisa usar vários módulos GPU, com no máximo 8 placas. Mesmo a versão PCle do servidor custa atualmente cerca de 800.000 yuans, e a versão NV é de 100.000 yuans, milhões de nível.
Atualmente, o preço futuro do A800 é superior a 1,2 milhão de yuans e o preço à vista é relativamente pequeno. De acordo com um vendedor de um conhecido provedor de serviços de computação, o preço à vista da máquina A800 é de 1,68 milhão de yuans e o depósito é de 50% "Há 35 unidades no final de julho. 25 unidades foram encomendadas." Mesmo para uso comercial, o preço não é barato. Além disso, de acordo com as notícias do mercado, o prazo normal de entrega da máquina A800 foi agendado até o final de outubro, e até mesmo muitos vendedores relataram diretamente por 24 semanas, e o prazo de entrega é próximo a 6 meses.
Aos olhos de alguns amigos que estão envolvidos em todo o negócio de servidores, não importa o quão popular seja a GPU, ela não está tão próxima da demanda real quanto o servidor e é mais fácil fazer negócios. O irmão Xu disse que agora está focado em servidores e não está interessado em cartões individuais. Vender servidores é enviar configurações aos clientes antes de orçar. Cartões são mais problemáticos e depende se a interface é compatível... Resumindo , o servidor é relativamente barato, para ser honesto, há mais transações e uma alta taxa de rotatividade. E o cartão é só muita consulta, o volume de transações é muito pequeno, só as grandes empresas pedem muito. "Os que exigem mais são quase todos para a máquina toda, e os que estão em pouca quantidade são todos cartões."
Na ampla gama de necessidades dos clientes, nem todos os servidores de IA são os melhores quando surgem, e há muitas demandas quando surgem. Seja servidor A800 PCIE, servidor NVlinvk ou servidor H800 HGX, etc., as empresas escolhem configurações de acordo com diferentes necessidades. Obviamente, o preço do servidor será mais transparente e haverá mais oportunidades de comparação de preços.
GPUs e discos rígidos são um dos acessórios dos servidores. Agora que a IA se tornou popular em servidores relacionados, GPUs de ponta, como o A800, representam um custo alto e são escassos. Entre as máquinas completas, sua sensibilidade ao preço é também na vanguarda.
**A escassez de GPUs por si só limita o fornecimento normal de servidores AI, que parecem estar em alta no mercado, mas estão misturados com mais demandas falsas. **
Essa onda de febre da GPU lembra o ano de 2020, quando os homens especulavam freneticamente sobre o negócio de pistolas de temperatura na testa. Naquela época, o efeito de fissão do círculo de amigos levou a uma falsa demanda no mercado infinitamente maior que a real demanda. Como resultado, a oferta é escassa, o preço à vista é muito superior ao preço futuro, o prazo de entrega não é garantido e o custo de inadimplência do vendedor é baixo.
Os dias de escassez extrema de chips chegaram ao fim. Embora a capacidade de produção de GPU de ponta não esteja disponível por um tempo, as barreiras de demanda de nível empresarial correspondentes são relativamente altas, exigindo suporte técnico formal e serviço pós-venda, juntamente com o forte aumento da demanda, todos propostos a todos.Sem um trabalho árduo de longo prazo e uma base sólida, é difícil obter uma parte da tendência contando apenas com meios oportunistas.