Desde la era de la minería hasta la era de la IA, la potencia informática de la GPU ha vuelto a entrar en juego. La competencia de reserva de energía informática entre proveedores de nube nacionales y extranjeros está en pleno apogeo...
Byte ha comprado 100.000 piezas de tarjetas aceleradoras A100 y H800 de Nvidia, superando los 1.000 millones de dólares (más de 7.000 millones de RMB). El volumen de compra de Byte solo este año está cerca de las ventas totales de GPU comerciales vendidas por Nvidia en China el año pasado. , Otra gran empresa tiene un valor de pedido de al menos más de mil millones de yuanes.
OpenAI, que ya usa alrededor de 25,000 GPU Nvidia, dice que todavía hay escasez de GPU. ChatGPT necesita 13,5 EPLOPS de potencia informática por cada 100 millones de usuarios activos, con el respaldo de unos 69 000 servidores NVIDIA DGX A100 80G, y la potencia informática global actual solo puede admitir 100 millones de usuarios promedio diarios en línea.
En el mercado de circulación al contado de estas GPU de alta gama, incluso la mitad de un profano está ansioso por probar cuando ve la oportunidad, y sus ojos están llenos de "ladrillos dorados".
**El A800, que originalmente costaba unos 74.000 yuanes, ahora ha subido a más de 85.000 yuanes, y la versión de gama alta ha subido a unos 100.000 yuanes. ** A fines de abril, la cotización de futuros para el módulo A800 de 8 tarjetas en el mercado aún era de 900 000 y el plazo de entrega era de 2 semanas. Ahora la cotización ha superado el millón y el plazo de entrega se ha ampliado. a 7-8 semanas. En mayo, el A800 incluso se disparó a 100.000 yuanes.
“El tiempo de entrega para los que están al margen es más largo y el precio es más caro.” Los que no tenían una sola tarjeta fueron a comprar módulos y los que no pudieron comprar módulos luego compraron un servidor completo.
Desde una sola tarjeta GPU hasta el módulo y el servidor AI, los aumentos de precios son una locura, la escasez es grave y el tiempo de entrega es cada vez más largo. ¿Es realmente tan alta la demanda en el mercado? ¿Por qué la GPU de Nvidia es tan corta? Además, no hay una fecha de entrega garantizada para los productos genuinos nuevos, el mercado de segunda mano, los canales grises, el depósito no se reembolsará después del pago y el caos que rodea al servidor de IA se está desarrollando...
Caos en el mercado de las GPU de NVIDIA
"Necesito 1000 o 3000 boletos de una sola vez y no puedo proporcionarlos. ¿La demanda aquí es real o falsa?"
"¿Está bien el mercado? Tengo una manera de obtener los productos, pero me temo que se romperá".
**En mayo, las GPU de Nvidia todavía estaban agotadas y subían de precio. **
Según un agente, el precio de Nvidia A100 comenzó a subir en diciembre del año pasado. A la primera quincena de abril de este año, su aumento de precio acumulado en cinco meses alcanzó el 37,5 %, el aumento de precio acumulado de A800 alcanzó el 20,0 % durante el Mismo periodo.
Los plazos de entrega se han ampliado de un mes a tres meses o más, y es posible que algunos pedidos nuevos "no se entreguen hasta diciembre".
Algunos fabricantes que tienen una ventaja cuantitativa en servidores de IA utilizan recursos de GPU mientras se ajustan el cinturón. Microsoft cayó internamente en el dilema de la escasez de hardware de servidor de IA y adoptó un mecanismo de "suministro de cuota". En junio, se mencionó en las actas de conversación del CEO de OpenAI, Sam Altman, que OpenAI también carece de GPU, y la escasez de GPU ha retrasado muchos planes a corto plazo de los clientes.
De pie en la ola de la inteligencia artificial, Nvidia, el "vendedor de palas", ahora casi ha monopolizado todo el mercado de chips de servidores de IA y se ha convertido en el mayor ganador. No hace mucho tiempo, su valor de mercado superó el billón de yuanes, convirtiéndose en la primera empresa de chips. en la historia con un valor de mercado superior a 1 billón de dólares.
Afectado por la prohibición de EE. UU., el suministro puntual de Nvidia A100 en mi país se ha cortado directamente. Hay alrededor de 40,000 a 50,000 A100 que se pueden usar para entrenar modelos grandes de IA en China. El suministro es bastante limitado. El uso interno es estrictamente limitado.
Sin embargo, el A800, la versión castrada del A100 que actualmente tiene un suministro normal, solo comenzó la producción en el tercer trimestre del año pasado. Junto con el aumento de la nueva demanda, se enfrenta a una escasez de suministro. A principios de mayo, el A800 aumentó. a 100.000 yuanes en China.
En términos generales, los A800, A100, etc. de alto precio informados por los medios pertenecen a la configuración superior de esta serie, es decir, la memoria GPU es 80G y la tecnología de interconexión es compatible con la versión de NVLink.
Un amigo en el negocio de GPU en el mercado nos dijo que el precio del A800 en el mercado al contado cambia todos los días, y los cambios en el tipo de cambio a corto plazo también afectarán el precio. La oferta más baja puede haber subido a 86 000".
A medida que la escasez y el aumento de precios se intensificaron, más y más participantes enviaron y buscaron GPU, y comenzó el caos en el mercado de GPU: enjambres de consultas, mercado de futuros popular y depósitos altos, y salidas de canales de segunda mano El tamaño del "fosa"...
La impresión más directa es la demanda ruidosa de todas las direcciones.Muchos profesionales del mercado relacionados con las máquinas de servidor y las GPU de servidor han informado que recientemente, debido a la popularidad de la IA, muchas personas han venido a preguntar sobre tarjetas y precios, pero no muchos pueden realmente hacer ofertas
Vine a buscar tarjetas individuales A800, A100, la demanda es pequeña y estoy interesado en el precio, pero la demanda es grande y se requieren cientos de miles de tarjetas, diciendo que estoy ayudando a clientes y amigos y comerciantes de Huaqiangbei se envían. Parece que están fijando los precios.
"Cuando se te ocurre tanto, ¿cómo puedes suministrarlo? Pregúntale si presta atención a la ventaja del precio o a la ventaja del tiempo de entrega, y no hay más información". y desaparecen después de preguntar." Fácil transacción de compra.
En la actualidad, existen dos canales de distribución principales para el suministro de GPU de nivel empresarial como Nvidia: uno es el mercado original de fábrica-agente general-distribuidor; el otro es el distribuidor original de fábrica-OEM de fábrica (fabricante de servidores)- mercado Los que circulan en el mercado spot son principalmente en distribución, soluciones de servidores o mercados de segunda mano.
Dichos productos de nivel empresarial cubren clientes intermedios como empresas, escuelas y proveedores de soluciones de servidor. El hermano Xu, que se centra en el negocio de los servidores, dijo que la demanda real de Alibaba y otras empresas suele ser un pedido grande. A estos grandes clientes se les da prioridad para encontrar al agente general o al OEM del servidor en el nivel superior para obtener los productos, y el nivel inferior es pequeño Los revendedores y proveedores de partes de servidores son difíciles de encontrar. También hay informes de los medios de comunicación que los proveedores de la nube dicen que las grandes empresas como Byte y Ali negocian principalmente directamente con la fábrica original de Nvidia para la adquisición, y los agentes y los mercados de segunda mano son difíciles de satisfacer sus enormes necesidades.
La falta de demanda real en el mercado al contado no impide que todos busquen bienes. Si los bienes al contado se agotan, tienen que reservar futuros. Deben soportar depósitos altos que no se pueden reembolsar, y la fecha de entrega puede ser lejana. lejos.
Se entiende que las tarjetas A800 todavía están en stock en el mercado, las tarjetas A100 están casi "extintas" y los módulos A800 rara vez están en stock, por lo que tienen que elegir futuros. Tomando como ejemplo un módulo A800 de 8 tarjetas, un vendedor cotizó un precio total de 1,12 millones, un depósito del 50 % y un tiempo de entrega de 7 a 8 semanas. No hay garantía de entrega a tiempo (el tiempo de entrega Todavía era 6 semanas hace unos días), y el depósito No hay reembolso. A finales de abril, el precio del módulo A800 de 8 tarjetas de otro vendedor seguía siendo de 900.000, con un depósito del 30%-50% y un plazo de entrega de 2 semanas.
En más de un mes, se puede ver que la diferencia de precio de un módulo A800 de 8 tarjetas es más de 200,000 yuanes, el período de entrega se extiende y el depósito también puede aumentar.
Un vendedor que afirmó ser la fábrica de origen nos dijo que el módulo de 8 tarjetas está en stock, y los compradores que lo desean ya han realizado un pedido por valor de 500 millones de yuanes, y ahora solo pueden esperar el aviso de llegada.
Pagar un depósito parece poder hacer cola temprano, pero coexisten altos riesgos. Tomando como ejemplo el módulo A800 de 8 tarjetas, generalmente se cobra un depósito del 50 %. Un módulo 80G NV A800 de primera línea es más de 1 millón, y el depósito es de al menos 500,000, y una vez que el depósito es pagado, no es reembolsable. Un comprador en Internet dijo que las 10 tarjetas individuales ordenadas en marzo y abril de este año aún no han recibido la mercancía.
El tiempo de entrega prometido por muchos vendedores no está garantizado, el precio básico es alto y la relación de depósito también es alta, por lo que el dinero real que se debe pagar es más. Si no recibe los bienes, solo puede esperar, después de todo, el dinero ha sido pagado.
**Si tiene un lote de A800 y A100 en stock, a los ojos de todos, no son tarjetas gráficas ordinarias, son ladrillos de oro. **
Algunas personas ven el calor y quieren hacer negocios con GPU, pero temen que los bienes caigan en sus manos. Para los especuladores individuales que buscan ganancias, la demanda real es dudosa. El precio es demasiado alto, no vale la pena.
Los productos de segunda mano surgen sin cesar, y algunas personas reciclan chips de IA de segunda mano a precios elevados, y mucho menos dónde se usan, la garantía de este tipo de GPU es un problema.
Capacidad de producción upstream urgente: no hay escasez de procesos de fabricación avanzados, ¿dónde está el problema?
Después de que ChatGPT se hizo popular, las empresas de Internet y los proveedores de la nube han implementado grandes modelos de IA de manera más amplia para competir por la gran potencia informática de las GPU Nvidia. Lo que falta no es solo el A100 y el A800, sino también los H100 y H800 de gama alta. Alguien preguntó, no hay escasez de capacidad de producción de obleas, ¿por qué no se pueden suministrar GPU?
"El rendimiento de la GPU aumenta 1000 veces cada 10 años", "cuanto más compras, más ahorras", la Ley de Huang reemplazará a la Ley de Moore. Aunque los procesos de fabricación avanzados pueden mejorar el rendimiento de las GPU, la Ley de Moore ha llegado a su fin. y El propósito del servidor es diferente de los exigentes requisitos de espacio de los chips de teléfonos móviles. Si la fabricación avanzada es la primera opción para las GPU, el empaquetado avanzado es la guinda del pastel.
No es suficiente fabricar GPU con procesos de fabricación avanzados. Es un gran paso mejorar el rendimiento de la GPU bajo las limitaciones actuales del proceso de fabricación de chips haciendo que el paquete sea pequeño, de bajo consumo de energía y con menos pines, y logrando una interconexión más estrecha entre chips, chips y sustratos de embalaje. . Con cualquiera de las cuatro tecnologías mágicas Bump, RDL, Wafer y TSV de empaque avanzado, se pueden iluminar nuevas habilidades de empaque.
Los V100, A100, A800, H100, etc. de Nvidia adoptan la tecnología de empaquetado avanzada CoWoS de TSMC, que resuelve el problema de la "integración de almacenamiento y cálculo" de los chips en el contexto de la IA de alta potencia informática. Sin embargo, la capacidad de fundición de obleas de 7nm de TSMC no es corta, pero esta vez la escasez todavía está plantada en TSMC.
**En primer lugar, la tecnología central del empaque avanzado de CoWoS solo puede ser realizada por TSMC, y no puede realizarse sin TSMC. **
La oblea de empaque avanzado que falta ahora, la tecnología que contiene es una patente de TSMC, y Nvidia solo puede encontrar TSMC para hacerlo. TSMC comprende firmemente el proceso de fabricación avanzado y el empaque avanzado. En 2012, TSMC lanzó su exclusiva tecnología de empaquetado avanzado CoWoS y, desde entonces, cuenta con un servicio integral desde la fundición de obleas hasta el empaquetado de terminales. La familia CoWoS incluye CoWoS-S y CoWoS-L/R y otras partes, y los clientes correspondientes a aplicaciones informáticas de alta velocidad incluyen muchos fabricantes de primer nivel como NVIDIA. Además, la mayoría de las series de paquetes avanzados de InFO están bajo el paquete de Apple.
¿Dijiste externalización? El proceso de baja tecnología está bien, pero la tecnología central aún no es suficiente sin TSMC, y otras fábricas de empaques solo pueden comer sopa.
Recientemente, en respuesta a necesidades temporales, TSMC ha adoptado el método de externalización y subcontratación de parte del sistema operativo (sobre sustrato), pero no es la externalización del proceso CoWoS, TSMC sigue centrándose en la parte de empaquetado avanzada más valiosa.
TSMC ha logrado un paquete integral de fundición de obleas. Google TPU, Nvidia GPU y AMD MI300, que tienen todos fabricantes de chips de IA generativos importados, han contribuido con una gran cantidad de pedidos de AIGC a TSMC, impulsando la demanda de expansión de CoWoS.
En segundo lugar, este tipo de embalaje avanzado también consume la capacidad de producción de embalaje correspondiente, que actualmente es escasa.
Por un lado, el empaque avanzado se está desarrollando hacia el campo del proceso de obleas aguas arriba, es decir, el empaque a nivel de obleas, que acomoda más pines en un área de empaque más pequeña, y por otro lado, se está expandiendo hacia el campo de módulos aguas abajo y desarrollando sistema en paquete. Recientemente, @手机chip达人 reveló que el proceso CoWoS se divide en el intercalador del proceso de oblea frontal y el troquel apilado de matriz a matriz del empaque final. La falta de capacidad de producción de CoWoS de TSMC se debe a la falta de interposición de 65nm.
El intercalador (intercalador) aquí adopta la tecnología Wafer (oblea) Por ejemplo, la solución de tecnología de empaquetado CoWoS de TSMC es una tecnología de empaquetamiento 2.5D, que empaqueta el chip en el intercalador de silicio (intercalador) y utiliza la oblea de alta densidad en el intercalador de silicio. El cableado se utiliza para interconectar y luego se monta en el sustrato del paquete.
Por lo tanto, GPU requiere obleas adicionales en el proceso de empaquetado avanzado, es decir, capacidad CoWoS. El capital extranjero Nomura Securities espera que la capacidad de producción anualizada de CoWoS de TSMC aumente de 70 000 a 80 000 obleas para fines de 2022 a 140 000 a 150 000 obleas para fines de 2023. Con la expansión continua de la capacidad de producción, se estima que la capacidad de producción de Se desafiarán 200,000 obleas para fines de 2024.
Llenar el vacío en la capacidad de envasado a nivel de obleas se ha convertido en una prioridad principal. Además, con el desarrollo continuo de la tecnología de obleas, el área de obleas está aumentando gradualmente.En comparación con InFO, CoWoS para el mercado de gama alta tiene una cantidad relativamente grande de conexiones y tamaño de paquete. Según @手机chip达人, la demanda de un intercalador de 65 nm es 1,4 veces mayor que la del troquel superior (H100).
La capacidad de producción de empaques CoWoS avanzados de TSMC ha sido gravemente escasa.Desde el año pasado, la demanda de CoWoS de TSMC casi se ha duplicado, y la demanda seguirá siendo fuerte el próximo año. El empaque avanzado solo puede ser realizado por la fábrica de Taiwán de TSMC, y TSMC está implementando y expandiendo directamente en cada fábrica para acelerar el progreso del proceso de empaque avanzado.
"Escasez de tarjetas gráficas" quemadas en el servidor ¿fuego real o fuego falso?
Para los compradores que realmente lo necesitan, el uso de una tarjeta gráfica de gama alta de este tipo se usa esencialmente para servidores de IA, ya sea que carezcan de una tarjeta, un módulo o una máquina completa. ** Pero en términos de necesidades reales, "BRIC" es en realidad inferior a los servidores. **
A las GPU para IA les faltan aumentos de precios, y los precios de los servidores equipados con ellas están aumentando. Ya en abril, se informó que Inspur aumentará el precio de los servidores de IA en aproximadamente un 20 %. Esto es después de que Nvidia terminara el suministro de sus mejores chips A100 y H100 a la decisión de China. Fuentes posteriores confirmaron que no se especificó el aumento. Otra fuente dijo que el proveedor del servidor solo aumentó el precio de los servidores Nvidia AI, y los precios de otros productos de servidor no cambiaron.
Según datos de Pacific Securities, los 8 principales consumibles de servidores en el mercado de servidores de IA de China representarán el 92 % en 2022, e Inspur encabezará la lista con el 37 %. La divulgación financiera de Inspur muestra que Nvidia ha sido su principal proveedor de chips. En 2019, Intel y Nvidia son los dos principales proveedores de chips de Inspur.
Una sola tarjeta GPU es equivalente a un componente de un servidor. La demanda de una sola tarjeta es más sensible al precio. El servidor necesita usar múltiples módulos GPU, con un máximo de 8 tarjetas. Incluso la versión PCle del servidor actualmente cuesta alrededor de 800.000 yuanes, y la versión NV es de 100.000 millones de yuanes.
En la actualidad, el precio de futuros del A800 es de más de 1,2 millones de yuanes, y el precio al contado es relativamente pequeño. Según un vendedor de un conocido proveedor de servicios informáticos, el precio al contado de la máquina A800 es de 1,68 millones de yuanes, y el depósito es del 50% "Hay 35 unidades a finales de julio. Se han pedido 25 unidades". Incluso para uso comercial, el precio no es barato. Además, según las noticias del mercado, el plazo normal de entrega de la máquina A800 se ha programado hasta finales de octubre, e incluso muchos vendedores han informado directamente durante 24 semanas, y el plazo de entrega es cercano a los 6 meses.
A los ojos de algunos amigos que se dedican a todo el negocio de los servidores, no importa cuán popular sea la GPU, no está tan cerca de la demanda real como el servidor y es más fácil hacer negocios. El hermano Xu dijo que ahora se está enfocando en los servidores, y no le interesan las tarjetas individuales. Vender servidores es enviar configuraciones a los clientes antes de cotizar. Las tarjetas son más problemáticas, y depende de si la interfaz es compatible... En resumen , el servidor es relativamente barato.Para ser honesto, hay más transacciones y una alta tasa de rotación. Y la tarjeta es solo una gran cantidad de consultas, el volumen de transacciones es demasiado pequeño, solo las grandes empresas piden mucho. “Las que requieren más son casi todas para toda la máquina, y las que son en poca cantidad son todas tarjetas”.
En la amplia gama de necesidades de los clientes, no todos los servidores de IA son los mejores cuando surgen, y hay muchas demandas cuando surgen. Ya sea un servidor PCIE A800, un servidor NVlinvk o un servidor H800 HGX, etc., las empresas eligen configuraciones de acuerdo con las diferentes necesidades. Por supuesto, el precio del servidor será más transparente y habrá más oportunidades para comparar precios.
Las GPU y los discos duros son uno de los accesorios de los servidores. Ahora que la IA se ha vuelto popular en los servidores relacionados, las GPU de gama alta, como la A800, tienen un costo elevado y escasean. Entre las máquinas completas, su sensibilidad al precio es también a la vanguardia.
**La escasez de GPU por sí sola limita el suministro normal de servidores de IA, que parecen estar de moda en el mercado, pero se mezclan con más demandas falsas. **
Esta ola de fiebre GPU recuerda al año 2020, cuando los hombres especularon frenéticamente sobre el negocio de las pistolas de temperatura en la frente. En ese momento, el efecto de fisión del círculo de amigos llevó a una falsa demanda en el mercado que era infinitamente mayor que la real. demanda. Como resultado, la oferta es escasa, el precio al contado es mucho más alto que el precio de futuros, el período de entrega no está garantizado y el costo predeterminado del vendedor es bajo.
Los días de escasez extrema de chips han llegado a su fin. Aunque la capacidad de producción de GPU de alta gama no estará disponible por un tiempo, las barreras de demanda a nivel empresarial correspondientes son relativamente altas, lo que requiere soporte técnico formal y servicio posventa, junto con el fuerte aumento de la demanda, todo lo cual se propone a todos. Sin un trabajo duro a largo plazo y una base sólida, es difícil obtener una parte de la tendencia confiando solo en medios oportunistas.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Agarrando la "comida y el pasto" de la guerra de la IA, el precio de la tarjeta gráfica de IA de Nvidia se dispara
Texto original: Shinsei
Desde la era de la minería hasta la era de la IA, la potencia informática de la GPU ha vuelto a entrar en juego. La competencia de reserva de energía informática entre proveedores de nube nacionales y extranjeros está en pleno apogeo...
Byte ha comprado 100.000 piezas de tarjetas aceleradoras A100 y H800 de Nvidia, superando los 1.000 millones de dólares (más de 7.000 millones de RMB). El volumen de compra de Byte solo este año está cerca de las ventas totales de GPU comerciales vendidas por Nvidia en China el año pasado. , Otra gran empresa tiene un valor de pedido de al menos más de mil millones de yuanes.
OpenAI, que ya usa alrededor de 25,000 GPU Nvidia, dice que todavía hay escasez de GPU. ChatGPT necesita 13,5 EPLOPS de potencia informática por cada 100 millones de usuarios activos, con el respaldo de unos 69 000 servidores NVIDIA DGX A100 80G, y la potencia informática global actual solo puede admitir 100 millones de usuarios promedio diarios en línea.
En el mercado de circulación al contado de estas GPU de alta gama, incluso la mitad de un profano está ansioso por probar cuando ve la oportunidad, y sus ojos están llenos de "ladrillos dorados".
**El A800, que originalmente costaba unos 74.000 yuanes, ahora ha subido a más de 85.000 yuanes, y la versión de gama alta ha subido a unos 100.000 yuanes. ** A fines de abril, la cotización de futuros para el módulo A800 de 8 tarjetas en el mercado aún era de 900 000 y el plazo de entrega era de 2 semanas. Ahora la cotización ha superado el millón y el plazo de entrega se ha ampliado. a 7-8 semanas. En mayo, el A800 incluso se disparó a 100.000 yuanes.
“El tiempo de entrega para los que están al margen es más largo y el precio es más caro.” Los que no tenían una sola tarjeta fueron a comprar módulos y los que no pudieron comprar módulos luego compraron un servidor completo.
Desde una sola tarjeta GPU hasta el módulo y el servidor AI, los aumentos de precios son una locura, la escasez es grave y el tiempo de entrega es cada vez más largo. ¿Es realmente tan alta la demanda en el mercado? ¿Por qué la GPU de Nvidia es tan corta? Además, no hay una fecha de entrega garantizada para los productos genuinos nuevos, el mercado de segunda mano, los canales grises, el depósito no se reembolsará después del pago y el caos que rodea al servidor de IA se está desarrollando...
Caos en el mercado de las GPU de NVIDIA
"Necesito 1000 o 3000 boletos de una sola vez y no puedo proporcionarlos. ¿La demanda aquí es real o falsa?"
"¿Está bien el mercado? Tengo una manera de obtener los productos, pero me temo que se romperá".
**En mayo, las GPU de Nvidia todavía estaban agotadas y subían de precio. **
Según un agente, el precio de Nvidia A100 comenzó a subir en diciembre del año pasado. A la primera quincena de abril de este año, su aumento de precio acumulado en cinco meses alcanzó el 37,5 %, el aumento de precio acumulado de A800 alcanzó el 20,0 % durante el Mismo periodo.
Los plazos de entrega se han ampliado de un mes a tres meses o más, y es posible que algunos pedidos nuevos "no se entreguen hasta diciembre".
Algunos fabricantes que tienen una ventaja cuantitativa en servidores de IA utilizan recursos de GPU mientras se ajustan el cinturón. Microsoft cayó internamente en el dilema de la escasez de hardware de servidor de IA y adoptó un mecanismo de "suministro de cuota". En junio, se mencionó en las actas de conversación del CEO de OpenAI, Sam Altman, que OpenAI también carece de GPU, y la escasez de GPU ha retrasado muchos planes a corto plazo de los clientes.
De pie en la ola de la inteligencia artificial, Nvidia, el "vendedor de palas", ahora casi ha monopolizado todo el mercado de chips de servidores de IA y se ha convertido en el mayor ganador. No hace mucho tiempo, su valor de mercado superó el billón de yuanes, convirtiéndose en la primera empresa de chips. en la historia con un valor de mercado superior a 1 billón de dólares.
Afectado por la prohibición de EE. UU., el suministro puntual de Nvidia A100 en mi país se ha cortado directamente. Hay alrededor de 40,000 a 50,000 A100 que se pueden usar para entrenar modelos grandes de IA en China. El suministro es bastante limitado. El uso interno es estrictamente limitado.
Sin embargo, el A800, la versión castrada del A100 que actualmente tiene un suministro normal, solo comenzó la producción en el tercer trimestre del año pasado. Junto con el aumento de la nueva demanda, se enfrenta a una escasez de suministro. A principios de mayo, el A800 aumentó. a 100.000 yuanes en China.
En términos generales, los A800, A100, etc. de alto precio informados por los medios pertenecen a la configuración superior de esta serie, es decir, la memoria GPU es 80G y la tecnología de interconexión es compatible con la versión de NVLink.
Un amigo en el negocio de GPU en el mercado nos dijo que el precio del A800 en el mercado al contado cambia todos los días, y los cambios en el tipo de cambio a corto plazo también afectarán el precio. La oferta más baja puede haber subido a 86 000".
A medida que la escasez y el aumento de precios se intensificaron, más y más participantes enviaron y buscaron GPU, y comenzó el caos en el mercado de GPU: enjambres de consultas, mercado de futuros popular y depósitos altos, y salidas de canales de segunda mano El tamaño del "fosa"...
La impresión más directa es la demanda ruidosa de todas las direcciones.Muchos profesionales del mercado relacionados con las máquinas de servidor y las GPU de servidor han informado que recientemente, debido a la popularidad de la IA, muchas personas han venido a preguntar sobre tarjetas y precios, pero no muchos pueden realmente hacer ofertas
Vine a buscar tarjetas individuales A800, A100, la demanda es pequeña y estoy interesado en el precio, pero la demanda es grande y se requieren cientos de miles de tarjetas, diciendo que estoy ayudando a clientes y amigos y comerciantes de Huaqiangbei se envían. Parece que están fijando los precios.
"Cuando se te ocurre tanto, ¿cómo puedes suministrarlo? Pregúntale si presta atención a la ventaja del precio o a la ventaja del tiempo de entrega, y no hay más información". y desaparecen después de preguntar." Fácil transacción de compra.
En la actualidad, existen dos canales de distribución principales para el suministro de GPU de nivel empresarial como Nvidia: uno es el mercado original de fábrica-agente general-distribuidor; el otro es el distribuidor original de fábrica-OEM de fábrica (fabricante de servidores)- mercado Los que circulan en el mercado spot son principalmente en distribución, soluciones de servidores o mercados de segunda mano.
Dichos productos de nivel empresarial cubren clientes intermedios como empresas, escuelas y proveedores de soluciones de servidor. El hermano Xu, que se centra en el negocio de los servidores, dijo que la demanda real de Alibaba y otras empresas suele ser un pedido grande. A estos grandes clientes se les da prioridad para encontrar al agente general o al OEM del servidor en el nivel superior para obtener los productos, y el nivel inferior es pequeño Los revendedores y proveedores de partes de servidores son difíciles de encontrar. También hay informes de los medios de comunicación que los proveedores de la nube dicen que las grandes empresas como Byte y Ali negocian principalmente directamente con la fábrica original de Nvidia para la adquisición, y los agentes y los mercados de segunda mano son difíciles de satisfacer sus enormes necesidades.
La falta de demanda real en el mercado al contado no impide que todos busquen bienes. Si los bienes al contado se agotan, tienen que reservar futuros. Deben soportar depósitos altos que no se pueden reembolsar, y la fecha de entrega puede ser lejana. lejos.
Se entiende que las tarjetas A800 todavía están en stock en el mercado, las tarjetas A100 están casi "extintas" y los módulos A800 rara vez están en stock, por lo que tienen que elegir futuros. Tomando como ejemplo un módulo A800 de 8 tarjetas, un vendedor cotizó un precio total de 1,12 millones, un depósito del 50 % y un tiempo de entrega de 7 a 8 semanas. No hay garantía de entrega a tiempo (el tiempo de entrega Todavía era 6 semanas hace unos días), y el depósito No hay reembolso. A finales de abril, el precio del módulo A800 de 8 tarjetas de otro vendedor seguía siendo de 900.000, con un depósito del 30%-50% y un plazo de entrega de 2 semanas.
En más de un mes, se puede ver que la diferencia de precio de un módulo A800 de 8 tarjetas es más de 200,000 yuanes, el período de entrega se extiende y el depósito también puede aumentar.
Un vendedor que afirmó ser la fábrica de origen nos dijo que el módulo de 8 tarjetas está en stock, y los compradores que lo desean ya han realizado un pedido por valor de 500 millones de yuanes, y ahora solo pueden esperar el aviso de llegada.
Pagar un depósito parece poder hacer cola temprano, pero coexisten altos riesgos. Tomando como ejemplo el módulo A800 de 8 tarjetas, generalmente se cobra un depósito del 50 %. Un módulo 80G NV A800 de primera línea es más de 1 millón, y el depósito es de al menos 500,000, y una vez que el depósito es pagado, no es reembolsable. Un comprador en Internet dijo que las 10 tarjetas individuales ordenadas en marzo y abril de este año aún no han recibido la mercancía.
El tiempo de entrega prometido por muchos vendedores no está garantizado, el precio básico es alto y la relación de depósito también es alta, por lo que el dinero real que se debe pagar es más. Si no recibe los bienes, solo puede esperar, después de todo, el dinero ha sido pagado.
**Si tiene un lote de A800 y A100 en stock, a los ojos de todos, no son tarjetas gráficas ordinarias, son ladrillos de oro. **
Algunas personas ven el calor y quieren hacer negocios con GPU, pero temen que los bienes caigan en sus manos. Para los especuladores individuales que buscan ganancias, la demanda real es dudosa. El precio es demasiado alto, no vale la pena.
Los productos de segunda mano surgen sin cesar, y algunas personas reciclan chips de IA de segunda mano a precios elevados, y mucho menos dónde se usan, la garantía de este tipo de GPU es un problema.
Capacidad de producción upstream urgente: no hay escasez de procesos de fabricación avanzados, ¿dónde está el problema?
Después de que ChatGPT se hizo popular, las empresas de Internet y los proveedores de la nube han implementado grandes modelos de IA de manera más amplia para competir por la gran potencia informática de las GPU Nvidia. Lo que falta no es solo el A100 y el A800, sino también los H100 y H800 de gama alta. Alguien preguntó, no hay escasez de capacidad de producción de obleas, ¿por qué no se pueden suministrar GPU?
"El rendimiento de la GPU aumenta 1000 veces cada 10 años", "cuanto más compras, más ahorras", la Ley de Huang reemplazará a la Ley de Moore. Aunque los procesos de fabricación avanzados pueden mejorar el rendimiento de las GPU, la Ley de Moore ha llegado a su fin. y El propósito del servidor es diferente de los exigentes requisitos de espacio de los chips de teléfonos móviles. Si la fabricación avanzada es la primera opción para las GPU, el empaquetado avanzado es la guinda del pastel.
No es suficiente fabricar GPU con procesos de fabricación avanzados. Es un gran paso mejorar el rendimiento de la GPU bajo las limitaciones actuales del proceso de fabricación de chips haciendo que el paquete sea pequeño, de bajo consumo de energía y con menos pines, y logrando una interconexión más estrecha entre chips, chips y sustratos de embalaje. . Con cualquiera de las cuatro tecnologías mágicas Bump, RDL, Wafer y TSV de empaque avanzado, se pueden iluminar nuevas habilidades de empaque.
**En primer lugar, la tecnología central del empaque avanzado de CoWoS solo puede ser realizada por TSMC, y no puede realizarse sin TSMC. **
La oblea de empaque avanzado que falta ahora, la tecnología que contiene es una patente de TSMC, y Nvidia solo puede encontrar TSMC para hacerlo. TSMC comprende firmemente el proceso de fabricación avanzado y el empaque avanzado. En 2012, TSMC lanzó su exclusiva tecnología de empaquetado avanzado CoWoS y, desde entonces, cuenta con un servicio integral desde la fundición de obleas hasta el empaquetado de terminales. La familia CoWoS incluye CoWoS-S y CoWoS-L/R y otras partes, y los clientes correspondientes a aplicaciones informáticas de alta velocidad incluyen muchos fabricantes de primer nivel como NVIDIA. Además, la mayoría de las series de paquetes avanzados de InFO están bajo el paquete de Apple.
¿Dijiste externalización? El proceso de baja tecnología está bien, pero la tecnología central aún no es suficiente sin TSMC, y otras fábricas de empaques solo pueden comer sopa.
Recientemente, en respuesta a necesidades temporales, TSMC ha adoptado el método de externalización y subcontratación de parte del sistema operativo (sobre sustrato), pero no es la externalización del proceso CoWoS, TSMC sigue centrándose en la parte de empaquetado avanzada más valiosa.
TSMC ha logrado un paquete integral de fundición de obleas. Google TPU, Nvidia GPU y AMD MI300, que tienen todos fabricantes de chips de IA generativos importados, han contribuido con una gran cantidad de pedidos de AIGC a TSMC, impulsando la demanda de expansión de CoWoS.
En segundo lugar, este tipo de embalaje avanzado también consume la capacidad de producción de embalaje correspondiente, que actualmente es escasa.
Por un lado, el empaque avanzado se está desarrollando hacia el campo del proceso de obleas aguas arriba, es decir, el empaque a nivel de obleas, que acomoda más pines en un área de empaque más pequeña, y por otro lado, se está expandiendo hacia el campo de módulos aguas abajo y desarrollando sistema en paquete. Recientemente, @手机chip达人 reveló que el proceso CoWoS se divide en el intercalador del proceso de oblea frontal y el troquel apilado de matriz a matriz del empaque final. La falta de capacidad de producción de CoWoS de TSMC se debe a la falta de interposición de 65nm.
Por lo tanto, GPU requiere obleas adicionales en el proceso de empaquetado avanzado, es decir, capacidad CoWoS. El capital extranjero Nomura Securities espera que la capacidad de producción anualizada de CoWoS de TSMC aumente de 70 000 a 80 000 obleas para fines de 2022 a 140 000 a 150 000 obleas para fines de 2023. Con la expansión continua de la capacidad de producción, se estima que la capacidad de producción de Se desafiarán 200,000 obleas para fines de 2024.
Llenar el vacío en la capacidad de envasado a nivel de obleas se ha convertido en una prioridad principal. Además, con el desarrollo continuo de la tecnología de obleas, el área de obleas está aumentando gradualmente.En comparación con InFO, CoWoS para el mercado de gama alta tiene una cantidad relativamente grande de conexiones y tamaño de paquete. Según @手机chip达人, la demanda de un intercalador de 65 nm es 1,4 veces mayor que la del troquel superior (H100).
La capacidad de producción de empaques CoWoS avanzados de TSMC ha sido gravemente escasa.Desde el año pasado, la demanda de CoWoS de TSMC casi se ha duplicado, y la demanda seguirá siendo fuerte el próximo año. El empaque avanzado solo puede ser realizado por la fábrica de Taiwán de TSMC, y TSMC está implementando y expandiendo directamente en cada fábrica para acelerar el progreso del proceso de empaque avanzado.
"Escasez de tarjetas gráficas" quemadas en el servidor ¿fuego real o fuego falso?
Para los compradores que realmente lo necesitan, el uso de una tarjeta gráfica de gama alta de este tipo se usa esencialmente para servidores de IA, ya sea que carezcan de una tarjeta, un módulo o una máquina completa. ** Pero en términos de necesidades reales, "BRIC" es en realidad inferior a los servidores. **
A las GPU para IA les faltan aumentos de precios, y los precios de los servidores equipados con ellas están aumentando. Ya en abril, se informó que Inspur aumentará el precio de los servidores de IA en aproximadamente un 20 %. Esto es después de que Nvidia terminara el suministro de sus mejores chips A100 y H100 a la decisión de China. Fuentes posteriores confirmaron que no se especificó el aumento. Otra fuente dijo que el proveedor del servidor solo aumentó el precio de los servidores Nvidia AI, y los precios de otros productos de servidor no cambiaron.
Según datos de Pacific Securities, los 8 principales consumibles de servidores en el mercado de servidores de IA de China representarán el 92 % en 2022, e Inspur encabezará la lista con el 37 %. La divulgación financiera de Inspur muestra que Nvidia ha sido su principal proveedor de chips. En 2019, Intel y Nvidia son los dos principales proveedores de chips de Inspur.
Una sola tarjeta GPU es equivalente a un componente de un servidor. La demanda de una sola tarjeta es más sensible al precio. El servidor necesita usar múltiples módulos GPU, con un máximo de 8 tarjetas. Incluso la versión PCle del servidor actualmente cuesta alrededor de 800.000 yuanes, y la versión NV es de 100.000 millones de yuanes.
En la actualidad, el precio de futuros del A800 es de más de 1,2 millones de yuanes, y el precio al contado es relativamente pequeño. Según un vendedor de un conocido proveedor de servicios informáticos, el precio al contado de la máquina A800 es de 1,68 millones de yuanes, y el depósito es del 50% "Hay 35 unidades a finales de julio. Se han pedido 25 unidades". Incluso para uso comercial, el precio no es barato. Además, según las noticias del mercado, el plazo normal de entrega de la máquina A800 se ha programado hasta finales de octubre, e incluso muchos vendedores han informado directamente durante 24 semanas, y el plazo de entrega es cercano a los 6 meses.
A los ojos de algunos amigos que se dedican a todo el negocio de los servidores, no importa cuán popular sea la GPU, no está tan cerca de la demanda real como el servidor y es más fácil hacer negocios. El hermano Xu dijo que ahora se está enfocando en los servidores, y no le interesan las tarjetas individuales. Vender servidores es enviar configuraciones a los clientes antes de cotizar. Las tarjetas son más problemáticas, y depende de si la interfaz es compatible... En resumen , el servidor es relativamente barato.Para ser honesto, hay más transacciones y una alta tasa de rotación. Y la tarjeta es solo una gran cantidad de consultas, el volumen de transacciones es demasiado pequeño, solo las grandes empresas piden mucho. “Las que requieren más son casi todas para toda la máquina, y las que son en poca cantidad son todas tarjetas”.
En la amplia gama de necesidades de los clientes, no todos los servidores de IA son los mejores cuando surgen, y hay muchas demandas cuando surgen. Ya sea un servidor PCIE A800, un servidor NVlinvk o un servidor H800 HGX, etc., las empresas eligen configuraciones de acuerdo con las diferentes necesidades. Por supuesto, el precio del servidor será más transparente y habrá más oportunidades para comparar precios.
Las GPU y los discos duros son uno de los accesorios de los servidores. Ahora que la IA se ha vuelto popular en los servidores relacionados, las GPU de gama alta, como la A800, tienen un costo elevado y escasean. Entre las máquinas completas, su sensibilidad al precio es también a la vanguardia.
**La escasez de GPU por sí sola limita el suministro normal de servidores de IA, que parecen estar de moda en el mercado, pero se mezclan con más demandas falsas. **
Esta ola de fiebre GPU recuerda al año 2020, cuando los hombres especularon frenéticamente sobre el negocio de las pistolas de temperatura en la frente. En ese momento, el efecto de fisión del círculo de amigos llevó a una falsa demanda en el mercado que era infinitamente mayor que la real. demanda. Como resultado, la oferta es escasa, el precio al contado es mucho más alto que el precio de futuros, el período de entrega no está garantizado y el costo predeterminado del vendedor es bajo.
Los días de escasez extrema de chips han llegado a su fin. Aunque la capacidad de producción de GPU de alta gama no estará disponible por un tiempo, las barreras de demanda a nivel empresarial correspondientes son relativamente altas, lo que requiere soporte técnico formal y servicio posventa, junto con el fuerte aumento de la demanda, todo lo cual se propone a todos. Sin un trabajo duro a largo plazo y una base sólida, es difícil obtener una parte de la tendencia confiando solo en medios oportunistas.