Escasez de núcleo de IA, Nvidia se agotó

Autor: Sun Pengyue Editor: Gale

Fuente: Finanzas de zinc

Fuente de la imagen: Generada por Unbounded AI

El 8 de agosto se llevó a cabo oficialmente la conferencia mundial de gráficos por computadora SIGGRAPH, la conferencia de mesa redonda más importante de la industria informática mundial.

El fundador y director general de NVIDIA, Jensen Huang, asistió y trajo una nueva generación del superchip NVIDIA GH200 con inteligencia artificial. Jensen Huang tiene mucha confianza en su nuevo producto insignia y llama a la GH200 "la memoria más rápida del mundo".

**En el mercado de la IA actual, Nvidia se denomina "el centro que dirige todo el mundo de la IA". **Ya sea OpenAI o Google, META, Baidu, Tencent, Alibaba, todas las IA generativas dependen en gran medida de los chips de IA de Nvidia para el entrenamiento.

Además, según los informes de los medios, la demanda total del mercado del chip Nvidia AI H100 en agosto de 2023 puede ser de alrededor de 432 000 piezas, y el precio actual de un chip H100 en Ebay incluso ha alcanzado los 45 000 dólares estadounidenses, lo que equivale a más de 300 000 RMB. Yuan.

Hay más de 400 000 brechas de chips, con un precio unitario de 45 000 dólares estadounidenses, y el precio total puede llegar fácilmente a millones de dólares.

Nvidia está experimentando una ola de mercado que es más loca que la "era de la minería".

Chip AI, uno es difícil de encontrar

Los llamados chips de IA son en realidad unidades de procesamiento de gráficos (GPU), cuya función principal es ayudar a ejecutar los innumerables cálculos involucrados en el entrenamiento y la implementación de algoritmos de inteligencia artificial.

**Es decir, todo tipo de rendimiento inteligente de IA generativa proviene del apilamiento de innumerables GPU. Cuantos más chips se usan, más inteligente se vuelve la IA generativa. **

OpenAI no dice nada sobre los detalles del entrenamiento de GPT-4, pero según las especulaciones de los medios, GPT-4 necesita al menos 8192 chips H100, a un precio de $2 por hora, el entrenamiento previo se puede completar en unos 55 días y el costo es de aproximadamente $ 21,5 millones (150 millones de RMB).

Según los ejecutivos de Microsoft, la supercomputadora de inteligencia artificial que brinda soporte de potencia informática para ChatGPT es una supercomputadora de alto nivel a gran escala en la que Microsoft invirtió mil millones de dólares estadounidenses en 2019, equipada con decenas de miles de GPU Nvidia A100 y más de 60 centros de datos En total, cientos de miles de GPU Nvidia están implementadas en el centro.

El chip de IA requerido por ChatGPT no es fijo, sino que aumenta gradualmente. Cuanto más inteligente es ChatGPT, el precio detrás de esto es que se requiere más y más poder de cómputo. Según la predicción de Morgan Stanley, GPT-5 necesitará usar alrededor de 25 000 GPU, que es aproximadamente tres veces más que GPT-4.

**Si desea satisfacer las necesidades de una serie de productos de IA como OpenAI y Google, entonces es equivalente a que una empresa de Nvidia proporcione núcleos para productos de IA en todo el mundo, lo cual es una gran prueba para la capacidad de producción de Nvidia. **

NVIDIA H100

Aunque Nvidia está produciendo chips de IA a plena capacidad, según los informes de los medios, la capacidad del clúster H100 a gran escala de los proveedores de nube pequeños y grandes está a punto de agotarse, y el "grave problema de escasez" de H100 continuará hasta al menos el final. de 2024.

En la actualidad, los chips de Nvidia para el mercado de IA se dividen principalmente en dos tipos: H100 y A100. H100 es el producto estrella. En términos de detalles técnicos, H100 es aproximadamente 3,5 veces más rápido que A100 en velocidad de razonamiento de 16 bits, y La velocidad de entrenamiento de 16 bits es aproximadamente 2,3 veces más rápida.

Ya sea H100 o A100, todos están coproducidos por TSMC, lo que limita la producción de H100. Según algunos medios, cada H100 tarda aproximadamente medio año en pasar de la producción a la entrega, y la eficiencia de producción es muy lenta.

Nvidia ha declarado que aumentará la capacidad de suministro de chips de IA en la segunda mitad de 2023, pero no proporcionó ninguna información cuantitativa.

Muchas empresas y compradores piden a Nvidia que aumente la producción de fábricas, no solo para cooperar con TSMC, sino también para entregar más pedidos a Samsung e Intel.

** Velocidad de entrenamiento más rápida **

**Si no hay forma de aumentar la capacidad de producción, entonces la mejor solución es lanzar chips con mayor rendimiento para ganar por calidad. **

Como resultado, Nvidia comenzó a lanzar con frecuencia nuevas GPU para mejorar las capacidades de entrenamiento de IA. Primero, en marzo de este año, Nvidia lanzó cuatro chips de IA, GPU H100 NVL, GPU L4 Tensor Core, GPU L40 y NVIDIA Grace Hopper, para satisfacer las crecientes demandas de potencia informática de las IA generativas.

La generación anterior aún no se ha producido ni lanzado en masa.Nvidia lanzó la versión mejorada de H100, GH200, por Huang Renxun en la Conferencia Mundial SIGGRAPH sobre Gráficos por Computadora el 8 de agosto.

Se entiende que el nuevo GH200 Grace Hopper Superchip se basa en una CPU Grace de 72 núcleos, equipada con memoria ECC LPDDR5X de 480 GB y GPU informática GH100, con memoria HBM3E de 141 GB, utiliza seis pilas de 24 GB y utiliza una interfaz de memoria de 6144 bits.

NVIDIA GH200

La mayor tecnología negra de GH200 es que, como el primer chip del mundo equipado con memoria HBM3e, puede aumentar su memoria de GPU local en un 50 %. Y esta también es una "actualización específica" específicamente para el mercado de la inteligencia artificial, porque la IA generativa de alto nivel suele tener un tamaño enorme pero una capacidad de memoria limitada.

Según la información pública, la memoria HBM3e es la memoria de ancho de banda alto de quinta generación de SK Hynix. Es un nuevo tipo de tecnología de memoria de ancho de banda alto que puede proporcionar velocidades de transmisión de datos más altas en un espacio más pequeño. Tiene una capacidad de 141 GB y un ancho de banda de 5 TB por segundo, que puede llegar a 1,7 veces y 1,55 veces al de H100 respectivamente.

Desde su lanzamiento en julio, SK Hynix se ha convertido en el favorito del mercado de GPU, por delante de sus rivales directos, los chips flash Optane DC de Intel y Z-NAND de Samsung.

Vale la pena mencionar que SK Hynix siempre ha sido uno de los socios de Nvidia A partir de la memoria HBM3, la mayoría de los productos de Nvidia utilizan productos SK Hynix. Sin embargo, SK Hynix se ha preocupado por la capacidad de producción de la memoria necesaria para los chips de IA, y Nvidia le ha pedido a SK Hynix que aumente la capacidad de producción más de una vez.

Cuando una familia numerosa con distocia se encuentra con otra familia numerosa con distocia, la gente no puede evitar preocuparse por la capacidad de producción de GH200.

NVIDIA declaró oficialmente que, en comparación con el producto H100 de la generación actual, el GH200 tiene una capacidad de memoria 3,5 veces mayor y un ancho de banda 3 veces mayor; y la memoria HBM3e permitirá que el GH200 de próxima generación ejecute modelos de IA 3,5 veces más rápido que el modelo actual.

**La velocidad de ejecución del modelo AI es 3,5 veces más rápida que la de H100 ¿Significa que 1 GH200 equivale a 3,5 H100? Todo tiene que ser aprendido a través de la práctica. **

Pero por ahora, lo cierto es que, como el mayor proveedor del mercado de IA, Nvidia ha consolidado aún más su posición de liderazgo y ha ampliado la brecha con AMD e Intel.

Rivales de NVIDIA

Frente a una brecha de 430.000 chips de IA, ninguna empresa permanece indiferente. En particular, los mayores competidores de Nvidia, AMD e Intel, no les permitirán monopolizar todo el mercado.

El 14 de junio de este año, el presidente y director ejecutivo de AMD, Su Zifeng, lanzó intensamente una variedad de nuevos productos de software y hardware de IA, incluido el chip de IA diseñado para modelos de lenguaje grande, MI300X. Lanzó oficialmente un desafío positivo para Nvidia en el mercado de IA.

En términos de parámetros de hardware, AMD MI300X tiene hasta 13 chips pequeños, que contienen un total de 146 mil millones de transistores, y está equipado con 128 GB de memoria HBM3. Su densidad HBM es 2,4 veces mayor que la de Nvidia H100 y su ancho de banda es 1,6 veces mayor que el de Nvidia H100, lo que significa que se puede acelerar la velocidad de procesamiento de la IA generativa.

Pero desafortunadamente, este chip insignia de IA no está disponible, pero se espera que se produzca en masa en el cuarto trimestre de 2023.

Otro competidor, Intel, adquirió el fabricante de chips de inteligencia artificial HABANA Labs por alrededor de $ 2 mil millones en 2019, ingresando al mercado de chips de IA.

En agosto de este año, en la llamada de ganancias más reciente de Intel, el CEO de Intel, Pat Gelsinger, dijo que Intel está desarrollando un chip de supercomputación Falcon Shores AI de próxima generación, tentativamente llamado Falcon Shores 2, que se espera que se lance en 2026.

Además de Falcon Shores 2, Intel también lanzó el chip de IA Gaudi2, que ya comenzó a venderse, mientras que Gaudi3 está en desarrollo.

Es una pena que la especificación del chip Gaudi2 no sea alta, y es difícil desafiar a Nvidia H100 y A100.

AMD MI300X

** Además de los gigantes extranjeros de semiconductores mostrando sus músculos y comenzando la "competencia de chips", las empresas nacionales de semiconductores también han comenzado la investigación y el desarrollo de chips de IA. **

Entre ellos, la tarjeta aceleradora RG800 de Kunlun core AI, la tarjeta aceleradora Tiangai 100 de Tianshu Zhixin y el producto de capacitación de segunda generación de Suiyuan Technology, Yunsui T20/T21, todos indican que pueden admitir la capacitación de modelos a gran escala.

En esta batalla por los chips que utiliza la potencia informática como estándar y los modelos grandes de IA como campo de batalla, Nvidia, como uno de los mayores ganadores en el mercado de IA, ha demostrado su solidez en el diseño de chips y su cuota de mercado.

Sin embargo, aunque los chips de IA domésticos están ligeramente atrasados, el ritmo de investigación y desarrollo y la expansión del mercado nunca se ha detenido, y vale la pena mirar hacia el futuro.