La ambición de Nvidia: "AI nativo" subvierte por completo el centro de datos

Fuente de la imagen: Generada por Unbounded AI

Fuente: Noticias de Wall Street

Autor: Zhao Ying

El CEO de Nvidia, Jensen Huang, lo dijo en una conferencia de prensa el martes. Ayer, Nvidia lanzó una nueva generación de la plataforma de súper chip GH200 Grace Hopper, que está especialmente diseñada para la era de la computación acelerada y la IA generativa.

Huang Renxun señaló que para satisfacer la creciente demanda de IA generativa, los centros de datos deben contar con plataformas informáticas aceleradas para necesidades especiales. La nueva plataforma de chip GH200 ofrece tecnología de memoria y ancho de banda superiores, la capacidad de conectar GPU para agregar rendimiento sin pérdida y tiene un diseño de servidor que se puede implementar fácilmente en un centro de datos. **

Vale la pena mencionar que la llegada de la ola de modelos a gran escala ha generado varias aplicaciones nativas de IA, lo que ha llevado a un aumento en la demanda de poder de cómputo.El mercado de centros de datos dedicado a aplicaciones de inteligencia artificial con uso intensivo de datos está emergiendo rápidamente.

El centro de datos marca el comienzo de nuevos cambios

Los analistas señalan que a medida que los proveedores de computación en la nube establecidos compiten para modernizar los centros de datos con chips avanzados y otras actualizaciones para satisfacer las demandas del software de inteligencia artificial, algunos constructores advenedizos ven la oportunidad de construir nuevas instalaciones desde cero.

Un centro de datos es similar a un gran almacén, equipado con varios bastidores de servidores, redes y equipos de almacenamiento para almacenar y procesar datos. En comparación con los centros de datos tradicionales, los centros de datos de IA tienen más servidores que utilizan chips de alto rendimiento, por lo que el consumo de energía promedio por bastidor de los servidores del centro de datos de IA puede alcanzar los 50 kilovatios o más, mientras que cada bastidor de los centros de datos tradicionales consume aproximadamente 7 kilovatios

Esto significa que el centro de datos de IA necesita construir más infraestructura que pueda proporcionar una mayor potencia. Dado que el consumo de energía adicional generará más calor, el centro de datos de IA también necesita otros métodos de refrigeración, como la refrigeración líquida sistemas, para proteger el dispositivo contra el sobrecalentamiento.

Manju Naglapur, vicepresidente sénior de la firma de servicios y consultoría Unisys, señaló:

**Los centros de datos de IA especialmente diseñados pueden albergar servidores que utilizan chips de IA como las GPU de Nvidia, lo que permite que se ejecuten múltiples cálculos simultáneamente mientras las aplicaciones de IA filtran vastos almacenes de datos. ** Estos centros de datos también están equipados con redes de fibra óptica y dispositivos de almacenamiento más eficientes para admitir modelos de inteligencia artificial a gran escala.

Los centros de datos de IA son edificios altamente especializados que requieren una gran inversión de dinero y tiempo. Según datos de la firma de investigación Data Bridge Market Research, para 2029, se espera que el gasto en el mercado mundial de infraestructura de inteligencia artificial alcance los 422 550 millones de USD, con una tasa de crecimiento anual compuesta del 44 % durante los próximos seis años.

El director ejecutivo de DataBank, Raul Martynek, dijo que es probable que el ritmo de implementación de la IA conduzca a una escasez de capacidad del centro de datos en los próximos 12 a 24 meses.

El novato en computación de IA recibe $ 2.3 mil millones en financiamiento

En la actualidad, varios gigantes están apostando por los centros de datos de IA, y el "punto de referencia inmobiliario" Blackstone vende casas y cambia a centros de datos de IA. Meta también ha dicho que construirá un nuevo centro de datos de IA.

Como se mencionó en el artículo anterior, CoreWeave, un novato en el poder de cómputo de IA, tomó un préstamo hipotecario de Nvidia H100 y obtuvo un financiamiento de deuda de 2.300 millones de dólares estadounidenses (alrededor de 16.500 millones de yuanes).

**CoreWeave dijo que los fondos se utilizarán para acelerar la construcción de centros de datos de inteligencia artificial, este es otro financiamiento luego de que la empresa recibiera US$221 millones en abril de este año y US$200 millones en mayo. Fundada hace seis años, CoreWeave ya tiene siete centros de datos de IA en línea y espera duplicarlos para fines de este año.

CoreWeave está trabajando con Nvidia e Inflection AI para construir un clúster de servidores de IA súper grande, con el objetivo de ejecutar 22,000 Nvidia H100. **Si se completa, se convertirá en el clúster de servidores de IA más grande del mundo. **

Vale la pena mencionar que, según el sitio web oficial de CoreWeave, sus servicios son un 80 % más baratos que los proveedores tradicionales de computación en la nube. El último servidor HGX H100 de Nvidia, que contiene 8 H100 con memoria de video de 80G y memoria de 1T, cuesta solo $2.23 por hora (16 RMB). **

En comparación con la plataforma de la generación anterior, la configuración de doble chip de la nueva plataforma GH200 Grace Hopper aumenta la capacidad de memoria 3,5 veces y el ancho de banda tres veces. Un servidor tiene 144 núcleos Arm Neoverse de alto rendimiento, 8 petaflops de rendimiento de IA y la última tecnología de memoria HBM3e de 282 GB.

¡No es de extrañar que en esta era de explosión LLM, Huang Renxun todavía dijera con valentía "cuanto más compras, más ahorras"!