¿Quieres competir con Nvidia? Intel impulsa los chips de IA en la nube y tiene la intención de unirse a los fabricantes nacionales para desarrollar servidores de IA
Fuente original: Diario de la Junta de Innovación en Ciencia y Tecnología
Crédito de la imagen: Generado por Unbounded AI
El 11 de julio, Intel lanzó un chip de entrenamiento de IA en la nube: Habana® Gaudi® 2 en el mercado chino. El chip puede satisfacer las necesidades de modelos de lenguaje a gran escala, modelos multimodales y modelos generativos de IA. Según la introducción en el sitio, el rendimiento del chip es mejor que el de Nvidia A100 en algunos indicadores clave.
Se entiende que el procesador Gaudi2 y la tarjeta intermedia Gaudi2 HL-225B se basan en la arquitectura de alto rendimiento Gaudi de primera generación y tienen 24 núcleos de procesador Tensor programables (TPC).
Cada chip integra 21 interfaces Ethernet de 100 Gbps (RoCEv2 RDMA) dedicadas a la interconexión interna, equipadas con memoria de alta velocidad HBM de 96 GB y un ancho de banda de memoria total de 2,4 TB/s, cumpliendo con modelos de lenguaje a gran escala, modelos multimodales y modelos generativos. Necesidades del modelo de IA.
Según la introducción en el sitio, el rendimiento por vatio de Intel Gaudi2 con ResNet-50 es aproximadamente 2 veces mayor que el de NVIDIA A100, y el rendimiento por vatio del modelo BLOOMZ de 176 mil millones de parámetros es aproximadamente 1,6 veces mayor que el de A100. **
En la conferencia de prensa, Liu Jun, vicepresidente senior de Inspur Information y gerente general de IA y HPC, lanzó una nueva generación de servidor de IA NF5698G7 equipado con Gaudi2 en el acto.
Actualmente, Intel ha cooperado con Inspur Information para crear un servidor de IA NF5698G7 basado en el acelerador de aprendizaje profundo Gaudi2. El servidor integra 8 tarjetas aceleradoras Gaudi2 HL-225B y también incluye dos procesadores escalables Intel Xeon de cuarta generación, compatibles con motores de aceleración de IA como AMX/DSA. El mismo día, el servidor AI también se lanzó oficialmente.
Wang Lei, gerente sénior de productos de Inspur Information, enfatizó que NF5698G7 es una nueva generación de servidores de IA especialmente desarrollados para el mercado de IA generativa. Es compatible con 8 aceleradores Gaudi2 interconectados de alta velocidad OAM y proporcionará a los clientes de IA capacitación y modelos a gran escala. capacidades de razonamiento.
Liu Hongcheng, vicepresidente de la línea de productos informáticos y de almacenamiento de H3C, dijo que, basándose en el acelerador de inteligencia artificial Intel Gaudi2, H3C está cooperando con Intel para desarrollar servidores de inteligencia artificial de alto rendimiento adecuados para el entrenamiento y el razonamiento de modelos a gran escala. **
Al mismo tiempo, Tang Qiming, presidente del campo de infraestructura de potencia informática de Super Fusion Digital Technology Co., Ltd., señaló que ** Super Fusion e Intel lanzarán conjuntamente nuevos productos y soluciones basados en Gaudi2. **
Anteriormente, Wang Rui, presidente de Intel China, señaló en una entrevista con un reportero del "Science and Technology Board Daily" que la ola de **ChatGPT ha provocado un aumento significativo en la demanda informática y actualmente se está desarrollando con clientes chinos. incluyendo Baidu y Ali Investigación conjunta. **Wang Rui reveló que se han establecido tanto la computación de alto rendimiento como la computación distribuida.
Un reportero del Science and Technology Innovation Board Daily, experto en tecnología de Intel, compartió el diseño de Intel en el campo de los modelos grandes. A nivel de capacitación, para computación heterogénea como CPU, GPU, IPU y Habana, Intel utiliza las plataformas oneAPI y XPU para brindar más opciones. En términos de razonamiento, después del lanzamiento de Sapphire Rapids de cuarta generación, basado en el acelerador AMX, puede resolver más del 80 % de las necesidades de razonamiento de los clientes en la industria. Al mismo tiempo, también hace un uso completo de la CPU, incluido Ponte Vecchio para el entrenamiento y Arctic Sound para el razonamiento.
Con el auge de los grandes modelos, el modelo de negocio de la computación en la nube está evolucionando hacia MaaS (Model as a Service), y la demanda de poder de cómputo que genera también es digna de atención.
"Su idea es usar el modelo de preentrenamiento para entrenar datos de la industria para formar un modelo segmentado para escenarios específicos y para varias industrias. Sabemos que la cantidad de parámetros del modelo general es muy grande, por ejemplo, GPT-3 puede llegar a 175 mil millones, la implementación de estos modelos será engorrosa, por lo tanto, es posible que sea necesario destilar y comprimir modelos grandes para formar un modelo que la industria pueda implementar", dijeron los expertos técnicos mencionados anteriormente.
Además, la implementación privatizada de modelos grandes es una demanda potencial de muchas industrias. "Muchas industrias subdivididas no aceptan los servicios SaaS, especialmente las industrias financieras y de otro tipo. Por lo tanto, Intel está discutiendo cómo miniaturizar este modelo e implementar localmente la implementación privatizada para que realmente pueda implementarse en la industria".
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
¿Quieres competir con Nvidia? Intel impulsa los chips de IA en la nube y tiene la intención de unirse a los fabricantes nacionales para desarrollar servidores de IA
Fuente original: Diario de la Junta de Innovación en Ciencia y Tecnología
El 11 de julio, Intel lanzó un chip de entrenamiento de IA en la nube: Habana® Gaudi® 2 en el mercado chino. El chip puede satisfacer las necesidades de modelos de lenguaje a gran escala, modelos multimodales y modelos generativos de IA. Según la introducción en el sitio, el rendimiento del chip es mejor que el de Nvidia A100 en algunos indicadores clave.
Se entiende que el procesador Gaudi2 y la tarjeta intermedia Gaudi2 HL-225B se basan en la arquitectura de alto rendimiento Gaudi de primera generación y tienen 24 núcleos de procesador Tensor programables (TPC).
Cada chip integra 21 interfaces Ethernet de 100 Gbps (RoCEv2 RDMA) dedicadas a la interconexión interna, equipadas con memoria de alta velocidad HBM de 96 GB y un ancho de banda de memoria total de 2,4 TB/s, cumpliendo con modelos de lenguaje a gran escala, modelos multimodales y modelos generativos. Necesidades del modelo de IA.
Según la introducción en el sitio, el rendimiento por vatio de Intel Gaudi2 con ResNet-50 es aproximadamente 2 veces mayor que el de NVIDIA A100, y el rendimiento por vatio del modelo BLOOMZ de 176 mil millones de parámetros es aproximadamente 1,6 veces mayor que el de A100. **
En la conferencia de prensa, Liu Jun, vicepresidente senior de Inspur Information y gerente general de IA y HPC, lanzó una nueva generación de servidor de IA NF5698G7 equipado con Gaudi2 en el acto.
Actualmente, Intel ha cooperado con Inspur Information para crear un servidor de IA NF5698G7 basado en el acelerador de aprendizaje profundo Gaudi2. El servidor integra 8 tarjetas aceleradoras Gaudi2 HL-225B y también incluye dos procesadores escalables Intel Xeon de cuarta generación, compatibles con motores de aceleración de IA como AMX/DSA. El mismo día, el servidor AI también se lanzó oficialmente.
Wang Lei, gerente sénior de productos de Inspur Information, enfatizó que NF5698G7 es una nueva generación de servidores de IA especialmente desarrollados para el mercado de IA generativa. Es compatible con 8 aceleradores Gaudi2 interconectados de alta velocidad OAM y proporcionará a los clientes de IA capacitación y modelos a gran escala. capacidades de razonamiento.
Liu Hongcheng, vicepresidente de la línea de productos informáticos y de almacenamiento de H3C, dijo que, basándose en el acelerador de inteligencia artificial Intel Gaudi2, H3C está cooperando con Intel para desarrollar servidores de inteligencia artificial de alto rendimiento adecuados para el entrenamiento y el razonamiento de modelos a gran escala. **
Al mismo tiempo, Tang Qiming, presidente del campo de infraestructura de potencia informática de Super Fusion Digital Technology Co., Ltd., señaló que ** Super Fusion e Intel lanzarán conjuntamente nuevos productos y soluciones basados en Gaudi2. **
Anteriormente, Wang Rui, presidente de Intel China, señaló en una entrevista con un reportero del "Science and Technology Board Daily" que la ola de **ChatGPT ha provocado un aumento significativo en la demanda informática y actualmente se está desarrollando con clientes chinos. incluyendo Baidu y Ali Investigación conjunta. **Wang Rui reveló que se han establecido tanto la computación de alto rendimiento como la computación distribuida.
Un reportero del Science and Technology Innovation Board Daily, experto en tecnología de Intel, compartió el diseño de Intel en el campo de los modelos grandes. A nivel de capacitación, para computación heterogénea como CPU, GPU, IPU y Habana, Intel utiliza las plataformas oneAPI y XPU para brindar más opciones. En términos de razonamiento, después del lanzamiento de Sapphire Rapids de cuarta generación, basado en el acelerador AMX, puede resolver más del 80 % de las necesidades de razonamiento de los clientes en la industria. Al mismo tiempo, también hace un uso completo de la CPU, incluido Ponte Vecchio para el entrenamiento y Arctic Sound para el razonamiento.
Con el auge de los grandes modelos, el modelo de negocio de la computación en la nube está evolucionando hacia MaaS (Model as a Service), y la demanda de poder de cómputo que genera también es digna de atención.
"Su idea es usar el modelo de preentrenamiento para entrenar datos de la industria para formar un modelo segmentado para escenarios específicos y para varias industrias. Sabemos que la cantidad de parámetros del modelo general es muy grande, por ejemplo, GPT-3 puede llegar a 175 mil millones, la implementación de estos modelos será engorrosa, por lo tanto, es posible que sea necesario destilar y comprimir modelos grandes para formar un modelo que la industria pueda implementar", dijeron los expertos técnicos mencionados anteriormente.
Además, la implementación privatizada de modelos grandes es una demanda potencial de muchas industrias. "Muchas industrias subdivididas no aceptan los servicios SaaS, especialmente las industrias financieras y de otro tipo. Por lo tanto, Intel está discutiendo cómo miniaturizar este modelo e implementar localmente la implementación privatizada para que realmente pueda implementarse en la industria".