Fuente original: Industria de Semiconductores Vertical y Horizontal
Fuente de la imagen: Generada por Unbounded AI
Recientemente, HBM se ha convertido en un tema candente en la industria de los chips. Según TrendForce, se espera que el volumen de bits de la memoria de alto ancho de banda (HBM) alcance los 290 millones de GB en 2023, un aumento interanual de aproximadamente el 60 %, y se espera que aumente aún más en un 30 % en 2024. El concepto de memoria HBM propuesto por AMD en 2008 fue realizado por SK Hynix a través de la tecnología TSV en 2013. 10 años después de su introducción, HBM parece haber llegado realmente a la era de la comercialización a gran escala.
El despegue del concepto de HBM está directamente relacionado con la popularidad de AIGC. Los servidores de IA tienen mayores requisitos de ancho de banda.En comparación con DDR SDRAM, HBM tiene un mayor ancho de banda y un menor consumo de energía. El ancho de banda ultraalto convierte a HBM en un componente central de la GPU de alto rendimiento, y HBM es básicamente la configuración estándar de los servidores de IA. En la actualidad, el costo de HBM ocupa el tercer lugar en el costo de los servidores de IA, lo que representa alrededor del 9 %, y el precio de venta promedio de un solo servidor llega a los 18 000 USD.
Desde la aparición de ChatGPT el año pasado, el mercado de modelos a gran escala ha comenzado a crecer rápidamente. En el mercado nacional, gigantes tecnológicos como Baidu, Ali, HKUST Xunfei, SenseTime y Huawei han anunciado sucesivamente que entrenarán su propia IA. maquetas a gran escala. TrendForce predice que en 2025 habrá 5 AIGC a gran escala equivalentes a ChatGPT, 25 productos AIGC de tamaño medio de Midjourney y 80 productos AIGC a pequeña escala. Incluso los recursos de potencia informática mínimos necesarios a nivel mundial pueden requerir de 145 600 a 233 700 GPU NVIDIA A100 . Estas son áreas de crecimiento potencial para HBM.
Desde principios de 2023, los pedidos de HBM de Samsung y SK Hynix han aumentado rápidamente, y el precio de HBM también ha aumentado. Recientemente, el precio de HBM3 DRAM se ha multiplicado por 5. Samsung ha recibido pedidos de AMD y Nvidia para aumentar el suministro de HBM. SK hynix ha comenzado a ampliar la línea de producción de HBM con el objetivo de duplicar la capacidad de producción de HBM. Los medios coreanos informaron que Samsung planea invertir alrededor de 760 millones de dólares estadounidenses para expandir la producción de HBM, con el objetivo de duplicar la capacidad de producción de HBM para fines del próximo año, y la compañía ha realizado importantes pedidos de equipos.
Ventajas de HBM en AIGC
Sencillamente, HBM aumentará la potencia informática de los servidores. Debido al procesamiento de una gran cantidad de datos en un corto período de tiempo, los servidores de IA tienen mayores requisitos de ancho de banda. La función de HBM es similar a la "estación de transferencia" de datos, que consiste en guardar los datos de la imagen, como cada fotograma e imagen utilizados en el área de búfer de fotogramas, y esperar a que llame la GPU. En comparación con la tecnología de memoria tradicional, HBM tiene un mayor ancho de banda, más cantidad de E/S, menor consumo de energía y un tamaño más pequeño, lo que puede mejorar en gran medida el volumen de procesamiento de datos y la velocidad de transmisión de los servidores de IA.
Fuente: rambus
Puede verse que HBM tiene una ventaja de nivel "móvil" en términos de ancho de banda. Si HBM2E se ejecuta a 3,6 Gbps en una interfaz amplia de 1024 bits, obtiene 3,7 Tb por segundo de ancho de banda, que es más de 18 veces el ancho de banda de LPDDR5 o DDR4.
Además de la ventaja del ancho de banda, HBM puede ahorrar espacio, lo que a su vez puede acomodar más GPU en el sistema. La memoria de HBM consta de una pila de memoria en el mismo paquete físico que la GPU.
Una arquitectura de este tipo significa ahorros significativos de energía y área en comparación con los diseños de memoria GDDR5/6 convencionales, lo que permite instalar más GPU en el sistema. A medida que los conjuntos de datos de análisis de datos, IA y HPC crecen en tamaño y los problemas computacionales se vuelven más complejos, se necesita más y más capacidad de memoria GPU y ancho de banda. La GPU H100 SXM5 proporciona más de 3 TB/s de ancho de banda de memoria al admitir 80 GB (cinco pilas) de memoria rápida HBM3, que es el doble del ancho de banda de memoria del A100.
El precio ha sido un factor limitante para HBM en el pasado. Pero ahora el mercado de modelos a gran escala se encuentra en un período de contienda. Para los gigantes que diseñan modelos a gran escala, el tiempo es dinero. Por lo tanto, HBM, que es "caro y caro", se ha convertido en el nuevo favorito de los modelos a gran escala. modelos a escala de gigantes. Con el aumento gradual de la demanda de GPU de gama alta, HBM ha comenzado a convertirse en la configuración estándar de los servidores de IA.
En la actualidad, las A100 y H100 de Nvidia están equipadas con 80 GB de HBM2e y HBM3 cada una. En su último chip Grace Hopper que integra CPU y GPU, la capacidad de carga de HBM de un solo chip ha aumentado un 20 %, alcanzando los 96 GB.
El MI300 de AMD también está equipado con HBM3. Entre ellos, la capacidad del MI300A es la misma que la de 128 GB de la generación anterior, y el MI300X de gama alta alcanza los 192 GB, un aumento del 50 %.
Se espera que Google amplíe activamente su cooperación con Broadcom en la segunda mitad de 2023 para desarrollar el chip de aceleración AISC AI. También se planea que TPU esté equipado con memoria HBM para expandir la infraestructura AI.
Disposición acelerada del proveedor de almacenamiento
Tal "escena de dinero" permite a los gigantes del almacenamiento acelerar el diseño de la memoria HBM. En la actualidad, los tres principales fabricantes de chips de memoria del mundo están transfiriendo más capacidad de producción para producir HBM, pero debido a que lleva tiempo ajustar la capacidad de producción, es difícil aumentar rápidamente la producción de HBM y se espera que la oferta de HBM siga siendo escasa. en los próximos dos años.
El mercado de HBM está controlado principalmente por los tres grandes gigantes de DRAM. Sin embargo, a diferencia del mercado DRAM, liderado por Samsung, SK Hynix se ha desarrollado mejor en el mercado HBM. Como se mencionó al principio, SK Hynix desarrolló el primer producto de HBM. En abril de 2023, SK Hynix anunció el desarrollo del primer producto DRAM HBM3 de 24 GB, que utiliza la tecnología TSV para apilar verticalmente 12 chips DRAM de un solo producto que son un 40 % más delgados que los chips existentes, alcanzando la misma altura que los productos de 16 GB. Mientras tanto, SK Hynix planea preparar muestras de HBM3E con un rendimiento de transmisión de datos de 8 Gbps en la segunda mitad de 2023 y ponerlo en producción en masa en 2024.
El diseño de las empresas nacionales de semiconductores para HBM gira principalmente en torno al campo del embalaje y las interfaces.
Actualmente, NationalChip Technology está investigando y planificando la tecnología de empaquetado de chips 2.5D de memoria multi-HBM y promoviendo activamente la investigación, el desarrollo y la aplicación de la tecnología Chiplet.
Después de la finalización de la línea de producción 2.5D/3D de Tongfu Microelectronics Co., Ltd., logrará un avance nacional en el campo de la tecnología de envasado de alto rendimiento de HBM.
BIWIN ha lanzado chips de memoria y módulos de memoria de alto rendimiento y seguirá prestando atención a la tecnología HBM.
El chip Retimer PCIe 5.0/CXL 2.0 de Montage Technology ha logrado la producción en masa. Este chip es una actualización clave del producto Retimer PCIe 4.0 de Montage Technology, que puede proporcionar a la industria un PCIe 5.0/CXL 2.0 estable y confiable de alto ancho de banda y baja latencia. solución de interconexión.
Aunque HBM es bueno, todavía necesita estar tranquilo, HBM todavía está en una etapa relativamente temprana y su futuro aún tiene un largo camino por recorrer. Es previsible que a medida que más y más fabricantes continúen esforzándose en campos como la IA y el aprendizaje automático, la complejidad del diseño de productos de memoria aumente rápidamente y se impongan mayores requisitos de ancho de banda. de HBM.
El atractivo de HBM refleja la capacidad de conducción de AIGC. Entonces, además de HBM y GPU, ¿hay otros productos que puedan aprovechar esta nueva tendencia?
Habla sobre otras fichas encendidas
Las ventajas de FPGA empiezan a aparecer
FPGA (Field Programmable Gate Array) es un circuito integrado con elementos lógicos programables, memoria y recursos de interconexión. A diferencia de ASIC (Circuito Integrado de Aplicación Específica), FPGA tiene las ventajas de flexibilidad, capacidad de personalización, capacidad de procesamiento paralelo y fácil actualización.
A través de la programación, los usuarios pueden cambiar los escenarios de aplicación de FPGA en cualquier momento, y FPGA puede simular varias operaciones paralelas de CPU, GPU y otro hardware. Por lo tanto, también se le llama "chip universal" en la industria.
Los FPGA tienen sentido para las necesidades de razonamiento de inteligencia artificial de los modelos subyacentes que cambian con frecuencia. La programabilidad de FPGA supera la economía típica del uso de FPGA. Para ser claros, los FPGA no serán competidores serios de los sistemas de IA a gran escala que utilizan miles de GPU, pero a medida que la IA penetre más en la electrónica, la gama de aplicaciones para los FPGA se ampliará.
La ventaja de FPGA sobre GPU es un menor consumo de energía y latencia. La GPU no puede hacer un buen uso de la memoria en el chip y necesita leer con frecuencia la DRAM fuera del chip, por lo que el consumo de energía es muy alto. FPGA puede usar almacenamiento en chip de manera flexible, por lo que el consumo de energía es mucho menor que el de GPU.
El 27 de junio, AMD anunció el lanzamiento del sistema en chip (SoC) adaptativo AMD Versal Premium VP1902, que es un SoC adaptativo basado en FPGA. Este es un dispositivo basado en chiplet de grado de emulación que simplifica la verificación de diseños de semiconductores cada vez más complejos. Se informa que AMD VP1902 se convertirá en el FPGA más grande del mundo. En comparación con el producto de la generación anterior (Xilinx VU19P), el nuevo VP1902 agrega la función Versal y adopta un diseño de chip pequeño, que duplica con creces el rendimiento clave de FPGA.
Dongxing Securities Research Report cree que FPGA tiene una gran ventaja en el razonamiento de IA en virtud de las ventajas de retraso y consumo de energía que ofrece su arquitectura. El informe de investigación anterior de Zheshang Securities también señaló que, además de la GPU, la solución CPU+FPGA también puede satisfacer la enorme demanda de potencia informática de la IA.
A diferencia de que HBM está monopolizado por empresas extranjeras, las empresas nacionales ya han acumulado chips FPGA.
El negocio principal de Anlu Technology es la I+D, el diseño y la venta de chips FPGA y software EDA especial.Los productos han sido ampliamente utilizados en control industrial, comunicación en red, electrónica de consumo y otros campos. Ziguang Tongchuang, una subsidiaria de Ziguang Guowei, es una empresa profesional de FPGA que diseña y vende chips FPGA de uso general. Ziguang Guowei dijo una vez en la sesión informativa sobre el rendimiento que el chip FPGA de la empresa se puede utilizar en el campo de la IA. Dongtu Technology lleva a cabo principalmente la industrialización de chips FPGA. El equipo de la empresa accionista Zhongke Yihai Micro ha desarrollado de forma independiente el software EDA para respaldar el desarrollo de aplicaciones de sus productos FPGA.
Nueva Idea para Sustitución Doméstica: Integración de Almacenamiento y Computación + Chiplet
¿Podemos usar nuestros procesos y tecnologías disponibles actualmente para desarrollar chips de IA que puedan competir con Nvidia en términos de rendimiento? Han surgido algunas "nuevas ideas", como la integración de almacenamiento y cálculo + Chiplet.
La separación del almacenamiento y el cálculo dará lugar a cuellos de botella en la potencia informática. Con el rápido desarrollo de la tecnología de IA, la demanda de poder de cómputo se ha disparado. En la era posterior a Moore, el ancho de banda de almacenamiento restringe el ancho de banda efectivo del sistema informático y el crecimiento de la potencia informática del sistema está en apuros. Por ejemplo, se necesitan 99 días para entrenar el modelo BERT desde cero con 8 bloques de 1080TI. La arquitectura integrada de computación de almacenamiento no tiene el concepto de almacenamiento multinivel profundo. Todos los cálculos se implementan en la memoria, lo que elimina el muro de almacenamiento y la sobrecarga adicional correspondiente causada por la heterogeneidad de la computación de almacenamiento; la eliminación del muro de almacenamiento puede reduce el manejo de datos. , no solo mejora la transmisión de datos y la velocidad de procesamiento, sino que también mejora la relación de eficiencia energética varias veces.
Por un lado, se reducirá el consumo de energía requerido para procesar la misma potencia de cómputo entre la arquitectura integrada de cómputo de almacenamiento y el procesador de arquitectura tradicional; Abrir el muro de compilación de la arquitectura tradicional.
Los académicos de la Universidad Estatal de Arizona lanzaron un simulador de referencia de arquitectura IMC basado en Chiplet SIAM en 2021 para evaluar el potencial de esta nueva arquitectura en el entrenamiento de modelos grandes de IA. SIAM integra dispositivos, circuitos, arquitectura, red en chip (NoC), red en paquete (NoP) y modelos de acceso a DRAM para habilitar un sistema informático de alto rendimiento de extremo a extremo. SIAM es escalable para admitir redes neuronales profundas (DNN) y se puede personalizar para varias estructuras y configuraciones de red. Su equipo de investigación demuestra la flexibilidad, la escalabilidad y la velocidad de simulación de SIAM mediante la evaluación comparativa de diferentes DNN avanzados utilizando conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet. Se dice que, en comparación con NVIDIA V100 y GPU T4, la arquitectura de chiplet + IMC obtenida a través de SIAM muestra que la eficiencia energética de ResNet-50 en el conjunto de datos de ImageNet ha aumentado en 130 y 72, respectivamente.
Esto significa que se espera que el chip de IA integrado de computación de almacenamiento logre una integración heterogénea con la ayuda de la tecnología Chiplet y la tecnología de empaquetado de pilas 2.5D/3D, formando así un sistema informático a gran escala. La combinación de almacenamiento y cálculo + Chiplet parece ser una forma factible de realizarlo. Se dice que Yizhu Technology está explorando este camino. Su chip comercial de gran potencia de cómputo integrado de IA de almacenamiento y cálculo de primera generación puede lograr una potencia de cómputo de una sola tarjeta de más de 500T, y el consumo de energía dentro de 75W. Tal vez esto sea el preludio de la segunda curva de crecimiento de la potencia informática de la IA.
Conclusión
En la Conferencia Mundial de Inteligencia Artificial, la directora ejecutiva de AMD, Lisa Su, dijo que habrá un superciclo informático a gran escala en los próximos diez años, por lo que es un buen momento para convertirse en un proveedor de tecnología y también es diferente de algunas empresas que utilizará estas tecnologías para desarrollar diferentes tecnologías Un buen momento para trabajar con los clientes de la aplicación.
Nadie quiere una industria con un solo jugador dominante. ¿Puede el mercado modelo a gran escala permitir que la industria de chips tenga una nueva estructura de mercado y pueden surgir nuevos jugadores?
"El mercado de modelos grandes ha traído nuevos patrones de mercado y oportunidades a la industria de chips. Al promover el desarrollo de chips de IA, promover el crecimiento de los mercados de computación en la nube y centros de datos, y desencadenar cambios en el panorama competitivo, el aumento de modelos grandes ha trajo nuevas oportunidades a la industria de los chips dirección del desarrollo.
Cabe señalar que la industria de los chips es una industria altamente competitiva e intensiva en tecnología. Entrar en la industria requiere importantes recursos financieros y técnicos para cumplir con los complejos requisitos de fabricación e I+D. Si bien el mercado de modelos a gran escala brinda oportunidades para los nuevos jugadores, deben superar los desafíos técnicos, financieros y de marketing para tener éxito en la industria de chips altamente competitiva. "Chatgpt respondió.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Mercado de modelos a gran escala, no solo el caliente HBM
Fuente original: Industria de Semiconductores Vertical y Horizontal
Recientemente, HBM se ha convertido en un tema candente en la industria de los chips. Según TrendForce, se espera que el volumen de bits de la memoria de alto ancho de banda (HBM) alcance los 290 millones de GB en 2023, un aumento interanual de aproximadamente el 60 %, y se espera que aumente aún más en un 30 % en 2024. El concepto de memoria HBM propuesto por AMD en 2008 fue realizado por SK Hynix a través de la tecnología TSV en 2013. 10 años después de su introducción, HBM parece haber llegado realmente a la era de la comercialización a gran escala.
El despegue del concepto de HBM está directamente relacionado con la popularidad de AIGC. Los servidores de IA tienen mayores requisitos de ancho de banda.En comparación con DDR SDRAM, HBM tiene un mayor ancho de banda y un menor consumo de energía. El ancho de banda ultraalto convierte a HBM en un componente central de la GPU de alto rendimiento, y HBM es básicamente la configuración estándar de los servidores de IA. En la actualidad, el costo de HBM ocupa el tercer lugar en el costo de los servidores de IA, lo que representa alrededor del 9 %, y el precio de venta promedio de un solo servidor llega a los 18 000 USD.
Desde la aparición de ChatGPT el año pasado, el mercado de modelos a gran escala ha comenzado a crecer rápidamente. En el mercado nacional, gigantes tecnológicos como Baidu, Ali, HKUST Xunfei, SenseTime y Huawei han anunciado sucesivamente que entrenarán su propia IA. maquetas a gran escala. TrendForce predice que en 2025 habrá 5 AIGC a gran escala equivalentes a ChatGPT, 25 productos AIGC de tamaño medio de Midjourney y 80 productos AIGC a pequeña escala. Incluso los recursos de potencia informática mínimos necesarios a nivel mundial pueden requerir de 145 600 a 233 700 GPU NVIDIA A100 . Estas son áreas de crecimiento potencial para HBM.
Desde principios de 2023, los pedidos de HBM de Samsung y SK Hynix han aumentado rápidamente, y el precio de HBM también ha aumentado. Recientemente, el precio de HBM3 DRAM se ha multiplicado por 5. Samsung ha recibido pedidos de AMD y Nvidia para aumentar el suministro de HBM. SK hynix ha comenzado a ampliar la línea de producción de HBM con el objetivo de duplicar la capacidad de producción de HBM. Los medios coreanos informaron que Samsung planea invertir alrededor de 760 millones de dólares estadounidenses para expandir la producción de HBM, con el objetivo de duplicar la capacidad de producción de HBM para fines del próximo año, y la compañía ha realizado importantes pedidos de equipos.
Ventajas de HBM en AIGC
Sencillamente, HBM aumentará la potencia informática de los servidores. Debido al procesamiento de una gran cantidad de datos en un corto período de tiempo, los servidores de IA tienen mayores requisitos de ancho de banda. La función de HBM es similar a la "estación de transferencia" de datos, que consiste en guardar los datos de la imagen, como cada fotograma e imagen utilizados en el área de búfer de fotogramas, y esperar a que llame la GPU. En comparación con la tecnología de memoria tradicional, HBM tiene un mayor ancho de banda, más cantidad de E/S, menor consumo de energía y un tamaño más pequeño, lo que puede mejorar en gran medida el volumen de procesamiento de datos y la velocidad de transmisión de los servidores de IA.
Puede verse que HBM tiene una ventaja de nivel "móvil" en términos de ancho de banda. Si HBM2E se ejecuta a 3,6 Gbps en una interfaz amplia de 1024 bits, obtiene 3,7 Tb por segundo de ancho de banda, que es más de 18 veces el ancho de banda de LPDDR5 o DDR4.
Además de la ventaja del ancho de banda, HBM puede ahorrar espacio, lo que a su vez puede acomodar más GPU en el sistema. La memoria de HBM consta de una pila de memoria en el mismo paquete físico que la GPU.
El precio ha sido un factor limitante para HBM en el pasado. Pero ahora el mercado de modelos a gran escala se encuentra en un período de contienda. Para los gigantes que diseñan modelos a gran escala, el tiempo es dinero. Por lo tanto, HBM, que es "caro y caro", se ha convertido en el nuevo favorito de los modelos a gran escala. modelos a escala de gigantes. Con el aumento gradual de la demanda de GPU de gama alta, HBM ha comenzado a convertirse en la configuración estándar de los servidores de IA.
En la actualidad, las A100 y H100 de Nvidia están equipadas con 80 GB de HBM2e y HBM3 cada una. En su último chip Grace Hopper que integra CPU y GPU, la capacidad de carga de HBM de un solo chip ha aumentado un 20 %, alcanzando los 96 GB.
El MI300 de AMD también está equipado con HBM3. Entre ellos, la capacidad del MI300A es la misma que la de 128 GB de la generación anterior, y el MI300X de gama alta alcanza los 192 GB, un aumento del 50 %.
Se espera que Google amplíe activamente su cooperación con Broadcom en la segunda mitad de 2023 para desarrollar el chip de aceleración AISC AI. También se planea que TPU esté equipado con memoria HBM para expandir la infraestructura AI.
Disposición acelerada del proveedor de almacenamiento
Tal "escena de dinero" permite a los gigantes del almacenamiento acelerar el diseño de la memoria HBM. En la actualidad, los tres principales fabricantes de chips de memoria del mundo están transfiriendo más capacidad de producción para producir HBM, pero debido a que lleva tiempo ajustar la capacidad de producción, es difícil aumentar rápidamente la producción de HBM y se espera que la oferta de HBM siga siendo escasa. en los próximos dos años.
El mercado de HBM está controlado principalmente por los tres grandes gigantes de DRAM. Sin embargo, a diferencia del mercado DRAM, liderado por Samsung, SK Hynix se ha desarrollado mejor en el mercado HBM. Como se mencionó al principio, SK Hynix desarrolló el primer producto de HBM. En abril de 2023, SK Hynix anunció el desarrollo del primer producto DRAM HBM3 de 24 GB, que utiliza la tecnología TSV para apilar verticalmente 12 chips DRAM de un solo producto que son un 40 % más delgados que los chips existentes, alcanzando la misma altura que los productos de 16 GB. Mientras tanto, SK Hynix planea preparar muestras de HBM3E con un rendimiento de transmisión de datos de 8 Gbps en la segunda mitad de 2023 y ponerlo en producción en masa en 2024.
El diseño de las empresas nacionales de semiconductores para HBM gira principalmente en torno al campo del embalaje y las interfaces.
Actualmente, NationalChip Technology está investigando y planificando la tecnología de empaquetado de chips 2.5D de memoria multi-HBM y promoviendo activamente la investigación, el desarrollo y la aplicación de la tecnología Chiplet. Después de la finalización de la línea de producción 2.5D/3D de Tongfu Microelectronics Co., Ltd., logrará un avance nacional en el campo de la tecnología de envasado de alto rendimiento de HBM. BIWIN ha lanzado chips de memoria y módulos de memoria de alto rendimiento y seguirá prestando atención a la tecnología HBM. El chip Retimer PCIe 5.0/CXL 2.0 de Montage Technology ha logrado la producción en masa. Este chip es una actualización clave del producto Retimer PCIe 4.0 de Montage Technology, que puede proporcionar a la industria un PCIe 5.0/CXL 2.0 estable y confiable de alto ancho de banda y baja latencia. solución de interconexión.
Aunque HBM es bueno, todavía necesita estar tranquilo, HBM todavía está en una etapa relativamente temprana y su futuro aún tiene un largo camino por recorrer. Es previsible que a medida que más y más fabricantes continúen esforzándose en campos como la IA y el aprendizaje automático, la complejidad del diseño de productos de memoria aumente rápidamente y se impongan mayores requisitos de ancho de banda. de HBM.
El atractivo de HBM refleja la capacidad de conducción de AIGC. Entonces, además de HBM y GPU, ¿hay otros productos que puedan aprovechar esta nueva tendencia?
Habla sobre otras fichas encendidas
Las ventajas de FPGA empiezan a aparecer
FPGA (Field Programmable Gate Array) es un circuito integrado con elementos lógicos programables, memoria y recursos de interconexión. A diferencia de ASIC (Circuito Integrado de Aplicación Específica), FPGA tiene las ventajas de flexibilidad, capacidad de personalización, capacidad de procesamiento paralelo y fácil actualización.
A través de la programación, los usuarios pueden cambiar los escenarios de aplicación de FPGA en cualquier momento, y FPGA puede simular varias operaciones paralelas de CPU, GPU y otro hardware. Por lo tanto, también se le llama "chip universal" en la industria.
Los FPGA tienen sentido para las necesidades de razonamiento de inteligencia artificial de los modelos subyacentes que cambian con frecuencia. La programabilidad de FPGA supera la economía típica del uso de FPGA. Para ser claros, los FPGA no serán competidores serios de los sistemas de IA a gran escala que utilizan miles de GPU, pero a medida que la IA penetre más en la electrónica, la gama de aplicaciones para los FPGA se ampliará.
La ventaja de FPGA sobre GPU es un menor consumo de energía y latencia. La GPU no puede hacer un buen uso de la memoria en el chip y necesita leer con frecuencia la DRAM fuera del chip, por lo que el consumo de energía es muy alto. FPGA puede usar almacenamiento en chip de manera flexible, por lo que el consumo de energía es mucho menor que el de GPU.
El 27 de junio, AMD anunció el lanzamiento del sistema en chip (SoC) adaptativo AMD Versal Premium VP1902, que es un SoC adaptativo basado en FPGA. Este es un dispositivo basado en chiplet de grado de emulación que simplifica la verificación de diseños de semiconductores cada vez más complejos. Se informa que AMD VP1902 se convertirá en el FPGA más grande del mundo. En comparación con el producto de la generación anterior (Xilinx VU19P), el nuevo VP1902 agrega la función Versal y adopta un diseño de chip pequeño, que duplica con creces el rendimiento clave de FPGA.
Dongxing Securities Research Report cree que FPGA tiene una gran ventaja en el razonamiento de IA en virtud de las ventajas de retraso y consumo de energía que ofrece su arquitectura. El informe de investigación anterior de Zheshang Securities también señaló que, además de la GPU, la solución CPU+FPGA también puede satisfacer la enorme demanda de potencia informática de la IA.
A diferencia de que HBM está monopolizado por empresas extranjeras, las empresas nacionales ya han acumulado chips FPGA.
El negocio principal de Anlu Technology es la I+D, el diseño y la venta de chips FPGA y software EDA especial.Los productos han sido ampliamente utilizados en control industrial, comunicación en red, electrónica de consumo y otros campos. Ziguang Tongchuang, una subsidiaria de Ziguang Guowei, es una empresa profesional de FPGA que diseña y vende chips FPGA de uso general. Ziguang Guowei dijo una vez en la sesión informativa sobre el rendimiento que el chip FPGA de la empresa se puede utilizar en el campo de la IA. Dongtu Technology lleva a cabo principalmente la industrialización de chips FPGA. El equipo de la empresa accionista Zhongke Yihai Micro ha desarrollado de forma independiente el software EDA para respaldar el desarrollo de aplicaciones de sus productos FPGA.
Nueva Idea para Sustitución Doméstica: Integración de Almacenamiento y Computación + Chiplet
¿Podemos usar nuestros procesos y tecnologías disponibles actualmente para desarrollar chips de IA que puedan competir con Nvidia en términos de rendimiento? Han surgido algunas "nuevas ideas", como la integración de almacenamiento y cálculo + Chiplet.
La separación del almacenamiento y el cálculo dará lugar a cuellos de botella en la potencia informática. Con el rápido desarrollo de la tecnología de IA, la demanda de poder de cómputo se ha disparado. En la era posterior a Moore, el ancho de banda de almacenamiento restringe el ancho de banda efectivo del sistema informático y el crecimiento de la potencia informática del sistema está en apuros. Por ejemplo, se necesitan 99 días para entrenar el modelo BERT desde cero con 8 bloques de 1080TI. La arquitectura integrada de computación de almacenamiento no tiene el concepto de almacenamiento multinivel profundo. Todos los cálculos se implementan en la memoria, lo que elimina el muro de almacenamiento y la sobrecarga adicional correspondiente causada por la heterogeneidad de la computación de almacenamiento; la eliminación del muro de almacenamiento puede reduce el manejo de datos. , no solo mejora la transmisión de datos y la velocidad de procesamiento, sino que también mejora la relación de eficiencia energética varias veces.
Por un lado, se reducirá el consumo de energía requerido para procesar la misma potencia de cómputo entre la arquitectura integrada de cómputo de almacenamiento y el procesador de arquitectura tradicional; Abrir el muro de compilación de la arquitectura tradicional.
Los académicos de la Universidad Estatal de Arizona lanzaron un simulador de referencia de arquitectura IMC basado en Chiplet SIAM en 2021 para evaluar el potencial de esta nueva arquitectura en el entrenamiento de modelos grandes de IA. SIAM integra dispositivos, circuitos, arquitectura, red en chip (NoC), red en paquete (NoP) y modelos de acceso a DRAM para habilitar un sistema informático de alto rendimiento de extremo a extremo. SIAM es escalable para admitir redes neuronales profundas (DNN) y se puede personalizar para varias estructuras y configuraciones de red. Su equipo de investigación demuestra la flexibilidad, la escalabilidad y la velocidad de simulación de SIAM mediante la evaluación comparativa de diferentes DNN avanzados utilizando conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet. Se dice que, en comparación con NVIDIA V100 y GPU T4, la arquitectura de chiplet + IMC obtenida a través de SIAM muestra que la eficiencia energética de ResNet-50 en el conjunto de datos de ImageNet ha aumentado en 130 y 72, respectivamente.
Esto significa que se espera que el chip de IA integrado de computación de almacenamiento logre una integración heterogénea con la ayuda de la tecnología Chiplet y la tecnología de empaquetado de pilas 2.5D/3D, formando así un sistema informático a gran escala. La combinación de almacenamiento y cálculo + Chiplet parece ser una forma factible de realizarlo. Se dice que Yizhu Technology está explorando este camino. Su chip comercial de gran potencia de cómputo integrado de IA de almacenamiento y cálculo de primera generación puede lograr una potencia de cómputo de una sola tarjeta de más de 500T, y el consumo de energía dentro de 75W. Tal vez esto sea el preludio de la segunda curva de crecimiento de la potencia informática de la IA.
Conclusión
En la Conferencia Mundial de Inteligencia Artificial, la directora ejecutiva de AMD, Lisa Su, dijo que habrá un superciclo informático a gran escala en los próximos diez años, por lo que es un buen momento para convertirse en un proveedor de tecnología y también es diferente de algunas empresas que utilizará estas tecnologías para desarrollar diferentes tecnologías Un buen momento para trabajar con los clientes de la aplicación.
Nadie quiere una industria con un solo jugador dominante. ¿Puede el mercado modelo a gran escala permitir que la industria de chips tenga una nueva estructura de mercado y pueden surgir nuevos jugadores?
"El mercado de modelos grandes ha traído nuevos patrones de mercado y oportunidades a la industria de chips. Al promover el desarrollo de chips de IA, promover el crecimiento de los mercados de computación en la nube y centros de datos, y desencadenar cambios en el panorama competitivo, el aumento de modelos grandes ha trajo nuevas oportunidades a la industria de los chips dirección del desarrollo.
Cabe señalar que la industria de los chips es una industria altamente competitiva e intensiva en tecnología. Entrar en la industria requiere importantes recursos financieros y técnicos para cumplir con los complejos requisitos de fabricación e I+D. Si bien el mercado de modelos a gran escala brinda oportunidades para los nuevos jugadores, deben superar los desafíos técnicos, financieros y de marketing para tener éxito en la industria de chips altamente competitiva. "Chatgpt respondió.