Actualización importante del chip de IA de Google: dirigida a modelos grandes e IA generativa, y también integrando marcos de aprendizaje profundo convencionales

Fuente de la imagen: Generada por IA ilimitada

Google siempre ha creado capacidades de IA líderes en la industria, como la arquitectura Transformer que lidera el desarrollo de una nueva generación de inteligencia artificial y la infraestructura que utiliza IA para la optimización. Entre ellos, Google Cloud se compromete a proporcionar servicios avanzados de infraestructura de inteligencia artificial, incluidos GPU y TPU.

El 29 de agosto, hora local, Google Cloud celebró la conferencia anual Google Cloud Next '23 y lanzó un nuevo producto TPU: Cloud TPU v5e, que es una cartera de productos de infraestructura optimizada para IA y se convertirá en el más rentable hasta la fecha. TPU en la nube multifuncional y escalable. Actualmente hay una versión preliminar disponible.

Aprendimos que TPU v5e se puede integrar con Google Kubernetes Engine (GKE), Vertex AI, una herramienta de desarrollo para crear modelos y aplicaciones de IA, y marcos de aprendizaje profundo como Pytorch, JAX, TensorFlow, etc., proporcionando una solución fácil de usar. Uso e interfaz familiar, muy fácil de comenzar.

Google Cloud también lanzó máquinas virtuales A3 de supercomputadora GPU basadas en GPU NVIDIA H100 para brindar soporte para modelos grandes de IA a gran escala. El producto estará disponible de forma generalizada en septiembre.

* Pichai, director ejecutivo de Google. *

• **Tweet de Jeff Dean, científico jefe de Google y académico de renombre. *

Además, en el evento, Google también anunció que agregaría herramientas de inteligencia artificial (como Llama 2 y Claude 2) de compañías como Meta y Anthropic a su plataforma en la nube, integrando poderosas capacidades de inteligencia artificial generativa en productos en la nube. Actualmente, incluidos Llama 2 y Claude 2, los clientes de Google Cloud tienen acceso a más de 100 potentes modelos y herramientas de IA.

En comparación con TPU v4, en qué aspectos se ha actualizado TPU v5e

¿Cuál es el rendimiento y la facilidad de uso de TPU v5e lanzado por Google Cloud esta vez? Vamos a ver.

Según datos oficiales, Cloud TPU v5e ofrece alto rendimiento y rentabilidad para capacitación e inferencia a mediana y gran escala. Se puede decir que esta generación de TPU está especialmente diseñada para modelos de lenguaje grandes y modelos de IA generativa. En comparación con la generación anterior de TPU v4, el rendimiento del entrenamiento por dólar se mejora hasta 2 veces y el rendimiento de inferencia por dólar se mejora en hasta 2,5 veces. Y el costo de TPU v5e es menos de la mitad que el de TPU v4, lo que brinda a más instituciones la oportunidad de entrenar e implementar modelos de IA más grandes y complejos.

*Chip TPU v5e. *

Cabe mencionar que, gracias a la innovación tecnológica, estos beneficios de costos no requieren ningún sacrificio de rendimiento o flexibilidad. Google Cloud utiliza módulos TPU v5e para equilibrar el rendimiento, la flexibilidad y la eficiencia, lo que permite hasta 256 interconexiones de chips, un ancho de banda total que supera los 400 Tb/s y un rendimiento INT8 que alcanza los 100 petaOps.

* Detalle de corte 2D de un TPU v5e. *

TPU v5e también tiene una gran versatilidad, admite ocho configuraciones de máquinas virtuales diferentes y la cantidad de chips en un solo chip puede variar de uno a 256, lo que permite a los clientes elegir la configuración adecuada para admitir modelos de lenguaje grandes e IA generativas de diferentes escalas.

Además de una mayor funcionalidad y rentabilidad, TPU v5e también lleva la facilidad de uso a un nivel completamente nuevo. Los clientes ahora pueden utilizar Google Kubernetes Engine (GKE) para gestionar la orquestación de cargas de trabajo de IA a gran escala en TPU v5e y TPU v4, mejorando así la eficiencia del desarrollo de IA. Para las organizaciones que prefieren un servicio administrado simple, Vertex AI ahora admite el uso de máquinas virtuales Cloud TPU para entrenar diferentes marcos y bibliotecas.

Además, como se mencionó anteriormente, Cloud TPU v5e proporciona soporte integrado para marcos de IA líderes como JAX, PyTorch y TensorFlow, así como herramientas populares de código abierto (Transformers and Accelerate de Huggingface, PyTorch Lightning y Ray). La próxima versión de PyTorch/XLA 2.1 admitirá TPU v5e y nuevas funciones como modelado y paralelismo de datos para el entrenamiento de modelos a gran escala.

Finalmente, para ampliar el trabajo de capacitación más fácilmente, Google Cloud introdujo la tecnología Multislice en la versión preliminar de TPU v5e, lo que permite a los usuarios expandir fácilmente el modelo de IA y puede ir más allá del alcance de los pods físicos de TPU, que pueden acomodar hasta decenas de miles de chips TPU v5e o TPU v4.

*Uso de múltiples TPU Podslices para lograr un escalamiento lineal del rendimiento. *

A partir de ahora, los trabajos de capacitación que utilizan TPU están limitados a un solo chip de TPU, y la TPU v4 tiene un número máximo de segmentos de 3072. Con Multislice, los desarrolladores pueden escalar cargas de trabajo a decenas de miles de chips utilizando la tecnología ICI (Intra-Chip Interconnect) dentro de un solo Pod o mediante múltiples Pods en una red de centro de datos (DCN).

Esta técnica de corte multicapa brinda soporte a Google para construir su modelo PaLM de última generación. Ahora los clientes de Google Cloud también pueden experimentar esta tecnología.

El TPU v5e actualizado ha sido altamente reconocido por los clientes. Domenic Donato, vicepresidente de tecnología de AssemblyAI, dijo que cuando se utiliza TPU v5e para ejecutar inferencias en su modelo ASR (reconocimiento automático de voz), el rendimiento por dólar es consistentemente 4 veces mayor que el de soluciones similares en el mercado. Esta poderosa combinación de hardware y software puede proporcionar soluciones de IA más rentables a sus clientes.

A medida que Google Cloud continúa actualizando su infraestructura de inteligencia artificial, cada vez más clientes optarán por utilizar los servicios de Google Cloud. Según la presentación anterior de la empresa matriz de Google, Aplabet, más de la mitad de las nuevas empresas de IA generativa utilizan la plataforma de computación en la nube de Google.

Para Google, Cloud TPU v5e es el preludio de cambiar aún más el modelo de producto y empoderar a los clientes de la nube.

Link de referencia: