Grande atualização do chip de IA do Google: visando grandes modelos e IA generativa, e também integrando estruturas convencionais de aprendizagem profunda

Fonte da imagem: gerada por Unbounded AI

O Google sempre construiu recursos de IA líderes do setor, como a arquitetura Transformer, que lidera o desenvolvimento de uma nova geração de inteligência artificial, e infraestrutura que usa IA para otimização. Entre eles, o Google Cloud está comprometido em fornecer serviços avançados de infraestrutura de IA, incluindo GPU e TPU.

Em 29 de agosto, horário local, o Google Cloud realizou a conferência anual Google Cloud Next '23 e lançou um novo produto TPU - Cloud TPU v5e, que é um portfólio de produtos de infraestrutura otimizado para IA e se tornará o mais econômico até o momento. TPU em nuvem versátil e escalável. Uma versão de visualização está disponível atualmente.

Aprendemos que o TPU v5e pode ser integrado ao Google Kubernetes Engine (GKE), Vertex AI, uma ferramenta de desenvolvedor para construção de modelos e aplicativos de IA, e estruturas de aprendizado profundo como Pytorch, JAX e TensorFlow, fornecendo uma solução fácil de usar e interface familiar., muito fácil de começar.

O Google Cloud também lançou VMs A3 de supercomputador GPU baseadas na GPU NVIDIA H100 para fornecer suporte para modelos grandes de IA em larga escala. Este produto estará disponível em geral em setembro.

*Pichai, CEO do Google. *

• **Tweet de Jeff Dean, cientista-chefe do Google e acadêmico renomado. *

Além disso, no evento, o Google também anunciou que adicionaria ferramentas de IA (como Llama 2 e Claude 2) de empresas como Meta e Anthropic à sua plataforma em nuvem, integrando poderosas capacidades de IA generativa em produtos em nuvem. Atualmente, incluindo Llama 2 e Claude 2, os clientes do Google Cloud têm acesso a mais de 100 modelos e ferramentas poderosas de IA.

Em comparação com a TPU v4, em quais aspectos a TPU v5e foi atualizada

Qual é o desempenho e a facilidade de uso do TPU v5e lançado pelo Google Cloud desta vez? Vamos ver.

De acordo com dados oficiais, o Cloud TPU v5e traz alto desempenho e economia para treinamento e inferência em média e grande escala. Pode-se dizer que esta geração de TPU foi especialmente projetada para modelos de linguagem grande e modelos de IA generativos.Em comparação com a geração anterior TPU v4, o desempenho do treinamento por dólar pode ser aumentado em até 2 vezes, e o desempenho de inferência por dólar pode ser aumentou em até 2,5 vezes. E o custo da TPU v5e é menos da metade do TPU v4, dando a mais instituições a oportunidade de treinar e implantar modelos de IA maiores e mais complexos.

*Chip TPU v5e. *

Vale ressaltar que, graças à inovação tecnológica, esses benefícios de custo não exigem nenhum sacrifício de desempenho ou flexibilidade. O Google Cloud utiliza pods TPU v5e para equilibrar desempenho, flexibilidade e eficiência, permitindo a interconexão de até 256 chips, com uma largura de banda total de mais de 400 Tb/s e desempenho INT8 de 100 petaOps.

*Um detalhe de fatia 2D da TPU v5e. *

TPU v5e também tem grande versatilidade, suportando oito configurações diferentes de máquinas virtuais, e o número de chips em um único chip pode variar de um a 256, permitindo que os clientes escolham a configuração apropriada para suportar modelos de linguagem grande e IA generativa de diferentes tamanhos.

Além de maior funcionalidade e economia, o TPU v5e também leva a facilidade de uso a um nível totalmente novo. Os clientes agora podem usar o Google Kubernetes Engine (GKE) para gerenciar a orquestração de cargas de trabalho de IA em larga escala na TPU v5e e na TPU v4, melhorando assim a eficiência do desenvolvimento de IA. Para organizações que preferem um serviço gerenciado simples, a Vertex AI agora oferece suporte ao uso de máquinas virtuais Cloud TPU para treinar diferentes estruturas e bibliotecas.

Além disso, conforme mencionado anteriormente, o Cloud TPU v5e oferece suporte integrado para as principais estruturas de IA, como JAX, PyTorch e TensorFlow, bem como ferramentas populares de código aberto (Transformers and Accelerate da Huggingface, PyTorch Lightning e Ray). A próxima versão PyTorch/XLA 2.1 oferecerá suporte ao TPU v5e e novos recursos, como modelagem e paralelismo de dados para treinamento de modelos em grande escala.

Por fim, para facilitar a expansão do trabalho de treinamento, o Google Cloud introduziu a tecnologia Multislice na versão de visualização do TPU v5e, permitindo aos usuários expandir facilmente os modelos de IA além do escopo dos pods físicos do TPU para acomodar até dezenas de milhares de TPU v5e ou TPU. chips v4. .

*Utilize vários Podslices de TPU para obter expansão de desempenho linear. *

A partir de agora, os trabalhos de treinamento usando TPUs estão limitados a um único chip TPU, com o TPU v4 tendo um número máximo de fatias de 3.072. Com o Multislice, os desenvolvedores podem dimensionar cargas de trabalho para dezenas de milhares de chips usando a tecnologia ICI (Intra-Chip Interconnect) em um único pod ou por meio de vários pods em uma rede de data center (DCN).

Essa técnica de fatiamento multicamadas fornece suporte para o Google construir seu modelo PaLM de última geração. Agora os clientes do Google Cloud também podem experimentar esta tecnologia.

A TPU v5e atualizada foi altamente reconhecida pelos clientes. Domenic Donato, vice-presidente de tecnologia da AssemblyAI, disse que ao usar o TPU v5e para executar inferências em seu modelo ASR (reconhecimento automático de fala), o desempenho por dólar é consistentemente 4 vezes maior do que soluções semelhantes no mercado. Essa poderosa combinação de software e hardware pode fornecer aos seus clientes soluções de IA mais econômicas.

À medida que o Google Cloud continua a atualizar sua infraestrutura de IA, mais e mais clientes optarão por usar os serviços do Google Cloud. De acordo com uma introdução anterior da Aplabet, controladora do Google, mais da metade das startups generativas de IA estão usando a plataforma de computação em nuvem do Google.

Para o Google, o Cloud TPU v5e é o prelúdio para mudar ainda mais o modelo do produto e capacitar os clientes da nuvem.

Link de referência: