Крупное обновление чипа Google AI: ориентировано на большие модели и генеративный искусственный интеллект, а также на интеграцию основных фреймворков глубокого обучения.

Источник изображения: Создано Unbounded AI

Google всегда создавал лучшие в отрасли возможности искусственного интеллекта, такие как архитектура Transformer, которая возглавляет разработку нового поколения искусственного интеллекта, и инфраструктуру, использующую ИИ для оптимизации. Среди них Google Cloud стремится предоставлять передовые услуги инфраструктуры искусственного интеллекта, включая графические процессоры и TPU.

29 августа по местному времени компания Google Cloud провела ежегодную конференцию Google Cloud Next '23 и запустила новый продукт TPU — Cloud TPU v5e, который представляет собой портфель инфраструктурных продуктов, оптимизированных для искусственного интеллекта, и на данный момент будет наиболее экономически эффективным. многофункциональный и масштабируемый облачный ТПУ. В настоящее время доступна предварительная версия.

Мы узнали, что TPU v5e можно интегрировать с Google Kubernetes Engine (GKE), Vertex AI, инструментом разработчика для создания моделей и приложений искусственного интеллекта, а также с платформами глубокого обучения, такими как Pytorch, JAX, TensorFlow и т. д., обеспечивая простой в использовании использование и знакомый интерфейс, очень легко начать работу.

Google Cloud также запустил виртуальные машины A3, суперкомпьютер с графическим процессором на базе графического процессора Nvidia H100, обеспечивающий поддержку крупномасштабных моделей искусственного интеллекта. Этот продукт будет доступен в сентябре.

*Генеральный директор Google Пичаи. *

• **Твит от Джеффа Дина, главного научного сотрудника Google и известного учёного. *

Кроме того, на мероприятии Google также объявила, что добавит в свою облачную платформу инструменты искусственного интеллекта от таких компаний, как Meta и Anthropic (например, Llama 2 и Claude 2), интегрируя мощные возможности генеративного искусственного интеллекта в облачные продукты. В настоящее время клиенты Google Cloud, включая Llama 2 и Claude 2, имеют доступ к более чем 100 мощным моделям и инструментам искусственного интеллекта.

По сравнению с TPU v4, в каких аспектах был обновлен TPU v5e

Какова производительность и простота использования TPU v5e, выпущенного Google Cloud на этот раз? Давайте посмотрим.

Согласно официальным данным, Cloud TPU v5e обеспечивает высокую производительность и экономическую эффективность для средне- и крупномасштабного обучения и вывода. Можно сказать, что это поколение TPU специально разработано для больших языковых моделей и генеративных моделей искусственного интеллекта.По сравнению с TPU предыдущего поколения v4, производительность обучения на доллар может быть увеличена до 2 раз, а производительность вывода на доллар может быть увеличена. увеличилось в 2,5 раза. А стоимость TPU v5e составляет менее половины стоимости TPU v4, что дает большему количеству учреждений возможность обучать и развертывать более крупные и сложные модели ИИ.

*Чип ТПУ v5e. *

Стоит отметить, что благодаря технологическим инновациям эти экономические преимущества не требуют каких-либо жертв в производительности или гибкости. Google Cloud использует модули TPU v5e для баланса производительности, гибкости и эффективности, позволяя соединять до 256 чипов с общей пропускной способностью более 400 Тбит/с и производительностью INT8 100 петаопс.

*Деталь 2D-среза TPU v5e. *

TPU v5e также обладает высокой универсальностью, поддерживая восемь различных конфигураций виртуальных машин, а количество чипов в одном чипе может варьироваться от одного до 256, что позволяет клиентам выбирать подходящую конфигурацию для поддержки больших языковых моделей и генеративного искусственного интеллекта разных размеров.

Помимо большей функциональности и экономической эффективности, TPU v5e также выводит простоту использования на совершенно новый уровень. Теперь клиенты могут использовать Google Kubernetes Engine (GKE) для управления крупномасштабной оркестровкой рабочих нагрузок ИИ на TPU v5e и TPU v4, тем самым повышая эффективность разработки ИИ. Для учреждений, предпочитающих простой хостинг, Vertex AI теперь поддерживает использование виртуальных машин Cloud TPU для обучения различным платформам и библиотекам.

Кроме того, как упоминалось ранее, Cloud TPU v5e обеспечивает встроенную поддержку ведущих инфраструктур искусственного интеллекта, таких как JAX, PyTorch и TensorFlow, а также популярных инструментов с открытым исходным кодом (Transformers and Accelerate от Huggingface, PyTorch Lightning и Ray). Предстоящая версия PyTorch/XLA 2.1 будет поддерживать TPU v5e и новые функции, такие как моделирование и параллелизм данных для крупномасштабного обучения моделей.

Наконец, чтобы упростить работу по обучению, Google Cloud представила технологию Multislice в предварительной версии TPU v5e, позволяющую пользователям легко расширять модель искусственного интеллекта и выходить за рамки физических модулей TPU, которые могут вмещать до десятков тысяч чипов TPU v5e или TPU v4.

*Использование нескольких подсрезов TPU для достижения линейного масштабирования производительности. *

На данный момент обучение с использованием TPU ограничено одним чипом TPU, а максимальное количество срезов для TPU v4 составляет 3072. С помощью Multislice разработчики могут масштабировать рабочие нагрузки до десятков тысяч микросхем с использованием технологии ICI (Intra-Chip Interconnect) внутри одного модуля или нескольких модулей в сети центров обработки данных (DCN).

Эта технология многоуровневой нарезки позволяет Google создавать современную модель PaLM. Теперь клиенты Google Cloud также могут испытать эту технологию.

Модернизированный TPU v5e получил высокую оценку клиентов. Доменик Донато, вице-президент по технологиям компании AssemblyAI, сказал, что при использовании TPU v5e для вывода моделей ASR (автоматического распознавания речи) производительность на доллар неизменно в 4 раза выше, чем у аналогичных решений на рынке. Эта мощная комбинация программного и аппаратного обеспечения может предоставить клиентам более экономичные решения в области искусственного интеллекта.

Поскольку Google Cloud продолжает модернизировать свою инфраструктуру искусственного интеллекта, все больше и больше клиентов предпочитают использовать сервисы Google Cloud. Согласно предыдущему сообщению материнской компании Google Alabet, более половины стартапов в области генеративного искусственного интеллекта используют платформу облачных вычислений Google.

Для Google Cloud TPU v5e — это прелюдия к дальнейшему изменению модели продукта и расширению возможностей облачных клиентов.

Справочная ссылка: