Основне оновлення чіпа Google AI: орієнтація на великі моделі та генеративний AI, а також інтеграція основних інфраструктур глибокого навчання

Джерело зображення: створено Unbounded AI

Протягом тривалого часу Google створювала провідні в галузі можливості штучного інтелекту, такі як архітектура Transformer, яка веде розробку нового покоління штучного інтелекту, та інфраструктуру, оптимізовану за допомогою штучного інтелекту. Серед них Google Cloud прагне надавати передові послуги інфраструктури ШІ, включаючи GPU та TPU.

29 серпня за місцевим часом Google Cloud провела щорічну конференцію Google Cloud Next '23 і запустила новий продукт TPU – Cloud TPU v5e, який є оптимізованим для ШІ портфоліо інфраструктурних продуктів і буде найбільш економічно ефективним на сьогодні. універсальний і масштабований хмарний TPU. Наразі доступна попередня версія.

Ми дізналися, що TPU v5e можна інтегрувати з Google Kubernetes Engine (GKE), Vertex AI, інструментом розробника для побудови моделей і додатків штучного інтелекту, а також фреймворками глибокого навчання, такими як Pytorch, JAX і TensorFlow, забезпечуючи простий у використанні та знайомий інтерфейс. , легко почати.

Google Cloud також запустив A3 VMs, суперкомп’ютер із графічним процесором на основі графічного процесора Nvidia H100, щоб забезпечити підтримку великомасштабних моделей ШІ. Цей продукт буде загальнодоступним у вересні.

*Генеральний директор Google Пічаї. *

• **Твіт від Джеффа Діна, головного наукового співробітника Google і відомого вченого. *

Крім того, під час заходу Google також оголосила, що додасть до своєї хмарної платформи інструменти ШІ (такі як Llama 2 і Claude 2) від таких компаній, як Meta та Anthropic, інтегруючи потужні генеративні можливості ШІ в хмарні продукти. Наразі, включаючи Llama 2 і Claude 2, клієнти Google Cloud мають доступ до понад 100 потужних моделей і інструментів ШІ.

Порівняно з TPU v4, у яких аспектах TPU v5e було оновлено

Яка продуктивність і простота використання TPU v5e, запущеного Google Cloud цього разу? Побачимо далі.

Згідно з офіційними даними, Cloud TPU v5e забезпечує високу продуктивність і економічну ефективність для середньо- та великомасштабного навчання та висновків. Це покоління TPU, можна сказати, спеціально створене для великих мовних моделей і генеративних моделей AI.Порівняно з попереднім поколінням TPU v4, ефективність навчання на долар покращується майже в 2 рази, а продуктивність висновку на долар покращується на до 2,5 разів. А вартість TPU v5e менше половини TPU v4, що дає більше установам можливість навчати та розгортати більші та складніші моделі ШІ.

* Чіп TPU v5e. *

Примітно, що ці економічні переваги не вимагають жертвувати будь-якою продуктивністю чи гнучкістю завдяки технологічним інноваціям. Google Cloud використовує модулі TPU v5e, щоб збалансувати продуктивність, гнучкість і ефективність, дозволяючи з’єднувати до 256 мікросхем, загальну пропускну здатність перевищує 400 Тбіт/с і продуктивність INT8 досягає 100 petaOps.

* 2D деталь фрагмента TPU v5e. *

TPU v5e також має велику універсальність, підтримуючи вісім різних конфігурацій віртуальних машин, а кількість чіпів в одному чіпі може варіюватися від одного до 256, що дозволяє клієнтам вибирати відповідну конфігурацію для підтримки великих мовних моделей і генеративних ШІ різного масштабу. Модель.

Крім того, що TPU v5e є більш потужним і економічно ефективним, він також виводить зручність використання на абсолютно новий рівень. Тепер клієнти можуть використовувати Google Kubernetes Engine (GKE) для керування великомасштабним навантаженням ШІ на TPU v5e та TPU v4, тим самим покращуючи ефективність розробки ШІ. Для установ, які віддають перевагу простому хостингу, Vertex AI тепер підтримує використання віртуальних машин Cloud TPU для навчання різних фреймворків і бібліотек.

Крім того, як згадувалося раніше, Cloud TPU v5e забезпечує вбудовану підтримку провідних фреймворків ШІ, таких як JAX, PyTorch і TensorFlow, а також популярних інструментів з відкритим кодом (Huggingface's Transformers і Accelerate, PyTorch Lightning і Ray). Майбутня версія PyTorch/XLA 2.1 підтримуватиме TPU v5e і нові функції, такі як моделювання та паралелізм даних для навчання великомасштабних моделей.

Нарешті, щоб полегшити роботу з навчанням, Google Cloud представила технологію Multislice у попередній версії TPU v5e, що дозволяє користувачам легко розширювати моделі ШІ за межі фізичних модулів TPU для розміщення до десятків тисяч TPU v5e або TPU. чіпи v4..

*Використовуйте декілька компонентів TPU для досягнення лінійного розширення продуктивності. *

На даний момент навчальні завдання з використанням TPU обмежені одним чіпом TPU, причому TPU v4 має максимальну кількість фрагментів 3072. Завдяки Multislice розробники можуть масштабувати робоче навантаження до десятків тисяч мікросхем за допомогою технології ICI (Intra-Chip Interconnect) в межах одного модуля або кількох модулів у мережі центру обробки даних (DCN).

Ця техніка багатошарового нарізання забезпечує Google підтримку для створення своєї найсучаснішої моделі PaLM. Тепер клієнти Google Cloud також можуть випробувати цю технологію.

Оновлений TPU v5e отримав високу оцінку клієнтів. Доменік Донато, віце-президент з технологій AssemblyAI, сказав, що при використанні TPU v5e для виконання висновків на їхніх моделях ASR (автоматичне розпізнавання мовлення) продуктивність на долар стабільно в 4 рази перевищує продуктивність аналогічних рішень на ринку. Ця потужна комбінація програмного та апаратного забезпечення може надати своїм клієнтам більш економічно ефективні рішення ШІ.

Оскільки Google Cloud продовжує оновлювати свою інфраструктуру ШІ, все більше і більше клієнтів вирішуватимуть використовувати служби Google Cloud. Відповідно до попередньої презентації материнської компанії Google Aplabet, більше половини генеративних стартапів AI використовують платформу хмарних обчислень Google.

Для Google цей Cloud TPU v5e знаменує початок подальших змін у моделях продуктів і розширення можливостей клієнтів хмари.

Довідкове посилання: