Амбіції Nvidia: «рідний ШІ» повністю руйнує центр обробки даних

Джерело зображення: створено Unbounded AI

Джерело: Wall Street News

Автор: Чжао Ін

Про це заявив генеральний директор Nvidia Дженсен Хуанг на прес-конференції у вівторок. Вчора Nvidia випустила нове покоління платформи суперчіпів GH200 Grace Hopper, яка спеціально розроблена для ери прискорених обчислень і генеративного штучного інтелекту.

Хуан Реньсюнь зазначив, що для задоволення зростаючого попиту на генеративний ШІ центри обробки даних повинні мати прискорені обчислювальні платформи для особливих потреб. Нова платформа чіпів GH200 пропонує чудову технологію пам’яті та пропускну здатність, можливість підключати графічні процесори для сукупної продуктивності без втрати, а також має дизайн сервера, який можна легко розгорнути в центрі обробки даних. **

Варто зазначити, що поява хвилі великомасштабних моделей породила різноманітні власні додатки штучного інтелекту, що призвело до різкого зростання попиту на обчислювальну потужність.Ринок центрів обробки даних, призначений для додатків штучного інтелекту з інтенсивним об’ємом даних, швидко розвивається.

Центр обробки даних відкриває нові зміни

Аналітики відзначають, що в той час, як відомі провайдери хмарних обчислень змагаються за модернізацію центрів обробки даних передовими чіпами та іншими оновленнями, щоб відповідати вимогам програмного забезпечення штучного інтелекту, деякі початківці будівельники бачать можливість будувати нові об’єкти з нуля.

Центр обробки даних схожий на великий склад, обладнаний кількома стійками серверів, мережами та обладнанням для зберігання та обробки даних. Порівняно з традиційними центрами обробки даних центри обробки даних зі штучним інтелектом мають більше серверів, які використовують високопродуктивні мікросхеми, тому середнє споживання електроенергії на одну стійку серверів центрів обробки даних зі штучним інтелектом може досягати 50 кіловат або більше, тоді як кожна стійка традиційних центрів обробки даних споживає близько 7 кіловат. кВт.

Це означає, що центр обробки даних зі штучним інтелектом потребує більшої інфраструктури, яка може забезпечити вищу потужність. Оскільки додаткове споживання електроенергії вироблятиме більше тепла, центр обробки даних зі штучним інтелектом також потребує інших методів охолодження, таких як рідинне охолодження системи, щоб захистити пристрій від перегріву.

Манджу Наглапур, старший віце-президент консалтингової компанії Unisys, зазначив:

**Спеціально створені центри обробки даних зі штучним інтелектом можуть розміщувати сервери, які використовують мікросхеми штучного інтелекту, такі як графічні процесори Nvidia, що дозволяє виконувати кілька обчислень одночасно, коли додатки штучного інтелекту переглядають величезні сховища даних. ** Ці центри обробки даних також оснащені волоконно-оптичними мережами та більш ефективними пристроями зберігання для підтримки великомасштабних моделей штучного інтелекту.

Центри обробки даних зі штучним інтелектом – це вузькоспеціалізовані будівлі, які вимагають великих інвестицій грошей і часу. Згідно з даними дослідницької фірми Data Bridge Market Research, до 2029 року очікується, що витрати на глобальний ринок інфраструктури штучного інтелекту сягнуть 422,55 мільярда доларів США із загальним річним темпом зростання на 44% протягом наступних шести років.

Виконавчий директор DataBank Рауль Мартинек сказав, що темпи розгортання ШІ, ймовірно, призведуть до дефіциту потужностей центрів обробки даних у наступні 12-24 місяці.

Новачок у сфері штучного інтелекту отримав 2,3 мільярда доларів фінансування

Зараз різні гіганти роблять ставку на центри обробки даних AI, а «еталон нерухомості» Blackstone продає будинки та переходить на центри обробки даних AI. Meta також заявила, що побудує новий центр обробки даних штучного інтелекту.

Як згадувалося в попередній статті, CoreWeave, новачок в обчислювальній потужності ШІ, взяв іпотечний кредит у Nvidia H100 і отримав боргове фінансування в розмірі 2,3 мільярда доларів США (близько 16,5 мільярда юанів).

**CoreWeave повідомила, що кошти будуть спрямовані на прискорення будівництва центрів обробки даних зі штучним інтелектом. Це ще одне фінансування після того, як компанія отримала 221 мільйон доларів США в квітні цього року і 200 мільйонів доларів США в травні. Заснована шість років тому компанія CoreWeave вже має сім онлайн-центрів обробки даних зі штучним інтелектом і планує подвоїти їх до кінця цього року.

CoreWeave співпрацює з Nvidia та Inflection AI над створенням надвеликого кластера серверів AI з метою запуску 22 000 Nvidia H100. **Якщо буде завершено, він стане найбільшим у світі кластером серверів ШІ. **

Варто зазначити, що, згідно з офіційним веб-сайтом CoreWeave, їхні послуги на 80% дешевші, ніж традиційні постачальники хмарних обчислень. Найновіший сервер Nvidia HGX H100, який містить 8 H100 з 80 ГБ відеопам’яті та 1 ТБ пам’яті, коштує лише 2,23 доларів США за годину (16 юанів). **

У порівнянні з платформою попереднього покоління двочіпова конфігурація нової платформи GH200 Grace Hopper збільшує ємність пам'яті в 3,5 рази і пропускну здатність в 3 рази.Один сервер має 144 високопродуктивних ядра Arm Neoverse, 8 петафлопс продуктивності AI і найновіша технологія пам'яті HBM3e 282 ГБ.

Не дивно, що в цю епоху вибуху LLM Хуан Реньсюнь все ще сміливо сказав: «чим більше ви купуєте, тим більше ви заощаджуєте»!