Nvidia, яка в самому розпалі, чи є наступною метою вкрасти бізнес хмарних постачальників?

Джерело зображення: створено Unbounded AI

Хмарна компанія, яка має GPU Nvidia

Завжди є нові новини про Nvidia, щоб вас здивувати.

Останній з них надійшов від CoreWeave, хмарного стартапу в США.

Компанія оголосила про фінансування в розмірі 2,3 мільярда доларів, і що ще більше шокувало те, що заставою цих грошей є графічний процесор, яким вона володіє. Під час зростання великих моделей графічний процесор став твердою валютою, і причиною, чому CoreWeave може мати так багато дефіцитних продуктів від Nvidia, є його минулий статус — найбільший майнер Ethereum у Північній Америці.

На той час вона мала понад 50 000 графічних процесорів для майнінгу. Зіштовхнувшись з нестабільністю майнінгу, CoreWeave звернула увагу на штучний інтелект та інші галузі, які вимагали паралельних обчислень, і придбала велику кількість мікросхем NVIDIA до того, як ChatGPT став популярним— —На цьому час, потужності виробництва чіпсів були достатніми.

У результаті CoreWeave стверджує, що є єдиною компанією у світі, яка може забезпечити обчислювальну потужність H100 у великих масштабах, а також перетворилася на «хмарного постачальника».

Так, його графічний процесор перевершує всі гіганти хмарних сервісів, включаючи Google Cloud, Amazon Cloud і Microsoft Azure.

Це може здатися дивним. Навіть без вузького місця, пов’язаного з кількістю графічних процесорів, будівництво центру обробки даних все одно потребує величезних витрат, вишуканого простору, дизайну розсіювання енергії та тепла, а також дуже складної взаємодії програмного та апаратного забезпечення. Загалом, лише ті, які можуть відповідати цим вимогам. умови Це може бути гігант, а не стартап, який щойно зібрав раунд серії B (421 мільйон доларів).

Здатність CoreWeave робити це випливає з зовсім іншого розуміння центру обробки даних.

Традиційні центри обробки даних складаються з центральних процесорів, які зосереджені на обчислювальних можливостях загального призначення, де домінують чіпи спочатку від Intel, а пізніше від AMD.

Однак у новому центрі обробки даних для прискорених обчислень більше уваги приділяється паралельним обчисленням, а це означає, що йому потрібна більша пам’ять, пропускна здатність і можливість тісно з’єднати всі прискорені обчислювальні блоки. Засновник і генеральний директор Nvidia Хуан Реньсюнь сказав, що процес є «модернізація центру обробки даних», яку він розглядає як 10-річний цикл.

Початок цього нового циклу віщує будівництво всього центру обробки даних, координацію програмного та апаратного забезпечення, і навіть структури електроживлення та охолодження потребують переробки. Це майже повернуло всіх постачальників хмарних послуг на початкову лінію — попереднє покоління рішень центрів обробки даних, розроблених для процесорів, навряд чи взагалі можна скопіювати. Наприклад, технологія Infinite Band, яка використовується Nvidia для з’єднання величезних кластерів GPU, потребує понад 500 миль кабелів, яких просто немає в традиційних конструкціях центрів обробки даних.

CoreWeave навів інший приклад. При тому ж розмірі сайту кластери GPU вимагають у 4 рази більше енергії, ніж традиційні центри обробки даних. Тому систему живлення та систему охолодження нового центру обробки даних потрібно повністю переробити, що навіть не розглядається як координація апаратне та програмне забезпечення вартість.

CoreWeave, який використав цю можливість, не тільки може забезпечити величезну обчислювальну потужність H100, але й у десятки разів швидший за інші хмарні сервіси, і в той же час вартість на 80% нижча. Ми можемо пояснити це його раннім Accurately implement Huang Renxun's бачення центру обробки даних - центр обробки даних трансформується в бік прискорених обчислень, а дефіцитна обчислювальна потужність постачається через хмару.

Таким чином, компанія з видобутку віртуальної валюти стала популярною компанією хмарних обчислень лише тому, що вона є найвірнішим послідовником Nvidia.

Що за хмара Nvidia Cloud

Той, хто має графічні процесори Nvidia, є найпопулярнішим постачальником хмарних технологій, тож хто має найбільше графічних процесорів Nvidia? Мабуть, сама.

Таким чином, підтримуючи подібні хмарні стартапи, Nvidia також створює власну хмару.

Nvidia має багато переваг у створенні хмари самостійно, найочевиднішою з яких є те, що її не турбує співвідношення між попитом і пропозицією GPU. Якось Маск публічно заявив, що отримати графічні процесори набагато складніше, ніж отримати ліки, і причина, чому CoreWeave може забезпечити надвелику обчислювальну потужність H100, також повідомляється, що пов’язана з достатньою пропозицією Nvidia – Nvidia брала участь у CoreWeave кілька місяців тому B раунд фінансування.

Але очевидно, що просто інвестувати в деякі компанії-початківці недостатньо, і величезний попит на обчислювальну потужність генеративного штучного інтелекту врешті-решт дозволить Nvidia закінчитися сама собою. На конференції GTC у березні цього року Nvidia запустила власний хмарний сервіс DGX Cloud, офіційний запуск якого відбувся в середині року.

Як видно з назви, DGX Cloud безпосередньо використовує можливості суперкомп’ютера Nvidia DGX, і кожен екземпляр хмари оснащений 8 графічними процесорами H100 або A100 і 640 ГБ пам’яті.

DGX Cloud використовує структуру з низькою затримкою, яка дозволяє масштабувати великі робочі процеси між кластерами та розподіляти їх паралельно між кількома обчислювальними вузлами. Наприклад, Oracle, яка вперше оголосила про співпрацю з DGX Cloud, може розгорнути більше 30 000 графічних процесорів A100 на кластер на OCI Supercluster, щоб великі моделі можна було навчати в хмарі. Користувачі можуть вільно отримувати доступ до своїх власних суперкомп’ютерів зі штучним інтелектом будь-де (Nvidia заявила, що розподіл обчислювальної потужності є ексклюзивним), і для роботи з ними використовується лише зовнішній інтерфейс. Окрім самого процесу розробки, немає потреби турбуватися про будь-які проблеми, пов’язані з апаратною інфраструктурою.

Послуга пропонується на щомісячній основі майже за 40 000 доларів США. Звичайно, це набагато дешевше, ніж безпосередньо купувати сервер DGX за 200 000 доларів США, але багато людей зазначили, що Azure від Microsoft коштує менше 20 000 доларів США за ті самі 8 графічних процесорів A100GPU, майже половина попереднього.

Чому це так дорого? Оскільки хмарний сервіс Nvidia відрізняється від інших, він включає не лише обчислювальну потужність, але й повний набір рішень ШІ.

Дві служби під назвою Base Command Platform і AI Enterprise інтегровані в DGX Cloud. Перше — це програмне забезпечення для керування та моніторингу, яке можна використовувати не лише для реєстрації навчального навантаження потужності хмарних обчислень, забезпечення міжхмарної та локальної інтеграції обчислювальних потужностей, а й дозволяє користувачам отримувати прямий доступ до DGX Cloud із браузера. Останній є програмним рівнем у платформі Nvidia AI.Тисячі програмних пакетів надають різноманітні попередньо підготовлені моделі, фреймворки AI та прискорені бібліотеки, тим самим спрощуючи наскрізну розробку AI та витрати на розгортання. Крім того, DGX Cloud також надає послугу кастингу моделей під назвою AI Foundations, що дозволяє бізнес-користувачам використовувати власні власні дані для налаштування власних вертикальних великих моделей.

Це комплексне рішення в поєднанні з програмним і апаратним забезпеченням робить швидкість навчання DGX Cloud у два-три рази вищою, ніж у традиційних хмарних обчислень. Це найбільша відмінність між DGX Cloud і традиційними хмарними службами. Воно дуже добре поєднує два аспекти NVIDIA. Сильна сторона: екологія ШІ та обчислювальна потужність. Для Nvidia фраза «програмне забезпечення як послуга», схоже, змінена на «інтеграція програмного та апаратного забезпечення як послуга».DGX Cloud централізовано представляє межу можливостей висхідної вертикальної інтеграції виробника обладнання.

Амбіції та реальність Хуан Реньсюня

Але це не означає, що Nvidia повністю змінила таблицю традиційних постачальників хмарних технологій. Його послуги надаються через традиційних хмарних постачальників. Спочатку було оголошено, що DGX Cloud буде запущено на Oracle Cloud, а потім Microsoft і Google, і те, як Nvidia співпрацює з цими хмарними постачальниками, є досить цікавим: Nvidia спочатку продає графічний процесор цим хмарним партнерам, а потім орендує обладнання для роботи Хмара DGX.

Дехто жартував, що це називається заробіток з обох сторін без зволікання.

Насправді Хуанг Дженсен пояснив цю модель: «Ми виграємо від того, що клієнти використовують нашу обчислювальну платформу, а клієнти виграють від розміщення нас (обчислювальної платформи) у своїй хмарі (постачальника хмарних технологій).»

Якщо ви тільки послухаєте, що сказав Хуан Реньсюнь, це щасливий кінець, але це лише його послідовна розповідь. Nvidia вже конкурує зі своїми клієнтами, і вона це знає.

Прогрес DGX Cloud говорить нам про те, що Huang Renxun не має наміру розгортати його лише на традиційних хмарних постачальниках. На SIGGRAPH 2023 у серпні Nvidia спочатку оголосила про співпрацю з Hugging Face, а потім випустила сервіс під назвою AI Workbench. Усі вони дозволяють користувачам легко створювати, тестувати та налаштовувати великі моделі попереднього навчання, а підтримка обчислювальної потужності, що стоїть за ними, природно включає DGX Cloud.

Це, очевидно, вплине на відносини між Nvidia і постачальниками хмарних послуг: найважливіші постачальники хмарних послуг, включаючи Google, Amazon і Microsoft, також є основними клієнтами Nvidia, і просування Nvidia власних хмарних сервісів неминуче захопить їхню частку ринку. Зокрема, ми вже згадували в першій частині, що як гіганти центрів обробки даних і хмарних сервісів вони не мають особливих переваг у створенні наступного покоління центрів обробки даних.Загроза власного хмарного сервісу не мала.

Хуан Реньсюнь не може не знати про це, тому його ставлення до DGX Cloud досить цікаве.Наприклад, він публічно заявив, що відповідне співвідношення суміші хмарних сервісів має становити 10% Nvidia DGX плюс 90% публічної хмари. Іншими словами, у позиціонуванні Хуан Реньсюня DGX Cloud є не противником чи загрозою для традиційних постачальників хмарних технологій, а партнером.

Під час телефонної конференції аналітиків після оголошення квартального фінансового звіту за 1 квартал Хуан Реньсюнь детальніше розповів про переваги цієї співпраці, «велику взаємовигідну ситуацію», Хуан Реньсюнь описав це так. У його розумінні DGX Cloud — це чистий стек Nvidia (чистий стек Nvidia), який поєднує в собі розробку штучного інтелекту, великі бази даних і високошвидкісні мережі з низькою затримкою, щоб стати зручною інфраструктурою штучного інтелекту для відкриття нового величезного ринку — учасників цей ринок включає Nvidia та традиційних хмарних постачальників, і кожен отримає вигоду від вибуху генеративного ШІ.

Намагання уникнути конфліктів насправді відбувається тому, що DGX Cloud може підтримувати лише невеликий обсяг протягом тривалого часу.

Першою причиною є, звичайно, вузьке місце обчислювальної потужності. «Неймовірно багато замовлень» — так Хуан Реньсюнь описує обсяг бізнесу центру обробки даних. Звичайно, основним пріоритетом Nvidia є розробка та забезпечення виробництва якомога більшої кількості передових чіпів, які відповідають ринковому попиту, інакше масштаб хмарних сервісів не зможе бути розширеним.

Незважаючи на те, що TSMC безперервно виробляється, варто зазначити, що розрив обчислювальної потужності не зменшується, а збільшується, тому що після запуску великої моделі та її комерціалізації (наприклад, ChatGPT) вартість обґрунтування експоненціально зросте з масштабом користувачів Зі збільшенням рівня, у довгостроковій перспективі, він буде набагато більшим, ніж обчислювальна потужність, необхідна для навчання моделі (збільшення, дане кимось, становить 100).

Крім того, він також враховує складність партнерства між Nvidia та традиційними хмарними постачальниками. Якщо DGX Cloud постає як суто конкурентоспроможний продукт, він може зайняти значну частку ринку, але це обов’язково ще більше прискорить виробників хмарних технологій позбутися залежності від Nvidia – вони вже розробили власні чіпи, щоб зменшити «NVIDIA». податок". вгору.

З іншої точки зору, можливо, Nvidia не в інтересах повністю розширювати масштаб DGX Cloud. Від чіпів до ігрових графічних карт і серверів і центрів обробки даних, Nvidia рідко виробляє апаратне забезпечення самостійно. Вона вважає за краще співпрацювати з виробниками OEM — настільки, що вам все одно доведеться звертатися до виробників OEM, щоб придбати чіпи Nvidia. Це дозволяє Nvidia добре контролювати витрати та підтримувати норму прибутку.

Сьогодні Nvidia та хмарні постачальники, здається, зберігають баланс, але баланс використовується, щоб порушити, особливо коли однією стороною є Nvidia. Зрештою, це перший рік циклу оновлення так званого «десятиріччя наступного» Huang Renxun -центр обробки даних».