Апаратна гегемонія штучного інтелекту NVIDIA була занадто довгою!
Тепер великі технологічні компанії чекають, щоб повалити їхнє панування.
Звичайно, Nvidia не буде сидіти на місці.
Нещодавно іноземні ЗМІ SemiAnalysis оприлюднили апаратну дорожню карту для NVIDIA на найближчі кілька років, включаючи довгоочікувані графічні процесори H200, B100 і X100.
При цьому є деяка достовірна інформація, включаючи план технологічного процесу NVIDIA, швидкість/ємність HBM3E, PCIe 6.0, PCIe 7.0, NVLink, план 1.6T 224G SerDes.
Якщо ці плани спрацюють, як сподівалися, Nvidia продовжить успішно розгромити своїх опонентів.
Звичайно, позиція першості не така вже й хороша - MI300 від AMD, MI400, Trainium від Amazon 2, Athena від Microsoft, Gaudi 3 від Intel не зроблять Nvidia краще.
Приготуйтеся, попереду високоенергійна атака!
NVIDIA більше, ніж просто хоче бути апаратним гегемоном
Google вже почав розробляти власну інфраструктуру штучного інтелекту, і створені ними TPUv5 і TPUv5e можна використовувати як для внутрішнього навчання та висновків, так і для зовнішніх клієнтів, таких як Apple, Anthropic, CharacterAI та MidJourney.
Google – не єдина загроза для Nvidia.
Що стосується програмного забезпечення, PyTorch 2.0 від Meta та Triton від OpenAI також процвітають, що робить його сумісним з іншими постачальниками обладнання.
Сьогодні розрив у програмному забезпеченні залишається, але далеко не такий великий, як раніше.
Що стосується програмного стеку, графічні процесори AMD, Gaudi від Intel, MTIA від Meta та Athena від Microsoft досягли певного ступеня розвитку.
Хоча NVIDIA все ще зберігає лідируючі позиції в апаратному забезпеченні, розрив буде скорочуватися все швидше і швидше.
NVIDIA H100 домінуватиме недовго.
У найближчі місяці як MI300 від AMD, так і Gaudi 3 від Intel випустять апаратні продукти, які технічно перевершують H100.
Крім складних опонентів, таких як Google, AMD та Intel, є деякі компанії, які також чинять великий тиск на NVIDIA.
Хоча ці компанії тимчасово відстають у розробці апаратного забезпечення, вони можуть отримати субсидії від гігантів, що стоять за ними - світ вже давно страждає від NVIDIA, і ці компанії сподіваються зламати величезну монополію NVIDIA на прибуток HBM.
Майбутні Trainium2 та Inferentia3 від Amazon, а також майбутня Athena від Microsoft – це інвестиції, які існують роками.
Конкуренти загрозливі, і Nvidia точно не буде сидіти на місці.
На думку зарубіжних ЗМІ SemiAnalysis, незалежно від стилю управління або маршруту прийняття рішень, NVIDIA є «однією з найбільш сумнівних компаній в галузі».
А Хуан Цзеньсюнь втілює дух Енді Гроув.
Успіх веде до самозаспокоєння. Самозаспокоєння призводить до невдач. Виживає лише параноя.
Для того, щоб закріпитися на першій позиції, NVIDIA амбітна і застосовує багатосторонню авантюрну стратегію.
Вони більше не гребують конкурувати з Intel і AMD на традиційному ринку, а хочуть стати технологічними гігантами, такими як Google, Microsoft, Amazon, Meta і Apple.
Хмара DGX від NVIDIA, програмне забезпечення та стратегія придбання для ненапівпровідникових полів – все це великі шахові фігури, що стоять за нею.
**Розкрито останні деталі дорожньої карти! **
Розкрито важливі деталі останньої дорожньої карти NVIDIA.
Деталі включають мережу, пам'ять, упаковку та технологічні вузли, різні графічні процесори, вибір SerDes, PCIe 6.0, спільну оптику та оптичні комутатори.
Очевидно, що під конкурентним тиском Google, Amazon, Microsoft, AMD і Intel NVIDIA за одну ніч прискорила розробку B100 і X100.
B100: Час виходити на ринок понад усе
Згідно з внутрішніми джерелами, B100 від NVIDIA буде серійно вироблятися в третьому кварталі 2024 року, а деякі ранні зразки будуть відправлені в другому кварталі 2024 року.
З точки зору продуктивності та сукупної вартості володіння, будь то Trainium 2 від Amazon, TPUv5 від Google, MI300X від AMD, Gaudi 3 від Intel або Athena від Microsoft, він слабкий у порівнянні з ним.
Навіть беручи до уваги субсидії від партнерів по дизайну, AMD або TSMC, вони не можуть перевершити їх усіх.
Для того, щоб якомога швидше вивести B100 на ринок, NVIDIA пішла на безліч компромісів.
Наприклад, NVIDIA хотіла встановити енергоспоживання на більш високому рівні (1000 Вт), але в підсумку вони вирішили продовжувати використовувати 700 Вт H100.
Таким чином, B100 може продовжувати використовувати технологію повітряного охолодження під час запуску.
Крім того, на початку серії B100 NVIDIA також наполягатиме на використанні PCIe 5.0.
Поєднання потужностей 5,0 і 700 Вт означає, що його можна підключати безпосередньо до існуючих серверів H100 HGX, що значно покращує пропускну здатність ланцюжка поставок і забезпечує більш раннє виробництво та відвантаження.
Частково причина рішення зупинитися на 5.0 полягає в тому, що AMD та Intel все ще сильно відстають в інтеграції PCIe 6.0. І навіть власна внутрішня команда Nvidia не готова використовувати процесори PCIe 6.0.
Крім того, вони використовуватимуть швидші посилання в стилі C2C.
У майбутньому ConnectX-8 оснастять вбудованим комутатором PCIe 6.0, але поки що ніхто не готовий.
Broadcom і AsteraLabs не будуть готові до виробництва своїх ретаймерів PCIe6.0 до кінця року, а з огляду на розмір цих підкладок, знадобиться лише більше ретаймерів.
Це також означає, що оригінальний B100 буде обмежений 3,2T, а швидкість при використанні ConnectX-7 становитиме лише 400G, замість 800G на графічний процесор, заявлених NVIDIA на PPT.
Якщо ви зберігаєте повітря прохолодним, а потужність, PCIe та швидкість мережі постійними, його легко виготовити та розгорнути.
Пізніше NVIDIA випустить версію B100 потужністю 1 000 Вт+, яка потребує водяного охолодження.
Ця версія B100 забезпечить повне мережеве з'єднання 800G на графічний процесор через ConnectX-8.
Для Ethernet/InfiniBand, як і раніше, ці SerDe, як і раніше, мають розмір 8x100G.
Незважаючи на те, що швидкість мережі на графічний процесор подвоїлася, кардинальність була зменшена вдвічі, оскільки їм все ще потрібно пройти через той самий комутатор 51,2T. Перемикач 102.4T більше не використовуватиметься в поколінні B100.
Цікаво, що повідомлялося, що компонент NVLink на B100 використовуватиме 224G SerDes, і якщо NVIDIA дійсно зможе це зробити, це, безсумнівно, величезне покращення.
Більшість людей у галузі погоджуються, що 224G ненадійний і навряд чи станеться у 2024 році, за винятком людей у Nvidia.
Ви знаєте, будь то Google, Meta чи Amazon, їхня мета масового виробництва прискорювача штучного інтелекту 224G встановлена на 2026/2027 роки.
Якщо NVIDIA досягне цього у 2024/2025 роках, вона обов'язково поб'є своїх опонентів.
Повідомляється, що B100 все ще є N4P від TSMC, а не технологією, заснованою на 3-нм техпроцесі.
Очевидно, що для такого великого розміру чіпа 3-нм техпроцес TSMC ще не дозрів.
Виходячи з розміру підкладки, виявленого постачальником підкладки NVIDIA Ibiden, NVIDIA, схоже, перейшла на конструкцію, що складається з 2 монолітних великокристальних MCM, що містять 8 або 12 стеків HBM.
Чіпи SambaNova та Intel наступного року використовують схожі макроконструкції.
Причина, чому NVIDIA не використовує технологію гібридного склеювання, як AMD, полягає в тому, що їм потрібне масове виробництво, а вартість для них викликає велике занепокоєння.
За даними SemiAnalysis, обсяг пам'яті цих двох чіпів B100 буде подібним або вищим, ніж у AMD MI300X, досягаючи стека в 24 ГБ.
Версія B100 з повітряним охолодженням може розвивати швидкість до 6,4 Гбіт/с, тоді як версія з рідинним охолодженням може досягати 9,2 Гбіт/с.
Крім того, NVIDIA також показала GB200 і B40 в дорожній карті.
І GB200, і GX200 використовують G, що, очевидно, є заповнювачем, оскільки NVIDIA представить новий процесор на основі архітектури Arm. Я не буду використовувати Grace довго.
B40, швидше за все, буде вдвічі меншим за B100, лише з монолітним чіпом N4P і HBM з 4 або 6 шарами. На відміну від L40S, це має сенс для висновків на невеликих моделях.
"X100": Критичний удар
Найяскравішим у відкритій дорожній карті є графік NVIDIA «X100».
Цікаво, що він ідеально вписується в поточний графік AMD MI400. Всього через рік після запуску H100 AMD оприлюднила свою стратегію MI300X.
Упаковка AMD MI300X вражає, і вони вписують у неї більше обчислень і пам'яті, сподіваючись перевершити H100 рік тому і, таким чином, перевершити Nvidia в чистому апаратному забезпеченні.
Nvidia також виявила, що випуск нових графічних процесорів раз на два роки дав конкурентам чудову можливість захопити ринок.
Nvidia, яка поспішає, прискорює цикл продукту до одного разу на рік, не даючи опонентам жодного шансу. Наприклад, X100 планують випустити у 2025 році, лише через рік після B100.
Звичайно, «Х100» ще не в серійному виробництві (на відміну від В100), тому все ще витає в повітрі.
Знаєте, в минулому NVIDIA ніколи не обговорювала продукти після наступного покоління продуктів, а цей раз вже безпрецедентний.
Причому ім'я, швидше за все, не називається «Х100».
Nvidia вже давно є традицією називати графічні процесори на честь видатних жінок-вчених, таких як Ада Лавлейс, Грейс Хоппер та Елізабет Блеквелл.
Що стосується «Х», то єдиною логічною є Се Сіде, яка вивчає структуру напівпровідників і металевих смуг, але з огляду на її ідентичність ймовірність повинна бути невеликою.
Майстер ланцюга поставок: велика ставка Лао Хуана
З моменту заснування NVIDIA Дженсен Хуанг активно просуває майстерність ланцюжка поставок для підтримки величезних цілей зростання.
Вони не тільки готові взяти на себе замовлення, які не підлягають скасуванню – до 11,15 мільярда доларів на зобов'язання щодо закупівель, потужностей та запасів – але й мають угоду про авансовий платіж на суму 3,81 мільярда доларів.
Можна стверджувати, що жоден постачальник не може зрівнятися з ним.
І історія Nvidia не раз показувала, що вони можуть творчо збільшити пропозицію, коли пропозиція в дефіциті.
Діалог між Хуан Цзеньсюнем і Чжан Чжунмоу в 2007 році
Коли ми з Чжан Чжунмою зустрілися в 1997 році, Nvidia, в якій було всього 100 чоловік, отримала в тому році дохід в розмірі 27 мільйонів доларів.
Ви можете не повірити, але Чжан Чжунмоу дзвонив у відділ продажів і відвідував його двері. І я поясню Чжану, що робить NVIDIA і наскільки великими мають бути наші чіпи, і з кожним роком вони ставатимуть більшими.
Пізніше NVIDIA виготовила в цілому 127 мільйонів пластин. З тих пір NVIDIA зростала майже на 100% щороку, до цього часу. Тобто за останні 10 років сукупний річний темп зростання досяг близько 70%.
У той час Чжан не міг повірити, що Nvidia потрібно так багато пластин, але Хуан вистояв.
NVIDIA досягла великих успіхів, експериментуючи з постачанням. Хоча вони час від часу списують запаси на мільярди доларів, вони все одно отримують позитивний прибуток від надмірного замовлення.
Цього разу NVIDIA безпосередньо захопила більшу частину поставок компонентів графічного процесора -
Вони розмістили дуже великі замовлення у трьох постачальників HBM, SK Hynix, Samsung і Micron, витіснивши пропозиції всіх, крім Broadcom і Google. При цьому вона також викупила більшу частину поставок TSMC CoWoS, а також виробничі потужності Amkor.
Крім того, NVIDIA використовує переваги компонентів, необхідних для плат і серверів HGX, таких як ретаймери, DSP, оптика тощо.
Якщо постачальник не прислухається до вимог NVIDIA, то зіткнеться з «батогом і редькою» Лао Хуана -
З одного боку, вони отримають неймовірні замовлення від NVIDIA; З іншого боку, вони можуть бути видалені з існуючого ланцюжка поставок NVIDIA.
Звичайно, NVIDIA також використовує зобов'язані замовлення, які не підлягають скасуванню, тільки якщо постачальник критично важливий і не може бути усунутий або диверсифікувати поставки.
Кожен постачальник, схоже, вважає себе переможцем у сфері штучного інтелекту, частково тому, що NVIDIA розмістила велику кількість замовлень у всіх своїх постачальників, і всі вони думають, що виграють більшу частину бізнесу. Але насправді це просто тому, що NVIDIA зростає занадто швидко.
Повертаючись до динаміки ринку, хоча Nvidia прагне досягти понад 70 мільярдів доларів у продажах центрів обробки даних наступного року, лише Google має достатньо потужностей — з більш ніж 1 мільйоном пристроїв. Загальні виробничі потужності AMD у сфері штучного інтелекту все ще дуже обмежені, максимум становить лише кілька сотень тисяч одиниць.
Бізнес-стратегія: потенційна антиконкурентність
Як ми всі знаємо, NVIDIA отримує вигоду з величезного попиту на графічні процесори для маркетингу та перехресних продажів продуктів клієнтам.
У ланцюжку поставок є велика кількість інформації про те, що NVIDIA надає пріоритетний розподіл певним компаніям на основі ряду факторів. Включаючи, але не обмежуючись: диверсифікований план закупівель, незалежні дослідження та розробки плану чіпів штучного інтелекту, закупівлю DGX, NIC, комутатора та/або оптичного обладнання NVIDIA тощо.
Насправді, комплектація NVIDIA дуже вдала. Незважаючи на те, що вони є невеликим постачальником волоконно-оптичних трансиверів, їхній бізнес потроївся за квартал і, як очікується, наступного року відвантажить понад 1 мільярд доларів, що значно випереджає зростання власного бізнесу з виробництва графічних процесорів або мережевих мікросхем.
Можна сказати, що ці стратегії досить ґрунтовні.
Наприклад, єдиним способом реалізувати мережу 3.2T і надійний RDMA/RoCE в системах NVIDIA є використання мережевих адаптерів NVIDIA. Звичайно, з одного боку, це ще й тому, що продукція Intel, AMD і Broadcom дійсно неконкурентоспроможна - все ще застрягла на рівні 200G.
Завдяки управлінню ланцюжком поставок NVIDIA також сприяла циклу поставки мережевих адаптерів 400G InfiniBand, які можуть бути значно коротшими, ніж мережеві адаптери 400G Ethernet. Дві мережеві плати (ConnectX-7) фактично ідентичні за конструкцією мікросхем і плат.
Причиною цього є конфігурація SKU Nvidia, а не фактичне вузьке місце в ланцюжку поставок, яке змушує компанії купувати дорожчі комутатори InfiniBand замість стандартних комутаторів Ethernet.
І це ще не все, просто подивіться, наскільки ланцюжок поставок одержимий графічними процесорами L40 і L40S, і ви знаєте, що Nvidia знову жартує з дистрибуцією - щоб виграти більше асигнувань H100, OEM-виробникам потрібно купувати більше L40S.
Це те ж саме, що і робота NVIDIA в просторі ПК - виробники ноутбуків і партнери AIB повинні купувати більші G106/G107 (графічні процесори середнього/низького класу), щоб отримати більш дефіцитні та високомаржинальні G102/G104 (високоякісні та флагманські графічні процесори).
Як годиться, людям у ланцюжку поставок також вселяють твердження, що L40S краще, ніж A100, тому що він має більш високі FLOPS.
Але насправді ці графічні процесори не підходять для висновку LLM, оскільки вони мають менше половини пропускної здатності пам'яті, ніж A100, і не мають NVLink.
Це означає, що запустити LLM на L40S і досягти хорошої сукупної вартості володіння практично неможливо, за винятком дуже маленьких моделей. Великомасштабна обробка також призводить до того, що токен/и, виділені кожному користувачеві, виявляються практично непридатними для використання, що робить теоретичні FLOPS марними для практичного застосування.
Крім того, модульна платформа NVIDIA MGX, усуваючи важку роботу з проектування серверів, також знижує норму прибутку OEM.
Такі компанії, як Dell, HP і Lenovo, явно стійкі до MGX, але такі компанії, як Supermicro, Quanta, Asus, Gigabyte та інші, намагаються заповнити прогалину і комерціалізувати недорогий «корпоративний штучний інтелект».
І ці OEM/ODM, які беруть участь у ажіотажі навколо L40S і MGX, також можуть отримати кращий розподіл основних продуктів GPU від NVIDIA.
Спільна оптика
З точки зору CPO, NVIDIA також надає йому великого значення.
Вони працюють над різними рішеннями, в тому числі від Ayar Labs, а також над тими, які вони самі отримують від Global Foundries і TSMC.
В даний час NVIDIA вивчила плани CPO декількох стартапів, але ще не прийняла остаточного рішення.
В аналізі вважається, що NVIDIA, швидше за все, інтегрує CPO в NVSwitch «X100».
Тому що інтеграція безпосередньо в сам графічний процесор може бути занадто дорогою і складною з точки зору надійності.
Перемикач оптичної схеми
Однією з найбільших сильних сторін Google в інфраструктурі штучного інтелекту є його оптичний перемикач.
Судячи з усього, Nvidia переслідує щось подібне. В даний час вони звернулися до кількох компаній і сподіваються на співпрацю в розробці.
NVIDIA зрозуміла, що Fat Tree підійшла до кінця в продовженні розширення, тому їй потрібна інша топологія.
На відміну від вибору Google 6D Torus, Nvidia вважає за краще використовувати структуру Dragonfly.
Зрозуміло, що до поставки OCS NVIDIA ще далеко, але вони сподіваються наблизитися до цієї мети у 2025 році, але ймовірності досягти не вдасться.
OCS + CPO - це святий Грааль, особливо коли OCS може бути реалізований на основі кожного пакета, що безпосередньо змінить гру гри.
Однак цю здатність поки не продемонстрував ніхто, навіть Google.
Незважаючи на те, що OCS і CPO від NVIDIA є лише двома наборами PPT у дослідницькому відділі, аналітики вважають, що CPO буде на крок ближче до продукту в 2025-2026 роках.
Ресурси:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
25-річна дорожня карта NVIDIA вибухнула! Старий Хуан Хао зробив ставку на B100, щоб перемогти AMD, і секретна зброя X100 була викрита
Першоджерело: Shin Ji Yuan
Апаратна гегемонія штучного інтелекту NVIDIA була занадто довгою!
Тепер великі технологічні компанії чекають, щоб повалити їхнє панування.
Звичайно, Nvidia не буде сидіти на місці.
Нещодавно іноземні ЗМІ SemiAnalysis оприлюднили апаратну дорожню карту для NVIDIA на найближчі кілька років, включаючи довгоочікувані графічні процесори H200, B100 і X100.
Якщо ці плани спрацюють, як сподівалися, Nvidia продовжить успішно розгромити своїх опонентів.
Звичайно, позиція першості не така вже й хороша - MI300 від AMD, MI400, Trainium від Amazon 2, Athena від Microsoft, Gaudi 3 від Intel не зроблять Nvidia краще.
Приготуйтеся, попереду високоенергійна атака!
Google вже почав розробляти власну інфраструктуру штучного інтелекту, і створені ними TPUv5 і TPUv5e можна використовувати як для внутрішнього навчання та висновків, так і для зовнішніх клієнтів, таких як Apple, Anthropic, CharacterAI та MidJourney.
Google – не єдина загроза для Nvidia.
Що стосується програмного забезпечення, PyTorch 2.0 від Meta та Triton від OpenAI також процвітають, що робить його сумісним з іншими постачальниками обладнання.
Що стосується програмного стеку, графічні процесори AMD, Gaudi від Intel, MTIA від Meta та Athena від Microsoft досягли певного ступеня розвитку.
Хоча NVIDIA все ще зберігає лідируючі позиції в апаратному забезпеченні, розрив буде скорочуватися все швидше і швидше.
NVIDIA H100 домінуватиме недовго.
У найближчі місяці як MI300 від AMD, так і Gaudi 3 від Intel випустять апаратні продукти, які технічно перевершують H100.
Хоча ці компанії тимчасово відстають у розробці апаратного забезпечення, вони можуть отримати субсидії від гігантів, що стоять за ними - світ вже давно страждає від NVIDIA, і ці компанії сподіваються зламати величезну монополію NVIDIA на прибуток HBM.
Майбутні Trainium2 та Inferentia3 від Amazon, а також майбутня Athena від Microsoft – це інвестиції, які існують роками.
Конкуренти загрозливі, і Nvidia точно не буде сидіти на місці.
А Хуан Цзеньсюнь втілює дух Енді Гроув.
Для того, щоб закріпитися на першій позиції, NVIDIA амбітна і застосовує багатосторонню авантюрну стратегію.
Вони більше не гребують конкурувати з Intel і AMD на традиційному ринку, а хочуть стати технологічними гігантами, такими як Google, Microsoft, Amazon, Meta і Apple.
**Розкрито останні деталі дорожньої карти! **
Розкрито важливі деталі останньої дорожньої карти NVIDIA.
Деталі включають мережу, пам'ять, упаковку та технологічні вузли, різні графічні процесори, вибір SerDes, PCIe 6.0, спільну оптику та оптичні комутатори.
B100: Час виходити на ринок понад усе
Згідно з внутрішніми джерелами, B100 від NVIDIA буде серійно вироблятися в третьому кварталі 2024 року, а деякі ранні зразки будуть відправлені в другому кварталі 2024 року.
З точки зору продуктивності та сукупної вартості володіння, будь то Trainium 2 від Amazon, TPUv5 від Google, MI300X від AMD, Gaudi 3 від Intel або Athena від Microsoft, він слабкий у порівнянні з ним.
Для того, щоб якомога швидше вивести B100 на ринок, NVIDIA пішла на безліч компромісів.
Наприклад, NVIDIA хотіла встановити енергоспоживання на більш високому рівні (1000 Вт), але в підсумку вони вирішили продовжувати використовувати 700 Вт H100.
Таким чином, B100 може продовжувати використовувати технологію повітряного охолодження під час запуску.
Поєднання потужностей 5,0 і 700 Вт означає, що його можна підключати безпосередньо до існуючих серверів H100 HGX, що значно покращує пропускну здатність ланцюжка поставок і забезпечує більш раннє виробництво та відвантаження.
Частково причина рішення зупинитися на 5.0 полягає в тому, що AMD та Intel все ще сильно відстають в інтеграції PCIe 6.0. І навіть власна внутрішня команда Nvidia не готова використовувати процесори PCIe 6.0.
Крім того, вони використовуватимуть швидші посилання в стилі C2C.
Broadcom і AsteraLabs не будуть готові до виробництва своїх ретаймерів PCIe6.0 до кінця року, а з огляду на розмір цих підкладок, знадобиться лише більше ретаймерів.
Це також означає, що оригінальний B100 буде обмежений 3,2T, а швидкість при використанні ConnectX-7 становитиме лише 400G, замість 800G на графічний процесор, заявлених NVIDIA на PPT.
Якщо ви зберігаєте повітря прохолодним, а потужність, PCIe та швидкість мережі постійними, його легко виготовити та розгорнути.
Ця версія B100 забезпечить повне мережеве з'єднання 800G на графічний процесор через ConnectX-8.
Для Ethernet/InfiniBand, як і раніше, ці SerDe, як і раніше, мають розмір 8x100G.
Незважаючи на те, що швидкість мережі на графічний процесор подвоїлася, кардинальність була зменшена вдвічі, оскільки їм все ще потрібно пройти через той самий комутатор 51,2T. Перемикач 102.4T більше не використовуватиметься в поколінні B100.
Цікаво, що повідомлялося, що компонент NVLink на B100 використовуватиме 224G SerDes, і якщо NVIDIA дійсно зможе це зробити, це, безсумнівно, величезне покращення.
Більшість людей у галузі погоджуються, що 224G ненадійний і навряд чи станеться у 2024 році, за винятком людей у Nvidia.
Ви знаєте, будь то Google, Meta чи Amazon, їхня мета масового виробництва прискорювача штучного інтелекту 224G встановлена на 2026/2027 роки.
Якщо NVIDIA досягне цього у 2024/2025 роках, вона обов'язково поб'є своїх опонентів.
Очевидно, що для такого великого розміру чіпа 3-нм техпроцес TSMC ще не дозрів.
Чіпи SambaNova та Intel наступного року використовують схожі макроконструкції.
За даними SemiAnalysis, обсяг пам'яті цих двох чіпів B100 буде подібним або вищим, ніж у AMD MI300X, досягаючи стека в 24 ГБ.
Версія B100 з повітряним охолодженням може розвивати швидкість до 6,4 Гбіт/с, тоді як версія з рідинним охолодженням може досягати 9,2 Гбіт/с.
Крім того, NVIDIA також показала GB200 і B40 в дорожній карті.
І GB200, і GX200 використовують G, що, очевидно, є заповнювачем, оскільки NVIDIA представить новий процесор на основі архітектури Arm. Я не буду використовувати Grace довго.
B40, швидше за все, буде вдвічі меншим за B100, лише з монолітним чіпом N4P і HBM з 4 або 6 шарами. На відміну від L40S, це має сенс для висновків на невеликих моделях.
"X100": Критичний удар
Найяскравішим у відкритій дорожній карті є графік NVIDIA «X100».
Цікаво, що він ідеально вписується в поточний графік AMD MI400. Всього через рік після запуску H100 AMD оприлюднила свою стратегію MI300X.
Упаковка AMD MI300X вражає, і вони вписують у неї більше обчислень і пам'яті, сподіваючись перевершити H100 рік тому і, таким чином, перевершити Nvidia в чистому апаратному забезпеченні.
Nvidia, яка поспішає, прискорює цикл продукту до одного разу на рік, не даючи опонентам жодного шансу. Наприклад, X100 планують випустити у 2025 році, лише через рік після B100.
Звичайно, «Х100» ще не в серійному виробництві (на відміну від В100), тому все ще витає в повітрі.
Знаєте, в минулому NVIDIA ніколи не обговорювала продукти після наступного покоління продуктів, а цей раз вже безпрецедентний.
Причому ім'я, швидше за все, не називається «Х100».
Nvidia вже давно є традицією називати графічні процесори на честь видатних жінок-вчених, таких як Ада Лавлейс, Грейс Хоппер та Елізабет Блеквелл.
Що стосується «Х», то єдиною логічною є Се Сіде, яка вивчає структуру напівпровідників і металевих смуг, але з огляду на її ідентичність ймовірність повинна бути невеликою.
З моменту заснування NVIDIA Дженсен Хуанг активно просуває майстерність ланцюжка поставок для підтримки величезних цілей зростання.
Вони не тільки готові взяти на себе замовлення, які не підлягають скасуванню – до 11,15 мільярда доларів на зобов'язання щодо закупівель, потужностей та запасів – але й мають угоду про авансовий платіж на суму 3,81 мільярда доларів.
Можна стверджувати, що жоден постачальник не може зрівнятися з ним.
І історія Nvidia не раз показувала, що вони можуть творчо збільшити пропозицію, коли пропозиція в дефіциті.
У той час Чжан не міг повірити, що Nvidia потрібно так багато пластин, але Хуан вистояв.
NVIDIA досягла великих успіхів, експериментуючи з постачанням. Хоча вони час від часу списують запаси на мільярди доларів, вони все одно отримують позитивний прибуток від надмірного замовлення.
Цього разу NVIDIA безпосередньо захопила більшу частину поставок компонентів графічного процесора -
Вони розмістили дуже великі замовлення у трьох постачальників HBM, SK Hynix, Samsung і Micron, витіснивши пропозиції всіх, крім Broadcom і Google. При цьому вона також викупила більшу частину поставок TSMC CoWoS, а також виробничі потужності Amkor.
Крім того, NVIDIA використовує переваги компонентів, необхідних для плат і серверів HGX, таких як ретаймери, DSP, оптика тощо.
Якщо постачальник не прислухається до вимог NVIDIA, то зіткнеться з «батогом і редькою» Лао Хуана -
З одного боку, вони отримають неймовірні замовлення від NVIDIA; З іншого боку, вони можуть бути видалені з існуючого ланцюжка поставок NVIDIA.
Звичайно, NVIDIA також використовує зобов'язані замовлення, які не підлягають скасуванню, тільки якщо постачальник критично важливий і не може бути усунутий або диверсифікувати поставки.
Повертаючись до динаміки ринку, хоча Nvidia прагне досягти понад 70 мільярдів доларів у продажах центрів обробки даних наступного року, лише Google має достатньо потужностей — з більш ніж 1 мільйоном пристроїв. Загальні виробничі потужності AMD у сфері штучного інтелекту все ще дуже обмежені, максимум становить лише кілька сотень тисяч одиниць.
Бізнес-стратегія: потенційна антиконкурентність
Як ми всі знаємо, NVIDIA отримує вигоду з величезного попиту на графічні процесори для маркетингу та перехресних продажів продуктів клієнтам.
У ланцюжку поставок є велика кількість інформації про те, що NVIDIA надає пріоритетний розподіл певним компаніям на основі ряду факторів. Включаючи, але не обмежуючись: диверсифікований план закупівель, незалежні дослідження та розробки плану чіпів штучного інтелекту, закупівлю DGX, NIC, комутатора та/або оптичного обладнання NVIDIA тощо.
Можна сказати, що ці стратегії досить ґрунтовні.
Наприклад, єдиним способом реалізувати мережу 3.2T і надійний RDMA/RoCE в системах NVIDIA є використання мережевих адаптерів NVIDIA. Звичайно, з одного боку, це ще й тому, що продукція Intel, AMD і Broadcom дійсно неконкурентоспроможна - все ще застрягла на рівні 200G.
Завдяки управлінню ланцюжком поставок NVIDIA також сприяла циклу поставки мережевих адаптерів 400G InfiniBand, які можуть бути значно коротшими, ніж мережеві адаптери 400G Ethernet. Дві мережеві плати (ConnectX-7) фактично ідентичні за конструкцією мікросхем і плат.
Причиною цього є конфігурація SKU Nvidia, а не фактичне вузьке місце в ланцюжку поставок, яке змушує компанії купувати дорожчі комутатори InfiniBand замість стандартних комутаторів Ethernet.
І це ще не все, просто подивіться, наскільки ланцюжок поставок одержимий графічними процесорами L40 і L40S, і ви знаєте, що Nvidia знову жартує з дистрибуцією - щоб виграти більше асигнувань H100, OEM-виробникам потрібно купувати більше L40S.
Це те ж саме, що і робота NVIDIA в просторі ПК - виробники ноутбуків і партнери AIB повинні купувати більші G106/G107 (графічні процесори середнього/низького класу), щоб отримати більш дефіцитні та високомаржинальні G102/G104 (високоякісні та флагманські графічні процесори).
Як годиться, людям у ланцюжку поставок також вселяють твердження, що L40S краще, ніж A100, тому що він має більш високі FLOPS.
Але насправді ці графічні процесори не підходять для висновку LLM, оскільки вони мають менше половини пропускної здатності пам'яті, ніж A100, і не мають NVLink.
Це означає, що запустити LLM на L40S і досягти хорошої сукупної вартості володіння практично неможливо, за винятком дуже маленьких моделей. Великомасштабна обробка також призводить до того, що токен/и, виділені кожному користувачеві, виявляються практично непридатними для використання, що робить теоретичні FLOPS марними для практичного застосування.
Такі компанії, як Dell, HP і Lenovo, явно стійкі до MGX, але такі компанії, як Supermicro, Quanta, Asus, Gigabyte та інші, намагаються заповнити прогалину і комерціалізувати недорогий «корпоративний штучний інтелект».
І ці OEM/ODM, які беруть участь у ажіотажі навколо L40S і MGX, також можуть отримати кращий розподіл основних продуктів GPU від NVIDIA.
Спільна оптика
З точки зору CPO, NVIDIA також надає йому великого значення.
Вони працюють над різними рішеннями, в тому числі від Ayar Labs, а також над тими, які вони самі отримують від Global Foundries і TSMC.
Тому що інтеграція безпосередньо в сам графічний процесор може бути занадто дорогою і складною з точки зору надійності.
Однією з найбільших сильних сторін Google в інфраструктурі штучного інтелекту є його оптичний перемикач.
Судячи з усього, Nvidia переслідує щось подібне. В даний час вони звернулися до кількох компаній і сподіваються на співпрацю в розробці.
На відміну від вибору Google 6D Torus, Nvidia вважає за краще використовувати структуру Dragonfly.
Однак цю здатність поки не продемонстрував ніхто, навіть Google.
Незважаючи на те, що OCS і CPO від NVIDIA є лише двома наборами PPT у дослідницькому відділі, аналітики вважають, що CPO буде на крок ближче до продукту в 2025-2026 роках.
Ресурси: