Аппаратная гегемония NVIDIA в области искусственного интеллекта существует уже слишком долго!
Теперь крупные технологические компании ждут, чтобы свергнуть свое превосходство.
Конечно, Nvidia не будет сидеть на месте.
Недавно зарубежное издание SemiAnalysis раскрыло аппаратную дорожную карту для NVIDIA на ближайшие несколько лет, включая долгожданные графические процессоры H200, B100 и X100.
При этом есть некоторая достоверная информация, включая технологический план NVIDIA, скорость/емкость HBM3E, PCIe 6.0, PCIe 7.0, NVLink, план SerDes 1.6T 224G.
Если эти планы сработают, как мы надеемся, Nvidia продолжит успешно сокрушать своих оппонентов.
Конечно, позиция превосходства не так уж и хороша – MI300 от AMD, MI400, Trainium 2 от Amazon, Athena от Microsoft, Gaudi 3 от Intel не сделают Nvidia лучше.
Приготовьтесь, впереди энергичная атака!
NVIDIA, больше, чем просто хочет быть аппаратным гегемоном
Google уже приступила к созданию собственной инфраструктуры искусственного интеллекта, и созданные ими TPUv5 и TPUv5e можно использовать как для внутреннего обучения и логического вывода, так и для внешних клиентов, таких как Apple, Anthropic, CharacterAI и MidJourney.
Google — не единственная угроза Nvidia.
Что касается программного обеспечения, PyTorch 2.0 от Meta и Triton от OpenAI также переживают бум, что делает его совместимым с другими поставщиками оборудования.
Сегодня разрыв в программном обеспечении сохраняется, но далеко не так велик, как раньше.
Что касается программного стека, то графические процессоры AMD, Gaudi от Intel, MTIA от Meta и Athena от Microsoft достигли определенной степени развития.
Несмотря на то, что NVIDIA по-прежнему сохраняет лидирующие позиции в аппаратном обеспечении, разрыв будет сокращаться все быстрее и быстрее.
NVIDIA H100 не будет доминировать долго.
В ближайшие месяцы и AMD MI300, и Intel Gaudi 3 выпустят аппаратные продукты, которые технически превосходят H100.
Помимо сложных оппонентов, таких как Google, AMD и Intel, есть некоторые компании, которые также оказывают большое давление на NVIDIA.
Хотя эти компании временно отстают в разработке аппаратного обеспечения, они могут получить субсидии от стоящих за ними гигантов - мир уже давно страдает от NVIDIA, и эти компании надеются сломать монополию NVIDIA на огромную прибыль на HBM.
Готовящиеся к выпуску Trainium2 и Inferentia3 от Amazon, а также готовящаяся к выпуску Athena от Microsoft — это инвестиции, которые осуществлялись в течение многих лет.
Конкуренты грозят, и Nvidia, конечно, не будет сидеть на месте.
По мнению зарубежного издания SemiAnalysis, вне зависимости от стиля управления или принятия маршрутных решений, NVIDIA является «одной из самых сомнительных компаний в отрасли».
А Хуан Дженсюнь воплощает в себе дух Энди Гроува.
Успех ведет к самоуспокоенности. Самоуспокоенность приводит к неудачам. Выживает только паранойя.
Чтобы занять первое место, NVIDIA амбициозна и использует многостороннюю авантюрную стратегию.
Они больше не брезгуют конкурировать с Intel и AMD на традиционном рынке, но хотят стать технологическими гигантами, такими как Google, Microsoft, Amazon, Meta и Apple.
Облако NVIDIA DGX, программное обеспечение и стратегия приобретения для неполупроводниковых областей — все это большие шахматные фигуры.
** Раскрыты последние подробности дорожной карты! **
Стали известны важные детали последней дорожной карты NVIDIA.
Подробная информация включает в себя сеть, память, пакетные и технологические узлы, различные графические процессоры, выбор SerDes, PCIe 6.0, совместную оптику и оптические коммутаторы.
Очевидно, что под конкурентным давлением Google, Amazon, Microsoft, AMD и Intel NVIDIA в одночасье ускорила разработку B100 и X100.
B100: Время выхода на рынок превыше всего
Согласно внутренним источникам, NVIDIA B100 будет запущен в серийное производство в третьем квартале 2024 года, а некоторые ранние образцы будут отправлены во втором квартале 2024 года.
С точки зрения производительности и совокупной стоимости владения, будь то Trainium 2 от Amazon, TPUv5 от Google, MI300X от AMD, Gaudi 3 от Intel или Athena от Microsoft, он слаб по сравнению с ним.
Даже с учетом субсидий от партнеров по проектированию, AMD или TSMC, они не могут превзойти их всех.
Для того, чтобы вывести B100 на рынок как можно быстрее, NVIDIA пошла на множество компромиссов.
Например, NVIDIA хотела установить энергопотребление на более высоком уровне (1000 Вт), но в итоге решила продолжить использовать 700 Вт H100.
Таким образом, B100 может продолжать использовать технологию воздушного охлаждения после запуска.
Кроме того, в ранней серии B100 NVIDIA также будет настаивать на использовании PCIe 5.0.
Комбинация 5.0 и 700 Вт означает, что его можно подключать непосредственно к существующим серверам H100 HGX, что значительно повышает пропускную способность цепочки поставок и позволяет быстрее начать производство и отгрузку.
Одна из причин решения придерживаться 5.0 заключается в том, что AMD и Intel все еще сильно отстают в интеграции PCIe 6.0. И даже собственная внутренняя команда Nvidia не готова использовать процессоры PCIe 6.0.
Кроме того, они будут использовать более быстрые ссылки в стиле C2C.
В будущем ConnectX-8 оснастят встроенным коммутатором PCIe 6.0, но пока никто не готов.
Broadcom и AsteraLabs не будут готовы к производству своих ретаймеров PCIe6.0 до конца года, и, учитывая размер этих подложек, потребуется только больше ретаймеров.
Это также означает, что оригинальный B100 будет ограничен 3,2 Тбит/с, а скорость при использовании ConnectX-7 составит всего 400 Гбит/с, а не 800 Гбит/с на графический процессор, заявленный NVIDIA на PPT.
Если вы поддерживаете охлаждение воздуха и постоянную скорость питания, PCIe и сети, его легко изготовить и развернуть.
Позже NVIDIA выпустит версию B100 мощностью 1000 Вт+, которая требует водяного охлаждения.
Эта версия B100 обеспечит полное сетевое соединение 800G на графический процессор через ConnectX-8.
Для Ethernet/InfiniBand эти SerDes по-прежнему имеют размер 8x100G.
В то время как скорость сети на графический процессор удвоилась, мощность уменьшилась вдвое, потому что им по-прежнему нужно проходить через тот же коммутатор 51,2 Тбит/с. Коммутатор 102.4T больше не будет использоваться в поколении B100.
Интересно, что сообщалось, что компонент NVLink на B100 будет использовать 224G SerDes, и если NVIDIA действительно сможет это сделать, это, несомненно, огромное улучшение.
Большинство людей в отрасли согласны с тем, что 224G ненадежен и вряд ли произойдет в 2024 году, за исключением людей из Nvidia.
Вы знаете, будь то Google, Meta или Amazon, их цель по массовому производству ускорителя искусственного интеллекта 224G установлена на 2026/2027 год.
Если NVIDIA добьется этого в 2024/2025 году, она наверняка разобьет своих оппонентов.
Сообщается, что B100 по-прежнему является N4P от TSMC, а не технологией, основанной на 3-нм техпроцессе.
Очевидно, что для такого большого размера чипа 3-нм техпроцесс TSMC еще не созрел.
Судя по размеру подложки, раскрытому поставщиком подложек NVIDIA Ibiden, NVIDIA, похоже, перешла на конструкцию, состоящую из 2 монолитных крупнокристальных MCM, содержащих 8 или 12 стеков HBM.
Чипы SambaNova и Intel, которые появятся в следующем году, будут использовать схожие макросхемы.
Причина, по которой NVIDIA не использует гибридную технологию объединения, как AMD, заключается в том, что они нуждаются в массовом производстве, и стоимость является для них большой проблемой.
По данным SemiAnalysis, объем памяти этих двух чипов B100 будет аналогичен или выше, чем у AMD MI300X, достигая стека в 24 ГБ.
Версия B100 с воздушным охлаждением может развивать скорость до 6,4 Гбит/с, а версия с жидкостным охлаждением — до 9,2 Гбит/с.
Кроме того, NVIDIA также показала GB200 и B40 в дорожной карте.
И GB200, и GX200 используют G, который, очевидно, является заполнителем, поскольку NVIDIA представит новый процессор на основе архитектуры Arm. Я не буду использовать Грейс долго.
B40, скорее всего, будет вдвое меньше, чем B100, только с монолитным чипом N4P и HBM с 4 или 6 слоями. В отличие от L40S, это имеет смысл для логических выводов на небольших моделях.
"X100": Критический удар
Самое поразительное в обнародованной дорожной карте — это график NVIDIA "X100".
Интересно, что он идеально вписывается в текущий график AMD MI400. Всего через год после запуска H100 компания AMD выпустила свою стратегию MI300X.
Упаковка MI300X от AMD впечатляет, и они запихивают в нее больше вычислительных ресурсов и памяти, надеясь превзойти H100 год назад и, таким образом, превзойти Nvidia в чистом оборудовании.
Nvidia также обнаружила, что их двухгодичный выпуск новых графических процессоров дает конкурентам прекрасную возможность захватить рынок.
Спешащая Nvidia ускоряет продуктовый цикл до одного раза в год, не давая оппонентам ни единого шанса. Например, они планируют выпустить X100 в 2025 году, всего через год после B100.
Конечно, «Х100» пока не запущен в серийное производство (в отличие от В100), поэтому все пока висит в воздухе.
Вы знаете, что в прошлом NVIDIA никогда не обсуждала продукты после следующего поколения продуктов, а этот раз уже беспрецедентный.
Тем более, что название, скорее всего, не называется «Х100».
Nvidia уже давно имеет традицию называть графические процессоры в честь выдающихся женщин-ученых, таких как Ада Лавлейс, Грейс Хоппер и Элизабет Блэквелл.
Что касается «Х», то единственной логичной является Се Сидэ, которая изучает структуру полупроводников и металлических полос, но, учитывая ее идентичность, вероятность должна быть небольшой.
Мастер цепочки поставок: Большая ставка Лао Хуана
С момента основания NVIDIA Дженсен Хуанг (Jensen Huang) активно развивает цепочку поставок для достижения масштабных целей роста.
Они не только готовы брать на себя неотменяемые заказы на сумму до $11,15 млрд в виде обязательств по закупкам, мощностям и запасам, но и заключают соглашение об авансовых платежах на сумму $3,81 млрд.
Пожалуй, ни один поставщик не может сравниться с ним.
И история Nvidia не раз показывала, что они могут креативно увеличивать предложение, когда предложение в дефиците.
Диалог между Хуан Жэньсюнем и Чжан Чжунмоу в 2007 году
Когда мы с Чжаном Чжунмоу встретились в 1997 году, Nvidia, в которой работало всего 100 человек, в том году получила доход в размере 27 миллионов долларов.
Возможно, вы не поверите, но Чжан Чжунмоу часто звонил в магазин и приходил к нему домой. И я объясню Чжану, что делает NVIDIA и насколько большими должны быть наши чипы, и они будут расти с каждым годом.
Позже NVIDIA произвела в общей сложности 127 миллионов пластин. С тех пор NVIDIA росла почти на 100% каждый год. То есть за последние 10 лет совокупный годовой темп роста достиг порядка 70%.
В то время Чжан не мог поверить, что Nvidia нужно так много пластин, но Хуан проявил настойчивость.
NVIDIA добилась больших успехов, экспериментируя со стороны предложения. Несмотря на то, что время от времени они списывают запасы на миллиарды долларов, они все равно получают положительную выгоду от избыточных заказов.
На этот раз NVIDIA напрямую захватила большую часть поставок вышестоящих компонентов графического процессора -
Они разместили очень крупные заказы у трех поставщиков HBM, SK Hynix, Samsung и Micron, вытеснив поставки всех, кроме Broadcom и Google. В то же время она также купила большую часть поставок TSMC CoWoS, а также производственные мощности Amkor.
Кроме того, NVIDIA использует преимущества нижестоящих компонентов, необходимых для плат и серверов HGX, таких как ретаймеры, DSP, оптика и многое другое.
Если поставщик не прислушается к требованиям NVIDIA, то столкнется с «редькой и палкой» Лао Хуанга -
С одной стороны, они получат невообразимые заказы от NVIDIA; С другой стороны, они могут быть удалены из существующей цепочки поставок NVIDIA.
Конечно, NVIDIA также использует фиксированные и неотменяемые заказы только в том случае, если поставщик является критически важным и не может быть устранен или диверсифицирован поставками.
Кажется, что каждый поставщик считает себя победителем в области ИИ, отчасти потому, что NVIDIA разместила большое количество заказов у всех своих поставщиков, и все они думают, что выигрывают большую часть бизнеса. Но на самом деле это просто потому, что NVIDIA растет слишком быстро.
Возвращаясь к динамике рынка, в то время как Nvidia стремится достичь более $70 млрд продаж в дата-центрах в следующем году, только Google имеет достаточные мощности для разведки и добычи — с более чем 1 миллионом устройств. Общие производственные мощности AMD в области искусственного интеллекта по-прежнему очень ограничены, максимум составляет всего несколько сотен тысяч единиц.
Бизнес-стратегия: потенциальная антиконкурентная политика
Как мы все знаем, NVIDIA извлекает выгоду из огромного спроса на графические процессоры для продвижения и перекрестных продаж продуктов клиентам.
В цепочке поставок существует множество информации о том, что NVIDIA предоставляет приоритетное распределение определенным компаниям на основе ряда факторов. Включая, но не ограничиваясь: диверсифицированный план закупок, независимые исследования и разработки чипов ИИ, закупка NVIDIA DGX, сетевых адаптеров, коммутаторов и/или оптического оборудования и т. д.
На самом деле, объединение NVIDIA очень успешно. Несмотря на то, что компания является небольшим поставщиком оптоволоконных приемопередатчиков, их бизнес утроился за квартал и, как ожидается, в следующем году будет отгружен более чем на 1 миллиард долларов, что намного опережает рост их собственного бизнеса по производству графических процессоров или сетевых чипов.
Эти стратегии, можно сказать, довольно основательны.
Например, единственный способ реализовать сеть 3.2T и надежный RDMA/RoCE на системах NVIDIA — использовать сетевые карты NVIDIA. Конечно, с одной стороны, это еще и потому, что продукты Intel, AMD и Broadcom действительно неконкурентоспособны – все еще застряли на уровне 200G.
Управляя цепочкой поставок, NVIDIA также продвигает цикл поставки сетевых карт 400G InfiniBand, которые могут быть значительно короче, чем сетевые адаптеры 400G Ethernet. Две сетевые карты (ConnectX-7) фактически идентичны по дизайну чипа и платы.
Причиной этого является конфигурация SKU Nvidia, а не фактическое узкое место в цепочке поставок, которое вынуждает компании покупать более дорогие коммутаторы InfiniBand вместо стандартных коммутаторов Ethernet.
И это еще не все, просто посмотрите, насколько цепочка поставок одержима графическими процессорами L40 и L40S, и вы знаете, что Nvidia снова играет с распространением - чтобы выиграть больше квот H100, OEM-производителям нужно покупать больше L40S.
Это то же самое, что и работа NVIDIA в области ПК - производители ноутбуков и партнеры AIB должны покупать более крупные G106/G107 (средние/бюджетные графические процессоры), чтобы получить более дефицитные и высокомаржинальные G102/G104 (высокопроизводительные и флагманские графические процессоры).
Кроме того, людям в цепочке поставок внушили, что L40S лучше, чем A100, потому что у него более высокая производительность.
Но на самом деле эти графические процессоры не подходят для логического вывода LLM, так как они имеют менее половины пропускной способности памяти A100 и не имеют NVLink.
Это означает, что запустить LLM на L40S и добиться хорошей совокупной стоимости владения практически невозможно, за исключением очень маленьких моделей. Крупномасштабная обработка также приводит к тому, что токены, выделенные каждому пользователю, становятся практически непригодными для использования, что делает теоретические операции FLOPS бесполезными в практических приложениях.
Кроме того, модульная платформа MGX от NVIDIA, устраняя тяжелую работу по проектированию серверов, также снижает прибыль OEM-производителей.
Такие компании, как Dell, HP и Lenovo, явно сопротивляются MGX, но такие компании, как Supermicro, Quanta, Asus, Gigabyte и другие, изо всех сил пытаются заполнить этот пробел и коммерциализировать недорогой «корпоративный ИИ».
И эти OEM/ODM, участвующие в шумихе вокруг L40S и MGX, также могут получить лучшее распределение продуктов для основных графических процессоров от NVIDIA.
Копакетированная оптика
Что касается CPO, NVIDIA также придает ему большое значение.
Они работают над различными решениями, в том числе от Ayar Labs, а также над теми, которые они сами получают от Global Foundries и TSMC.
В настоящее время NVIDIA изучила планы CPO нескольких стартапов, но еще не приняла окончательного решения.
Анализ предполагает, что NVIDIA, скорее всего, интегрирует CPO в NVSwitch «X100».
Потому что интеграция непосредственно в сам графический процессор может быть слишком затратной и сложной с точки зрения надежности.
Переключатель оптической цепи
Одной из самых сильных сторон Google в инфраструктуре искусственного интеллекта является оптический переключатель.
Судя по всему, Nvidia преследует нечто подобное. В настоящее время они связались с несколькими компаниями и надеются на сотрудничество в разработке.
NVIDIA поняла, что Fat Tree подошла к концу в своем расширении, поэтому ей нужна другая топология.
В отличие от выбора Google 6D Torus, Nvidia предпочитает использовать структуру Dragonfly.
Понятно, что NVIDIA еще далека от отгрузки OCS, но они надеются приблизиться к этой цели в 2025 году, но вероятность не может быть достигнута.
OCS + CPO — это Святой Грааль, особенно когда OCS может быть реализован на основе каждого пакета, что напрямую изменит правила игры.
Однако никто пока не продемонстрировал эту способность, даже Google.
Несмотря на то, что OCS и CPO от NVIDIA — это всего лишь два набора PPT в исследовательском отделе, аналитики считают, что в 2025-2026 годах CPO станет на шаг ближе к продуктизации.
Ресурсы:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
25-летняя дорожная карта NVIDIA взорвалась! Старина Хуан Хао сделал ставку на B100, чтобы победить AMD, и секретное оружие X100 было раскрыто
Первоисточник: Shin Ji Yuan
Аппаратная гегемония NVIDIA в области искусственного интеллекта существует уже слишком долго!
Теперь крупные технологические компании ждут, чтобы свергнуть свое превосходство.
Конечно, Nvidia не будет сидеть на месте.
Недавно зарубежное издание SemiAnalysis раскрыло аппаратную дорожную карту для NVIDIA на ближайшие несколько лет, включая долгожданные графические процессоры H200, B100 и X100.
Если эти планы сработают, как мы надеемся, Nvidia продолжит успешно сокрушать своих оппонентов.
Конечно, позиция превосходства не так уж и хороша – MI300 от AMD, MI400, Trainium 2 от Amazon, Athena от Microsoft, Gaudi 3 от Intel не сделают Nvidia лучше.
Приготовьтесь, впереди энергичная атака!
Google уже приступила к созданию собственной инфраструктуры искусственного интеллекта, и созданные ими TPUv5 и TPUv5e можно использовать как для внутреннего обучения и логического вывода, так и для внешних клиентов, таких как Apple, Anthropic, CharacterAI и MidJourney.
Google — не единственная угроза Nvidia.
Что касается программного обеспечения, PyTorch 2.0 от Meta и Triton от OpenAI также переживают бум, что делает его совместимым с другими поставщиками оборудования.
Что касается программного стека, то графические процессоры AMD, Gaudi от Intel, MTIA от Meta и Athena от Microsoft достигли определенной степени развития.
Несмотря на то, что NVIDIA по-прежнему сохраняет лидирующие позиции в аппаратном обеспечении, разрыв будет сокращаться все быстрее и быстрее.
NVIDIA H100 не будет доминировать долго.
В ближайшие месяцы и AMD MI300, и Intel Gaudi 3 выпустят аппаратные продукты, которые технически превосходят H100.
Хотя эти компании временно отстают в разработке аппаратного обеспечения, они могут получить субсидии от стоящих за ними гигантов - мир уже давно страдает от NVIDIA, и эти компании надеются сломать монополию NVIDIA на огромную прибыль на HBM.
Готовящиеся к выпуску Trainium2 и Inferentia3 от Amazon, а также готовящаяся к выпуску Athena от Microsoft — это инвестиции, которые осуществлялись в течение многих лет.
Конкуренты грозят, и Nvidia, конечно, не будет сидеть на месте.
А Хуан Дженсюнь воплощает в себе дух Энди Гроува.
Чтобы занять первое место, NVIDIA амбициозна и использует многостороннюю авантюрную стратегию.
Они больше не брезгуют конкурировать с Intel и AMD на традиционном рынке, но хотят стать технологическими гигантами, такими как Google, Microsoft, Amazon, Meta и Apple.
** Раскрыты последние подробности дорожной карты! **
Стали известны важные детали последней дорожной карты NVIDIA.
Подробная информация включает в себя сеть, память, пакетные и технологические узлы, различные графические процессоры, выбор SerDes, PCIe 6.0, совместную оптику и оптические коммутаторы.
B100: Время выхода на рынок превыше всего
Согласно внутренним источникам, NVIDIA B100 будет запущен в серийное производство в третьем квартале 2024 года, а некоторые ранние образцы будут отправлены во втором квартале 2024 года.
С точки зрения производительности и совокупной стоимости владения, будь то Trainium 2 от Amazon, TPUv5 от Google, MI300X от AMD, Gaudi 3 от Intel или Athena от Microsoft, он слаб по сравнению с ним.
Для того, чтобы вывести B100 на рынок как можно быстрее, NVIDIA пошла на множество компромиссов.
Например, NVIDIA хотела установить энергопотребление на более высоком уровне (1000 Вт), но в итоге решила продолжить использовать 700 Вт H100.
Таким образом, B100 может продолжать использовать технологию воздушного охлаждения после запуска.
Комбинация 5.0 и 700 Вт означает, что его можно подключать непосредственно к существующим серверам H100 HGX, что значительно повышает пропускную способность цепочки поставок и позволяет быстрее начать производство и отгрузку.
Одна из причин решения придерживаться 5.0 заключается в том, что AMD и Intel все еще сильно отстают в интеграции PCIe 6.0. И даже собственная внутренняя команда Nvidia не готова использовать процессоры PCIe 6.0.
Кроме того, они будут использовать более быстрые ссылки в стиле C2C.
Broadcom и AsteraLabs не будут готовы к производству своих ретаймеров PCIe6.0 до конца года, и, учитывая размер этих подложек, потребуется только больше ретаймеров.
Это также означает, что оригинальный B100 будет ограничен 3,2 Тбит/с, а скорость при использовании ConnectX-7 составит всего 400 Гбит/с, а не 800 Гбит/с на графический процессор, заявленный NVIDIA на PPT.
Если вы поддерживаете охлаждение воздуха и постоянную скорость питания, PCIe и сети, его легко изготовить и развернуть.
Эта версия B100 обеспечит полное сетевое соединение 800G на графический процессор через ConnectX-8.
Для Ethernet/InfiniBand эти SerDes по-прежнему имеют размер 8x100G.
В то время как скорость сети на графический процессор удвоилась, мощность уменьшилась вдвое, потому что им по-прежнему нужно проходить через тот же коммутатор 51,2 Тбит/с. Коммутатор 102.4T больше не будет использоваться в поколении B100.
Интересно, что сообщалось, что компонент NVLink на B100 будет использовать 224G SerDes, и если NVIDIA действительно сможет это сделать, это, несомненно, огромное улучшение.
Большинство людей в отрасли согласны с тем, что 224G ненадежен и вряд ли произойдет в 2024 году, за исключением людей из Nvidia.
Вы знаете, будь то Google, Meta или Amazon, их цель по массовому производству ускорителя искусственного интеллекта 224G установлена на 2026/2027 год.
Если NVIDIA добьется этого в 2024/2025 году, она наверняка разобьет своих оппонентов.
Очевидно, что для такого большого размера чипа 3-нм техпроцесс TSMC еще не созрел.
Чипы SambaNova и Intel, которые появятся в следующем году, будут использовать схожие макросхемы.
По данным SemiAnalysis, объем памяти этих двух чипов B100 будет аналогичен или выше, чем у AMD MI300X, достигая стека в 24 ГБ.
Версия B100 с воздушным охлаждением может развивать скорость до 6,4 Гбит/с, а версия с жидкостным охлаждением — до 9,2 Гбит/с.
Кроме того, NVIDIA также показала GB200 и B40 в дорожной карте.
И GB200, и GX200 используют G, который, очевидно, является заполнителем, поскольку NVIDIA представит новый процессор на основе архитектуры Arm. Я не буду использовать Грейс долго.
B40, скорее всего, будет вдвое меньше, чем B100, только с монолитным чипом N4P и HBM с 4 или 6 слоями. В отличие от L40S, это имеет смысл для логических выводов на небольших моделях.
"X100": Критический удар
Самое поразительное в обнародованной дорожной карте — это график NVIDIA "X100".
Интересно, что он идеально вписывается в текущий график AMD MI400. Всего через год после запуска H100 компания AMD выпустила свою стратегию MI300X.
Упаковка MI300X от AMD впечатляет, и они запихивают в нее больше вычислительных ресурсов и памяти, надеясь превзойти H100 год назад и, таким образом, превзойти Nvidia в чистом оборудовании.
Спешащая Nvidia ускоряет продуктовый цикл до одного раза в год, не давая оппонентам ни единого шанса. Например, они планируют выпустить X100 в 2025 году, всего через год после B100.
Конечно, «Х100» пока не запущен в серийное производство (в отличие от В100), поэтому все пока висит в воздухе.
Вы знаете, что в прошлом NVIDIA никогда не обсуждала продукты после следующего поколения продуктов, а этот раз уже беспрецедентный.
Тем более, что название, скорее всего, не называется «Х100».
Nvidia уже давно имеет традицию называть графические процессоры в честь выдающихся женщин-ученых, таких как Ада Лавлейс, Грейс Хоппер и Элизабет Блэквелл.
Что касается «Х», то единственной логичной является Се Сидэ, которая изучает структуру полупроводников и металлических полос, но, учитывая ее идентичность, вероятность должна быть небольшой.
С момента основания NVIDIA Дженсен Хуанг (Jensen Huang) активно развивает цепочку поставок для достижения масштабных целей роста.
Они не только готовы брать на себя неотменяемые заказы на сумму до $11,15 млрд в виде обязательств по закупкам, мощностям и запасам, но и заключают соглашение об авансовых платежах на сумму $3,81 млрд.
Пожалуй, ни один поставщик не может сравниться с ним.
И история Nvidia не раз показывала, что они могут креативно увеличивать предложение, когда предложение в дефиците.
В то время Чжан не мог поверить, что Nvidia нужно так много пластин, но Хуан проявил настойчивость.
NVIDIA добилась больших успехов, экспериментируя со стороны предложения. Несмотря на то, что время от времени они списывают запасы на миллиарды долларов, они все равно получают положительную выгоду от избыточных заказов.
На этот раз NVIDIA напрямую захватила большую часть поставок вышестоящих компонентов графического процессора -
Они разместили очень крупные заказы у трех поставщиков HBM, SK Hynix, Samsung и Micron, вытеснив поставки всех, кроме Broadcom и Google. В то же время она также купила большую часть поставок TSMC CoWoS, а также производственные мощности Amkor.
Кроме того, NVIDIA использует преимущества нижестоящих компонентов, необходимых для плат и серверов HGX, таких как ретаймеры, DSP, оптика и многое другое.
Если поставщик не прислушается к требованиям NVIDIA, то столкнется с «редькой и палкой» Лао Хуанга -
С одной стороны, они получат невообразимые заказы от NVIDIA; С другой стороны, они могут быть удалены из существующей цепочки поставок NVIDIA.
Конечно, NVIDIA также использует фиксированные и неотменяемые заказы только в том случае, если поставщик является критически важным и не может быть устранен или диверсифицирован поставками.
Возвращаясь к динамике рынка, в то время как Nvidia стремится достичь более $70 млрд продаж в дата-центрах в следующем году, только Google имеет достаточные мощности для разведки и добычи — с более чем 1 миллионом устройств. Общие производственные мощности AMD в области искусственного интеллекта по-прежнему очень ограничены, максимум составляет всего несколько сотен тысяч единиц.
Бизнес-стратегия: потенциальная антиконкурентная политика
Как мы все знаем, NVIDIA извлекает выгоду из огромного спроса на графические процессоры для продвижения и перекрестных продаж продуктов клиентам.
В цепочке поставок существует множество информации о том, что NVIDIA предоставляет приоритетное распределение определенным компаниям на основе ряда факторов. Включая, но не ограничиваясь: диверсифицированный план закупок, независимые исследования и разработки чипов ИИ, закупка NVIDIA DGX, сетевых адаптеров, коммутаторов и/или оптического оборудования и т. д.
Эти стратегии, можно сказать, довольно основательны.
Например, единственный способ реализовать сеть 3.2T и надежный RDMA/RoCE на системах NVIDIA — использовать сетевые карты NVIDIA. Конечно, с одной стороны, это еще и потому, что продукты Intel, AMD и Broadcom действительно неконкурентоспособны – все еще застряли на уровне 200G.
Управляя цепочкой поставок, NVIDIA также продвигает цикл поставки сетевых карт 400G InfiniBand, которые могут быть значительно короче, чем сетевые адаптеры 400G Ethernet. Две сетевые карты (ConnectX-7) фактически идентичны по дизайну чипа и платы.
Причиной этого является конфигурация SKU Nvidia, а не фактическое узкое место в цепочке поставок, которое вынуждает компании покупать более дорогие коммутаторы InfiniBand вместо стандартных коммутаторов Ethernet.
И это еще не все, просто посмотрите, насколько цепочка поставок одержима графическими процессорами L40 и L40S, и вы знаете, что Nvidia снова играет с распространением - чтобы выиграть больше квот H100, OEM-производителям нужно покупать больше L40S.
Это то же самое, что и работа NVIDIA в области ПК - производители ноутбуков и партнеры AIB должны покупать более крупные G106/G107 (средние/бюджетные графические процессоры), чтобы получить более дефицитные и высокомаржинальные G102/G104 (высокопроизводительные и флагманские графические процессоры).
Кроме того, людям в цепочке поставок внушили, что L40S лучше, чем A100, потому что у него более высокая производительность.
Но на самом деле эти графические процессоры не подходят для логического вывода LLM, так как они имеют менее половины пропускной способности памяти A100 и не имеют NVLink.
Это означает, что запустить LLM на L40S и добиться хорошей совокупной стоимости владения практически невозможно, за исключением очень маленьких моделей. Крупномасштабная обработка также приводит к тому, что токены, выделенные каждому пользователю, становятся практически непригодными для использования, что делает теоретические операции FLOPS бесполезными в практических приложениях.
Такие компании, как Dell, HP и Lenovo, явно сопротивляются MGX, но такие компании, как Supermicro, Quanta, Asus, Gigabyte и другие, изо всех сил пытаются заполнить этот пробел и коммерциализировать недорогой «корпоративный ИИ».
И эти OEM/ODM, участвующие в шумихе вокруг L40S и MGX, также могут получить лучшее распределение продуктов для основных графических процессоров от NVIDIA.
Копакетированная оптика
Что касается CPO, NVIDIA также придает ему большое значение.
Они работают над различными решениями, в том числе от Ayar Labs, а также над теми, которые они сами получают от Global Foundries и TSMC.
Потому что интеграция непосредственно в сам графический процессор может быть слишком затратной и сложной с точки зрения надежности.
Одной из самых сильных сторон Google в инфраструктуре искусственного интеллекта является оптический переключатель.
Судя по всему, Nvidia преследует нечто подобное. В настоящее время они связались с несколькими компаниями и надеются на сотрудничество в разработке.
В отличие от выбора Google 6D Torus, Nvidia предпочитает использовать структуру Dragonfly.
Однако никто пока не продемонстрировал эту способность, даже Google.
Несмотря на то, что OCS и CPO от NVIDIA — это всего лишь два набора PPT в исследовательском отделе, аналитики считают, что в 2025-2026 годах CPO станет на шаг ближе к продуктизации.
Ресурсы: