Старый Хуан побеждает! Заказ Nvidia H100 расписан на 24 года, и Маск не может сидеть на месте

Первоисточник: Кубит

Лучший графический процессор для обработки больших моделей NVIDIA H100, все продано!

Даже если вы закажете его сейчас, он не будет доступен до первого или даже второго квартала 2024 года.

Это последние новости, опубликованные в Wall Street Journal компанией CoreWeave, поставщиком облачных услуг, тесно связанным с Nvidia.

С начала апреля предложение было крайне ограниченным. Всего за одну неделю ожидаемые сроки доставки подскочили с разумных уровней до конца года.

Amazon AWS, крупнейший в мире поставщик облачных услуг, также подтвердил эту новость.Генеральный директор Адам Селипски недавно сказал:

A100 и H100 — это самые современные технологии… трудно получить даже для AWS.

Ранее Маск также сказал в ток-шоу: GPU теперь труднее получить, чем продукты d.

Если вы найдете «скальпера» для покупки, премия достигает 25%.

Например, цена на Ebay выросла примерно с 36 000 долларов США на условиях франко-завод до 45 000 долларов США**, а предложение ограничено.

В этой ситуации крупные отечественные технологические компании, такие как Baidu, Byte, Ali и Tencent**, также разместили у Nvidia заказы на A800 и другие чипы на общую сумму 5 миллиардов долларов США**.

Из них в течение этого года может быть доставлено товаров только на 1 млрд долларов США, а остальные 80% придется подождать до 2024 года.

Итак, кому продаются существующие высокопроизводительные графические процессоры? Где застряла эта волна производственных мощностей?

Кто продает H100, последнее слово за Лао Хуангом

С появлением ChatGPT стали популярными Nvidia A100 и H100, которые хорошо подходят для обучения больших моделей.

Даже H100 уже можно использовать в качестве актива для начинающих компаний для поиска инвестиционных фондов для получения ипотечных кредитов.

Компании искусственного интеллекта, представленные OpenAI и Meta, компании облачных вычислений, представленные Amazon и Microsoft, частные облака Coreweave и Lambda, а также все различные технологические компании, которые хотят усовершенствовать свои собственные крупные модели. спрос огромен.

** Тем не менее, в основном именно генеральный директор Nvidia Хуан Ренсюнь имеет последнее слово в том, кому продавать. **

Согласно информации, H100 находится в таком дефиците, что Nvidia** выделила большое количество новых карт для CoreWeave** и ограниченное количество** для известных компаний, занимающихся облачными вычислениями, таких как Amazon и Microsoft.

(Nvidia также напрямую инвестировала в CoreWeave.)

Внешний анализ заключается в том, что эти признанные компании разрабатывают свои собственные чипы для ускорения ИИ, надеясь уменьшить свою зависимость от Nvidia, поэтому Лао Хуанг им поможет.

Лао Хуан также контролирует все аспекты повседневной деятельности компании в Nvidia, включая даже ** «проверку того, что торговые представители собираются сказать небольшим потенциальным клиентам» **.

Около 40 руководителей в компании напрямую подчиняются Лао Хуану**, что больше, чем число прямых подчиненных Мета Сяожа и Microsoft Сяона вместе взятых.

Бывший менеджер Nvidia рассказал: «В Nvidia Хуан Ренсюнь на самом деле является директором по продукту по каждому продукту».

Некоторое время назад также ходили слухи, что Лао Хуанг сделал преувеличенную вещь: Попросите некоторые небольшие компании, занимающиеся облачными вычислениями, предоставить свои списки клиентов, желая знать, кто является конечными пользователями GPU.

Согласно внешнему анализу, этот шаг позволит Nvidia лучше понять потребности клиентов в своих продуктах, а также вызвал опасения, что Nvidia может использовать эту информацию для получения дополнительных преимуществ.

Некоторые люди также думают, что еще одна причина заключается в том, что Лао Хуан хочет знать, кто на самом деле использует карту, а кто просто копит карту и не использует ее.

Почему у Nvidia и Лао Хуана сейчас такой громкий голос?

Основная причина в том, что спрос и предложение на высокопроизводительные графические процессоры слишком несбалансированы: по подсчетам сайта GPU Utils разрыв H100** достигает 430 000**.

Автор Clay Pascal оценил количество H100, которое потребуется различным игрокам индустрии ИИ в ближайшем будущем на основе различной известной информации и слухов.

Компания с искусственным интеллектом:

• OpenAI может потребоваться 50 000 H100 для обучения GPT-5.
• Говорят, что Мете нужно 100 000
• Объявлен план кластера вычислительной мощности InflectionAI на 22 000 карт.
• Крупные стартапы в области искусственного интеллекта, такие как Anthropic, Character.ai, MistraAI и HelsingAI в Европе, требуют порядка 10 000 штук.

Компания облачных вычислений:

• В больших общедоступных облаках Amazon, Microsoft, Google и Oracle рассчитаны на 30 000, что в сумме составляет 120 000.
• Для частного облака, представленного CoreWeave и Lambda, требуется в общей сложности 100 000

В сумме получается 432 000.

Это не считая некоторых финансовых компаний и других участников отрасли, таких как JP Morgan Chase и Two Sigma, которые также начали развертывать свои собственные кластеры вычислительной мощности.

Итак, вопрос в том, можем ли мы при таком большом разрыве в поставках производить больше?

Лао Хуанг тоже думал об этом, но производственные мощности остановились.

**Где на этот раз остановились производственные мощности? **

На самом деле TSMC уже скорректировала свой производственный план для Nvidia.

Однако восполнить такой огромный пробел так и не удалось.

Чарли Бойл, вице-президент и генеральный менеджер системы Nvidia DGX, сказал, что на этот раз она не застряла на пластине, а технология упаковки CoWoS TSMC столкнулась с узким местом в своих производственных мощностях.

Именно Apple конкурирует с Nvidia за производственные мощности TSMC, и до сентябрьской конференции она получит чип A17 для iPhone следующего поколения.

TSMC недавно заявила, что, как ожидается, потребуется 1,5 года, чтобы вернуть отставание в процессе упаковки в нормальное русло.

Технология упаковки CoWoS — это мастерство TSMC по ведению домашнего хозяйства, и от этого зависит причина, по которой TSMC сможет обойти Samsung и стать эксклюзивным производителем чипов Apple.

Продукты, упакованные с использованием этой технологии, обладают высокой производительностью и высокой надежностью, поэтому H100 может иметь пропускную способность 3 ТБ/с (или даже выше).

Полное название CoWoS — Chip-on-Wafer-on-Substrate — технология интеграции микросхем, уникальная на уровне пластин.

Эта технология позволяет размещать несколько микросхем на кремниевой промежуточной пластине толщиной всего 100 мкм**.

По имеющимся данным, площадь интерпозера следующего поколения будет в 6 раз превышать размер сетки, что составляет около 5000 мм².

Пока что, кроме TSMC, ни у одного производителя нет такой возможности упаковки.

Хотя CoWoS, безусловно, мощный инструмент, разве он не будет работать без него? Могут ли это сделать другие производители?

Не говоря уже о том, что Лао Хуан уже заявил, что «мы не будем рассматривать возможность добавления второго литейного цеха H100».

На самом деле это может быть невозможно.

Nvidia и раньше сотрудничала с Samsung, но последняя никогда не производила продукты серии H100 для Nvidia или даже другие 5-нм чипы.

Исходя из этого, некоторые люди предполагают, что технический уровень Samsung может быть не в состоянии удовлетворить технологические потребности Nvidia в передовых графических процессорах.

Что касается Intel... похоже, их 5-нм продукты пока не выходят.

Поскольку сменить производителя Lao Huang невозможно, как насчет того, чтобы пользователи сразу переключились на AMD?

АМД，Да？

Только с точки зрения производительности AMD действительно медленно догоняет.

Последний процессор AMD MI300X имеет 192 ГБ памяти HBM3, пропускную способность 5,2 ТБ/с и может работать с 80 миллиардами моделей параметров.

DGX GH200, только что выпущенный Nvidia, имеет 141 ГБ памяти HBM3e и пропускную способность 5 ТБ/с.

Но это не значит, что AMD может сразу заполнить вакансию карты N——

Настоящий «ров» Nvidia лежит в платформе CUDA.

###

CUDA создала полную экосистему разработки, а это означает, что если пользователи покупают продукты AMD, отладка займет больше времени.

Руководитель частной облачной компании сказал, что никто не посмеет рискнуть потратить 300 миллионов долларов на экспериментальное развертывание 10 000 графических процессоров AMD.

Руководитель считает, что цикл разработки и отладки может занять не менее двух месяцев.

На фоне стремительного замещения продукции ИИ двухмесячный разрыв может оказаться фатальным для любого производителя.

Однако Microsoft протянула оливковую ветвь AMD.

Ранее ходили слухи, что Microsoft готовилась к совместной разработке ИИ-чипа под кодовым названием «Athena» с AMD.

Ранее, когда был выпущен MI200, Microsoft первой объявила о покупке и развернула его на своей облачной платформе Azure.

Например, новая инфраструктура больших моделей MSRA RetNet недавно была обучена на 512 процессорах AMD MI200.

В ситуации, когда Nvidia занимает почти весь рынок искусственного интеллекта, кому-то может понадобиться взять на себя инициативу, и весь крупномасштабный кластер вычислительной мощности AMD должен быть прототипирован, прежде чем кто-либо осмелится продолжить.

Тем не менее, в течение короткого периода времени Nvidia H100 и A100 по-прежнему остаются наиболее популярным выбором.

Еще кое-что

Некоторое время назад, когда Apple выпустила новый чип M2 Ultra, поддерживающий до 192 ГБ памяти**, многим практикам понравилось использовать его для точной настройки больших моделей.

В конце концов, память и видеопамять чипов Apple M-серии унифицированы, 192 ГБ памяти — это 192 ГБ видеопамяти, что в 2,4 раза больше, чем у 80 ГБ H100, или в 8 раз больше, чем у 24 ГБ RTX4090.

Однако после того, как кто-то действительно купил эту машину, реальная скорость тестирования и обучения** не так хороша, как у Nvidia RTX3080TI**, точная настройка нерентабельна, не говоря уже об обучении.

Ведь вычислительная мощность чипов M-серии специально не оптимизирована для вычислений ИИ, а видеопамять Everbright бесполезна.

Кажется, что от H100 в основном зависит доработка большой модели, а H100 — это то, о чем вы не можете просить.

Столкнувшись с этой ситуацией, в Интернете даже циркулирует волшебная «песня графического процессора»**.

Очень промывание мозгов, входите с осторожностью.

, продолжительность 04:10

Песня GPU дома

Справочная ссылка: [1] [2] [3] [4] [5] [6] [7] [8] [9]