Для рождения GPT-5 требуется 50 000 H100! Общий мировой спрос на H100 составляет 430 000, а GPU Nvidia испытывает нехватку

Первоисточник: Синьчжиюань

Источник изображения: сгенерировано Unbounded AI‌

«Кто, сколько и когда получит H100, станет самой горячей темой в Силиконовой долине».

Соучредитель OpenAI и ученый по совместительству Андрей Карпати недавно опубликовал статью, в которой изложил свое мнение о нехватке графических процессоров NVIDIA.

Недавно получившая широкое распространение в сообществе картинка «Сколько графических процессоров нам нужно» вызвала дискуссии у многих пользователей сети.

По содержимому, показанному на рисунке:

• GPT-4, вероятно, был обучен примерно на 10 000-25 000 A100.

• Мета про 21000 А100

• Тесла около 7000 А100

• Стабильность AI около 5000 A100

• Falcon-40B обучен на 384 самолетах A100

— Inflection использовал 3500 и H100 для обучения модели, сравнимой с GPT-3.5.

Кроме того, по словам Маска, для GPT-5 может понадобиться 30 000–50 000 H100.

Ранее Morgan Stanley заявлял, что GPT-5 использует 25 000 графических процессоров и обучается с февраля, но позже Сэм Альтман уточнил, что GPT-5 еще не обучен.

Однако ранее Альтман заявлял,

У нас очень мало графических процессоров, чем меньше людей используют наши продукты, тем лучше.

Мы были бы счастливы, если бы люди использовали меньше, потому что у нас недостаточно графических процессоров.

В этой статье под названием «Графический процессор Nvidia H100: спрос и предложение» представлен углубленный анализ текущего использования и спроса технологических компаний на графические процессоры.

В статье предполагается, что емкость крупномасштабного кластера H100 малых и крупных облачных провайдеров вот-вот закончится, а тенденция спроса на H100 сохранится как минимум до конца 2024 года.

Итак, действительно ли спрос на GPU является узким местом?

Требования к графическим процессорам крупных компаний: около 430 000 H100

В настоящее время взрыв генеративного ИИ не замедлился и выдвинул более высокие требования к вычислительной мощности.

Некоторые стартапы используют дорогую и чрезвычайно производительную H100 от Nvidia для обучения моделей.

По словам Маска, на данный момент получить графические процессоры труднее, чем наркотики.

Сэм Альтман говорит, что OpenAI ограничен GPU, что задерживает их краткосрочные планы (тонкая настройка, выделенная емкость, 32 тыс. контекстных окон, мультимодальность).

Комментарии Карпати приходятся на годовые отчеты крупных технологических компаний, в которых даже обсуждаются вопросы, связанные с доступом к графическим процессорам.

На прошлой неделе Microsoft выпустила свой годовой отчет и подчеркнула для инвесторов, что графические процессоры являются «ключевым сырьем» для ее быстрорастущего облачного бизнеса. Если необходимая инфраструктура недоступна, может возникнуть фактор риска перебоев в работе центра обработки данных.

Эта статья предположительно написана автором поста HK.

Он предположил, что для OpenAI может потребоваться 50 000 H100, для Inflection — 22 000, для Meta — 25 000, а для крупных поставщиков облачных услуг — 30 000 (таких как Azure, Google Cloud, AWS, Oracle).

Для Lambda, CoreWeave и других частных облаков может потребоваться в общей сложности 100 тыс. Он написал, что «Антропику», «Хельсингу», «Мистралю» и «Персонажу» может понадобиться по 10 тыс.

Авторы говорят, что все это приблизительные оценки и догадки, некоторые из которых связаны с двойным учетом облака и конечными клиентами, арендующими оборудование в облаке.

В целом глобальным компаниям требуется около 432 000 H100. При расчете примерно в 35 тысяч долларов за H100 общая потребность в графическом процессоре составляет 15 миллиардов долларов.

Сюда не входят отечественные интернет-компании, которым требуется большое количество H800.

Есть также несколько известных финансовых компаний, таких как Jane Street, JP Morgan, Two Sigma и т. д., каждая из которых развертывает, начиная с сотен A/H100 и заканчивая тысячами A/H100.

Все крупные лаборатории, включая OpenAI, Anthropic, DeepMind, Google и X.ai, обучают большие языковые модели, и Nvidia H100 незаменим.

**Почему лучше всего выбрать H100? **

H100 более популярен, чем A100 в качестве первого выбора, отчасти из-за более низкой задержки кэша и вычислений FP8.

Потому что его эффективность до 3 раз, а стоимость всего (1,5-2 раза). Учитывая общую стоимость системы, производительность H100 намного выше.

С точки зрения технических деталей, по сравнению с A100, H100 примерно в 3,5 раза быстрее при 16-битном мышлении и примерно в 2,3 раза быстрее при 16-битном обучении.

Скорость A100 против H100

Обучение H100 МО

Массовое ускорение H100

Большинство компаний покупают H100 и используют его для обучения и логических выводов, в то время как A100 в основном предназначен для логических выводов.

Но некоторые компании не решаются перейти из-за стоимости, емкости, риска использования и настройки нового оборудования, а также того факта, что существующее программное обеспечение уже оптимизировано для A100.

ГП — это не дефицит, а проблема с цепочкой поставок

Представитель Nvidia сказал, что проблема не в нехватке графических процессоров, а в том, как эти графические процессоры попадают на рынок.

Nvidia производит графические процессоры на полную мощность, но исполнительный директор сказал, что производственные мощности графических процессоров в основном ограничены цепочкой поставок.

Сам чип может иметь достаточную мощность, но недостаточная мощность других компонентов будет сильно ограничивать мощность графического процессора.

Производство этих компонентов зависит от других поставщиков по всему миру.

Но спрос предсказуем, поэтому сейчас проблема постепенно решается.

Мощности по производству чипов GPU

Прежде всего, Nvidia сотрудничает только с TSMC для производства H100. Все 5-нм графические процессоры Nvidia сотрудничают только с TSMC.

Сотрудничать с Intel и Samsung в будущем возможно, но невозможно в краткосрочной перспективе, что ограничивает производство H100.

По словам осведомителя, у TSMC есть 4 производственных узла для обеспечения мощности 5-нм чипов: N5, N5P, N4, N5P.

H100 производится только на узле 4N N5 или N5P, который представляет собой усовершенствованный узел 5 нм.

Nvidia необходимо разделить мощность этого узла с Apple, Qualcomm и AMD.

Фабрика TSMC должна планировать производственные мощности каждого клиента на 12 месяцев вперед.

Если раньше Nvidia и TSMC недооценивали спрос на H100, то сейчас производственные мощности будут ограничены.

По словам осведомителя, H100 займет около полугода от производства до поставки.

Информатор также процитировал вышедшего на пенсию специалиста полупроводниковой промышленности, который сказал, что фабрика не является узким местом производства TSMC, а упаковка CoWoS (3D-стекинг) является воротами производственных мощностей TSMC.

Емкость памяти H100

Что касается другого важного компонента на H100, памяти H100, то здесь тоже может быть проблема недостаточного объема.

HBM (память с высокой пропускной способностью), особым образом интегрированная с графическим процессором, является ключевым компонентом, обеспечивающим производительность графического процессора.

Информатор процитировал инсайдера отрасли, который сказал:

Основная проблема - ХБМ. Делать это кошмар. Поскольку HBM сложно производить, запасы очень ограничены. И производство, и дизайн должны следовать его ритму.

Для памяти HBM3 Nvidia почти всегда использует продукцию SK Hynix, может быть и какая-то продукция Samsung, а продукции Micron быть не должно.

Nvidia хочет, чтобы SK Hynix увеличила производственные мощности, и они это делают. Но и Samsung, и Micron имеют ограниченные возможности.

Более того, при производстве графических процессоров будут использоваться многие другие материалы и процессы, в том числе редкоземельные элементы, что также станет возможными факторами, ограничивающими производственные мощности графических процессоров.

Как будет развиваться чип GPU в будущем

Заявление Nvidia

Nvidia только сообщила, что сможет поставить больше графических процессоров во второй половине года, но не предоставила никакой количественной информации.

Сегодня мы обрабатываем поставки за квартал, но мы также закупаем значительный объем поставок на вторую половину года. Мы полагаем, что предложение во втором полугодии будет намного выше, чем в первом полугодии.

— Финансовый директор Nvidia Колетт Кресс о звонке о прибылях и убытках за февраль-апрель 2023 г.

Что дальше?

Проблема с поставками графических процессоров превратилась в порочный круг, когда из-за нехватки владение графическими процессорами рассматривается как ров, что приводит к накоплению большего количества графических процессоров, что усугубляет дефицит.

– Раскрыто лицо, ответственное за частное облако

**Когда появится следующее поколение H100? **

Согласно предыдущей дорожной карте Nvidia, следующее поколение H100 не будет анонсировано до конца 2024 — начала 2025 года.

До этого момента H100 будет флагманским продуктом Nvidia.

Однако в этот период Nvidia выпустит 120-гигабайтную версию H100 с водяным охлаждением.

По словам инсайдеров отрасли, опрошенных осведомителем, H100 будет распродан к концу 2023 года! !

**Как получить вычислительную мощность H100? **

Как упоминали руководители Nvidia ранее, вычислительная мощность, обеспечиваемая графическим процессором H100, в конечном итоге будет интегрирована в отраслевую цепочку через различных поставщиков облачных вычислений, поэтому нехватка H100 вызвана, с одной стороны, поколением графических процессоров.

Другой аспект заключается в том, как провайдеры облачных вычислений могут эффективно получать H100 от Nvidia и, наконец, достигать клиентов, которым это нужно, предоставляя вычислительные мощности облачных вычислений.

Процесс прост:

Поставщик облачных вычислительных мощностей покупает чипы H100 у OEM-производителей, а затем создает облачные службы вычислительных мощностей и продает их различным компаниям, занимающимся искусственным интеллектом, чтобы конечные пользователи могли получить вычислительную мощность H100.

В этом процессе также есть различные факторы, которые вызвали текущую нехватку вычислительной мощности H100, и статья, которая сообщила новость, также содержит много информации в отрасли для вашего ознакомления.

** У кого я могу купить плату H100? **

OEM-производители, такие как Dell, Lenovo, HPE, Supermicro и Quanta, будут продавать как H100, так и HGX H100.

Облачные провайдеры, такие как CoreWeave и Lambda, покупают графические процессоры у OEM-производителей и сдают их в аренду стартапам.

Гиперскейлеры (Azure, GCP, AWS, Oracle) будут больше работать напрямую с Nvidia, но также будут покупать у OEM-производителей. Это похоже на то, как геймеры покупают видеокарты. Но даже для того, чтобы купить DGX, пользователям необходимо совершить покупку через OEM-производителя, и они не могут размещать заказ напрямую в Nvidia.

срок поставки

Время выполнения заказа для сервера HGX с 8 графическими процессорами ужасное, время выполнения для сервера HGX с 4 графическими процессорами просто прекрасное.

Но каждый клиент хочет сервер с 8 GPU!

Покупает ли стартап у OEM-производителей и реселлеров?

Если начинающая компания хочет получить вычислительную мощность H100, она не купит H100 и не подключит ее к собственному кластеру графических процессоров.

Обычно они арендуют вычислительную мощность у крупных облаков, таких как Oracle, частных облаков, таких как Lambda и CoreWeave, или поставщиков, которые работают с OEM-производителями и центрами обработки данных, такими как FluidStack.

Если вы хотите построить свой собственный центр обработки данных, вам необходимо учитывать время на строительство центра обработки данных, наличие у вас персонала и опыта работы с оборудованием, а также возможность капитальных затрат.

Аренда и размещение серверов стали еще проще. Если пользователи хотят построить свои собственные центры обработки данных, для подключения к Интернету необходимо проложить линию темного волокна — 10 000 долларов за километр. Большая часть инфраструктуры уже построена и оплачена во время бума доткомов. Просто арендуйте, это дешево.

– Лицо, отвечающее за частное облако

Последовательность от аренды до самостоятельно созданных облачных сервисов примерно следующая: аренда облачных сервисов по требованию (чистая аренда облачных сервисов), запланированные облачные сервисы, управляемые облачные сервисы (покупка серверов, сотрудничество с поставщиками для размещения и управления серверами), самостоятельный хостинг. (покупка самостоятельно) и хостинг сервер)).

Большинство стартапов, которым нужна вычислительная мощность H100, выберут облачные услуги или управляемые облачные услуги.

Сравнение между крупными платформами облачных вычислений

Для многих стартапов облачные сервисы, предоставляемые крупными компаниями, занимающимися облачными вычислениями, являются основным источником их H100.

Выбор облачной платформы также в конечном итоге определяет, смогут ли они получить стабильную вычислительную мощность H100.

Общий вывод таков: Oracle не так надежен, как большая тройка облаков. Но Oracle предоставит дополнительную техническую поддержку.

Основные отличия от других крупных компаний, занимающихся облачными вычислениями, заключаются в следующем:

Сеть: в то время как большинство стартапов, ищущих большие кластеры A100/H100, ищут InfiniBand, AWS и Google Cloud медленнее внедряют InfiniBand, поскольку у них есть собственный подход к предоставлению услуг.

Доступность: большая часть H100 Microsoft Azure посвящена OpenAI. Google было сложнее приобрести H100.

Потому что Nvidia, похоже, склонна предоставлять больше квот H100 для тех облаков, которые не планируют разрабатывать конкурирующие чипы машинного обучения. (Это все догадки, а не суровая правда.)

Все три крупные облачные компании, за исключением Microsoft, разрабатывают чипы машинного обучения, а альтернативные продукты Nvidia от AWS и Google уже представлены на рынке, занимая часть доли рынка.

С точки зрения отношений с Nvidia это может выглядеть так: Oracle и Azure > GCP и AWS. Но это только догадки.

Меньшие поставщики вычислительной мощности облачных вычислений будут дешевле, но в некоторых случаях некоторые поставщики вычислительной мощности облачных вычислений будут обменивать вычислительную мощность на акции.

Как Nvidia выделяет H100

Nvidia предоставит каждому клиенту квоту H100.

Но если Azure скажет: «Эй, мы хотим получить 10 000 H100, все для Inflection», вы получите другую квоту, чем если бы Azure сказал: «Эй, мы хотим получить 10 000 H100 для облака Azure».

Nvidia заботится о том, кто является конечным потребителем, поэтому, если Nvidia заинтересована в конечном потребителе, платформа поставщика облачных вычислений получит больше H100.

Nvidia хочет как можно лучше понять, кто является конечным потребителем, и они предпочитают клиентов с хорошими брендами или стартапы с сильной родословной.

Да, похоже, так оно и есть. NVIDIA любит гарантировать доступ к графическим процессорам новым компаниям, занимающимся искусственным интеллектом (многие из которых имеют с ними тесные связи). Посмотрите, как Inflection — компания, занимающаяся искусственным интеллектом, в которую они инвестируют, — тестирует огромный кластер H100 на CoreWeave, в который они также инвестируют.

– Лицо, отвечающее за частное облако

Заключение

Нынешняя жажда графических процессоров — это одновременно и пена, и шумиха, но объективно она существует.

Есть такие компании, как OpenAI, с такими продуктами, как ChatGPT, которые набирают обороты, но им все еще не хватает графических процессоров.

Другие компании покупают и копят графические процессоры для использования в будущем или для обучения больших языковых моделей, которые рынок может даже не использовать. Это создает пузырь нехватки графических процессоров.

Но как ни посмотри, Nvidia — зеленый король в крепости.

Использованная литература: