Нехватка ядер ИИ, Nvidia распродана

Автор: Сунь Пэнъюэ Редактор: Гейл

Источник: Цинк Финансы

Источник изображения: сгенерировано Unbounded AI

8 августа официально состоялась всемирная конференция по компьютерной графике SIGGRAPH, самая важная конференция круглого стола в мировой компьютерной индустрии.

Основатель и генеральный директор NVIDIA Дженсен Хуанг посетил мероприятие и представил новое поколение чипа NVIDIA Super AI GH200. Дженсен Хуанг очень уверен в своем новом флагманском продукте, называя GH200 «самой быстрой памятью в мире».

**На современном рынке искусственного интеллекта Nvidia называют «центром, управляющим всем миром искусственного интеллекта». ** Будь то OpenAI или Google, META, Baidu, Tencent, Alibaba, все генеративные ИИ в значительной степени полагаются на ИИ-чипы Nvidia для обучения.

Более того, по сообщениям СМИ, общий рыночный спрос на ИИ-чип Nvidia H100 в августе 2023 года может составить около 432 000 штук, а текущая цена чипа H100 на Ebay достигла даже 45 000 долларов США, что эквивалентно более 300 000 юаней. Юань.

Существует более 400 000 зазоров между чипами, цена за единицу которых составляет 45 000 долларов США, а общая стоимость может легко достигать миллионов долларов.

Nvidia переживает рыночную волну, более безумную, чем «эпоха майнинга».

ИИ-чип, который трудно найти

Так называемые ИИ-чипы на самом деле представляют собой графические процессоры (GPU), основная роль которых заключается в выполнении бесчисленных вычислений, связанных с обучением и развертыванием алгоритмов искусственного интеллекта.

**Иными словами, все виды интеллектуальной производительности генеративного ИИ обеспечиваются стекированием бесчисленных графических процессоров. Чем больше используется чипов, тем умнее становится генеративный ИИ. **

OpenAI хранит молчание о деталях обучения GPT-4, но, согласно предположениям СМИ, для GPT-4 требуется не менее 8192 чипов H100 по цене 2 доллара в час, предварительное обучение может быть завершено примерно за 55 дней, и стоимость составляет около 21,5 млн долларов (150 млн юаней).

По словам руководителей Microsoft, суперкомпьютер с искусственным интеллектом, обеспечивающий поддержку вычислительной мощности для ChatGPT, представляет собой крупномасштабный суперкомпьютер верхнего уровня, в который Microsoft инвестировала 1 миллиард долларов США в 2019 году, оснащенный десятками тысяч графических процессоров Nvidia A100 и более чем 60 В общей сложности в центре развернуты сотни тысяч графических процессоров Nvidia.

Чип AI, требуемый ChatGPT, не фиксирован, а постепенно увеличивается. Чем умнее ChatGPT, тем платой за это является то, что требуется все больше и больше вычислительной мощности. По прогнозу Morgan Stanley, для GPT-5 потребуется около 25 000 графических процессоров, что примерно в три раза больше, чем для GPT-4.

** Если вы хотите удовлетворить потребности ряда продуктов ИИ, таких как OpenAI и Google, то это эквивалентно тому, что компания Nvidia предоставляет ядра для продуктов ИИ по всему миру, что является отличным тестом для производственных мощностей Nvidia. **

NVIDIA H100

Хотя Nvidia производит чипы ИИ на полную мощность, по сообщениям СМИ, емкость крупномасштабного кластера H100 малых и крупных облачных провайдеров вот-вот закончится, и «серьезная проблема нехватки» H100 будет сохраняться как минимум до конца. 2024 года.

В настоящее время чипы Nvidia для рынка ИИ в основном делятся на два типа: H100 и A100.H100 является флагманским продуктом.С точки зрения технических деталей, H100 примерно в 3,5 раза быстрее, чем A100 в 16-битной скорости рассуждения, и 16-битная скорость обучения примерно в 2,3 раза быстрее.

Будь то H100 или A100, все они производятся совместно с TSMC, что ограничивает производство H100. По данным некоторых СМИ, для каждого H100 требуется около полугода, чтобы пройти путь от производства до поставки, а эффективность производства очень низкая.

Nvidia заявила, что увеличит объем поставок чипов AI во второй половине 2023 года, но не предоставила никакой количественной информации.

Многие компании и покупатели призывают Nvidia увеличить производство фабрик не только для сотрудничества с TSMC, но и для передачи большего количества заказов Samsung и Intel.

** Более высокая скорость обучения **

**Если нет возможности увеличить производственные мощности, то лучшим решением будет запуск чипов с большей производительностью, чтобы выиграть по качеству. **

В результате Nvidia начала часто выпускать новые графические процессоры для улучшения возможностей обучения ИИ. Во-первых, в марте этого года Nvidia выпустила четыре ИИ-чипа: H100 NVL GPU, L4 Tensor Core GPU, L40 GPU и NVIDIA Grace Hopper, чтобы удовлетворить растущие потребности в вычислительной мощности генеративного ИИ.

Предыдущее поколение еще не было запущено в массовое производство, Nvidia представила обновленную версию H100, GH200, разработанную Хуангом Ренсюнем на Всемирной конференции SIGGRAPH по компьютерной графике 8 августа.

Понятно, что новый суперчип GH200 Grace Hopper основан на 72-ядерном процессоре Grace, оснащенном 480 ГБ памяти ECC LPDDR5X и вычислительным графическим процессором GH100, с 141 ГБ памяти HBM3E, использует шесть стеков по 24 ГБ и использует 6144-битный интерфейс памяти.

NVIDIA GH200

Самая большая черная технология GH200 заключается в том, что, будучи первым в мире чипом, оснащенным памятью HBM3e, он может увеличить свою локальную память графического процессора на 50%. И это тоже «специальный апгрейд» специально для рынка искусственного интеллекта, потому что генеративный ИИ верхнего уровня часто бывает огромным по размеру, но ограниченным по объему памяти.

Согласно общедоступной информации, память HBM3e представляет собой память пятого поколения с высокой пропускной способностью от SK Hynix.Это новый тип технологии памяти с высокой пропускной способностью, которая может обеспечить более высокие скорости передачи данных в меньшем пространстве. Он имеет емкость 141 ГБ и пропускную способность 5 ТБ в секунду, что может достигать 1,7 и 1,55 раз больше, чем у H100 соответственно.

С момента своего выпуска в июле SK Hynix стал любимцем рынка графических процессоров, опередив прямых конкурентов Intel Optane DC и Samsung Z-NAND flash.

Стоит отметить, что SK Hynix всегда была одним из партнеров Nvidia, начиная с памяти HBM3, большинство продуктов Nvidia используют продукты SK Hynix. Однако SK Hynix беспокоится о производственных мощностях памяти, необходимой для чипов AI, и Nvidia неоднократно просила SK Hynix увеличить производственные мощности.

Когда большая семья с дистоцией встречает другую большую семью с дистоцией, люди не могут не беспокоиться о производственных мощностях GH200.

NVIDIA официально заявила, что по сравнению с продуктом текущего поколения H100, GH200 имеет в 3,5 раза большую емкость памяти и в 3 раза большую пропускную способность, а память HBM3e позволит GH200 следующего поколения запускать модели AI в 3,5 раза быстрее, чем текущая модель.

**Скорость работы модели AI в 3,5 раза выше, чем у H100.Значит ли это, что 1 GH200 эквивалентен 3,5 H100? Всему нужно учиться на практике. **

Но на данный момент несомненно то, что как крупнейший поставщик на рынке ИИ Nvidia еще больше укрепила свои лидирующие позиции и увеличила разрыв с AMD и Intel.

Конкуренты NVIDIA

Столкнувшись с разрывом в 430 000 чипов ИИ, ни одна компания не остается равнодушной. В частности, крупнейшие конкуренты Nvidia, AMD и Intel, не позволят им монополизировать весь рынок.

14 июня этого года председатель и главный исполнительный директор AMD Су Цзыфэн интенсивно выпускал множество новых программных и аппаратных продуктов для искусственного интеллекта, в том числе чип MI300X, предназначенный для моделей с большим числом языков. Официально запущен положительный вызов Nvidia на рынке ИИ.

По аппаратным параметрам AMD MI300X имеет целых 13 небольших чипов, содержащих в общей сложности 146 млрд транзисторов, и оснащен 128 ГБ памяти HBM3. Его плотность HBM в 2,4 раза выше, чем у Nvidia H100, а пропускная способность в 1,6 раза больше, чем у Nvidia H100, что означает, что скорость обработки генеративного ИИ может быть увеличена.

Но, к сожалению, этого флагманского ИИ-чипа нет в наличии, но ожидается, что его массовое производство начнется в четвертом квартале 2023 года.

Другой конкурент, Intel, приобрела производителя микросхем искусственного интеллекта HABANA Labs примерно за 2 миллиарда долларов в 2019 году, выйдя на рынок микросхем искусственного интеллекта.

В августе этого года в последнем отчете Intel о прибылях и убытках генеральный директор Intel Пэт Гелсингер заявил, что Intel разрабатывает суперкомпьютерный чип Falcon Shores AI следующего поколения, предварительно названный Falcon Shores 2, который, как ожидается, будет выпущен в 2026 году.

Помимо Falcon Shores 2, Intel также выпустила ИИ-чип Gaudi2, который уже начал продаваться, тогда как Gaudi3 находится в стадии разработки.

Жаль только, что спецификация чипа Gaudi2 не высока, и бросить вызов Nvidia H100 и A100 сложно.

AMD MI300X

** В дополнение к иностранным полупроводниковым гигантам, играющим мускулами и начинающим «конкуренцию чипов», отечественные полупроводниковые компании также начали исследования и разработки чипов ИИ. **

Среди них карта-ускоритель искусственного интеллекта Kunlun core RG800, карта-ускоритель Tiangai 100 от Tianshu Zhixin и обучающий продукт второго поколения Yunsui T20/T21 от Suiyuan Technology указывают на то, что они могут поддерживать обучение крупномасштабных моделей.

В этой битве за чипы, использующие вычислительную мощность в качестве стандарта и большие модели ИИ в качестве поля битвы, Nvidia, как один из крупнейших победителей на рынке ИИ, продемонстрировала свою силу в дизайне чипов и доле рынка.

Однако, хотя отечественные чипы ИИ немного отстают, темпы исследований и разработок и расширения рынка никогда не останавливались, и в будущее стоит смотреть с нетерпением.