Рынок масштабных моделей, а не только горячий HBM

Первоисточник: Вертикальная и горизонтальная полупроводниковая промышленность.

Источник изображения: сгенерировано Unbounded AI‌

В последнее время HBM стал горячей темой в индустрии чипов. По данным TrendForce, битовый объем памяти с высокой пропускной способностью (HBM), как ожидается, достигнет 290 млн ГБ в 2023 году, что на 60 % больше, чем в прошлом году, и, как ожидается, увеличится еще на 30 % в 2024 году. Концепция памяти HBM, предложенная AMD в 2008 году, была реализована SK Hynix с помощью технологии TSV в 2013 году. Спустя 10 лет после своего появления HBM, похоже, действительно вступила в эпоху масштабной коммерциализации.

Взлет концепции HBM напрямую связан с популярностью AIGC. Серверы AI предъявляют более высокие требования к пропускной способности, по сравнению с DDR SDRAM HBM имеет более высокую пропускную способность и меньшее энергопотребление. Сверхвысокая пропускная способность делает HBM основным компонентом высокопроизводительного графического процессора, а HBM — это, по сути, стандартная конфигурация серверов ИИ. В настоящее время стоимость HBM занимает третье место в стоимости серверов ИИ, составляя около 9%, а средняя цена продажи одного сервера достигает 18 000 долларов США.

С момента появления ChatGPT в прошлом году рынок крупномасштабных моделей начал быстро расти.На внутреннем рынке технологические гиганты, такие как Baidu, Ali, HKUST Xunfei, SenseTime и Huawei, последовательно объявляли, что будут обучать свой собственный ИИ. масштабные модели. TrendForce прогнозирует, что в 2025 году будет 5 крупномасштабных AIGC, эквивалентных ChatGPT, 25 продуктов AIGC среднего размера Midjourney и 80 продуктов AIGC малого масштаба.Даже для минимальных вычислительных ресурсов, необходимых в глобальном масштабе, может потребоваться от 145 600 до 233 700 графических процессоров NVIDIA A100. . Это потенциальные области роста для HBM.

С начала 2023 года заказы HBM от Samsung и SK Hynix быстро росли, росла и цена HBM, за последнее время цена HBM3 DRAM увеличилась в 5 раз. Samsung получила заказы от AMD и Nvidia на увеличение поставок HBM. SK hynix начала расширять производственную линию HBM, стремясь удвоить производственные мощности HBM. Корейские СМИ сообщили, что Samsung планирует инвестировать около 760 миллионов долларов США в расширение производства HBM, стремясь удвоить производственные мощности HBM к концу следующего года, и компания разместила крупные заказы на оборудование.

Преимущества HBM в AIGC

Проще говоря, HBM увеличит вычислительную мощность серверов. Из-за обработки большого объема данных за короткий промежуток времени у серверов ИИ более высокие требования к пропускной способности. Функция HBM аналогична «станции передачи» данных, которая заключается в сохранении данных изображения, таких как каждый кадр и изображение, используемое в области буфера кадров, и ожидании вызова графического процессора. По сравнению с традиционной технологией памяти HBM имеет более высокую пропускную способность, большее количество операций ввода-вывода, более низкое энергопотребление и меньший размер, что может значительно увеличить объем обработки данных и скорость передачи серверов ИИ.

Источник: рамбус

Видно, что HBM имеет «скользящее» преимущество по пропускной способности. Если HBM2E работает со скоростью 3,6 Гбит/с на 1024-битном интерфейсе, вы получаете пропускную способность 3,7 Тбайт в секунду, что более чем в 18 раз превышает пропускную способность LPDDR5 или DDR4.

В дополнение к преимуществу в пропускной способности, HBM позволяет экономить пространство, что, в свою очередь, позволяет разместить в системе больше графических процессоров. Память HBM состоит из стека памяти в том же физическом корпусе, что и GPU.

Такая архитектура означает значительную экономию энергии и площади по сравнению с традиционными конструкциями памяти GDDR5/6, что позволяет установить в системе больше графических процессоров. По мере того, как наборы данных HPC, AI и аналитики данных растут в размерах, а вычислительные задачи становятся все более сложными, все больше и больше емкости памяти и пропускной способности графического процессора становятся необходимостью. Графический процессор H100 SXM5 обеспечивает пропускную способность памяти более 3 ТБ/с, поддерживая 80 ГБ (пять стеков) быстрой памяти HBM3, что в два раза превышает пропускную способность памяти A100.

Цена была ограничивающим фактором для HBM в прошлом. Но сейчас на рынке крупногабаритных моделей период раздора.Для гигантов,выкладывающих масштабные макеты, время-деньги.Поэтому НВМ,который "дорого и дорого" стал новым фаворитом крупногабаритных масштабные модели великанов. С постепенным ростом спроса на высокопроизводительные графические процессоры HBM стал стандартной конфигурацией серверов ИИ.

В настоящее время Nvidia A100 и H100 оснащены 80 ГБ HBM2e и HBM3, а в последнем чипе Grace Hopper, объединяющем центральный и графический процессоры, пропускная способность одного чипа HBM увеличилась на 20%, достигнув 96 ГБ.

AMD MI300 также оснащен HBM3.Среди них емкость MI300A такая же, как у предыдущего поколения 128 ГБ, а MI300X более высокого класса достигает 192 ГБ, что на 50% больше.

Ожидается, что Google будет активно расширять свое сотрудничество с Broadcom во второй половине 2023 года для разработки чипа ускорения ИИ AISC. TPU также планируется оснастить памятью HBM для расширения инфраструктуры ИИ.

Ускоренная компоновка поставщика хранилища

Такая «денежная сцена» позволяет гигантам хранения данных ускорить компоновку HBM-памяти. В настоящее время три ведущих мировых производителя чипов памяти переводят больше производственных мощностей для производства HBM, но поскольку для корректировки производственных мощностей требуется время, быстро увеличить производство HBM сложно, и ожидается, что поставки HBM останутся ограниченными. в ближайшие два года.

Рынок HBM в основном контролируется тремя крупными гигантами DRAM. Однако, в отличие от рынка DRAM, который лидирует Samsung, SK Hynix лучше развилась на рынке HBM. Как упоминалось в начале, SK Hynix разработала первый продукт HBM. В апреле 2023 года SK Hynix объявила о разработке первого продукта HBM3 DRAM емкостью 24 ГБ, в котором используется технология TSV для вертикального размещения 12 отдельных микросхем DRAM, которые на 40% тоньше существующих микросхем и достигают той же высоты, что и продукты емкостью 16 ГБ. Между тем, SK Hynix планирует подготовить образцы HBM3E с производительностью передачи данных 8 Гбит/с во второй половине 2023 года, а запустить его в серийное производство в 2024 году.

Компоновка отечественных полупроводниковых компаний для HBM в основном вращается вокруг области упаковки и интерфейсов.

NationalChip Technology в настоящее время исследует и планирует технологию упаковки чипов 2.5D для памяти с несколькими модулями HBM, а также активно продвигает исследования, разработки и применение технологии Chiplet. После завершения производственной линии 2.5D/3D компании Tongfu Microelectronics Co., Ltd., компания осуществит прорыв в области технологии высокопроизводительной упаковки HBM. BIWIN выпустила высокопроизводительные чипы и модули памяти и продолжит уделять внимание технологии HBM. Чип PCIe 5.0/CXL 2.0 Retimer от Montage Technology запущен в массовое производство.Этот чип является ключевой модернизацией продукта PCIe 4.0 Retimer от Montage Technology, который может предоставить отрасли стабильную и надежную высокоскоростную шину PCIe 5.0/CXL 2.0 с малой задержкой. межсетевое решение.

Несмотря на то, что HBM хорош, ему все же нужно быть спокойным, HBM все еще находится в относительно ранней стадии, и его будущее еще далеко. Можно предвидеть, что по мере того, как все больше и больше производителей продолжают прилагать усилия в таких областях, как ИИ и машинное обучение, сложность конструкции продуктов памяти быстро растет, а к пропускной способности предъявляются более высокие требования. ХБМ.

Зажигательность HBM отражает ведущую способность AIGC. Итак, помимо HBM и GPU, есть ли другие продукты, которые могут использовать преимущества этой новой тенденции?

Расскажите о других воспламененных фишках

Преимущества ПЛИС начинают проявляться

FPGA (Field Programmable Gate Array) — это интегральная схема с программируемыми логическими элементами, памятью и ресурсами межсоединений. В отличие от ASIC (специализированных интегральных схем), FPGA обладает такими преимуществами, как гибкость, настраиваемость, возможность параллельной обработки и простота обновления.

С помощью программирования пользователи могут в любое время изменить сценарии приложений FPGA, а FPGA может имитировать различные параллельные операции ЦП, ГП и другого оборудования. Поэтому в промышленности его также называют «универсальным чипом».

FPGA имеют смысл для обоснования потребностей искусственного интеллекта в часто меняющихся базовых моделях. Программируемость FPGA превосходит типичную экономичность использования FPGA. Чтобы было ясно, ПЛИС не будут серьезными конкурентами крупномасштабным системам ИИ, использующим тысячи графических процессоров, но по мере дальнейшего проникновения ИИ в электронику спектр приложений для ПЛИС будет расширяться.

Преимущество FPGA перед GPU заключается в более низком энергопотреблении и задержке. Графический процессор не может эффективно использовать встроенную память и должен часто считывать внешнюю DRAM, поэтому энергопотребление очень велико. FPGA может гибко использовать встроенную память, поэтому энергопотребление намного ниже, чем у GPU.

27 июня AMD объявила о выпуске адаптивной системы-на-кристалле (SoC) AMD Versal Premium VP1902, которая представляет собой адаптивную SoC на основе FPGA. Это устройство на основе чипсета уровня эмуляции, которое упрощает проверку все более сложных полупроводниковых конструкций. Сообщается, что AMD VP1902 станет самой большой FPGA в мире.По сравнению с продуктом предыдущего поколения (Xilinx VU19P), новый VP1902 добавляет функцию Versal и использует небольшой дизайн микросхемы, что более чем вдвое увеличивает ключевую производительность FPGA.

В отчете Dongxing Securities Research Report говорится, что FPGA имеет большое преимущество в рассуждениях ИИ благодаря преимуществам задержки и энергопотребления, обеспечиваемым его архитектурой. В предыдущем исследовательском отчете Zheshang Securities также указывалось, что в дополнение к графическому процессору решение ЦП + ПЛИС также может удовлетворить огромные потребности в вычислительной мощности ИИ.

В отличие от HBM, монополизированного зарубежными компаниями, отечественные компании уже накопили микросхемы FPGA.

Основным направлением деятельности Anlu Technology являются исследования и разработки, проектирование и продажа микросхем FPGA и специального программного обеспечения EDA.Продукты широко используются в промышленном управлении, сетевых коммуникациях, бытовой электронике и других областях. Ziguang Tongchuang, дочерняя компания Ziguang Guowei, является профессиональной компанией FPGA, которая разрабатывает и продает микросхемы FPGA общего назначения. Ziguang Guowei однажды заявил на брифинге по производительности, что чип FPGA компании можно использовать в области искусственного интеллекта. Dongtu Technology в основном осуществляет индустриализацию чипов FPGA.Акционерная компания компании Zhongke Yihai Micro team самостоятельно разработала программное обеспечение EDA для поддержки разработки приложений для своих продуктов FPGA.

Новая идея для внутреннего замещения: интеграция хранения и вычислений + чипсет

Можем ли мы использовать наши текущие доступные процессы и технологии для разработки чипов ИИ, которые могут конкурировать с Nvidia с точки зрения производительности? Появились некоторые «новые идеи», такие как интеграция хранения и вычислений + Chiplet.

Разделение хранения и вычислений приведет к узким местам вычислительной мощности. С быстрым развитием технологий искусственного интеллекта резко возрос спрос на вычислительную мощность. В эпоху после Мура пропускная способность хранилища ограничивает эффективную пропускную способность вычислительной системы, и рост вычислительной мощности системы затруднен. Например, для обучения модели BERT с нуля с 8 блоками 1080TI требуется 99 дней. Интегрированная архитектура хранения и вычислений не имеет концепции глубокого многоуровневого хранилища.Все вычисления выполняются в памяти, тем самым устраняя стену хранения и соответствующие дополнительные накладные расходы, вызванные неоднородностью хранения и вычислений; устранение стены хранения может значительно уменьшить обработку данных. , не только улучшает скорость передачи и обработки данных, но и в несколько раз повышает коэффициент энергоэффективности.

С одной стороны, энергопотребление, необходимое для обработки одной и той же вычислительной мощности между интегрированной архитектурой хранения и вычислений и процессором традиционной архитектуры, будет снижено; откройте стену компиляции традиционной архитектуры.

В 2021 году ученые из Университета штата Аризона выпустили тестовый симулятор архитектуры IMC на базе Chiplet SIAM, чтобы оценить потенциал этой новой архитектуры в обучении больших моделей ИИ. SIAM объединяет устройства, схемы, архитектуру, модели доступа «сеть-на-чипе» (NoC), «сеть-в-корпусе» (NoP) и DRAM, чтобы обеспечить сквозную высокопроизводительную вычислительную систему. SIAM масштабируется для поддержки глубоких нейронных сетей (DNN) и может быть настроен для различных сетевых структур и конфигураций. Его исследовательская группа демонстрирует гибкость, масштабируемость и скорость моделирования SIAM, сравнивая различные усовершенствованные DNN с использованием наборов данных CIFAR-10, CIFAR-100 и ImageNet. Говорят, что по сравнению с графическим процессором NVIDIA V100 и T4 архитектура чиплета + IMC, полученная с помощью SIAM, показывает, что энергоэффективность ResNet-50 в наборе данных ImageNet увеличилась на 130 и 72 соответственно.

Это означает, что ожидается, что интегрированный чип искусственного интеллекта для хранения и вычислений достигнет гетерогенной интеграции с помощью технологии Chiplet и технологии упаковки стека 2,5D / 3D, тем самым сформировав крупномасштабную вычислительную систему. Комбинация хранения и вычислений + Chiplet кажется возможным способом реализовать это.Говорят, что Yizhu Technology исследует этот путь.Его коммерческий чип первого поколения для хранения и вычислений, интегрированный с большой вычислительной мощностью AI, может достичь вычислительной мощности одной карты. более 500 т, а потребляемая мощность в пределах 75 Вт. Возможно, это станет прелюдией ко второй кривой роста вычислительной мощности ИИ.

Заключение

На Всемирной конференции по искусственному интеллекту генеральный директор AMD Лиза Су заявила, что в ближайшие десять лет будет крупномасштабный вычислительный суперцикл, поэтому сейчас самое время стать поставщиком технологий, и это также отличается от некоторых компаний, которые будет использовать эти технологии для разработки различных технологий.Хорошее время для работы с клиентами приложения.

Никому не нужна отрасль с одним доминирующим игроком. Может ли рынок крупномасштабных моделей создать для индустрии чипов новую рыночную структуру и могут ли появиться новые игроки?

«Рынок больших моделей принес новые рыночные модели и возможности в индустрию микросхем. Способствуя разработке микросхем ИИ, способствуя росту рынков облачных вычислений и центров обработки данных и вызывая изменения в конкурентной среде, рост больших моделей принесла новые возможности в индустрию чипов.направление развития.

Следует отметить, что производство чипов является высококонкурентной и высокотехнологичной отраслью. Вход в отрасль требует значительных финансовых и технических ресурсов для удовлетворения сложных требований производства и исследований и разработок. Хотя рынок крупномасштабных моделей предоставляет возможности для новых игроков, им необходимо преодолеть технические, финансовые и маркетинговые проблемы, чтобы добиться успеха в высококонкурентной индустрии чипов. — ответил Chatgpt.