Масштабний модельний ринок, а не тільки гарячий HBM

Оригінальне джерело: Semiconductor Industry Vertical and Horizontal

Джерело зображення: створено Unbounded AI‌

Останнім часом HBM став гарячою темою в індустрії мікросхем. За даними TrendForce, очікується, що розрядний об’єм пам’яті з високою пропускною здатністю (HBM) досягне 290 мільйонів ГБ у 2023 році, що на рік збільшиться приблизно на 60%, і, як очікується, збільшиться ще на 30% у 2024 році. Концепція пам’яті HBM, запропонована AMD у 2008 році, була реалізована компанією SK Hynix за допомогою технології TSV у 2013 році. Через 10 років після появи HBM, здається, дійсно настав час широкомасштабної комерціалізації.

Зліт концепції HBM безпосередньо пов'язаний з популярністю AIGC. Сервери AI мають вищі вимоги до пропускної здатності.Порівняно з DDR SDRAM, HBM має вищу пропускну здатність і менше енергоспоживання. Надвисока пропускна здатність робить HBM основним компонентом високопродуктивного графічного процесора, а HBM є в основному стандартною конфігурацією серверів AI. Наразі вартість HBM займає третє місце у вартості серверів ШІ, становлячи близько 9%, а середня ціна продажу одного сервера досягає 18 000 доларів США.

З моменту появи ChatGPT минулого року ринок великомасштабних моделей почав швидко зростати.На внутрішньому ринку технологічні гіганти, такі як Baidu, Ali, HKUST Xunfei, SenseTime і Huawei, послідовно оголосили, що вони будуть навчати свій власний штучний інтелект. масштабні моделі. TrendForce прогнозує, що в 2025 році буде 5 великомасштабних AIGC, еквівалентних ChatGPT, 25 середніх продуктів AIGC Midjourney і 80 малих продуктів AIGC.Навіть мінімальні ресурси обчислювальної потужності, необхідні в усьому світі, можуть вимагати від 145 600 до 233 700 графічних процесорів NVIDIA A100. . Це потенційні сфери зростання HBM.

З початку 2023 року замовлення на HBM від Samsung і SK Hynix стрімко зросли, а також зросла ціна на HBM.Останнім часом ціна на HBM3 DRAM зросла в 5 разів. Samsung отримала замовлення від AMD і Nvidia на збільшення поставок HBM. SK hynix почала розширювати виробничу лінію HBM, прагнучи подвоїти виробничу потужність HBM. Корейські ЗМІ повідомили, що Samsung планує інвестувати близько 760 мільйонів доларів США в розширення виробництва HBM з метою подвоїти виробничі потужності HBM до кінця наступного року, і компанія розмістила великі замовлення на обладнання.

Переваги HBM в AIGC

Безумовно, HBM збільшить обчислювальну потужність серверів. Через обробку великого обсягу даних за короткий проміжок часу сервери ШІ мають вищі вимоги до пропускної здатності. Функція HBM подібна до «станції передачі» даних, яка полягає у збереженні даних зображення, таких як кожен кадр і зображення, що використовуються в області буфера кадру, і очікуванні виклику GPU. Порівняно з традиційною технологією пам’яті, HBM має вищу пропускну здатність, більшу кількість вводів/виводів, менше енергоспоживання та менший розмір, що може значно покращити обсяг обробки даних і швидкість передачі серверів ШІ.

Джерело: rambus

Можна помітити, що HBM має перевагу на рівні "прокатування" з точки зору пропускної здатності. Якщо HBM2E працює зі швидкістю 3,6 Гбіт/с на 1024-бітному інтерфейсі, ви отримаєте 3,7 ТБ на секунду пропускної здатності, що більш ніж у 18 разів перевищує пропускну здатність LPDDR5 або DDR4.

На додаток до переваги пропускної здатності, HBM може заощадити площу, що, у свою чергу, може вмістити більше графічних процесорів у системі. Пам'ять HBM складається зі стека пам'яті в тій самій фізичній упаковці, що й графічний процесор.

Така архітектура означає значну економію електроенергії та площі порівняно з традиційними конструкціями пам’яті GDDR5/6, дозволяючи встановлювати в систему більше GPU. Оскільки набори даних HPC, AI та аналітики даних зростають у розмірах, а обчислювальні проблеми стають дедалі складнішими, все більша ємність і пропускна здатність графічного процесора є необхідністю. Графічний процесор H100 SXM5 забезпечує пропускну здатність пам’яті понад 3 ТБ/с, підтримуючи 80 ГБ (п’ять стеків) швидкої пам’яті HBM3, що вдвічі перевищує пропускну здатність пам’яті A100.

У минулому ціна була обмежуючим фактором для HBM. Але зараз на ринку великомасштабних моделей почалася боротьба. Для гігантів, які створюють великомасштабні моделі, час – гроші. Тому HBM, який є «дорогим і дорогим», став новим фаворитом великих масштабні моделі гігантів. З поступовим зростанням попиту на графічні процесори високого класу HBM почав ставати стандартною конфігурацією серверів ШІ.

На даний момент A100 і H100 від Nvidia оснащені 80 ГБ HBM2e і HBM3. В останньому чіпі Grace Hopper, який інтегрує ЦП і ГП, пропускна здатність одного чіпа HBM зросла на 20%, досягнувши 96 ГБ.

MI300 від AMD також оснащений HBM3. Серед них MI300A має таку саму ємність, як і в попереднього покоління, 128 ГБ, а MI300X вищого класу досягає 192 ГБ, тобто на 50%.

Очікується, що Google активно розширить співпрацю з Broadcom у другій половині 2023 року для розробки мікросхеми прискорення штучного інтелекту AISC, також планується оснастити TPU пам’яттю HBM для розширення інфраструктури штучного інтелекту.

Прискорений макет постачальника сховища

Така «грошова сцена» дозволяє гігантам зберігання даних прискорити компонування пам’яті HBM. Зараз трійка провідних світових виробників чіпів пам’яті передають більше виробничих потужностей для виробництва HBM, але оскільки потрібен час, щоб налаштувати виробничі потужності, важко швидко збільшити виробництво HBM, і очікується, що постачання HBM залишатиметься обмеженим. в наступні два роки.

Ринок HBM в основному контролюється трьома великими гігантами DRAM. Однак, на відміну від ринку DRAM, який очолює Samsung, SK Hynix розвивалася краще на ринку HBM. Як згадувалося на початку, SK Hynix розробила перший продукт HBM. У квітні 2023 року SK Hynix оголосила про розробку першого продукту HBM3 DRAM ємністю 24 ГБ, який використовує технологію TSV для вертикального укладання 12 чіпів DRAM одного продукту, які на 40% тонші за існуючі мікросхеми, досягаючи тієї ж висоти, що й продукти 16 ГБ. Тим часом SK Hynix планує підготувати зразки HBM3E зі швидкістю передачі даних 8 Гбіт/с у другій половині 2023 року та запустити його в масове виробництво у 2024 році.

Схема вітчизняних напівпровідникових компаній для HBM здебільшого обертається навколо сфери упаковки та інтерфейсів.

NationalChip Technology наразі досліджує та планує технологію упаковки мікросхем 2.5D для пам’яті multi-HBM, а також активно просуває дослідження, розробки та застосування технології Chiplet. Після завершення виробничої лінії 2.5D/3D Tongfu Microelectronics Co., Ltd., вона здійснить внутрішній прорив у галузі високопродуктивної технології пакування HBM. Компанія BIWIN випустила на ринок високопродуктивні чіпи та модулі пам’яті та продовжить приділяти увагу технології HBM. Мікросхема PCIe 5.0/CXL 2.0 Retimer від Montage Technology досягла масового виробництва. Ця мікросхема є ключовим оновленням продукту PCIe 4.0 Retimer від Montage Technology, який може забезпечити промисловість стабільною та надійною високою пропускною здатністю та низькою затримкою PCIe 5.0/CXL 2.0. рішення для взаємозв'язку.

Незважаючи на те, що HBM хороший, він все ще повинен бути спокійним. HBM все ще знаходиться на відносно ранній стадії, і його майбутнє ще попереду. Можна передбачити, що оскільки все більше виробників продовжують докладати зусиль у таких сферах, як штучний інтелект та машинне навчання, складність конструкції пам’яті швидко зростає, а також висуваються більш високі вимоги до пропускної здатності. HBM.

Жаркий HBM відображає рушійну здатність AIGC. Отже, крім HBM і графічного процесора, чи є інші продукти, які можуть скористатися цією новою тенденцією?

Поговоріть про інші запалені чіпи

Переваги FPGA починають проявлятися

FPGA (Field Programmable Gate Array) — це інтегральна схема з програмованими логічними елементами, пам'яттю та ресурсами з'єднання. На відміну від ASIC (Application Specific Integrated Circuit), FPGA має такі переваги, як гнучкість, можливість налаштування, можливість паралельної обробки та легке оновлення.

За допомогою програмування користувачі можуть змінювати сценарії застосування FPGA в будь-який час, і FPGA може імітувати різні паралельні операції CPU, GPU та іншого обладнання. Тому в промисловості його ще називають «універсальним чіпом».

FPGA мають сенс для обґрунтування потреб штучного інтелекту в базових моделях, які часто змінюються. Можливість програмування FPGA перевищує типову економічність використання FPGA. Щоб було зрозуміло, FPGA не будуть серйозними конкурентами великомасштабним системам штучного інтелекту, що використовують тисячі графічних процесорів, але в міру проникнення штучного інтелекту в електроніку спектр застосування FPGA буде розширюватися.

Перевагою FPGA перед GPU є менше енергоспоживання та затримка. Графічний процесор не може добре використовувати вбудовану пам’ять і потребує частого зчитування позакристальної DRAM, тому енергоспоживання дуже високе. FPGA може гнучко використовувати вбудовану пам’ять, тому енергоспоживання набагато нижче, ніж у GPU.

27 червня AMD оголосила про запуск адаптивної системи на кристалі (SoC) AMD Versal Premium VP1902, яка є адаптивною SoC на основі FPGA. Це емуляційний пристрій на основі мікросхем, який спрощує перевірку дедалі складніших конструкцій напівпровідників. Повідомляється, що AMD VP1902 стане найбільшою FPGA у світі.Порівняно з продуктом попереднього покоління (Xilinx VU19P), новий VP1902 додає функцію Versal і використовує невеликий чіп, який більш ніж удвічі підвищує продуктивність FPGA.

У дослідницькому звіті Dongxing Securities Research Report вважають, що FPGA має велику перевагу в міркуванні штучного інтелекту завдяки перевагам затримки та енергоспоживання, які приносить її архітектура. У попередньому дослідницькому звіті Zheshang Securities також зазначено, що окрім GPU, рішення CPU + FPGA також може задовольнити величезні потреби штучного інтелекту в обчислювальній потужності.

На відміну від HBM, монополізованого закордонними компаніями, вітчизняні компанії вже накопичили мікросхеми FPGA.

Основним напрямком діяльності компанії Anlu Technology є дослідження та розробки, розробка та продаж мікросхем FPGA і спеціального програмного забезпечення EDA.Продукція широко використовується в промисловому контролі, мережевому зв’язку, споживчій електроніці та інших галузях. Ziguang Tongchuang, дочірня компанія Ziguang Guowei, є професійною компанією FPGA, яка розробляє та продає мікросхеми FPGA загального призначення. Ziguang Guowei одного разу заявив на брифінгу про продуктивність, що чіп компанії FPGA можна використовувати в галузі ШІ. Dongtu Technology в основному займається індустріалізацією чіпів FPGA. Команда Zhongke Yihai Micro, яка є акціонером компанії, самостійно розробила програмне забезпечення EDA для підтримки розробки додатків своїх продуктів FPGA.

Нова ідея для домашньої заміни: інтеграція зберігання та обчислень + чіплет

Чи можемо ми використати наші поточні доступні процеси та технології для розробки мікросхем AI, які можуть конкурувати з Nvidia з точки зору продуктивності? З’явилися деякі «нові ідеї», такі як інтеграція зберігання й обчислення + чіплет.

Розділення зберігання та обчислення призведе до вузьких місць обчислювальної потужності. Зі стрімким розвитком технології ШІ попит на обчислювальну потужність вибухнув. В епоху після Мура пропускна здатність сховища обмежує ефективну пропускну здатність обчислювальної системи, і зростання обчислювальної потужності системи відчуває труднощі. Наприклад, навчання моделі BERT з нуля за допомогою 8 блоків 1080TI займає 99 днів. Інтегрована архітектура сховища та обчислень не має концепції глибокого багаторівневого сховища. Усі обчислення реалізуються в пам’яті, таким чином усуваючи стінку сховища та відповідні додаткові накладні витрати, викликані неоднорідністю сховища та обчислень; усунення стінки сховища може значною мірою зменшує обробку даних. , не тільки покращує швидкість передачі та обробки даних, але й у декілька разів покращує коефіцієнт енергоефективності.

З одного боку, енергоспоживання, необхідне для обробки тієї самої обчислювальної потужності між інтегрованою архітектурою зберігання даних і процесором традиційної архітектури, буде зменшено; Відкрийте стіну компіляції традиційної архітектури.

У 2021 році вчені з Університету штату Арізона випустили тестовий симулятор архітектури IMC SIAM на основі чіплету, щоб оцінити потенціал цієї нової архітектури в навчанні великої моделі ШІ. SIAM інтегрує пристрої, схеми, архітектуру, мережу на кристалі (NoC), мережу в пакеті (NoP) і моделі доступу до DRAM, щоб забезпечити наскрізну високопродуктивну обчислювальну систему. SIAM є масштабованим у підтримці глибоких нейронних мереж (DNN) і може бути налаштований для різних мережевих структур і конфігурацій. Його дослідницька група демонструє гнучкість, масштабованість і швидкість моделювання SIAM, порівнюючи різні передові DNN за допомогою наборів даних CIFAR-10, CIFAR-100 і ImageNet. Кажуть, що порівняно з NVIDIA V100 і графічним процесором T4 архітектура чіплета +IMC, отримана через SIAM, показує, що енергоефективність ResNet-50 у наборі даних ImageNet зросла на 130 і 72 відповідно.

Це означає, що очікується, що інтегрований чіп штучного інтелекту для зберігання даних досягне гетерогенної інтеграції за допомогою технології Chiplet і технології упаковки стеків 2,5D/3D, утворюючи таким чином великомасштабну обчислювальну систему. Комбінація зберігання та обчислень + чіплет здається можливим способом реалізувати це. Кажуть, що Yizhu Technology досліджує цей шлях. Його перше покоління інтегрованого AI-чипа великої обчислювальної потужності для зберігання та обчислення може досягти обчислювальної потужності однієї карти більше 500T, а споживання електроенергії в межах 75W. Можливо, це стане прелюдією до другої кривої зростання обчислювальної потужності ШІ.

Висновок

На Всесвітній конференції зі штучного інтелекту генеральний директор AMD Ліза Су заявила, що в найближчі десять років відбудеться масштабний обчислювальний суперцикл. Тому зараз гарний час, щоб стати постачальником технологій, і це також відрізняється від деяких компаній, які використовуватиме ці технології для розробки різних технологій. Гарний час для роботи з клієнтами програми.

Ніхто не хоче індустрії лише з одним домінуючим гравцем. Чи може масштабний модельний ринок дозволити індустрії чіпів мати нову ринкову структуру, і чи можуть з’явитися нові гравці?

«Ринок великих моделей приніс нові ринкові моделі та можливості для індустрії чіпів. Сприяючи розробці чіпів штучного інтелекту, сприяючи зростанню ринків хмарних обчислень і центрів обробки даних, а також викликаючи зміни в конкурентному середовищі, зростання великих моделей має приніс нові можливості індустрії чіпів напрямок розвитку.

Слід зазначити, що індустрія чіпів є висококонкурентною та технологічно інтенсивною галуззю. Вихід у галузь потребує значних фінансових і технічних ресурсів для задоволення складних вимог виробництва та науково-дослідних робіт. Незважаючи на те, що ринок великомасштабних моделей відкриває можливості для нових гравців, їм необхідно подолати технічні, фінансові та маркетингові труднощі, щоб досягти успіху в висококонкурентній індустрії мікросхем. «Chatgpt відповів.