У 2023 році компанії-виробники чіпів штучного інтелекту запитують тричі поспіль

Джерело: Insights by Si Rui, автор | Renee, редактор | Sun Yue

У 2023 році інвестиційні інститути та акціонери задають компаніям, зареєстрованим на біржі, у сфері чіпів штучного інтелекту три смертельних запитання:

Ви вже зробили інтегрований чіп для зберігання й обчислення?

(Джерело інвесторів, які ставлять запитання Montage Technology: Tonghuashun Finance)

Як розвивається інтегрована мікросхема пам'яті?

(Інвестори запитують, що Dongxin ділиться джерелом запитання: Tonghuashun Finance)

Яка перспектива інтегрованого зберігання та обчислювальних мікросхем?

(Джерело запитань інвесторів до акцій Hengshuo: Tonghuashun Finance)

Наведені вище запитання означають, що інтеграція зберігання та розрахунків більше не «залишається» в академічних і промислових колах, і, здається, вона популярна на вторинному ринку: акціонери та брокерські установи працюють понаднормово, щоб компенсувати інтеграцію зберігання та обчислення, тому традиційні виробники чіпів з початку 2023 року макет інтеграції зберігання та обчислень «замучили».

**Виникає закономірне запитання, чому інтеграція депозиту та розрахунку раптом стала такою популярною? **

Huawei, яка випустила новий сховище OceanStor A310 7.14, дала свою відповідь. Чжоу Юфен, президент лінійки продуктів Huawei для зберігання даних, сказав, що існує багато проблем із даними під час навчання та обґрунтування великих моделей загального призначення та промислових великих моделей: повільний міждомений збір великої кількості даних, низька ефективність взаємодії даних у попередній обробці та навчання та складна безпека потоку даних.

Велика модель штучного інтелекту ставить перед сховищем нові проблеми. Наприклад, стабільність гірша, ніж у традиційного штучного інтелекту. У той же час існує великий обсяг попередньої обробки та підготовки даних. Необхідно використовувати обчислення, близькі до пам’яті ( свого роду інтеграція зберігання й обчислення), щоб вирішити проблему. Вирішуйте цю проблему систематично. **

Отже, скільки тут «великий обсяг даних»? Відповідно до розрахунків Cirui Insight, ChatGPT наразі має 100 мільйонів щоденних користувачів.Якщо 5% людей задають запитання щосекунди в один і той самий час щодня, це споживатиме електроенергію, вироблену греблею Три ущелини, протягом майже року. **

Іншими словами, великі моделі шалено вимагають обчислювальної потужності, і нові рішення, представлені інтеграцією зберігання та обчислень, можуть вирішити багато проблем, які виникають через великі моделі. Насправді, окрім суворих вимог до обчислювальної потужності, велика модель також дає виробникам чіпів штучного інтелекту «багато цукру».

У цій статті зроблено спробу дослідити на тлі великої моделі, які переваги отримують виробники мікросхем ШІ? Яка майбутня модель виробників інтегрованих систем зберігання та обчислення, яких «звільнив» ChatGPT?

«Щастя і нещастя залежать одне від одного» Виробники мікросхем ШІ

**Мокапи все ще дмуть, і дискусії про макети все ще в розпалі. **

На початку серпня на підфорумі конференції зі штучного інтелекту Китайської комп’ютерної федерації (CCF) – «Побачити Куньлунь на кордонах AI Large-scale Model Computing Power Frontier», експерти та вчені погодилися, що в епоху великомасштабних моделей сучасні інтелектуальні обчислювальні потужності стали «дефіцитними». Активи, як правильно використовувати ресурси обчислювальної потужності та максимізувати їхні переваги, стали проблемою, з якою повинен зіткнутися кожен учасник.

Що стосується обсягу обчислювальної потужності, необхідної тільки для GPT-3, то за консервативних обставин гребля «Три ущелини» повинна «працювати» всю ніч, щоб виконати:

Якщо припустити, що в Інтернеті одночасно перебуває 100 мільйонів людей, 5% з них ставлять запитання щосекунди в один і той же час щодня, кожен займає 30 токенів, і 15,3 мільйона чіпів H100 необхідні для забезпечення обчислювальної потужності висновків; і потужність споживання кожного H100 становить 750 Вт. Приблизно, якщо він працює протягом 10 годин на день, річне споживання електроенергії центром обробки даних, де розташовані ці мікросхеми H100, досягне 84 мільярдів кВтгод, тоді як річне виробництво електроенергії дамбою Three Gorges становить 88,2 млрд кВтгод.

Виробників чіпів штучного інтелекту ще більше турбує те, що це лише енергоспоживання великої моделі ChatGPT на етапі висновку.

**У результаті виробники розробили низку нових рішень: **Інтегроване зберігання й обчислення, чіплет, HBM тощо. Серед них, оскільки інтеграція зберігання та обчислення повалила стіну зберігання під традиційною архітектурою фон Неймана, вона фактично досягла зниження витрат і підвищення ефективності, ставши цьогорічним «Ziweixing».

(Джерело фото: «Індустріальний звіт про індустрію потужних обчислювальних мікросхем AI — сотні бойових кораблів, перш за все інноватори» від Cirui Insights)

**На додаток до появи нових рішень, які дали виробникам чіпів ШІ подих, велика модель також приносить хороші новини виробникам чіпів, особливо виробникам чіпів-початківців: важливість екології програмного забезпечення знижується. **

Коли технологія не була достатньо зрілою на початку, дослідники могли почати лише з вирішення конкретної проблеми, і народилися маленькі моделі з менш ніж мільйоном параметрів. Наприклад, DeepMind, компанія зі штучного інтелекту, що належить Google, дозволяє AlphaGO проводити спеціальне «навчання» кроків гри в шахи мільйонів професійних гравців.

Після того, як з’явиться більше маленьких моделей, проблема апаратного забезпечення, наприклад адаптації чіпа, стає неминучою. Тому, коли Nvidia запустила уніфіковану екологічну CUDA, GPU+CUDA швидко завоювала визнання спільноти інформатики та стала стандартною конфігурацією для розробки штучного інтелекту.

Великі моделі, які сьогодні з’являються одна за одною, мають мультимодальні можливості, можуть працювати з текстом, зображеннями, програмуванням та іншими проблемами, а також можуть охоплювати кілька вертикальних сфер, таких як офіс, освіта та медичне обслуговування. Це також означає, що адаптація до основної екології – не єдиний варіант: коли попит на чіпи для великих моделей стрімко зростає, виробники чіпів можуть адаптуватися лише до 1-2 великих моделей, і вони зможуть завершити розробку кількох маленьких моделі в минулому Замовити. **

Іншими словами, поява ChatGPT дає виробникам чіпів-початківців можливість обганяти на поворотах. Це означає, що структура ринку мікросхем штучного інтелекту зазнає величезних змін: мікросхеми штучного інтелекту більше не є виставкою окремих виробників, а груповою грою кількох інноваторів. **

**Коли обчислювальна потужність стає дефіцитним товаром, а адаптація до основної екології більше не є обов’язковою, інтеграція зберігання й обчислення навряд чи може приховати її світло. **Наразі питання про те, чи варто інвестувати та скільки інвестувати, стало другою проблемою, з якою стикаються виробники мікросхем ШІ. **

У зв’язку з цим Відповідь, яку протягом багатьох років дає гігант чіпів NVIDIA, — бути сміливим в інноваціях і інвестувати багато грошей:

Кожен виробник нових технологій, безсумнівно, зіткнеться з проблемами на різних рівнях, такими як перешкоди в технічному дослідженні та незгода виробників. На ранній стадії той, хто першим спрогнозує майбутню тенденцію розвитку, набереться сміливості зробити кроки дослідження та закладе розумні ресурси для спроби, скористається можливістю.

Коли хвиля центрів обробки даних ще не досягла значного удару, а навчання штучному інтелекту все ще залишається нішевою сферою, Nvidia інвестувала значні кошти в розробку графічних процесорів загального призначення та уніфікованого програмного забезпечення CUDA, і це хороша робота для Nvidia. обчислювальних платформ.

У той час зробити графічний процесор програмованим було «марним і збитковим» варіантом: я не знаю, чи можна подвоїти його продуктивність, але розробка продукту буде подвоїна. З цієї причини жоден клієнт не бажає платити за це. Однак Nvidia, яка передбачила, що однофункціональний графічний процесор не є довгостроковим рішенням, вирішила застосувати CUDA до всіх лінійок продуктів.

В інтерв’ю між Xindongxi та доктором Лаєм Цзюньцзе, старшим директором із розробки та рішень Nvidia China, Лай Цзюньцзе сказав: «Для бачення обчислювальної платформи Хуан Реньсюнь швидко мобілізував багато ресурсів від Nvidia вгору та вниз на початку днів».

Форсайт + значні інвестиції, у 2012 році Nvidia отримала нагороду інноватора: у 2012 році обчислювальна продуктивність алгоритму глибокого навчання викликала сенсацію в академічному колі. Як потужний обчислювальний, більш універсальний і простий у використанні інструмент продуктивності, GPU+CUDA швидко став популярним Спільнота інформатики стала «стандартною конфігурацією» для розробки штучного інтелекту.

На шляху чіпів зі штучним інтелектом із великою обчислювальною потужністю чіп «усе-в-одному» для зберігання та обчислень відкрив свій «золотий період». **

Нетехнічний, фінансово багатий, не вступає

Бачачи різноманітні переваги інтеграції пам’яті та обчислень, на цьому етапі табір гравців, які об’єднують пам’ять і обчислювальні мікросхеми, зростає.

(Джерело фото: «Індустріальний звіт про індустрію потужних обчислювальних мікросхем AI — сотні бойових кораблів, перш за все інноватори» від Cirui Insights)

Згідно з неповною статистикою CIRUI Insight, починаючи з 2019 року, більшість нових виробників чіпів AI мають інтегроване сховище та обчислення: у 2019-2021 роках з’явилося 20 нових виробників чіпів AI, і 10 з них вибрали шлях інтеграції депозиту та розрахунків.

Усе це свідчить про те, що інтеграція сховищ і обчислень стане висхідною зіркою після GPGPU, ASIC та інших архітектур. ** А цю нову зірку не кожен може вибрати. **

Зважаючи на те, що академічні кола, промислові кола та капітал одностайно оптимістично налаштовані щодо інтеграції сховищ і обчислень, потужна технічна потужність країни, солідний резерв талантів і точний контроль над прийняттям витрат на міграцію є ключовими для компаній-початківців щоб зберегти свою конкурентоспроможність у галузі Три бар'єри, які стоять перед новими гравцями. **

** Сильна технічна сила - це завжди найвища вершина в області чіпів. **

По-перше, це інтеграція зберігання та обчислень, яка охоплює весь процес виробництва чіпа: від найнижчого пристрою до проектування схеми, дизайну архітектури, ланцюжка інструментів, а потім до дослідження та розробки рівня програмного забезпечення; Все тіло»: Вносячи відповідні зміни в кожному шарі, слід також враховувати ступінь адаптації між кожним шаром.

**Давайте поглянемо на це шар за шаром, які технічні проблеми виникають під час виробництва мікросхеми, інтегрованої в пам’ять. **

Перш за все, що стосується вибору пристроїв, виробники «ходять по тонкому льоду»: дизайн пам’яті визначає продуктивність чіпа, і якщо напрямок неправильний, чіп може не вироблятися масово.

Другий — це рівень проектування схеми. Після того, як пристрій доступний на рівні схеми, його потрібно використовувати для розробки схеми масиву зберігання. На даний момент у схемотехніці немає вказівок інструменту EDA для розрахунку в пам’яті, і це потрібно робити вручну, що, безсумнівно, значно збільшує складність роботи.

Одразу після цього, після того, як є схеми на архітектурному рівні, необхідно спроектувати архітектурний шар. Кожна схема є основним обчислювальним модулем, а вся архітектура складається з різних модулів. Конструкція інтегрованого модуля пам’яті й обчислення визначає коефіцієнт енергоефективності чіпа. Аналогові схеми будуть заважати шуму, а мікросхеми зіткнуться з багатьма проблемами, коли на них впливає шум.

У цьому випадку архітектори чіпів повинні повністю розуміти характеристики процесу аналогових обчислень в пам’яті та водночас проектувати архітектуру відповідно до цих характеристик.На цій основі також слід враховувати можливість адаптації між архітектурою та розробкою програмного забезпечення. . Після завершення проектування архітектури програмного рівня необхідно розробити відповідний ланцюжок інструментів.

(Джерело фото: «Індустріальний звіт про індустрію потужних обчислювальних мікросхем AI — сотні бойових кораблів, перш за все інноватори» від Cirui Insights)

Оскільки початкова модель інтеграції сховища та обчислень відрізняється від моделі традиційної архітектури, компілятору необхідно адаптуватися до зовсім іншої архітектури інтеграції сховища та обчислень, щоб гарантувати, що всі обчислювальні блоки можуть бути зіставлені з апаратним забезпеченням і працювати безперебійно.

**Повний технічний ланцюжок перевірить здатність кожної ланки пристрою, схемотехніки, архітектури, ланцюга інструментів і розробки рівня програмного забезпечення, а також координувати здатність адаптації кожної ланки, що є тривалою битвою, яка потребує часу, зусиль і гроші. **

**У той же час, згідно з процесом роботи наведених вище посилань, можна побачити, що інтегрована мікросхема пам’яті терміново потребує досвідчених розробників схем і архітекторів мікросхем. **

З огляду на особливості інтеграції зберігання та розрахунку, компанії, які можуть інтегрувати зберігання та обчислення, повинні мати наступні дві характеристики з точки зору кадрових резервів:

1. Керівнику потрібно мати достатньо мужності. Має бути чітке уявлення про вибір пристрою (RRAM, SRAM тощо) і режим обчислення (традиційний фон Неймана, інтегроване зберігання та обчислення тощо). Це пояснюється тим, що інтеграцію зберігання й обчислення, як підривну та інноваційну технологію, нікому керувати, а вартість проб і помилок надзвичайно висока. Засновники компаній, які можуть досягти комерціалізації, часто мають багатий досвід у галузі, великих виробників і академічну освіту, і можуть керувати командою для швидкого завершення ітерацій продукту.

2. В основній команді необхідно оснастити досвідчених талантів на всіх рівнях технологій. Наприклад, архітектор, який є ядром команди. Архітекторам необхідно мати глибоке розуміння та пізнання базових апаратних і програмних засобів, а також бути здатними реалізувати архітектуру зберігання та обчислення в концепції за допомогою технології та, нарешті, досягти посадки продукту;

3. Крім того, згідно зі звітом qubit, у Китаї не вистачає талантів високого класу в області проектування схем, особливо в області гібридних схем. Обчислення в пам’яті включають велику кількість проектів аналогових схем.Порівняно з проектуванням цифрових схем, яке наголошує на командній роботі, проектування аналогових схем вимагає індивідуальних дизайнерів, які добре знайомі з процесом, дизайном, макетом, модельним пакетом даних і упаковкою.

І ця серія талантів і технологій повинна прийняти ефект посадки як кінцеву мету — першокласне виробництво є основною продуктивною силою. **Під час доставки замовник враховує не лише інтегровану технологію системи зберігання даних, а й те, чи достатні показники продуктивності інтегрованої SoC системи зберігання даних, такі як коефіцієнт енергоефективності, коефіцієнт ефективності площі та простота використання, порівняно з попередні продукти Поліпшення та, що більш важливо, чи вартість міграції знаходиться в прийнятному діапазоні.

Якщо вибір нового чіпа для покращення продуктивності алгоритму потребує повторного вивчення системи програмування, а витрати на роботу з міграцією моделі вищі, ніж вартість придбання нового графічного процесора, то клієнти, швидше за все, не виберуть новий чіп.

** Таким чином, чи зможе інтеграція депозиту та розрахунку мінімізувати витрати на міграцію під час процесу посадки, є ключовим фактором для клієнтів при виборі продуктів. **

У контексті великомасштабних моделей мікросхема, інтегрована в обчислювальну пам’ять, стає висхідною зіркою в галузі мікросхем завдяки низькому енергоспоживанню, але високому коефіцієнту енергоефективності. Сьогодні інтегрований ринок депозитів і розрахунків все ще перебуває на стадії «Сяохе тільки зароджується».

**Однак ми не можемо заперечувати, що гравці з інтегрованим сховищем і обчисленнями вже побудували три високі стіни, і тим, хто має сильну технічну силу та значний запас таланту, не варто входити. **