В 2023 году компании, производящие чипы ИИ, трижды подряд спрашивают

Источник: Insights by Si Rui, автор | Renee, редактор | Sun Yue

В 2023 году инвестиционные институты и акционеры задают зарегистрированным на бирже компаниям в области чипов ИИ три смертельных вопроса:

Вы уже сделали интегрированный чип для хранения и вычислений?

(Источник инвесторов, задающих вопросы Montage Technology: Tonghuashun Finance)

Как обстоят дела с интегрированным чипом для вычислений с памятью?

(Инвесторы спрашивают акции Dongxin, источник вопроса: Tonghuashun Finance)

Каковы перспективы интегрированных запоминающих и вычислительных чипов?

(Источник вопросов инвесторов к акциям Hengshuo: Tonghuashun Finance)

Приведенная выше серия вопросов означает, что интеграция хранения и вычислений больше не «остается» в академических и промышленных кругах и, похоже, популярна на вторичном рынке: акционеры и брокерские учреждения работают сверхурочно, чтобы компенсировать интеграцию хранения и вычислений, поэтому традиционные производители чипов с начала 2023 года «замучили» схему интеграции хранения и вычислений.

**Естественный вопрос: почему интеграция депозита и расчета вдруг стала такой популярной? **

Huawei, выпустившая новый продукт для хранения данных OceanStor A310 7.14, дала свой ответ. Чжоу Юефэн, президент линейки продуктов Huawei для хранения данных, сказал, что существует много проблем с данными при обучении и анализе больших моделей общего назначения и крупных отраслевых моделей: медленный междоменный сбор массивных данных, низкая эффективность взаимодействия данных при предварительной обработке и обучение и сложная защита потока данных.

Большая модель ИИ ставит новые задачи перед хранилищем.Например, стабильность хуже, чем у традиционного ИИ.В то же время возникает большой объем работы по предобработке и подготовке данных.Необходимо использовать вычисления в ближней памяти( своего рода интеграция хранения и вычислений) для решения проблемы.Решайте эту проблему систематически. **

Итак, при чем здесь «большой объем данных»? По подсчетам Cirui Insight, в настоящее время ChatGPT ежедневно пользуется 100 млн. Если 5% людей будут задавать вопросы каждую секунду в одно и то же время каждый день, это будет потреблять электроэнергию, вырабатываемую плотиной «Три ущелья», почти на год. **

Другими словами, большие модели очень требовательны к вычислительной мощности, и появляющиеся решения, представленные интеграцией хранения и вычислений, могут решить многие проблемы, связанные с большими моделями. Фактически, в дополнение к строгим требованиям к вычислительной мощности, большая модель также дает производителям чипов ИИ «много сладкого».

В этой статье делается попытка исследовать на фоне большой модели, какие преимущества предоставляются производителям чипов ИИ? Какова будущая модель производителей интегрированных систем хранения и вычислений, которые были «уволены» ChatGPT?

«Удача и несчастье зависят друг от друга» производители ИИ-чипов

**Ветер мокапов все еще дует, и дискуссии о мокапах все еще в самом разгаре. **

В начале августа на подфоруме конференции по искусственному интеллекту Китайской компьютерной федерации (CCF) «Видеть Куньлунь в границах границ вычислительной мощности крупномасштабных моделей ИИ» эксперты и ученые сошлись во мнении, что в эпоху крупномасштабных моделей , современная интеллектуальная вычислительная мощность стала «дефицитной». Активы, как эффективно использовать ресурсы вычислительной мощности и максимизировать их преимущества, стали проблемой, с которой должен столкнуться каждый участник.

Что касается количества вычислительной мощности, требуемой только для GPT-3, при консервативных обстоятельствах плотина «Три ущелья» должна «работать» всю ночь, чтобы удовлетворить:

Если предположить, что в сети одновременно находятся 100 миллионов человек, 5% из них задают вопросы каждую секунду в одно и то же время каждый день, каждый из которых занимает 30 токенов, а для обеспечения вычислительной мощности логического вывода требуется 15,3 миллиона чипов H100; потребление каждого H100 составляет 750 Вт. О, если он работает по 10 часов в день, годовое энергопотребление центра обработки данных, где расположены эти чипы H100, достигнет 84 млрд. кВтч, а годовая выработка электроэнергии плотины «Три ущелья» составляет 88,2 млрд кВтч.

Что еще больше беспокоит производителей ИИ-чипов, так это то, что это всего лишь энергопотребление большой модели ChatGPT на этапе вывода.

** В результате производители разработали ряд новых решений: ** Интегрированные системы хранения и вычислений, микросхемы, HBM и т. д. Среди них, поскольку интеграция хранения и вычислений разрушила стену хранения в традиционной архитектуре фон Неймана, она фактически добилась снижения затрат и повышения эффективности, став в этом году «Ziweixing».

(Источник фото: «Отчет об индустрии микросхем AI Big Computing Power — сотни линкоров, прежде всего инноваторы», Cirui Insights)

**В дополнение к появлению новых решений, которые дали производителям микросхем ИИ передышку, большая модель также приносит хорошие новости производителям микросхем, особенно начинающим производителям микросхем: важность экологии программного обеспечения снижается. **

Когда технология была недостаточно зрелой в первые дни, исследователи могли начать только с решения конкретной проблемы, и родились небольшие модели с менее чем одним миллионом параметров. Например, DeepMind, компания искусственного интеллекта, принадлежащая Google, позволяет AlphaGO проводить специальное «обучение» на шахматных шагах миллионов профессиональных игроков.

После того, как появится больше маленьких моделей, проблема аппаратного обеспечения, такая как адаптация чипа, неизбежна. Поэтому, когда Nvidia запустила унифицированную экологическую CUDA, GPU+CUDA быстро завоевали признание компьютерного сообщества и стали стандартной конфигурацией для разработки искусственного интеллекта.

Большие модели, которые появляются сегодня одна за другой, обладают мультимодальными возможностями, могут обрабатывать текст, изображения, программирование и другие вопросы, а также могут охватывать несколько вертикальных областей, таких как офис, образование и медицинское обслуживание. Это также означает, что адаптация к основной экологии — не единственный выбор: когда спрос на чипы для больших моделей стремительно растет, производители чипов могут адаптироваться только к 1-2 крупным моделям и могут завершить разработку нескольких небольших моделей. в прошлом Порядок. **

Другими словами, появление ChatGPT дает начинающим производителям чипов возможность обгонять на поворотах. Это означает, что структура рынка чипов ИИ претерпит огромные изменения: чипы ИИ больше не представляют собой шоу одного человека, состоящего из отдельных производителей, а представляют собой групповую игру нескольких новаторов. **

** Когда вычислительная мощность становится дефицитным товаром, а адаптация к основной экологии больше не является обязательной, интеграция хранения и вычислений едва ли может скрыть свой свет. ** В настоящее время вопрос о том, стоит ли инвестировать и сколько инвестировать, стал второй проблемой, стоящей перед производителями микросхем ИИ. **

В связи с этим ** ответ, который на протяжении многих лет дает чиповый гигант NVIDIA, заключается в том, чтобы быть смелым в инновациях и вкладывать много денег: **

Каждый производитель НИОКР новой технологии, несомненно, столкнется с проблемами на различных уровнях, такими как препятствия для технических исследований и разногласия между производителями. На ранней стадии тот, кто первым предскажет будущую тенденцию развития, наберется смелости, чтобы предпринять шаги по исследованию, и выделит разумные ресурсы, чтобы попытаться, воспользуется возможностью.

Когда волна дата-центров еще не достигла своего пика, а обучение искусственному интеллекту все еще остается нишевой областью, Nvidia вложила значительные средства в разработку вычислительных графических процессоров общего назначения и унифицированного программного обеспечения для программирования CUDA, и это хорошая работа для Nvidia. вычислительные платформы.

В то время сделать GPU программируемым было «бесполезным и убыточным» вариантом: я не знаю, можно ли удвоить его производительность, но разработка продукта будет удвоена. По этой причине ни один клиент не готов платить за это. Однако Nvidia, предсказавшая, что однофункциональный графический процессор не является долгосрочным решением, решила применить CUDA ко всем продуктовым линейкам.

В интервью между Xindongxi и доктором Лай Цзюньцзе, старшим директором по разработке и решениям Nvidia China, Лай Цзюньцзе сказал: «Для видения вычислительной платформы Хуан Ренсюнь быстро мобилизовал много ресурсов от Nvidia вверх и вниз в начале дней».

Предвидение + большие инвестиции, в 2012 году Nvidia получила награду новатора: в 2012 году вычислительная производительность алгоритма глубокого обучения произвела сенсацию в академических кругах.Как высокопроизводительный, более универсальный и простой в использовании инструмент повышения производительности, GPU+CUDA быстро стали популярными. Сообщество компьютерщиков стало «стандартной конфигурацией» для разработки искусственного интеллекта.

На пути чипов ИИ с большой вычислительной мощностью чип «все в одном» для хранения и вычислений открыл свой собственный «золотой период». **

Не техническое, финансово богатое, не входить

Видя различные преимущества интеграции хранения и вычислений, на данном этапе растет число игроков, интегрирующих микросхемы хранения и вычислений.

(Источник фото: «Отчет об индустрии микросхем AI Big Computing Power — сотни линкоров, прежде всего инноваторы», Cirui Insights)

Согласно неполной статистике CIRUI Insight, с 2019 года большинство новых производителей чипов ИИ интегрировали хранение и вычисления: в 2019-2021 годах появилось 20 новых производителей чипов ИИ, и 10 из них выбрали путь интеграции депозита и расчета.

Все это показывает, что интеграция хранения и вычислений станет восходящей звездой после GPGPU, ASIC и других архитектур. ** И эту новую звезду не каждый может подобрать. **

В условиях, когда академические круги, отраслевые круги и капитал единодушно оптимистично настроены в отношении интеграции хранения и вычислений, сильная техническая мощь страны, солидный кадровый резерв и точный контроль над принятием затрат на миграцию являются ключевыми факторами для начинающих компаний. для поддержания своей конкурентоспособности в отрасли Три барьера, которые стоят перед новыми игроками. **

** Сильная техническая сила всегда является самой высокой горой в области чипов. **

Во-первых, это интеграция хранения и вычислений, которая включает в себя весь процесс производства чипа: от самого нижнего устройства до проектирования схемы, проектирования архитектуры, цепочки инструментов, а затем до исследований и разработок уровня программного обеспечения; «Все тело»: При внесении соответствующих изменений в каждый уровень следует также учитывать степень адаптации между каждым уровнем.

**Давайте рассмотрим послойно, какие технические проблемы возникают при производстве интегрированного чипа для вычислений с памятью. **

Во-первых, с точки зрения выбора устройств производители «ходят по тонкому льду»: конструкция памяти определяет производительность чипа, и если направление неверное, чип может не выпускаться серийно.

Второй уровень — это уровень схемотехники. После того, как устройство доступно на уровне схемы, его необходимо использовать для проектирования схемы массива хранения. В настоящее время в схемотехнике отсутствует руководство инструмента ЭДА для расчета в памяти, и его необходимо выполнять вручную, что, несомненно, значительно увеличивает сложность работы.

Сразу после того, как есть схемы на архитектурном уровне, необходимо спроектировать архитектурный слой. Каждая схема представляет собой базовый вычислительный модуль, а вся архитектура состоит из различных модулей.Конструкция интегрированного модуля вычислений с памятью определяет коэффициент энергоэффективности чипа. Аналоговые схемы будут возмущены шумом, а чипы столкнутся со многими проблемами, когда на них воздействует шум.

В этом случае архитекторы микросхем должны полностью понимать характеристики процесса аналоговых вычислений в памяти и в то же время проектировать архитектуру в соответствии с этими характеристиками.На этой основе также необходимо учитывать адаптивность между архитектурой и разработкой программного обеспечения. . После завершения проектирования архитектуры на уровне программного обеспечения необходимо разработать соответствующую цепочку инструментов.

(Источник фото: «Отчет об индустрии микросхем AI Big Computing Power — сотни линкоров, прежде всего инноваторы», Cirui Insights)

Поскольку исходная модель интеграции хранения и вычислений отличается от модели традиционной архитектуры, компилятору необходимо адаптироваться к совершенно другой архитектуре интеграции хранения и вычислений, чтобы гарантировать, что все вычислительные блоки могут быть сопоставлены с оборудованием и работать бесперебойно.

** Полная техническая цепочка будет проверять способность каждого звена устройства, схемотехники, проектирования архитектуры, цепочки инструментов и разработки уровня программного обеспечения, а также координировать способность адаптации каждого звена, что представляет собой затяжную битву, которая требует времени, усилий и деньги. **

** В то же время, согласно процессу работы по вышеуказанным ссылкам, видно, что интегрированный чип для вычислений с памятью срочно нуждается в опытных схемотехниках и архитекторах чипов. **

Ввиду специфики интеграции хранения и расчета компаниям, которые могут интегрировать хранение и расчет, необходимо иметь следующие две характеристики с точки зрения кадрового резерва:

1. Лидеру нужно иметь достаточно мужества. Должно быть четкое представление о выборе устройства (RRAM, SRAM и т. д.) и режима вычислений (традиционное фон Неймана, интегрированное хранение и вычисления и т. д.). Это связано с тем, что, будучи подрывной и инновационной технологией, интеграцию хранения и вычислений некому вести, а цена проб и ошибок чрезвычайно высока. Основатели компаний, которые могут добиться коммерциализации, часто имеют богатый опыт работы в отрасли, крупные производители и академическое образование и могут руководить командой, чтобы быстро завершить итерации продукта.

2. В основной команде необходимо вооружить опытных талантов на всех уровнях технологии. Например, архитектор, который является ядром команды. Архитекторы должны иметь глубокое понимание и знание базовых аппаратных и программных инструментов, а также быть в состоянии реализовать архитектуру хранения и вычислений в концепции с помощью технологий и, наконец, добиться выпуска продукта;

3. Кроме того, согласно отчету о кубитах, в Китае не хватает высококлассных специалистов в области проектирования схем, особенно в области гибридных схем. Вычисления в памяти включают в себя большое количество проектов аналоговых схем.По сравнению с проектированием цифровых схем, которое делает упор на командную работу, проектирование аналоговых схем требует отдельных дизайнеров, которые хорошо знакомы с процессом, дизайном, компоновкой, макетом модели и компоновкой.

И эта череда талантов и технологий должна стать конечной целью — первоклассное производство является основной производительной силой. **Во время поставки заказчик рассматривает не только интегрированную технологию хранения и вычислений, но и то, достаточны ли показатели производительности интегрированной системы хранения и вычислений, такие как коэффициент энергоэффективности, коэффициент полезного действия по площади и простота использования, по сравнению с предыдущие продукты Улучшение и, что более важно, находится ли стоимость миграции в приемлемом диапазоне.

Если выбор нового чипа для повышения производительности алгоритма требует переобучения системы программирования, а трудозатраты на миграцию модели выше, чем стоимость покупки нового графического процессора, то клиенты, скорее всего, не захотят использовать новый чип.

** Поэтому то, может ли интеграция депозита и расчета минимизировать стоимость миграции в процессе посадки, является ключевым фактором для клиентов при выборе продуктов. **

В контексте крупномасштабных моделей интегрированный чип для вычислений с памятью становится восходящей звездой на рынке чипов благодаря низкому энергопотреблению, но высокому коэффициенту энергоэффективности. В настоящее время интегрированный рынок депозитов и расчетов все еще находится в стадии «Сяохэ только зарождается».

**Тем не менее, мы не можем отрицать, что интегрированные игроки хранения и вычислений уже построили три высокие стены, и те, у кого есть сильная техническая сила и солидный запас талантов, не должны входить. **