Часто возникает иллюзия, что процессоры Intel хорошо продаются, и приписывают их успешной компании по производству аппаратного обеспечения, хотя на самом деле доминирование Intel на рынке процессоров для настольных ПК — это архитектура X86, которая родилась в 1978 году.
Такая же иллюзия встречается и в Nvidia.
Причина, по которой NVIDIA может монополизировать рынок чипов для обучения искусственному интеллекту, заключается в том, что архитектура CUDA, безусловно, является одним из героев за кулисами.
Эта архитектура, родившаяся в 2006 году, была задействована во всех областях компьютерных вычислений и почти сформировалась в форме NVIDIA. 80% исследований в аэрокосмической отрасли, бионаучных исследованиях, механическом и гидротехническом моделировании, а также в области энергетики проводятся на базе CUDA.
В самой горячей области ИИ почти все крупные производители готовятся к плану Б: Google, Amazon, Huawei, Microsoft, OpenAI, Baidu... Никто не хочет, чтобы его будущее находилось в руках других.
Консалтинговое агентство по предпринимательским услугам Dealroom.co опубликовало набор данных, в этой волне генеративной жары искусственного интеллекта Соединенные Штаты получили 89% мировых инвестиций и финансирования, а в инвестициях и финансировании чипов искусственного интеллекта инвестиции и финансирование чипов искусственного интеллекта в Китае занимают первое место в мире, более чем в два раза больше, чем в Соединенных Штатах.
То есть, несмотря на множество различий в методах и этапах разработки крупных моделей китайских и американских компаний, все особенно последовательны в контроле вычислительных мощностей.
Почему у CUDA есть такая магия? **
В 2003 году, чтобы конкурировать с Intel, которая представила 4-ядерный процессор, NVIDIA начала разрабатывать технологию унифицированной архитектуры вычислительных устройств, или CUDA.
Первоначальное намерение CUDA состояло в том, чтобы добавить простой в использовании программный интерфейс к графическому процессору, чтобы разработчикам не приходилось изучать сложные языки шейдинга или примитивы обработки графики. Первоначальная идея Nvidia заключалась в том, чтобы предоставить разработчикам игр приложение в области графических вычислений, что Хуан называет «сделать графику программируемой».
Однако с момента запуска CUDA он не смог найти ключевые приложения и не получил важной поддержки клиентов. Кроме того, NVIDIA приходится тратить много денег на разработку приложений, поддержку сервисов, продвижение и маркетинг, и к 2008 году столкнулась с финансовым штормом, выручка Nvidia резко упала из-за плохих продаж видеокарт, а цена акций однажды упала всего до $1,50, что хуже, чем в худшие времена AMD.
Только в 2012 году два студента Хинтона использовали графические процессоры NVIDIA для соревнования по скорости распознавания изображений под названием ImageNet. Они использовали видеокарту GTX580 и тренировались по технологии CUDA, и результаты были в десятки раз быстрее, чем у второго места, а точность была более чем на 10% выше, чем у второго.
Не только сама модель ImageNet потрясла индустрию. Эта нейронная сеть, для которой потребовалось 14 миллионов изображений и в общей сложности 262 квадриллиона операций с плавающей запятой, использовала только четыре GTX 580 за неделю обучения. Для справки, Google Cat использовал 10 миллионов изображений, 16 000 процессоров и 1 000 компьютеров.
Это соревнование является не только историческим поворотным моментом для ИИ, но и открывает прорыв для NVIDIA. NVIDIA начала сотрудничать с индустрией для продвижения экосистемы ИИ, продвижения фреймворков ИИ с открытым исходным кодом, а также сотрудничать с Google, Facebook и другими компаниями для содействия развитию технологий ИИ, таких как TensorFlow.
Это эквивалентно завершению второго шага, который, по словам Хуана, заключается в том, чтобы «открыть графический процессор для программирования для всех видов вещей».
Когда была обнаружена вычислительная мощность графических процессоров, крупные производители также внезапно осознали тот факт, что CUDA, которую NVIDIA итерировала и прокладывала в течение нескольких лет, стала высокой стеной, которую ИИ не может избежать.
Для создания экосистемы CUDA NVIDIA предоставляет разработчикам множество библиотек и инструментов, таких как cuDNN, cuBLAS, TensorRT и т. д., которые удобны для разработчиков для выполнения глубокого обучения, линейной алгебры, ускорения логического вывода и других задач. Кроме того, NVIDIA предлагает полный набор инструментов разработки, включая компиляторы и оптимизаторы CUDA, что упрощает программирование на GPU и оптимизацию производительности для разработчиков.
В то же время NVIDIA также тесно сотрудничает со многими популярными платформами глубокого обучения, такими как TensorFlow, PyTorch и MXNet, предоставляя CUDA значительные преимущества в задачах глубокого обучения.
Это стремление «помочь лошади и дать ей прокатиться» позволило NVIDIA удвоить количество разработчиков в экосистеме CUDA всего за два с половиной года.
За последнее десятилетие NVIDIA продвигала учебные курсы CUDA в более чем 350 университетах, а на платформе работали профессиональные разработчики и эксперты в предметной области, которые оказывали всестороннюю поддержку приложениям CUDA, обмениваясь опытом и отвечая на сложные вопросы.
Что еще более важно, NVIDIA знает, что недостаток аппаратного обеспечения как рва заключается в том, что нет привязки пользователя, поэтому она объединяет аппаратное обеспечение с программным обеспечением, рендеринг на GPU для использования CUDA, шумоподавление AI для использования OptiX, вычисления для автономного вождения нуждаются в CUDA...
Несмотря на то, что NVIDIA в настоящее время монополизирует 90% рынка вычислительных мощностей ИИ с помощью GPU + NVlink + CUDA, в империи есть не одна трещина.
Трещины
Производители ИИ уже давно страдают от CUDA, и это не паникерство.
Магия CUDA заключается в том, что она находится в ключевой позиции сочетания программного и аппаратного обеспечения, что является краеугольным камнем всей экосистемы программного обеспечения, и конкурентам сложно обойти CUDA, чтобы быть совместимым с экосистемой NVIDIA; Что касается аппаратного обеспечения, то дизайн CUDA в основном представляет собой программную абстракцию в виде аппаратного обеспечения NVIDIA, и в основном каждая концепция ядра соответствует аппаратной концепции графического процессора.
Тогда для конкурентов остается только два варианта:
1 Обойти CUDA и перестроить экосистему программного обеспечения, что требует решения огромной проблемы прилипчивости пользователей NVIDIA;
2 Совместим с CUDA, но также сталкивается с двумя проблемами, одна из которых заключается в том, что если ваш аппаратный маршрут несовместим с NVIDIA, то можно добиться неэффективного и неудобного, а другая заключается в том, что CUDA будет следовать за эволюцией аппаратных характеристик NVIDIA, а совместимость может только выбирать.
Но для того, чтобы избавиться от хватки Nvidia, были испробованы оба варианта.
В 2016 году AMD запустила ROCm, экосистему графических процессоров, основанную на проектах с открытым исходным кодом, предоставляющую инструменты HIP, полностью совместимые с CUDA.
Однако из-за нехватки ресурсов библиотек toolchain и высокой стоимости разработки и совместимости итераций экосистеме ROCm сложно расти. На Github более 32 600 разработчиков вносят свой вклад в репозиторий пакетов CUDA, в то время как в ROCm их менее 600.
Сложность выбора NVIDIA-совместимого пути CUDA заключается в том, что его скорость итерации обновлений никогда не может угнаться за CUDA, и трудно достичь полной совместимости:
1 итерация всегда на один шаг медленнее: графические процессоры NVIDIA быстро перебирают микроархитектуры и наборы инструкций, и многие места в верхнем программном стеке также должны выполнять соответствующие обновления функций. Но AMD не может знать дорожную карту NVIDIA, и обновления программного обеспечения всегда будут на шаг медленнее, чем NVIDIA. Например, AMD, возможно, только что объявила о поддержке CUDA11, но NVIDIA уже запустила CUDA12.
2 Сложность в полной совместимости увеличит нагрузку на разработчиков: Большое программное обеспечение, такое как CUDA, само по себе очень сложное, и AMD нужно вкладывать много человеческих и материальных ресурсов в течение нескольких лет или даже более десяти лет, чтобы наверстать упущенное. Поскольку существуют неизбежные функциональные различия, если совместимость не выполнена должным образом, это повлияет на производительность (хотя 99% похожи, но решение оставшегося 1% различий может занять 99% времени разработчика).
Есть также компании, которые предпочитают обходить CUDA, например, Modular, которая была основана в январе 2022 года.
Идея Modular состоит в том, чтобы держать планку как можно ниже, но это больше похоже на внезапную атаку. В нем предлагается механизм искусственного интеллекта «для повышения производительности моделей искусственного интеллекта», чтобы решить проблему, связанную с тем, что «текущие стеки приложений ИИ часто связаны с конкретным оборудованием и программным обеспечением» с помощью «модульного» подхода.
В дополнение к этому движку искусственного интеллекта компания Modular также разработала язык программирования с открытым исходным кодом Mojo. Вы можете думать о нем как о языке программирования, «созданном для ИИ», Modular использует его для разработки инструментов для интеграции в вышеупомянутый движок ИИ, при этом легко интегрируясь с Python и снижая затраты на обучение.
Проблема с Modular, однако, заключается в том, что ее видение «всеплатформенных инструментов разработки» слишком идеалистично.
Несмотря на то, что Mojo носит титул «за пределами Python» и поддерживается репутацией Криса Латтнера, Mojo, как новый язык, нуждается в тестировании многими разработчиками с точки зрения продвижения.
Движки ИИ сталкиваются с большим количеством проблем не только с соглашениями с многочисленными компаниями-производителями оборудования, но и с совместимостью между платформами. Это все задачи, для выполнения которых требуется длительное время шлифовки, и во что превратится Nvidia к тому времени, боюсь, никто не узнает.
Челленджер Huawei
17 октября Соединенные Штаты обновили правила экспортного контроля для чипов искусственного интеллекта, запретив таким компаниям, как NVIDIA, экспортировать передовые чипы искусственного интеллекта в Китай. Согласно последним правилам, это повлияет на экспорт чипов NVIDIA в Китай, включая A800 и H800.
Ранее, после того, как две модели NVIDIA A100 и H100 были ограничены в экспорте в Китай, «кастрированные версии» A800 и H800 исключительно для Китая были разработаны в соответствии с правилами. Intel также выпустила AI-чип Gaudi2 для китайского рынка. Теперь, похоже, компаниям придется скорректировать свою реакцию в рамках нового раунда запретов на экспорт.
В августе этого года в продажу неожиданно поступил Mate60Pro, оснащенный чипом Kirin 9000S собственной разработки Huawei, что мгновенно вызвало огромную волну общественного мнения, заставив почти в то же время заглушить очередную новость.
Лю Цинфэн, председатель iFLYTEK, сделал редкое заявление на публичном мероприятии, заявив, что графический процессор Huawei может конкурировать с NVIDIA A100, но только в том случае, если Huawei направит специальную рабочую группу для оптимизации работы iFLYTEK.
Такие внезапные заявления часто имеют глубокие намерения, и хотя у них нет возможности предсказать это, их полезность все же заключается в том, чтобы отреагировать на запрет чипов два месяца спустя.
Huawei GPU, полнофункциональная программно-аппаратная платформа Ascend AI, включает в себя 5 уровней: аппаратное обеспечение серии Atlas, гетерогенную вычислительную архитектуру, инфраструктуру искусственного интеллекта, поддержку приложений и отраслевые приложения снизу вверх.
В принципе, можно понять, что Huawei сделала набор замен для NVIDIA, уровень чипов — Ascend 910 и Ascend 310, а архитектура гетерогенных вычислений (CANN) тестирует программный слой ядра NVIDIA CUDA + CuDNN.
Конечно, разрыв не может отсутствовать, и некоторые соответствующие практики резюмировали два момента:
1 Производительность одиночной карты отстает, и все еще есть разрыв между Ascend 910 и A100, но победа в том, что цена дешевая и сумму можно сложить, а общий разрыв не велик после достижения кластерного масштаба;
2 Экологические недостатки существуют, но Huawei также пытается наверстать упущенное, например, благодаря сотрудничеству между сообществом PyTorch и Ascend, PyTorch версии 2.1 синхронно поддерживает Ascend NPU, что означает, что разработчики могут напрямую разрабатывать модели на основе Ascend в PyTorch 2.1.
В настоящее время Huawei Ascend в основном использует собственные продукты Huawei с замкнутым циклом для больших моделей, и любая общедоступная модель должна быть глубоко оптимизирована Huawei для работы на платформе Huawei, и эта часть работы по оптимизации в значительной степени зависит от Huawei.
В нынешнем контексте Ascend имеет особое значение.
В мае этого года Чжан Диксюань (Zhang Dixuan), президент подразделения Ascend Computing Business компании Huawei, сообщил, что базовая программно-аппаратная платформа «Ascend AI» была инкубирована и адаптирована к более чем 30 основным крупным моделям, а более половины китайских крупных моделей основаны на базовой программно-аппаратной платформе «Ascend AI», включая серии Pengcheng, Zidong и HUAWEI CLOUD Pangu. В августе этого года Baidu также официально объявила об адаптации Ascend AI с моделью летающее весло + Вэнь Синь.
А согласно картинке, циркулирующей в интернете, китайский интеллектуальный суперкомпьютерный центр в основном является Ascend, за исключением нераскрытых, и говорят, что после нового раунда ограничений на чипы 30-40% мощностей по производству чипов Huawei будут зарезервированы для кластера Ascend, а остальное — Kirin.
Эпилог
В 2006 году, когда NVIDIA разворачивала свой грандиозный нарратив, никто не думал, что CUDA станет революционным продуктом, и Хуану пришлось уговаривать совет директоров инвестировать 500 миллионов долларов в год, чтобы играть в азартные игры с неизвестным сроком окупаемости более 10 лет, а доход NVIDIA в том году составил всего 3 миллиарда долларов.
Но во всех бизнес-историях, использующих технологии и инновации в качестве ключевых слов, всегда есть люди, которые добились больших успехов благодаря своей настойчивой приверженности долгосрочным целям, и NVIDIA и Huawei являются одними из лучших.
Ресурсы
[1] «Серп» NVIDIA — это не чип искусственного интеллекта, а кремниевая лаборатория
[2] Для того, чтобы стать «заменой NVIDIA», крупные производители моделей открывали книгу, а за маленьким обеденным столом создавали одежду
[3] Всего через 1 год после своего создания этот звездный стартап в области искусственного интеллекта хочет бросить вызов NVIDIA и магниевой компании
[4] Трещина в империи Nvidia, Научно-исследовательский институт Энукавы
[5] США планируют нарастить экспорт чипов в Китай, Huawei лидирует по росту внутреннего производства, а West China Securities
[6] Подробный отраслевой отчет AIGC (11): Выделение Huawei Computing Power: второй полюс глобальных вычислительных мощностей ИИ, West China Securities
[7] Специальный отраслевой отчет AIGC за 2023 год: четыре основных технических направления чипов искусственного интеллекта, Cambrian Copy NVIDIA, Shenwan Hongyuan
[8] Как CUDA добивается успеха NVIDIA: большой прорыв в области искусственного интеллекта, сообщество Tencent Cloud
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
NVIDIA: Empire Rift один за другим
Первоисточник: Decode
Часто возникает иллюзия, что процессоры Intel хорошо продаются, и приписывают их успешной компании по производству аппаратного обеспечения, хотя на самом деле доминирование Intel на рынке процессоров для настольных ПК — это архитектура X86, которая родилась в 1978 году.
Такая же иллюзия встречается и в Nvidia.
Причина, по которой NVIDIA может монополизировать рынок чипов для обучения искусственному интеллекту, заключается в том, что архитектура CUDA, безусловно, является одним из героев за кулисами.
Эта архитектура, родившаяся в 2006 году, была задействована во всех областях компьютерных вычислений и почти сформировалась в форме NVIDIA. 80% исследований в аэрокосмической отрасли, бионаучных исследованиях, механическом и гидротехническом моделировании, а также в области энергетики проводятся на базе CUDA.
В самой горячей области ИИ почти все крупные производители готовятся к плану Б: Google, Amazon, Huawei, Microsoft, OpenAI, Baidu... Никто не хочет, чтобы его будущее находилось в руках других.
Консалтинговое агентство по предпринимательским услугам Dealroom.co опубликовало набор данных, в этой волне генеративной жары искусственного интеллекта Соединенные Штаты получили 89% мировых инвестиций и финансирования, а в инвестициях и финансировании чипов искусственного интеллекта инвестиции и финансирование чипов искусственного интеллекта в Китае занимают первое место в мире, более чем в два раза больше, чем в Соединенных Штатах.
То есть, несмотря на множество различий в методах и этапах разработки крупных моделей китайских и американских компаний, все особенно последовательны в контроле вычислительных мощностей.
Почему у CUDA есть такая магия? **
В 2003 году, чтобы конкурировать с Intel, которая представила 4-ядерный процессор, NVIDIA начала разрабатывать технологию унифицированной архитектуры вычислительных устройств, или CUDA.
Первоначальное намерение CUDA состояло в том, чтобы добавить простой в использовании программный интерфейс к графическому процессору, чтобы разработчикам не приходилось изучать сложные языки шейдинга или примитивы обработки графики. Первоначальная идея Nvidia заключалась в том, чтобы предоставить разработчикам игр приложение в области графических вычислений, что Хуан называет «сделать графику программируемой».
Однако с момента запуска CUDA он не смог найти ключевые приложения и не получил важной поддержки клиентов. Кроме того, NVIDIA приходится тратить много денег на разработку приложений, поддержку сервисов, продвижение и маркетинг, и к 2008 году столкнулась с финансовым штормом, выручка Nvidia резко упала из-за плохих продаж видеокарт, а цена акций однажды упала всего до $1,50, что хуже, чем в худшие времена AMD.
Только в 2012 году два студента Хинтона использовали графические процессоры NVIDIA для соревнования по скорости распознавания изображений под названием ImageNet. Они использовали видеокарту GTX580 и тренировались по технологии CUDA, и результаты были в десятки раз быстрее, чем у второго места, а точность была более чем на 10% выше, чем у второго.
Это соревнование является не только историческим поворотным моментом для ИИ, но и открывает прорыв для NVIDIA. NVIDIA начала сотрудничать с индустрией для продвижения экосистемы ИИ, продвижения фреймворков ИИ с открытым исходным кодом, а также сотрудничать с Google, Facebook и другими компаниями для содействия развитию технологий ИИ, таких как TensorFlow.
Это эквивалентно завершению второго шага, который, по словам Хуана, заключается в том, чтобы «открыть графический процессор для программирования для всех видов вещей».
Когда была обнаружена вычислительная мощность графических процессоров, крупные производители также внезапно осознали тот факт, что CUDA, которую NVIDIA итерировала и прокладывала в течение нескольких лет, стала высокой стеной, которую ИИ не может избежать.
Для создания экосистемы CUDA NVIDIA предоставляет разработчикам множество библиотек и инструментов, таких как cuDNN, cuBLAS, TensorRT и т. д., которые удобны для разработчиков для выполнения глубокого обучения, линейной алгебры, ускорения логического вывода и других задач. Кроме того, NVIDIA предлагает полный набор инструментов разработки, включая компиляторы и оптимизаторы CUDA, что упрощает программирование на GPU и оптимизацию производительности для разработчиков.
В то же время NVIDIA также тесно сотрудничает со многими популярными платформами глубокого обучения, такими как TensorFlow, PyTorch и MXNet, предоставляя CUDA значительные преимущества в задачах глубокого обучения.
Это стремление «помочь лошади и дать ей прокатиться» позволило NVIDIA удвоить количество разработчиков в экосистеме CUDA всего за два с половиной года.
За последнее десятилетие NVIDIA продвигала учебные курсы CUDA в более чем 350 университетах, а на платформе работали профессиональные разработчики и эксперты в предметной области, которые оказывали всестороннюю поддержку приложениям CUDA, обмениваясь опытом и отвечая на сложные вопросы.
Что еще более важно, NVIDIA знает, что недостаток аппаратного обеспечения как рва заключается в том, что нет привязки пользователя, поэтому она объединяет аппаратное обеспечение с программным обеспечением, рендеринг на GPU для использования CUDA, шумоподавление AI для использования OptiX, вычисления для автономного вождения нуждаются в CUDA...
Несмотря на то, что NVIDIA в настоящее время монополизирует 90% рынка вычислительных мощностей ИИ с помощью GPU + NVlink + CUDA, в империи есть не одна трещина.
Трещины
Производители ИИ уже давно страдают от CUDA, и это не паникерство.
Магия CUDA заключается в том, что она находится в ключевой позиции сочетания программного и аппаратного обеспечения, что является краеугольным камнем всей экосистемы программного обеспечения, и конкурентам сложно обойти CUDA, чтобы быть совместимым с экосистемой NVIDIA; Что касается аппаратного обеспечения, то дизайн CUDA в основном представляет собой программную абстракцию в виде аппаратного обеспечения NVIDIA, и в основном каждая концепция ядра соответствует аппаратной концепции графического процессора.
Тогда для конкурентов остается только два варианта:
1 Обойти CUDA и перестроить экосистему программного обеспечения, что требует решения огромной проблемы прилипчивости пользователей NVIDIA;
2 Совместим с CUDA, но также сталкивается с двумя проблемами, одна из которых заключается в том, что если ваш аппаратный маршрут несовместим с NVIDIA, то можно добиться неэффективного и неудобного, а другая заключается в том, что CUDA будет следовать за эволюцией аппаратных характеристик NVIDIA, а совместимость может только выбирать.
Но для того, чтобы избавиться от хватки Nvidia, были испробованы оба варианта.
В 2016 году AMD запустила ROCm, экосистему графических процессоров, основанную на проектах с открытым исходным кодом, предоставляющую инструменты HIP, полностью совместимые с CUDA.
Однако из-за нехватки ресурсов библиотек toolchain и высокой стоимости разработки и совместимости итераций экосистеме ROCm сложно расти. На Github более 32 600 разработчиков вносят свой вклад в репозиторий пакетов CUDA, в то время как в ROCm их менее 600.
Сложность выбора NVIDIA-совместимого пути CUDA заключается в том, что его скорость итерации обновлений никогда не может угнаться за CUDA, и трудно достичь полной совместимости:
1 итерация всегда на один шаг медленнее: графические процессоры NVIDIA быстро перебирают микроархитектуры и наборы инструкций, и многие места в верхнем программном стеке также должны выполнять соответствующие обновления функций. Но AMD не может знать дорожную карту NVIDIA, и обновления программного обеспечения всегда будут на шаг медленнее, чем NVIDIA. Например, AMD, возможно, только что объявила о поддержке CUDA11, но NVIDIA уже запустила CUDA12.
2 Сложность в полной совместимости увеличит нагрузку на разработчиков: Большое программное обеспечение, такое как CUDA, само по себе очень сложное, и AMD нужно вкладывать много человеческих и материальных ресурсов в течение нескольких лет или даже более десяти лет, чтобы наверстать упущенное. Поскольку существуют неизбежные функциональные различия, если совместимость не выполнена должным образом, это повлияет на производительность (хотя 99% похожи, но решение оставшегося 1% различий может занять 99% времени разработчика).
Есть также компании, которые предпочитают обходить CUDA, например, Modular, которая была основана в январе 2022 года.
В дополнение к этому движку искусственного интеллекта компания Modular также разработала язык программирования с открытым исходным кодом Mojo. Вы можете думать о нем как о языке программирования, «созданном для ИИ», Modular использует его для разработки инструментов для интеграции в вышеупомянутый движок ИИ, при этом легко интегрируясь с Python и снижая затраты на обучение.
Проблема с Modular, однако, заключается в том, что ее видение «всеплатформенных инструментов разработки» слишком идеалистично.
Несмотря на то, что Mojo носит титул «за пределами Python» и поддерживается репутацией Криса Латтнера, Mojo, как новый язык, нуждается в тестировании многими разработчиками с точки зрения продвижения.
Движки ИИ сталкиваются с большим количеством проблем не только с соглашениями с многочисленными компаниями-производителями оборудования, но и с совместимостью между платформами. Это все задачи, для выполнения которых требуется длительное время шлифовки, и во что превратится Nvidia к тому времени, боюсь, никто не узнает.
Челленджер Huawei
17 октября Соединенные Штаты обновили правила экспортного контроля для чипов искусственного интеллекта, запретив таким компаниям, как NVIDIA, экспортировать передовые чипы искусственного интеллекта в Китай. Согласно последним правилам, это повлияет на экспорт чипов NVIDIA в Китай, включая A800 и H800.
Ранее, после того, как две модели NVIDIA A100 и H100 были ограничены в экспорте в Китай, «кастрированные версии» A800 и H800 исключительно для Китая были разработаны в соответствии с правилами. Intel также выпустила AI-чип Gaudi2 для китайского рынка. Теперь, похоже, компаниям придется скорректировать свою реакцию в рамках нового раунда запретов на экспорт.
В августе этого года в продажу неожиданно поступил Mate60Pro, оснащенный чипом Kirin 9000S собственной разработки Huawei, что мгновенно вызвало огромную волну общественного мнения, заставив почти в то же время заглушить очередную новость.
Лю Цинфэн, председатель iFLYTEK, сделал редкое заявление на публичном мероприятии, заявив, что графический процессор Huawei может конкурировать с NVIDIA A100, но только в том случае, если Huawei направит специальную рабочую группу для оптимизации работы iFLYTEK.
Такие внезапные заявления часто имеют глубокие намерения, и хотя у них нет возможности предсказать это, их полезность все же заключается в том, чтобы отреагировать на запрет чипов два месяца спустя.
Huawei GPU, полнофункциональная программно-аппаратная платформа Ascend AI, включает в себя 5 уровней: аппаратное обеспечение серии Atlas, гетерогенную вычислительную архитектуру, инфраструктуру искусственного интеллекта, поддержку приложений и отраслевые приложения снизу вверх.
В принципе, можно понять, что Huawei сделала набор замен для NVIDIA, уровень чипов — Ascend 910 и Ascend 310, а архитектура гетерогенных вычислений (CANN) тестирует программный слой ядра NVIDIA CUDA + CuDNN.
1 Производительность одиночной карты отстает, и все еще есть разрыв между Ascend 910 и A100, но победа в том, что цена дешевая и сумму можно сложить, а общий разрыв не велик после достижения кластерного масштаба;
2 Экологические недостатки существуют, но Huawei также пытается наверстать упущенное, например, благодаря сотрудничеству между сообществом PyTorch и Ascend, PyTorch версии 2.1 синхронно поддерживает Ascend NPU, что означает, что разработчики могут напрямую разрабатывать модели на основе Ascend в PyTorch 2.1.
В настоящее время Huawei Ascend в основном использует собственные продукты Huawei с замкнутым циклом для больших моделей, и любая общедоступная модель должна быть глубоко оптимизирована Huawei для работы на платформе Huawei, и эта часть работы по оптимизации в значительной степени зависит от Huawei.
В нынешнем контексте Ascend имеет особое значение.
В мае этого года Чжан Диксюань (Zhang Dixuan), президент подразделения Ascend Computing Business компании Huawei, сообщил, что базовая программно-аппаратная платформа «Ascend AI» была инкубирована и адаптирована к более чем 30 основным крупным моделям, а более половины китайских крупных моделей основаны на базовой программно-аппаратной платформе «Ascend AI», включая серии Pengcheng, Zidong и HUAWEI CLOUD Pangu. В августе этого года Baidu также официально объявила об адаптации Ascend AI с моделью летающее весло + Вэнь Синь.
Эпилог
В 2006 году, когда NVIDIA разворачивала свой грандиозный нарратив, никто не думал, что CUDA станет революционным продуктом, и Хуану пришлось уговаривать совет директоров инвестировать 500 миллионов долларов в год, чтобы играть в азартные игры с неизвестным сроком окупаемости более 10 лет, а доход NVIDIA в том году составил всего 3 миллиарда долларов.
Но во всех бизнес-историях, использующих технологии и инновации в качестве ключевых слов, всегда есть люди, которые добились больших успехов благодаря своей настойчивой приверженности долгосрочным целям, и NVIDIA и Huawei являются одними из лучших.
Ресурсы
[1] «Серп» NVIDIA — это не чип искусственного интеллекта, а кремниевая лаборатория
[2] Для того, чтобы стать «заменой NVIDIA», крупные производители моделей открывали книгу, а за маленьким обеденным столом создавали одежду
[3] Всего через 1 год после своего создания этот звездный стартап в области искусственного интеллекта хочет бросить вызов NVIDIA и магниевой компании
[4] Трещина в империи Nvidia, Научно-исследовательский институт Энукавы
[5] США планируют нарастить экспорт чипов в Китай, Huawei лидирует по росту внутреннего производства, а West China Securities
[6] Подробный отраслевой отчет AIGC (11): Выделение Huawei Computing Power: второй полюс глобальных вычислительных мощностей ИИ, West China Securities
[7] Специальный отраслевой отчет AIGC за 2023 год: четыре основных технических направления чипов искусственного интеллекта, Cambrian Copy NVIDIA, Shenwan Hongyuan
[8] Как CUDA добивается успеха NVIDIA: большой прорыв в области искусственного интеллекта, сообщество Tencent Cloud