Хотите конкурировать с Nvidia? Intel продвигает чипы облачного ИИ и намерена объединить усилия с отечественными производителями для разработки серверов ИИ.
Первоисточник: Science and Technology Innovation Board Daily.
Изображение предоставлено: создано Unbounded AI
11 июля Intel выпустила обучающий чип облачного ИИ — Habana® Gaudi® 2 на китайском рынке. Чип может удовлетворить потребности крупномасштабных языковых моделей, мультимодальных моделей и генеративных моделей ИИ. Согласно представлению на месте, производительность чипа лучше, чем у Nvidia A100 по некоторым ключевым показателям.
Понятно, что процессор Gaudi2 и мезонинная карта Gaudi2 HL-225B основаны на высокопроизводительной архитектуре Gaudi первого поколения и имеют 24 программируемых процессорных ядра Tensor (TPC).
Каждый чип объединяет 21 интерфейс Ethernet 100 Гбит/с (RoCEv2 RDMA), предназначенный для внутреннего соединения, оснащенный высокоскоростной памятью HBM объемом 96 ГБ и общей пропускной способностью памяти 2,4 ТБ/с, что соответствует крупномасштабным языковым моделям, мультимодальным моделям и генеративным моделям. Потребности модели ИИ.
Согласно представлению на месте, производительность на ватт Intel Gaudi2 с ResNet-50 примерно вдвое выше, чем у NVIDIA A100, а производительность на ватт при работе с моделью BLOOMZ со 176 миллиардами параметров примерно в 1,6 раза выше, чем у A100. **
На пресс-конференции Лю Цзюнь, старший вице-президент Inspur Information и генеральный менеджер по искусственному интеллекту и высокопроизводительным вычислениям, представил новое поколение AI-сервера NF5698G7, оснащенного Gaudi2.
В настоящее время Intel сотрудничает с Inspur Information для создания сервера искусственного интеллекта NF5698G7 на основе ускорителя глубокого обучения Gaudi2. Сервер объединяет 8 карт ускорителей Gaudi2 HL-225B, а также включает в себя два масштабируемых процессора Intel Xeon четвертого поколения, поддерживающих механизмы ускорения искусственного интеллекта, такие как AMX/DSA. В этот же день был официально выпущен сервер ИИ.
Ван Лэй, старший менеджер по продуктам Inspur Information, подчеркнул, что NF5698G7 — это сервер искусственного интеллекта нового поколения, специально разработанный для рынка генеративного искусственного интеллекта. способности рассуждения.
Лю Хунчэн, вице-президент линейки продуктов H3C для вычислений и хранения, сказал, что на основе ускорителя ИИ Intel Gaudi2 компания H3C сотрудничает с Intel для разработки высокопроизводительных серверов ИИ, подходящих для обучения и рассуждений крупномасштабных моделей. **
В то же время Тан Цимин, президент отдела инфраструктуры вычислительной мощности компании Super Fusion Digital Technology Co., Ltd., отметил, что ** Super Fusion и Intel будут совместно запускать новые продукты и решения на базе Gaudi2. **
Ранее Ван Жуй, председатель Intel China, отметил в интервью репортеру «Science and Technology Board Daily», что волна **ChatGPT привела к значительному увеличению спроса на компьютеры и в настоящее время разрабатывается для китайских клиентов. в том числе Baidu и Али.Совместное исследование. **Ванг Жуй сообщил, что заложены как высокопроизводительные вычисления, так и распределенные вычисления.
Репортер Совета по инновациям в области науки и технологий Daily, эксперт по технологиям Intel, поделился планом Intel в области больших моделей. На уровне обучения для гетерогенных вычислений, таких как CPU, GPU, IPU и Habana, Intel использует платформы oneAPI и XPU, чтобы предоставить больше вариантов. Что касается рассуждений, то после выпуска Sapphire Rapids четвертого поколения на базе ускорителя AMX он может решить более 80% потребностей клиентов в рассуждениях в отрасли. В то же время он также полностью использует ЦП, включая Ponte Vecchio для обучения и Arctic Sound для рассуждений.
С появлением больших моделей бизнес-модель облачных вычислений развивается в сторону MaaS (модель как услуга), и спрос на вычислительную мощность, обусловленный ею, также заслуживает внимания.
«Его идея состоит в том, чтобы использовать предобучающую модель для обучения отраслевых данных для формирования сегментированной модели для конкретных сценариев и для различных отраслей. Мы знаем, что количество параметров общей модели очень велико, например, GPT-3 может достигнет 175 миллиардов. Развертывание этих моделей будет обременительным, поэтому, возможно, потребуется отфильтровать и сжать большие модели, чтобы сформировать модель, которую можно будет развернуть в отрасли», — заявили вышеупомянутые технические эксперты.
Кроме того, приватизированное развертывание крупных моделей является потенциальным спросом во многих отраслях. «Многие отрасли не принимают услуги SaaS, особенно финансовые и другие отрасли. Поэтому Intel обсуждает, как уменьшить эту модель и внедрить локальное приватизированное развертывание, чтобы ее действительно можно было внедрить в отрасли».
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Хотите конкурировать с Nvidia? Intel продвигает чипы облачного ИИ и намерена объединить усилия с отечественными производителями для разработки серверов ИИ.
Первоисточник: Science and Technology Innovation Board Daily.
11 июля Intel выпустила обучающий чип облачного ИИ — Habana® Gaudi® 2 на китайском рынке. Чип может удовлетворить потребности крупномасштабных языковых моделей, мультимодальных моделей и генеративных моделей ИИ. Согласно представлению на месте, производительность чипа лучше, чем у Nvidia A100 по некоторым ключевым показателям.
Понятно, что процессор Gaudi2 и мезонинная карта Gaudi2 HL-225B основаны на высокопроизводительной архитектуре Gaudi первого поколения и имеют 24 программируемых процессорных ядра Tensor (TPC).
Каждый чип объединяет 21 интерфейс Ethernet 100 Гбит/с (RoCEv2 RDMA), предназначенный для внутреннего соединения, оснащенный высокоскоростной памятью HBM объемом 96 ГБ и общей пропускной способностью памяти 2,4 ТБ/с, что соответствует крупномасштабным языковым моделям, мультимодальным моделям и генеративным моделям. Потребности модели ИИ.
Согласно представлению на месте, производительность на ватт Intel Gaudi2 с ResNet-50 примерно вдвое выше, чем у NVIDIA A100, а производительность на ватт при работе с моделью BLOOMZ со 176 миллиардами параметров примерно в 1,6 раза выше, чем у A100. **
На пресс-конференции Лю Цзюнь, старший вице-президент Inspur Information и генеральный менеджер по искусственному интеллекту и высокопроизводительным вычислениям, представил новое поколение AI-сервера NF5698G7, оснащенного Gaudi2.
В настоящее время Intel сотрудничает с Inspur Information для создания сервера искусственного интеллекта NF5698G7 на основе ускорителя глубокого обучения Gaudi2. Сервер объединяет 8 карт ускорителей Gaudi2 HL-225B, а также включает в себя два масштабируемых процессора Intel Xeon четвертого поколения, поддерживающих механизмы ускорения искусственного интеллекта, такие как AMX/DSA. В этот же день был официально выпущен сервер ИИ.
Ван Лэй, старший менеджер по продуктам Inspur Information, подчеркнул, что NF5698G7 — это сервер искусственного интеллекта нового поколения, специально разработанный для рынка генеративного искусственного интеллекта. способности рассуждения.
Лю Хунчэн, вице-президент линейки продуктов H3C для вычислений и хранения, сказал, что на основе ускорителя ИИ Intel Gaudi2 компания H3C сотрудничает с Intel для разработки высокопроизводительных серверов ИИ, подходящих для обучения и рассуждений крупномасштабных моделей. **
В то же время Тан Цимин, президент отдела инфраструктуры вычислительной мощности компании Super Fusion Digital Technology Co., Ltd., отметил, что ** Super Fusion и Intel будут совместно запускать новые продукты и решения на базе Gaudi2. **
Ранее Ван Жуй, председатель Intel China, отметил в интервью репортеру «Science and Technology Board Daily», что волна **ChatGPT привела к значительному увеличению спроса на компьютеры и в настоящее время разрабатывается для китайских клиентов. в том числе Baidu и Али.Совместное исследование. **Ванг Жуй сообщил, что заложены как высокопроизводительные вычисления, так и распределенные вычисления.
Репортер Совета по инновациям в области науки и технологий Daily, эксперт по технологиям Intel, поделился планом Intel в области больших моделей. На уровне обучения для гетерогенных вычислений, таких как CPU, GPU, IPU и Habana, Intel использует платформы oneAPI и XPU, чтобы предоставить больше вариантов. Что касается рассуждений, то после выпуска Sapphire Rapids четвертого поколения на базе ускорителя AMX он может решить более 80% потребностей клиентов в рассуждениях в отрасли. В то же время он также полностью использует ЦП, включая Ponte Vecchio для обучения и Arctic Sound для рассуждений.
С появлением больших моделей бизнес-модель облачных вычислений развивается в сторону MaaS (модель как услуга), и спрос на вычислительную мощность, обусловленный ею, также заслуживает внимания.
«Его идея состоит в том, чтобы использовать предобучающую модель для обучения отраслевых данных для формирования сегментированной модели для конкретных сценариев и для различных отраслей. Мы знаем, что количество параметров общей модели очень велико, например, GPT-3 может достигнет 175 миллиардов. Развертывание этих моделей будет обременительным, поэтому, возможно, потребуется отфильтровать и сжать большие модели, чтобы сформировать модель, которую можно будет развернуть в отрасли», — заявили вышеупомянутые технические эксперты.
Кроме того, приватизированное развертывание крупных моделей является потенциальным спросом во многих отраслях. «Многие отрасли не принимают услуги SaaS, особенно финансовые и другие отрасли. Поэтому Intel обсуждает, как уменьшить эту модель и внедрить локальное приватизированное развертывание, чтобы ее действительно можно было внедрить в отрасли».