Перше джерело: Science and Technology Innovation Board Daily
Кредит зображення: створено Unbounded AI
11 липня Intel випустила на китайському ринку хмарний навчальний чіп AI - Habana® Gaudi® 2. Чіп може задовольнити потреби великомасштабних мовних моделей, мультимодальних моделей і генеративних моделей ШІ. Згідно з опублікованою інформацією, за деякими ключовими показниками продуктивність чіпа краща, ніж у Nvidia A100.
Зрозуміло, що процесор Gaudi2 і мезонінова карта Gaudi2 HL-225B засновані на високопродуктивній архітектурі Gaudi першого покоління і мають 24 програмованих процесорних ядра Tensor (TPC).
Кожен чіп інтегрує 21 інтерфейс Ethernet 100 Гбіт/с (RoCEv2 RDMA), призначений для внутрішнього з’єднання, оснащений 96 ГБ високошвидкісної пам’яті HBM і загальною пропускною здатністю пам’яті 2,4 ТБ/с, що відповідає широкомасштабним мовним моделям, мультимодальним моделям і генеративним моделям. Потреби моделі ШІ.
Згідно з опублікованою інформацією, продуктивність на ват Intel Gaudi2 під керуванням ResNet-50 приблизно вдвічі перевищує продуктивність NVIDIA A100, а продуктивність на ват моделі BLOOMZ із 176 мільярдами параметрів приблизно в 1,6 рази перевищує продуктивність A100. **
На прес-конференції Лю Цзюнь, старший віце-президент Inspur Information і генеральний менеджер AI і HPC, випустив нове покоління сервера AI NF5698G7, оснащеного Gaudi2.
Наразі Intel співпрацює з Inspur Information для створення сервера ШІ NF5698G7 на основі прискорювача глибокого навчання Gaudi2. Сервер інтегрує 8 карт прискорювача Gaudi2 HL-225B, а також два масштабованих процесори Intel Xeon четвертого покоління, які підтримують механізми прискорення штучного інтелекту, такі як AMX/DSA. Того ж дня було також офіційно випущено AI-сервер.
Ван Лей, старший менеджер із продуктів Inspur Information, підкреслив, що NF5698G7 — це сервер штучного інтелекту нового покоління, спеціально розроблений для ринку генеративних штучного інтелекту.Він підтримує 8 OAM високошвидкісних взаємопов’язаних прискорювачів Gaudi2 і забезпечить клієнтам штучного інтелекту навчання великомасштабних моделей і здібності до міркування.
Лю Хунчен, віце-президент лінійки продуктів H3C для обчислень і зберігання даних, сказав, що на основі прискорювача Intel Gaudi2 AI компанія H3C співпрацює з Intel над розробкою високопродуктивних серверів AI, придатних для навчання великомасштабних моделей і міркувань. **
У той же час Тан Цімін, президент відділу інфраструктури обчислювальної потужності Super Fusion Digital Technology Co., Ltd., зазначив, що ** Super Fusion і Intel спільно випустять нові продукти та рішення на основі Gaudi2. **
Раніше Ван Жуй, голова Intel China, зазначив в інтерв’ю репортеру «Science and Technology Board Daily», що хвиля **ChatGPT спричинила значне зростання попиту на комп’ютери та наразі розробляється спільно з китайськими клієнтами. включаючи Baidu та Ali Спільне дослідження. **Ван Жуй розповів, що розроблено як високопродуктивні обчислення, так і розподілені обчислення.
Репортер із Science and Technology Innovation Board Daily, експерт з технологій Intel, поділився макетом Intel у сфері великих моделей. На рівні навчання для гетерогенних обчислень, таких як CPU, GPU, IPU та Habana, Intel використовує платформи oneAPI та XPU, щоб надати більше можливостей. З точки зору аргументації, після випуску четвертого покоління Sapphire Rapids на основі прискорювача AMX, він може вирішити понад 80% запитів клієнтів у галузі. У той же час він також повністю використовує процесор, включаючи Ponte Vecchio для навчання та Arctic Sound для міркувань.
З появою великих моделей бізнес-модель хмарних обчислень розвивається в напрямку MaaS (модель як послуга), і попит на обчислювальну потужність, який вона створює, також заслуговує на увагу.
«Його ідея полягає у використанні моделі попереднього навчання для навчання галузевих даних для формування сегментованої моделі для конкретних сценаріїв і для різних галузей. Ми знаємо, що кількість параметрів загальної моделі дуже велика, наприклад, GPT-3 може досягне 175 мільярдів. Розгортання цих моделей буде громіздким, тому, можливо, знадобиться дистилювати та стискати великі моделі, щоб сформувати модель, яка може бути розгорнута в галузі", - сказали вищезгадані технічні експерти.
Крім того, приватизоване розгортання великих моделей є потенційним попитом у багатьох галузях промисловості. «Багато підрозділених галузей не приймають послуги SaaS, особливо фінансові та інші галузі. Тому Intel обговорює, як мініатюризувати цю модель і реалізувати приватизоване розгортання на локальному рівні, щоб її можна було справді впровадити в галузі».
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Хочете конкурувати з Nvidia? Intel просуває хмарні мікросхеми ШІ та має намір об’єднати зусилля з вітчизняними виробниками для розробки серверів ШІ
Перше джерело: Science and Technology Innovation Board Daily
11 липня Intel випустила на китайському ринку хмарний навчальний чіп AI - Habana® Gaudi® 2. Чіп може задовольнити потреби великомасштабних мовних моделей, мультимодальних моделей і генеративних моделей ШІ. Згідно з опублікованою інформацією, за деякими ключовими показниками продуктивність чіпа краща, ніж у Nvidia A100.
Зрозуміло, що процесор Gaudi2 і мезонінова карта Gaudi2 HL-225B засновані на високопродуктивній архітектурі Gaudi першого покоління і мають 24 програмованих процесорних ядра Tensor (TPC).
Кожен чіп інтегрує 21 інтерфейс Ethernet 100 Гбіт/с (RoCEv2 RDMA), призначений для внутрішнього з’єднання, оснащений 96 ГБ високошвидкісної пам’яті HBM і загальною пропускною здатністю пам’яті 2,4 ТБ/с, що відповідає широкомасштабним мовним моделям, мультимодальним моделям і генеративним моделям. Потреби моделі ШІ.
Згідно з опублікованою інформацією, продуктивність на ват Intel Gaudi2 під керуванням ResNet-50 приблизно вдвічі перевищує продуктивність NVIDIA A100, а продуктивність на ват моделі BLOOMZ із 176 мільярдами параметрів приблизно в 1,6 рази перевищує продуктивність A100. **
На прес-конференції Лю Цзюнь, старший віце-президент Inspur Information і генеральний менеджер AI і HPC, випустив нове покоління сервера AI NF5698G7, оснащеного Gaudi2.
Наразі Intel співпрацює з Inspur Information для створення сервера ШІ NF5698G7 на основі прискорювача глибокого навчання Gaudi2. Сервер інтегрує 8 карт прискорювача Gaudi2 HL-225B, а також два масштабованих процесори Intel Xeon четвертого покоління, які підтримують механізми прискорення штучного інтелекту, такі як AMX/DSA. Того ж дня було також офіційно випущено AI-сервер.
Ван Лей, старший менеджер із продуктів Inspur Information, підкреслив, що NF5698G7 — це сервер штучного інтелекту нового покоління, спеціально розроблений для ринку генеративних штучного інтелекту.Він підтримує 8 OAM високошвидкісних взаємопов’язаних прискорювачів Gaudi2 і забезпечить клієнтам штучного інтелекту навчання великомасштабних моделей і здібності до міркування.
Лю Хунчен, віце-президент лінійки продуктів H3C для обчислень і зберігання даних, сказав, що на основі прискорювача Intel Gaudi2 AI компанія H3C співпрацює з Intel над розробкою високопродуктивних серверів AI, придатних для навчання великомасштабних моделей і міркувань. **
У той же час Тан Цімін, президент відділу інфраструктури обчислювальної потужності Super Fusion Digital Technology Co., Ltd., зазначив, що ** Super Fusion і Intel спільно випустять нові продукти та рішення на основі Gaudi2. **
Раніше Ван Жуй, голова Intel China, зазначив в інтерв’ю репортеру «Science and Technology Board Daily», що хвиля **ChatGPT спричинила значне зростання попиту на комп’ютери та наразі розробляється спільно з китайськими клієнтами. включаючи Baidu та Ali Спільне дослідження. **Ван Жуй розповів, що розроблено як високопродуктивні обчислення, так і розподілені обчислення.
Репортер із Science and Technology Innovation Board Daily, експерт з технологій Intel, поділився макетом Intel у сфері великих моделей. На рівні навчання для гетерогенних обчислень, таких як CPU, GPU, IPU та Habana, Intel використовує платформи oneAPI та XPU, щоб надати більше можливостей. З точки зору аргументації, після випуску четвертого покоління Sapphire Rapids на основі прискорювача AMX, він може вирішити понад 80% запитів клієнтів у галузі. У той же час він також повністю використовує процесор, включаючи Ponte Vecchio для навчання та Arctic Sound для міркувань.
З появою великих моделей бізнес-модель хмарних обчислень розвивається в напрямку MaaS (модель як послуга), і попит на обчислювальну потужність, який вона створює, також заслуговує на увагу.
«Його ідея полягає у використанні моделі попереднього навчання для навчання галузевих даних для формування сегментованої моделі для конкретних сценаріїв і для різних галузей. Ми знаємо, що кількість параметрів загальної моделі дуже велика, наприклад, GPT-3 може досягне 175 мільярдів. Розгортання цих моделей буде громіздким, тому, можливо, знадобиться дистилювати та стискати великі моделі, щоб сформувати модель, яка може бути розгорнута в галузі", - сказали вищезгадані технічні експерти.
Крім того, приватизоване розгортання великих моделей є потенційним попитом у багатьох галузях промисловості. «Багато підрозділених галузей не приймають послуги SaaS, особливо фінансові та інші галузі. Тому Intel обговорює, як мініатюризувати цю модель і реалізувати приватизоване розгортання на локальному рівні, щоб її можна було справді впровадити в галузі».