Амбиции Nvidia: «нативный ИИ» полностью разрушает центр обработки данных

Источник изображения: сгенерировано Unbounded AI

Источник: Новости Уолл-Стрит.

Автор: Чжао Ин

Об этом заявил генеральный директор Nvidia Дженсен Хуанг на пресс-конференции во вторник. Вчера Nvidia выпустила новое поколение суперчиповой платформы GH200 Grace Hopper, специально разработанной для эпохи ускоренных вычислений и генеративного ИИ.

Хуан Ренсюнь отметил, что для удовлетворения растущего спроса на генеративный ИИ в центрах обработки данных должны быть ускоренные вычислительные платформы для особых нужд. Новая платформа чипов GH200 предлагает превосходную технологию памяти и пропускную способность, возможность подключения графических процессоров для агрегирования производительности без потерь, а также дизайн сервера, который можно легко развернуть в центре обработки данных. **

Стоит отметить, что появление волны крупномасштабных моделей породило различные нативные приложения ИИ, что привело к резкому росту спроса на вычислительную мощность.Рынок центров обработки данных, предназначенных для приложений искусственного интеллекта, интенсивно использующих данные, быстро развивается.

Центр обработки данных открывает новые изменения

Аналитики отмечают, что по мере того, как признанные поставщики облачных вычислений стремятся модернизировать центры обработки данных с помощью усовершенствованных микросхем и других обновлений, чтобы удовлетворить требования программного обеспечения искусственного интеллекта, некоторые начинающие строители видят возможность построить новые объекты с нуля.

Центр обработки данных подобен большому складу, оснащенному несколькими стойками серверов, сетями и оборудованием для хранения и обработки данных. По сравнению с традиционными дата-центрами, в дата-центрах ИИ больше серверов, использующих высокопроизводительные чипы, поэтому среднее энергопотребление на стойку серверов ИИ-ЦОД может достигать 50 киловатт и более, в то время как на каждую стойку традиционных ЦОД энергопотребление составляет около 7 киловатт. кВт.

Это означает, что для центра обработки данных ИИ необходимо создать дополнительную инфраструктуру, которая может обеспечить более высокую мощность. Поскольку дополнительное энергопотребление будет генерировать больше тепла, центр обработки данных ИИ также нуждается в других методах охлаждения, таких как жидкостное охлаждение. системы, Защитить устройство от перегрева.

Манджу Наглапур, старший вице-президент консалтинговой компании Unisys, отметил:

** В специально созданных центрах обработки данных с искусственным интеллектом могут размещаться серверы, использующие микросхемы искусственного интеллекта, такие как графические процессоры Nvidia, что позволяет выполнять несколько вычислений одновременно, поскольку приложения искусственного интеллекта просеивают огромные хранилища данных. ** Эти центры обработки данных также оснащены оптоволоконными сетями и более эффективными устройствами хранения для поддержки крупномасштабных моделей искусственного интеллекта.

Дата-центры ИИ — это узкоспециализированные здания, требующие больших вложений денег и времени. Согласно данным исследовательской компании Data Bridge Market Research, к 2029 году ожидается, что расходы на глобальном рынке инфраструктуры искусственного интеллекта достигнут 422,55 млрд долларов США, а совокупный годовой темп роста составит 44% в течение следующих шести лет.

Исполнительный директор DataBank Рауль Мартинек сказал, что темпы развертывания ИИ, вероятно, приведут к нехватке мощностей центров обработки данных в ближайшие 12–24 месяца.

Новичок в области вычислений искусственного интеллекта получил финансирование в размере 2,3 миллиарда долларов

В настоящее время различные гиганты делают ставку на центры обработки данных с искусственным интеллектом, а Blackstone, эталон недвижимости, продает дома и переключается на центры обработки данных с искусственным интеллектом. Meta также заявила, что построит новый центр обработки данных ИИ.

Как упоминалось в предыдущей статье, CoreWeave, новичок в области вычислительной мощности ИИ, взял ипотечный кредит у Nvidia H100 и получил заемное финансирование в размере 2,3 млрд долларов США (около 16,5 млрд юаней).

**CoreWeave заявила, что средства будут использованы для ускорения строительства центров обработки данных искусственного интеллекта.Это еще одно финансирование после того, как компания получила 221 млн долларов США в апреле этого года и 200 млн долларов США в мае. Компания CoreWeave, основанная шесть лет назад, уже имеет семь онлайн-центров обработки данных ИИ и рассчитывает удвоить их количество к концу этого года.

CoreWeave работает с Nvidia и Inflection AI над созданием сверхбольшого кластера серверов AI с целью запуска 22 000 Nvidia H100. ** Если он будет завершен, он станет крупнейшим в мире кластером серверов ИИ. **

Стоит отметить, что, согласно официальному сайту CoreWeave, их услуги на 80% дешевле, чем у традиционных поставщиков облачных вычислений. Новейший сервер Nvidia HGX H100, содержащий 8 H100 с 80G видеопамятью и 1T памятью, стоит всего 2,23 доллара в час (16 юаней). **

По сравнению с платформой предыдущего поколения двухчиповая конфигурация новой платформы GH200 Grace Hopper увеличивает объем памяти в 3,5 раза и пропускную способность в три раза.Один сервер имеет 144 высокопроизводительных ядра Arm Neoverse, 8 петафлопс производительности ИИ и новейшая технология памяти HBM3e объемом 282 ГБ.

Неудивительно, что в эту эпоху взрыва LLM Хуан Ренсюнь по-прежнему смело говорил: «Чем больше вы покупаете, тем больше вы экономите»!