記者会見では、Inspur Information 上級副社長兼 AI および HPC ゼネラルマネージャーの Liu Jun 氏が、Gaudi2 を搭載した新世代 AI サーバー NF5698G7 をその場でリリースしました。
現在、インテルは Inspur Information と協力して、Gaudi2 深層学習アクセラレーターをベースにした AI サーバー NF5698G7 を作成しています。このサーバーには 8 枚の Gaudi2 アクセラレータ カード HL-225B が統合されており、デュアル第 4 世代 Intel Xeon スケーラブル プロセッサも搭載されており、AMX/DSA などの AI アクセラレーション エンジンをサポートしています。同日、AIサーバーも正式リリースされた。
Inspur Information のシニア プロダクト マネージャーである Wang Lei 氏は、「NF5698G7 は生成 AI 市場向けに特別に開発された新世代の AI サーバーです。8 個の OAM 高速相互接続 Gaudi2 アクセラレータをサポートしており、AI 顧客に大規模なモデル トレーニングと推論能力。
同時に、Super Fusion Digital Technology Co., Ltd.のコンピューティングパワーインフラストラクチャ分野の社長であるTang Qiming氏は、** Super FusionとIntelが共同でGaudi2をベースにした新製品とソリューションを発売する予定であると指摘しました。 **
以前、Intel China の王瑞会長は、「科学技術委員会日報」の記者とのインタビューで、**ChatGPT の波がコンピューティング需要の大幅な増加をもたらし、現在中国の顧客と開発を進めていると指摘しました。 Baidu と Ali を含む共同研究。 **Wang Rui 氏は、ハイパフォーマンス コンピューティングと分散コンピューティングの両方が計画されていることを明らかにしました。
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Nvidia と競合したいですか?インテルはクラウドAIチップを推進、国内メーカーと提携してAIサーバーを開発する意向
出典: Science and Technology Innovation Board Daily
7 月 11 日、インテルはクラウド AI トレーニング チップ - Habana® Gaudi® 2 を中国市場で発売しました。このチップは、大規模な言語モデル、マルチモーダル モデル、生成 AI モデルのニーズを満たすことができます。オンサイトの紹介によると、チップのパフォーマンスはいくつかの重要な指標で Nvidia A100 よりも優れています。
Gaudi2 プロセッサと Gaudi2 メザニン カード HL-225B は、第 1 世代の Gaudi 高性能アーキテクチャに基づいており、24 個のプログラム可能な Tensor プロセッサ コア (TPC) を備えていることがわかります。
各チップには、内部相互接続専用の 21 個の 100Gbps (RoCEv2 RDMA) イーサネット インターフェイスが統合されており、96GB HBM 高速メモリと 2.4TB/s の合計メモリ帯域幅が装備されており、大規模な言語モデル、マルチモーダル モデル、生成モデルに対応します。 AI モデルのニーズ。
現場の紹介によると、ResNet-50 を実行する Intel Gaudi2 のワットあたりのパフォーマンスは NVIDIA A100 の約 2 倍、1,760 億パラメータの BLOOMZ モデルを実行するワットあたりのパフォーマンスは A100 の約 1.6 倍です。 **
記者会見では、Inspur Information 上級副社長兼 AI および HPC ゼネラルマネージャーの Liu Jun 氏が、Gaudi2 を搭載した新世代 AI サーバー NF5698G7 をその場でリリースしました。
現在、インテルは Inspur Information と協力して、Gaudi2 深層学習アクセラレーターをベースにした AI サーバー NF5698G7 を作成しています。このサーバーには 8 枚の Gaudi2 アクセラレータ カード HL-225B が統合されており、デュアル第 4 世代 Intel Xeon スケーラブル プロセッサも搭載されており、AMX/DSA などの AI アクセラレーション エンジンをサポートしています。同日、AIサーバーも正式リリースされた。
Inspur Information のシニア プロダクト マネージャーである Wang Lei 氏は、「NF5698G7 は生成 AI 市場向けに特別に開発された新世代の AI サーバーです。8 個の OAM 高速相互接続 Gaudi2 アクセラレータをサポートしており、AI 顧客に大規模なモデル トレーニングと推論能力。
H3Cのコンピューティングおよびストレージ製品ライン担当バイスプレジデントであるLiu Honcheng氏は、H3CはIntel Gaudi2 AIアクセラレータをベースに、大規模モデルのトレーニングと推論に適した高性能AIサーバーを開発するためにIntelと協力していると述べた。 **
同時に、Super Fusion Digital Technology Co., Ltd.のコンピューティングパワーインフラストラクチャ分野の社長であるTang Qiming氏は、** Super FusionとIntelが共同でGaudi2をベースにした新製品とソリューションを発売する予定であると指摘しました。 **
以前、Intel China の王瑞会長は、「科学技術委員会日報」の記者とのインタビューで、**ChatGPT の波がコンピューティング需要の大幅な増加をもたらし、現在中国の顧客と開発を進めていると指摘しました。 Baidu と Ali を含む共同研究。 **Wang Rui 氏は、ハイパフォーマンス コンピューティングと分散コンピューティングの両方が計画されていることを明らかにしました。
Intel テクノロジーの専門家である Science and Technology Innovation Board Daily の記者が、大型モデルの分野における Intel のレイアウトを共有しました。トレーニング レベルでは、CPU、GPU、IPU、Habana などの異種コンピューティングに対して、インテルは oneAPI および XPU プラットフォームを使用して、より多くの選択肢を提供します。推論に関しては、AMX アクセラレータをベースとした第 4 世代 Sapphire Rapids のリリース後、業界における顧客の推論ニーズの 80% 以上を解決できるようになりました。同時に、トレーニング用の Ponte Vecchio や推理用の Arctic Sound など、CPU も最大限に活用します。
大型モデルの台頭により、クラウドコンピューティングのビジネスモデルはMaaS（Model as a Service）へと進化しており、それに伴うコンピューティングパワーの需要も注目に値します。
「そのアイデアは、事前トレーニング モデルを使用して業界データをトレーニングし、特定のシナリオやさまざまな業界向けにセグメント化されたモデルを形成することです。一般的なモデルのパラメーターの数が非常に多いことはわかっています。たとえば、GPT-3 は1,750 億に達すると、これらのモデルの展開は面倒になるため、大規模なモデルを抽出して圧縮して、業界で展開できるモデルを形成する必要があるかもしれません。」と前述の技術専門家は述べています。
さらに、大規模モデルの民営化された展開は、多くの業界で潜在的な需要です。 「細分化された多くの業界、特に金融業界やその他の業界は、SaaS サービスを受け入れていません。そのため、インテルは、このモデルをどのように小型化し、ローカルで民営化された展開を実装し、本当に業界で実装できるかについて議論しています。」