Google は長年にわたり、新世代の人工知能の開発をリードする Transformer アーキテクチャや AI で最適化されたインフラストラクチャなど、業界をリードする AI 機能を構築してきました。その中で、Google Cloud は、GPU や TPU を含む高度な AI インフラストラクチャ サービスの提供に注力しています。
現地時間 8 月 29 日、Google Cloud は Google Cloud Next '23 年次カンファレンスを開催し、AI に最適化されたインフラストラクチャ製品ポートフォリオであり、これまでで最もコスト効率の高い新しい TPU 製品である Cloud TPU v5e を発表しました。多用途かつスケーラブルなクラウド TPU。現在、プレビュー版が利用可能です。
アップグレードされた TPU v5e はお客様から高く評価されています。 AssemblyAI のテクノロジー担当バイスプレジデントであるドメニック・ドナート氏は、TPU v5e を使用して ASR (自動音声認識) モデルの推論を実行すると、1 ドルあたりのパフォーマンスが市場の同様のソリューションよりも一貫して 4 倍高いと述べました。このハードウェアとソフトウェアの強力な組み合わせにより、よりコスト効率の高い AI ソリューションを顧客に提供できます。
Google Cloud が AI インフラストラクチャのアップグレードを続けるにつれて、Google Cloud サービスの使用を選択する顧客はますます増えていくでしょう。 Google の親会社である Aplabet の以前の紹介によると、生成 AI スタートアップの半数以上が Google のクラウド コンピューティング プラットフォームを使用しています。
Google にとって、Cloud TPU v5e は、製品モデルをさらに変更し、クラウドの顧客に力を与えるための序曲です。
Google AI チップのメジャー アップグレード: 大規模モデルと生成 AI をターゲットにし、主流の深層学習フレームワークも統合
Google は長年にわたり、新世代の人工知能の開発をリードする Transformer アーキテクチャや AI で最適化されたインフラストラクチャなど、業界をリードする AI 機能を構築してきました。その中で、Google Cloud は、GPU や TPU を含む高度な AI インフラストラクチャ サービスの提供に注力しています。
現地時間 8 月 29 日、Google Cloud は Google Cloud Next '23 年次カンファレンスを開催し、AI に最適化されたインフラストラクチャ製品ポートフォリオであり、これまでで最もコスト効率の高い新しい TPU 製品である Cloud TPU v5e を発表しました。多用途かつスケーラブルなクラウド TPU。現在、プレビュー版が利用可能です。
TPU v5e は、Google Kubernetes Engine (GKE)、モデルと AI アプリケーションを構築するための開発者ツールである Vertex AI、および Pytorch、JAX、TensorFlow などのディープ ラーニング フレームワークと統合できることがわかりました。使い慣れたインターフェースを使用し、非常に簡単に始めることができます。
Google Cloud はまた、大規模 AI モデルのサポートを提供するために、Nvidia の H100 GPU をベースにした GPU スーパーコンピューターである A3 VM を立ち上げました。この製品は9月に一般発売される予定です。
さらにイベントでは、GoogleはMetaやAnthropicなどの企業のAIツール（Llama 2やClaude 2など）を自社のクラウドプラットフォームに追加し、強力な生成AI機能をクラウド製品に統合することも発表した。現在、Google Cloud のお客様は、Llama 2 と Claude 2 を含め、100 以上の強力な AI モデルとツールにアクセスできます。
TPU v4 と比較して、TPU v5e はどのような点がアップグレードされましたか
今回Google Cloudが提供開始したTPU v5eの性能や使いやすさはどうなっているのでしょうか？次に見てみましょう。
公式データによると、Cloud TPU v5e は中規模および大規模なトレーニングと推論に高いパフォーマンスと費用対効果をもたらします。この世代の TPU は、大規模言語モデルと生成 AI モデルに特化して構築されていると言え、前世代の TPU v4 と比較して、1 ドルあたりのトレーニング パフォーマンスが最大 2 倍、1 ドルあたりの推論パフォーマンスが最大 2 倍向上しています。最大2.5倍。また、TPU v5e のコストは TPU v4 の半分以下であるため、より多くの機関に、より大規模で複雑な AI モデルをトレーニングおよびデプロイする機会が与えられます。
技術革新のおかげで、パフォーマンスや柔軟性を犠牲にすることなく、これらのコスト上のメリットが得られることは注目に値します。 Google Cloud は、TPU v5e ポッドを利用してパフォーマンス、柔軟性、効率のバランスをとり、最大 256 個のチップを相互接続し、合計帯域幅が 400 Tb/s 以上、INT8 パフォーマンスが 100 petaOps になります。
TPU v5e は高い汎用性も備えており、8 つの異なる仮想マシン構成をサポートしており、単一チップ内のチップ数は 1 ～ 256 の範囲であり、顧客は大規模な言語モデルやさまざまなサイズのモデルの生成 AI をサポートするために適切な構成を選択できます。
TPU v5e は、優れた機能性とコスト効率に加えて、使いやすさもまったく新しいレベルに引き上げています。お客様は、Google Kubernetes Engine (GKE) を使用して、TPU v5e および TPU v4 での大規模な AI ワークロード オーケストレーションを管理できるようになり、AI 開発効率が向上します。シンプルなマネージド サービスを好む組織向けに、Vertex AI は、さまざまなフレームワークやライブラリをトレーニングするための Cloud TPU 仮想マシンの使用をサポートするようになりました。
さらに、前述したように、Cloud TPU v5e は、JAX、PyTorch、TensorFlow などの主要な AI フレームワークや、人気のオープンソース ツール (Huggingface の Transformers and Accelerate、PyTorch Lightning、Ray) の組み込みサポートを提供します。今後の PyTorch/XLA 2.1 リリースでは、TPU v5e と、大規模なモデル トレーニングのためのモデリングやデータ並列処理などの新機能がサポートされます。
最後に、トレーニング作業の拡張を容易にするために、Google Cloud は TPU v5e プレビュー バージョンにマルチスライス テクノロジーを導入しました。これにより、ユーザーは物理 TPU ポッドの範囲を超えて AI モデルを簡単に拡張でき、最大数万の TPU v5e または TPU に対応できるようになります。 v4チップ。
現時点では、TPU を使用したトレーニングは 1 つの TPU チップに制限されており、TPU v4 の最大スライス数は 3,072 です。マルチスライスを使用すると、開発者は、単一のポッド内で、またはデータセンター ネットワーク (DCN) 上の複数のポッドを通じて ICI (チップ内相互接続) テクノロジーを使用して、ワークロードを数万のチップに拡張できます。
このマルチレイヤー スライシング テクノロジーは、Google が最先端の PaLM モデルを構築する際に活用しています。現在、Google Cloud のお客様もこのテクノロジーを体験できるようになりました。
アップグレードされた TPU v5e はお客様から高く評価されています。 AssemblyAI のテクノロジー担当バイスプレジデントであるドメニック・ドナート氏は、TPU v5e を使用して ASR (自動音声認識) モデルの推論を実行すると、1 ドルあたりのパフォーマンスが市場の同様のソリューションよりも一貫して 4 倍高いと述べました。このハードウェアとソフトウェアの強力な組み合わせにより、よりコスト効率の高い AI ソリューションを顧客に提供できます。
Google Cloud が AI インフラストラクチャのアップグレードを続けるにつれて、Google Cloud サービスの使用を選択する顧客はますます増えていくでしょう。 Google の親会社である Aplabet の以前の紹介によると、生成 AI スタートアップの半数以上が Google のクラウド コンピューティング プラットフォームを使用しています。
Google にとって、Cloud TPU v5e は、製品モデルをさらに変更し、クラウドの顧客に力を与えるための序曲です。
参考リンク: