Peningkatan besar chip AI Google: menargetkan model besar dan AI generatif, dan juga mengintegrasikan kerangka kerja pembelajaran mendalam yang umum

Sumber gambar: Dihasilkan oleh AI Tanpa Batas

Google selalu membangun kemampuan AI yang terdepan di industri, seperti arsitektur Transformer yang memimpin pengembangan kecerdasan buatan generasi baru, dan infrastruktur yang menggunakan AI untuk pengoptimalan. Diantaranya, Google Cloud berkomitmen untuk menyediakan layanan infrastruktur AI tingkat lanjut, termasuk GPU dan TPU.

Pada tanggal 29 Agustus, waktu setempat, Google Cloud mengadakan konferensi tahunan Google Cloud Next '23 dan meluncurkan produk TPU baru - Cloud TPU v5e, yang merupakan portofolio produk infrastruktur yang dioptimalkan untuk AI dan akan menjadi yang paling hemat biaya hingga saat ini. , cloud TPU yang multifungsi dan terukur. Versi pratinjau saat ini tersedia.

Kami mengetahui bahwa TPU v5e dapat diintegrasikan dengan Google Kubernetes Engine (GKE), Vertex AI, alat pengembang untuk membuat model dan aplikasi AI, serta kerangka pembelajaran mendalam seperti Pytorch, JAX, TensorFlow, dll., yang memberikan kemudahan dalam penggunaan. penggunaan dan antarmuka yang familier, sangat mudah untuk memulai.

Google Cloud juga meluncurkan superkomputer GPU A3 VM berdasarkan GPU NVIDIA H100 untuk memberikan dukungan bagi model AI skala besar. Produk ini akan tersedia secara umum pada bulan September.

*CEO Google Pichai. *

• **Tweet oleh Jeff Dean, Kepala Ilmuwan di Google dan akademisi terkenal. *

Selain itu, pada acara tersebut, Google juga mengumumkan akan menambahkan alat AI (seperti Llama 2 dan Claude 2) dari perusahaan seperti Meta dan Anthropic ke platform cloud-nya, sehingga mengintegrasikan kemampuan AI generatif yang kuat ke dalam produk cloud. Saat ini, termasuk Llama 2 dan Claude 2, pelanggan Google Cloud memiliki akses ke lebih dari 100 model dan alat AI canggih.

Dibandingkan dengan TPU v4, yang aspeknya telah ditingkatkan TPU v5e

Bagaimana performa dan kemudahan penggunaan TPU v5e yang diluncurkan Google Cloud kali ini? Mari kita lihat.

Menurut data resmi, Cloud TPU v5e menghadirkan performa tinggi dan efektivitas biaya untuk pelatihan dan inferensi skala menengah dan besar. TPU generasi ini bisa dikatakan didesain khusus untuk model bahasa besar dan model AI generatif. Dibandingkan dengan TPU v4 generasi sebelumnya, performa pelatihan per dolar dapat ditingkatkan hingga 2 kali lipat, dan performa inferensi per dolar dapat ditingkatkan. meningkat hingga 2,5 kali lipat. Dan biaya TPU v5e kurang dari setengah biaya TPU v4, sehingga memberikan peluang bagi lebih banyak institusi untuk melatih dan menerapkan model AI yang lebih besar dan kompleks.

*Chip TPU v5e. *

Perlu disebutkan bahwa, berkat inovasi teknologi, manfaat biaya ini tidak memerlukan pengorbanan kinerja atau fleksibilitas. Google Cloud menggunakan pod TPU v5e untuk menyeimbangkan performa, fleksibilitas, dan efisiensi, memungkinkan hingga 256 interkoneksi chip, total bandwidth melebihi 400 Tb/s, dan performa INT8 mencapai 100 petaOps.

* Detail potongan 2D dari TPU v5e. *

TPU v5e juga memiliki keserbagunaan yang kuat, mendukung delapan konfigurasi mesin virtual yang berbeda, dan jumlah chip dalam satu chip dapat berkisar dari satu hingga 256, memungkinkan pelanggan memilih konfigurasi yang sesuai untuk mendukung model bahasa besar dan AI generatif dengan skala Model yang berbeda.

Selain lebih bertenaga dan hemat biaya, TPU v5e juga membawa kemudahan penggunaan ke tingkat yang baru. Kini pelanggan dapat menggunakan Google Kubernetes Engine (GKE) untuk mengelola orkestrasi beban kerja AI berskala besar di TPU v5e dan TPU v4, sehingga meningkatkan efisiensi pengembangan AI. Untuk institusi yang lebih menyukai hosting sederhana, Vertex AI kini mendukung penggunaan mesin virtual Cloud TPU untuk melatih berbagai kerangka kerja dan perpustakaan.

Selain itu, seperti disebutkan sebelumnya, Cloud TPU v5e menyediakan dukungan bawaan untuk framework AI terkemuka seperti JAX, PyTorch, dan TensorFlow, serta alat sumber terbuka populer (Huggingface's Transformers and Accelerate, PyTorch Lightning, dan Ray). Versi PyTorch/XLA 2.1 yang akan datang akan mendukung TPU v5e dan fitur-fitur baru seperti pemodelan dan paralelisme data untuk pelatihan model skala besar.

Terakhir, untuk mempermudah perluasan pekerjaan pelatihan, Google Cloud telah memperkenalkan teknologi Multislice dalam versi pratinjau TPU v5e, yang memungkinkan pengguna dengan mudah memperluas model AI di luar cakupan pod TPU fisik untuk mengakomodasi hingga puluhan ribu TPU v5e atau TPU chip v4. .

*Menggunakan beberapa Podslice TPU untuk mencapai penskalaan kinerja linier. *

Saat ini, pelatihan menggunakan TPU terbatas pada satu chip TPU, dan jumlah maksimum irisan untuk TPU v4 adalah 3.072. Dengan Multislice, pengembang dapat menskalakan beban kerja hingga puluhan ribu chip menggunakan teknologi ICI (Intra-Chip Interconnect) dalam satu Pod atau melalui beberapa Pod di Jaringan Pusat Data (DCN).

Teknologi pemotongan multi-lapis ini mendukung Google dalam membangun model PaLM yang canggih. Kini pelanggan Google Cloud juga dapat merasakan teknologi ini.

TPU v5e yang ditingkatkan telah sangat diakui oleh pelanggan. Domenic Donato, wakil presiden teknologi di MajelisAI, mengatakan bahwa ketika menggunakan TPU v5e untuk menjalankan inferensi pada model ASR (pengenalan ucapan otomatis), kinerja per dolar secara konsisten 4 kali lebih tinggi dibandingkan solusi serupa di pasar. Kombinasi perangkat keras dan perangkat lunak yang kuat ini dapat memberikan solusi AI yang lebih hemat biaya kepada pelanggan mereka.

Seiring Google Cloud terus mengupgrade infrastruktur AI-nya, semakin banyak pelanggan yang memilih untuk menggunakan layanan Google Cloud. Menurut pengenalan sebelumnya oleh perusahaan induk Google, Aplabet, lebih dari separuh startup AI generatif menggunakan platform komputasi awan Google.

Bagi Google, Cloud TPU v5e ini menandai awal dari perubahan lebih lanjut dalam model produk dan memberdayakan pelanggan cloud.

Tautan referensi: