Google AI çipinde büyük yükseltme: büyük modelleri ve üretken yapay zekayı hedeflemenin yanı sıra ana akım derin öğrenme çerçevelerini entegre etme

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

Google her zaman yeni nesil yapay zekanın geliştirilmesine öncülük eden Transformer mimarisi ve optimizasyon için yapay zekayı kullanan altyapı gibi sektör lideri yapay zeka yetenekleri geliştirmiştir. Bunların arasında Google Cloud, GPU ve TPU da dahil olmak üzere gelişmiş yapay zeka altyapı hizmetleri sağlamaya kararlıdır.

Google Cloud, yerel saatle 29 Ağustos'ta Google Cloud Next '23 yıllık konferansını düzenledi ve yeni bir TPU ürünü olan Cloud TPU v5e'yi piyasaya sürdü. Bu ürün, yapay zeka için optimize edilmiş bir altyapı ürün portföyü olup bugüne kadarki en uygun maliyetli ürün olacak. , çok yönlü ve ölçeklenebilir bulut TPU. Şu anda bir önizleme sürümü mevcut.

TPU v5e'nin Google Kubernetes Engine (GKE), modeller ve yapay zeka uygulamaları oluşturmak için bir geliştirici aracı olan Vertex AI ve Pytorch, JAX, TensorFlow vb. gibi derin öğrenme çerçeveleriyle entegre edilebileceğini ve kullanımı kolay bir çözüm sağladığını öğrendik. kullanımı ve tanıdık arayüzü sayesinde başlamak kolaydır.

Google Cloud ayrıca büyük ölçekli AI büyük modellerine destek sağlamak için NVIDIA H100 GPU'yu temel alan GPU süper bilgisayar A3 VM'lerini de piyasaya sürdü. Ürün genel olarak Eylül ayında satışa sunulacak.

*Google CEO'su Pichai. *

• **Google'ın baş bilim insanı ve tanınmış akademisyen Jeff Dean'den tweet. *

Ayrıca etkinlikte Google, güçlü üretken yapay zeka yeteneklerini bulut ürünlerine entegre ederek, Meta ve Anthropic gibi şirketlerin yapay zeka araçlarını (Llama 2 ve Claude 2 gibi) bulut platformuna ekleyeceğini de duyurdu. Şu anda, Llama 2 ve Claude 2 de dahil olmak üzere Google Cloud müşterileri 100'den fazla güçlü AI modeline ve aracına erişebilir.

TPU v5e'nin yükseltildiği TPU v4 ile karşılaştırıldığında

Google Cloud'un bu sefer kullanıma sunduğu TPU v5e'nin performansı ve kullanım kolaylığı nedir? Sonrasına bakalım.

Resmi verilere göre Cloud TPU v5e, orta ve büyük ölçekli eğitim ve çıkarımlara yüksek performans ve maliyet etkinliği getiriyor. Bu nesil TPU'nun büyük dil modelleri ve üretken yapay zeka modelleri için özel olarak tasarlandığı söylenebilir.Bir önceki nesil TPU v4 ile karşılaştırıldığında dolar başına eğitim performansı 2 kata kadar artırılabiliyor ve dolar başına çıkarım performansı artırılabiliyor. 2,5 kata kadar arttı. Ayrıca TPU v5e'nin maliyeti TPU v4'ün yarısından daha azdır ve bu da daha fazla kuruma daha büyük ve daha karmaşık yapay zeka modellerini eğitme ve dağıtma fırsatı verir.

*TPU v5e çipi. *

Teknolojik yenilik sayesinde bu maliyet avantajlarının performans veya esneklikten herhangi bir fedakarlık gerektirmediğini belirtmekte fayda var. Google Cloud, performansı, esnekliği ve verimliliği dengelemek için TPU v5e bölmelerini kullanarak 256'ya kadar çip ara bağlantısına, 400 Tb/s'yi aşan toplam bant genişliğine ve 100 petaOps'a ulaşan INT8 performansına olanak tanır.

*TPU v5e'nin 2 boyutlu dilim detayı. *

TPU v5e ayrıca sekiz farklı sanal makine yapılandırmasını destekleyen güçlü bir çok yönlülüğe sahiptir ve tek bir yongadaki yonga sayısı bir ila 256 arasında değişebilir; bu da müşterilerin büyük dil modellerini ve farklı boyutlardaki üretken yapay zeka modellerini desteklemek için uygun yapılandırmayı seçmesine olanak tanır.

TPU v5e, daha fazla işlevsellik ve maliyet etkinliğinin yanı sıra kullanım kolaylığını da yepyeni bir düzeye taşıyor. Müşteriler artık TPU v5e ve TPU v4'te büyük ölçekli AI iş yükü orkestrasyonunu yönetmek için Google Kubernetes Engine'i (GKE) kullanabilir ve böylece AI geliştirme verimliliğini artırabilir. Basit bir yönetilen hizmeti tercih eden kuruluşlar için Vertex AI, artık farklı çerçeveleri ve kitaplıkları eğitmek amacıyla Cloud TPU sanal makinelerinin kullanımını destekliyor.

Buna ek olarak, daha önce de belirtildiği gibi Cloud TPU v5e, JAX, PyTorch ve TensorFlow gibi önde gelen AI çerçevelerinin yanı sıra popüler açık kaynak araçları (Huggingface's Transformers and Accelerate, PyTorch Lightning ve Ray) için yerleşik destek sağlar. Yaklaşan PyTorch/XLA 2.1 sürümü, TPU v5e'yi ve büyük ölçekli model eğitimi için modelleme ve veri paralelliği gibi yeni özellikleri destekleyecektir.

Son olarak, eğitim çalışmalarını daha kolay genişletmek için Google Cloud, Multislice teknolojisini TPU v5e önizleme sürümünde sunarak kullanıcıların AI modelini kolayca genişletmesine ve barındırılabilen fiziksel TPU bölmelerinin kapsamının ötesine geçebilmesine olanak tanıdı. on binlerce TPU v5e veya TPU v4 yongasına kadar.

*Doğrusal performans ölçeklendirmesi elde etmek için birden fazla TPU Pod Diliminin kullanılması. *

Şu an itibariyle, TPU kullanılarak yapılan eğitim tek bir TPU çipiyle sınırlıdır ve TPU v4 için maksimum dilim sayısı 3.072'dir. Multislice ile geliştiriciler, tek bir Pod içinde veya bir Veri Merkezi Ağı (DCN) üzerindeki birden fazla Pod arasında ICI (Intra-Chip Interconnect) teknolojisini kullanarak iş yüklerini on binlerce çipe kadar ölçeklendirebilir.

Bu çok katmanlı dilimleme tekniği, Google'ın en son teknolojiye sahip PaLM modelini oluşturmasına destek sağlar. Artık Google Cloud müşterileri de bu teknolojiyi deneyimleyebilecek.

Yükseltilmiş TPU v5e, müşteriler tarafından büyük beğeni topladı. AssemblyAI Teknolojiden Sorumlu Başkan Yardımcısı Domenic Donato, ASR (Otomatik Konuşma Tanıma) modellerinde çıkarım yapmak için TPU v5e kullanıldığında dolar başına performansın sürekli olarak piyasadaki benzer çözümlerden 4 kat daha fazla olduğunu söyledi. Donanım ve yazılımın bu güçlü kombinasyonu, müşterilerine daha uygun maliyetli yapay zeka çözümleri sağlayabilir.

Google Cloud yapay zeka altyapısını yükseltmeye devam ettikçe giderek daha fazla müşteri Google Cloud hizmetlerini kullanmayı tercih edecek. Google'ın ana şirketi Aplabet'in önceki açıklamasına göre, üretken yapay zeka girişimlerinin yarısından fazlası Google'ın bulut bilişim platformunu kullanıyor.

Google için Cloud TPU v5e, ürün modelini daha da değiştirmenin ve bulut müşterilerini güçlendirmenin başlangıcıdır.

Referans bağlantısı: