Nvidia'nın tutkusu: "Yerli yapay zeka", veri merkezini tamamen alt üst ediyor

Görsel kaynağı: Unbounded AI tarafından oluşturuldu

Kaynak: Wall Street Haberleri

Yazar: Zhao Ying

Nvidia CEO'su Jensen Huang, Salı günü düzenlediği basın toplantısında bunu söyledi. Dün Nvidia, hızlandırılmış bilgi işlem ve üretken yapay zeka çağı için özel olarak tasarlanmış yeni nesil GH200 Grace Hopper süper çip platformunu piyasaya sürdü.

Huang Renxun, üretken yapay zekanın artan talebini karşılamak için veri merkezinin özel ihtiyaçlar için hızlandırılmış bir bilgi işlem platformuna sahip olması gerektiğine dikkat çekti. Yeni GH200 çip platformu, üstün bellek teknolojisi ve bant genişliği, GPU'ları kayıpsız performans toplamak için bağlama yeteneği sunar ve bir veri merkezinde kolayca dağıtılabilen bir sunucu tasarımına sahiptir. **

Büyük ölçekli modeller dalgasının gelişinin çeşitli AI yerel uygulamalarını ortaya çıkardığını ve bunun bilgi işlem gücü talebinde bir artışa yol açtığını belirtmekte fayda var.Veri yoğun yapay zeka uygulamalarına adanmış veri merkezi pazarı hızla ortaya çıkıyor.

Veri merkezi yeni değişikliklere öncülük ediyor

Analistler, yerleşik bulut bilgi işlem sağlayıcılarının, yapay zeka yazılımlarının taleplerini karşılamak için veri merkezlerini gelişmiş yongalar ve diğer yükseltmelerle yenilemek için yarışırken, bazı yeni başlayan inşaatçıların sıfırdan yeni tesisler inşa etme fırsatı gördüklerini belirtiyor.

Bir veri merkezi, verileri depolamak ve işlemek için çok sayıda sunucu rafı, ağ ve depolama ekipmanı ile donatılmış büyük bir depoya benzer. Geleneksel veri merkezleriyle karşılaştırıldığında, AI veri merkezlerinin yüksek performanslı yongalar kullanan daha fazla sunucusu vardır, bu nedenle AI veri merkezi sunucularının rafı başına ortalama güç tüketimi 50 kilovata veya daha fazlasına ulaşabilirken, geleneksel veri merkezlerinin her rafı Güç tüketimi yaklaşık 7'dir. kW.

Bu, AI veri merkezinin daha yüksek güç sağlayabilecek daha fazla altyapı oluşturması gerektiği anlamına gelir. Ek güç tüketimi daha fazla ısı üreteceğinden, AI veri merkezi ayrıca sıvı soğutma gibi başka soğutma yöntemlerine de ihtiyaç duyar sistemleri, cihazı aşırı ısınmaya karşı korumak için.

Hizmet ve danışmanlık şirketi Unisys'in kıdemli başkan yardımcısı Manju Naglapur şunları kaydetti:

**Amaca yönelik yapay zeka veri merkezleri, Nvidia'nın GPU'ları gibi yapay zeka yongalarını kullanan sunucuları barındırabilir ve yapay zeka uygulamaları geniş veri depolarını tararken birden çok hesaplamanın aynı anda çalışmasına olanak tanır. ** Bu veri merkezleri ayrıca büyük ölçekli yapay zeka modellerini desteklemek için fiber optik ağlar ve daha verimli depolama cihazları ile donatılmıştır.

Yapay zeka veri merkezleri, büyük miktarda para ve zaman yatırımı gerektiren son derece uzmanlaşmış binalardır. Araştırma firması Data Bridge Market Research'ün verilerine göre, 2029 yılına kadar küresel yapay zeka altyapı pazarına yapılan harcamaların önümüzdeki altı yıl içinde yıllık %44 bileşik büyüme oranıyla 422,55 milyar ABD Dolarına ulaşması bekleniyor.

DataBank CEO'su Raul Martynek, AI dağıtımının hızının önümüzdeki 12 ila 24 ay içinde veri merkezi kapasitesinde bir kıtlığa yol açacağını söyledi.

Yapay Zeka Bilgi İşlem Çaylağı Finansmandan 2,3 Milyar Dolar Aldı

Şu anda, çeşitli devler AI veri merkezlerine bahis yapıyor ve "gayrimenkul kıyaslama" Blackstone, AI veri merkezlerine evler ve anahtarlar satıyor. Meta ayrıca yeni bir AI veri merkezi kuracağını da söyledi.

Önceki makalede bahsedildiği gibi, AI bilgi işlem gücünde çaylak olan CoreWeave, Nvidia H100'den bir ipotek kredisi aldı ve 2,3 milyar ABD doları (yaklaşık 16,5 milyar yuan) borç finansmanı elde etti.

**CoreWeave, fonların yapay zeka veri merkezlerinin inşasını hızlandırmak için kullanılacağını söyledi. Bu, şirketin bu yılın Nisan ayında 221 milyon ABD doları ve Mayıs ayında 200 milyon ABD doları almasının ardından bir başka finansman. Altı yıl önce kurulan CoreWeave halihazırda yedi yapay zeka veri merkezine sahip ve bu yılın sonuna kadar bunu ikiye katlamayı planlıyor.

CoreWeave, 22.000 Nvidia H100 çalıştırmak amacıyla süper büyük bir AI sunucu kümesi oluşturmak için Nvidia ve Inflection AI ile birlikte çalışıyor. **Tamamlanırsa, dünyanın en büyük AI sunucu kümesi olacak. **

CoreWeave'in resmi web sitesine göre hizmetlerinin geleneksel bulut bilişim sağlayıcılarından %80 daha ucuz olduğunu belirtmekte fayda var. 80G video belleği ve 1T belleğe sahip 8 H100 içeren Nvidia'nın en yeni HGX H100 sunucusu, saati yalnızca 2,23 ABD dolarından (16 RMB) başlıyor. **

Önceki nesil platformla karşılaştırıldığında, yeni GH200 Grace Hopper platformunun çift çipli yapılandırması, bellek kapasitesini 3,5 kat ve bant genişliğini üç kat artırır.Bir sunucuda 144 Arm Neoverse yüksek performanslı çekirdek, 8 petaflop yapay zeka performansı ve 282 GB bellek teknolojisinin en son HBM3e'si.

LLM patlamasının bu çağında, Huang Renxun'un hala cesurca "ne kadar çok satın alırsanız, o kadar çok tasarruf edersiniz" demesine şaşmamalı!