Tüm hızıyla devam eden Nvidia'nın bundan sonraki hedefi bulut satıcılarının işini çalmak mı?

Görsel kaynağı: Unbounded AI tarafından oluşturuldu

Nvidia GPU'ya sahip olan kişi bulut şirketidir

Nvidia hakkında sizi şaşırtacak her zaman yeni haberler var.

En yenisi, ABD'de bir bulut girişimi olan CoreWeave'den geliyor.

Şirket 2.3 milyar dolarlık finansman açıklamıştı ve daha da şaşırtıcı olan bu paranın teminatının sahip olduğu GPU olması. Büyük modellerin yükselişi altında, GPU sabit bir para birimi haline geldi ve CoreWeave'in Nvidia'dan bu kadar çok kıt öğeye sahip olabilmesinin nedeni, geçmişteki statüsü - Kuzey Amerika'daki en büyük Ethereum madenciliği.

O zamanlar madencilik için 50.000'den fazla GPU'ya sahipti.CoreWeave, madenciliğin sürdürülemezliğiyle karşı karşıya kaldıktan sonra dikkatini yapay zekaya ve paralel bilgi işlem gerektiren diğer alanlara çevirdi ve ChatGPT popüler olmadan önce çok sayıda NVIDIA yongası satın aldı— —O sırada zaman, cips üretim kapasitesi yeterliydi.

Sonuç olarak CoreWeave, dünyada büyük ölçekte H100 bilgi işlem gücü sağlayabilen tek şirket olduğunu iddia ediyor ve aynı zamanda bir "bulut satıcısı" haline dönüştü.

Evet, GPU kaynağı, Google Cloud, Amazon Cloud ve Microsoft'un Azure'u dahil tüm bulut hizmeti devlerini geride bırakıyor.

Bu kulağa garip gelebilir. GPU sayısındaki darboğaz olmasa bile, bir veri merkezi oluşturmak hala çok büyük maliyetler, mükemmel alan, enerji ve ısı dağıtma tasarımı ve çok karmaşık yazılım ve donanım işbirliği gerektirir. Genel olarak konuşursak, yalnızca bunları karşılayabilecek olanlar B Serisi turunu (421 milyon $) yükselten bir girişim değil, bir dev olabilir.

CoreWeave'in bunu yapabilme yeteneği, veri merkezinin çok farklı bir şekilde anlaşılmasından kaynaklanmaktadır.

Geleneksel veri merkezleri, genel amaçlı bilgi işlem yeteneklerine odaklanan ve önce Intel'den sonra AMD'den gelen yongaların hakim olduğu CPU'lardan oluşur.

Bununla birlikte, hızlandırılmış bilgi işlem için yepyeni veri merkezi paralel hesaplamaya daha fazla önem veriyor, bu da daha fazla belleğe, bant genişliğine ve tüm hızlandırılmış bilgi işlem birimlerini yakından bağlama yeteneğine ihtiyaç duyduğu anlamına geliyor.Nvidia kurucusu ve CEO'su Huang Renxun bunu söyledi. 10 yıllık bir döngü olarak gördüğü "veri merkezi modernizasyonu".

Bu yeni döngünün başlangıcı, tüm veri merkezinin inşasının, yazılım ve donanım koordinasyonunun ve hatta güç kaynağı ve soğutma yapılarının yeniden tasarlanması gerektiğinin habercisidir. Bu, neredeyse tüm bulut hizmeti sağlayıcılarını başlangıç çizgisine geri getirdi - CPU'lar için tasarlanmış önceki nesil veri merkezi çözümleri neredeyse hiç kopyalanamıyor. Örneğin, Nvidia tarafından devasa GPU kümelerini bağlamak için kullanılan Sonsuz Bant teknolojisi, geleneksel veri merkezi tasarımlarında bulunmayan 500 milden fazla kablo gerektirir.

CoreWeave başka bir örnek verdi.Aynı site boyutuna sahip GPU kümeleri, geleneksel veri merkezlerine göre 4 kat daha fazla güce ihtiyaç duyar.Bu nedenle, yeni veri merkezinin güç sistemi ve soğutma sisteminin, donanım kombinasyonu bile olmayan, tamamen yeniden tasarlanması gerekir. ve yazılım. maliyet.

Fırsatı değerlendiren CoreWeave, yalnızca devasa H100 bilgi işlem gücü sağlamakla kalmıyor, aynı zamanda diğer bulut hizmetlerinden onlarca kat daha hızlı ve aynı zamanda maliyeti %80 daha düşük.Bunu, Huang Renxun'un veri merkezi vizyonu - veri merkezi hızlandırılmış bilgi işleme doğru dönüşüyor ve kıt bilgi işlem gücü bulut aracılığıyla sağlanıyor.

Bu şekilde, bir sanal para madenciliği şirketi, Nvidia'nın en sadık müridi olduğu için popüler bir bulut bilişim şirketi haline geldi.

Nvidia Cloud ne tür bir buluttur

Nvidia GPU'lara sahip olan kişi en popüler bulut satıcısıdır, peki en fazla Nvidia GPU'ya sahip olan kimdir? Görünüşe göre kendisi.

Dolayısıyla Nvidia, benzer bulut girişimlerini desteklerken kendi bulutunu da kuruyor.

Nvidia'nın kendi başına bulut oluşturma konusunda birçok avantajı var, en bariz olanı GPU arzı ve talebi arasındaki ilişkiden rahatsız olmaması. Musk bir keresinde kamuya açık bir şekilde GPU almanın uyuşturucu elde etmekten çok daha zor olduğunu söylemişti ve CoreWeave'in ultra büyük ölçekli H100 bilgi işlem gücü sağlayabilmesinin nedeninin de Nvidia'nın yeterli arzıyla ilgili olduğu bildiriliyor - Nvidia, CoreWeave birkaçına katıldı ay önce B turu finansmanı.

Ancak belli ki, sadece bazı yeni şirketlere yatırım yapmak yeterli değil ve üretici yapay zekanın bilgi işlem gücüne yönelik büyük talep, sonunda Nvidia'nın kendi başına sona ermesine izin verecek. Nvidia, bu yılın Mart ayındaki GTC konferansında, resmi olarak yıl ortasında lanse edilen kendi bulut hizmeti DGX Cloud'u piyasaya sürdü.

Adından da anlaşılacağı gibi DGX Cloud, Nvidia'nın DGX süper bilgisayarının yeteneklerini doğrudan kullanıyor ve bulutun her bir örneği 8 adet H100 veya A100 GPU ve 640 GB bellek ile donatılıyor.

DGX Cloud, büyük iş akışlarının kümeler arasında ölçeklendirilmesine ve birden çok bilgi işlem düğümüne paralel olarak dağıtılmasına olanak tanıyan düşük gecikmeli bir yapı benimser. Örneğin, DGX Cloud ile işbirliğini ilk kez duyuran Oracle, OCI Supercluster'da küme başına 30.000'den fazla A100 GPU dağıtabilir, böylece büyük modeller bulut üzerinde eğitilebilir. Kullanıcılar kendi yapay zeka süper bilgisayarlarına her yerden serbestçe erişebilirler (Nvidia, bilgi işlem gücünün dağıtımının özel olduğunu söyledi) ve onlarla başa çıkmak için yalnızca ön uç arabirimi kullanılır. Geliştirme sürecinin kendisi dışında, endişelenmenize gerek yok donanım altyapısı ile ilgili herhangi bir sorun. .

Hizmet, aylık olarak yaklaşık 40.000 ABD Doları karşılığında sunulmaktadır. Tabii ki, yine de doğrudan 200.000 ABD Doları karşılığında bir DGX sunucusu satın almaktan çok daha ucuz, ancak birçok kişi Microsoft'un Azure'unun aynı 8 A100GPU için 20.000 ABD Dolarından daha az, yani öncekinin neredeyse yarısı olduğunu belirtti.

Neden bu kadar pahalı? Nvidia'nın bulut hizmeti diğerlerinden farklı olduğu için, yalnızca bilgi işlem gücünü değil, aynı zamanda eksiksiz bir AI çözümleri seti içerir.

Base Command Platform ve AI Enterprise adlı iki hizmet, DGX Cloud'a entegre edilmiştir. İlki, yalnızca bulut bilgi işlem gücünün eğitim yükünü kaydetmek için kullanılamayan, bulutlar arası ve yerel bilgi işlem gücü entegrasyonu sağlamakla kalmayan, aynı zamanda kullanıcıların bir tarayıcıdan DGX Cloud'a doğrudan erişmesine olanak tanıyan bir yönetim ve izleme yazılımıdır. İkincisi, Nvidia AI platformundaki yazılım katmanıdır.Binlerce yazılım paketi, çeşitli önceden eğitilmiş modeller, AI çerçeveleri ve hızlandırılmış kitaplıklar sağlayarak uçtan uca AI geliştirme ve dağıtım maliyetlerini basitleştirir. Ayrıca DGX Cloud, iş kullanıcılarının kendi dikey büyük modellerini özelleştirmek için kendi özel verilerini kullanmalarına olanak tanıyan AI Foundations adlı bir model döküm hizmeti de sağlar.

Yazılım ve donanımla birleştirilen bu eksiksiz çözüm, DGX Cloud'un eğitim hızını geleneksel bulut bilişime göre iki ila üç kat daha yüksek hale getirir.Bu, DGX Cloud ile geleneksel bulut hizmetleri arasındaki en büyük farktır.NVIDIA'nın iki yönünü çok iyi bir şekilde bütünleştirir. Güçlü nokta: AI ekolojisi ve bilgi işlem gücü. Nvidia için "hizmet olarak yazılım" ifadesi, "hizmet olarak yazılım ve donanım entegrasyonu" olarak değiştirilmiş gibi görünüyor. DGX Cloud, bir donanım üreticisinin yukarı doğru dikey entegrasyonunun yetenek tavanını merkezi olarak temsil ediyor.

Huang Renxun'un hırsı ve gerçeği

Ancak bu, Nvidia'nın geleneksel bulut satıcılarının tablosunu tamamen kaldırdığı anlamına gelmez. Hizmeti, geleneksel bulut satıcıları aracılığıyla sağlanır. DGX Cloud'un başlangıçta Oracle Cloud'da piyasaya sürüleceği duyurulmuştu, ardından Microsoft ve Google geliyordu ve Nvidia'nın bu bulut satıcılarıyla çalışma şekli oldukça ilginç: Nvidia önce GPU donanımını bu bulut ortaklarına satıyor ve ardından çalıştırmak için donanımı kiralıyor. DGX Bulut.

Bazı insanlar buna iki taraftan da gecikmeden para kazanmak denir diye şaka yaptı.

Aslında, Huang Jensen bu modeli şöyle açıkladı: "Müşterilerin bilgi işlem platformumuzu kullanmasından yararlanıyoruz ve müşteriler bizi (bilgi işlem platformu) kendi (bulut satıcısının) bulutuna koyarak fayda sağlıyor."

Yalnızca Huang Renxun'un söylediklerini dinlerseniz, bu mutlu bir kazan-kazan sonu, ama bu sadece onun tutarlı anlatısı. Nvidia zaten kendi müşterileriyle rekabete kilitlendi ve bunu biliyor.

DGX Cloud'un ilerleyişi bize, Huang Renxun'un onu yalnızca geleneksel bulut satıcılarına dağıtma niyetinde olmadığını söylüyor. Ağustos ayındaki SIGGRAPH 2023'te Nvidia, önce Hugging Face ile iş birliğini duyurdu ve ardından AI Workbench adlı bir hizmet yayınladı. Bunların tümü, kullanıcıların büyük ön eğitim modellerini kolayca oluşturmasına, test etmesine ve özelleştirmesine olanak tanır ve bunların arkasındaki bilgi işlem gücü desteği doğal olarak DGX Cloud'u içerir.

Bu açıkça Nvidia ve bulut satıcıları arasındaki ilişkiyi etkileyecektir: Google, Amazon ve Microsoft dahil olmak üzere en önemli bulut hizmeti sağlayıcıları da Nvidia'nın önemli müşterileridir ve Nvidia'nın kendi bulut hizmetlerini tanıtması, onların pazar payını kapmaya mahkumdur. Özellikle veri merkezi ve bulut servis devleri olarak yeni nesil veri merkezlerini kurma konusunda çok fazla avantaja sahip olmadıklarını ilk bölümde belirtmiştik Kendi bulut servisinin tehdidi küçük değil.

Huang Renxun bundan habersiz olmayacak, bu yüzden DGX Cloud'a karşı tavrı oldukça ilginç.Örneğin, uygun bir bulut hizmeti karışım oranının %10 Nvidia DGX artı %90 genel bulut olması gerektiğini kamuoyuna açıkladı. Başka bir deyişle, Huang Renxun'un konumlandırmasına göre DGX Cloud, geleneksel bulut tedarikçileri için bir rakip veya tehdit değil, bir ortaktır.

Huang Renxun, Q1 üç aylık mali raporunun açıklanmasının ardından analist konferans görüşmesinde, bu işbirliğinin faydaları hakkında daha fazla konuştu, "büyük bir kazan-kazan durumu", Huang Renxun bunu bu şekilde tanımladı. Onun anlayışına göre DGX Cloud, yapay zeka gelişimini, büyük veritabanlarını ve yüksek hızlı ve düşük gecikmeli ağları birleştirerek yeni, büyük pazar katılımcılarını açmak için uygun bir AI altyapısı haline getiren saf bir Nvidia yığınıdır (saf Nvidia yığını). Bu pazar, Nvidia ve geleneksel bulut satıcılarını içerir ve üretken yapay zekanın patlamasından herkes faydalanacaktır.

Çatışmalardan kaçınmaya çalışmak, aslında DGX Cloud'un yalnızca küçük bir hacmi uzun süre koruyabilmesinden kaynaklanmaktadır.

İlk sebep, elbette bilgi işlem gücünün darboğazıdır. "İnanılmaz derecede çok sipariş", Huang Renxun'un veri merkezinin iş hacmini açıklamasıdır. Tabii ki, Nvidia'nın temel önceliği, pazar talebini mümkün olduğunca karşılayan çok sayıda gelişmiş yonga geliştirmek ve üretimini sağlamaktır, aksi takdirde bulut hizmetlerinin ölçeği genişletilebilir.

TSMC kesintisiz üretimde olmasına rağmen, bilgi işlem gücü açığının küçülmediğini, aksine büyüdüğünü belirtmekte fayda var, çünkü büyük model piyasaya sürüldüğünde ve ticarileştirildiğinde (ChatGPT gibi), muhakeme maliyeti ölçeğin ölçeğiyle birlikte katlanarak artacaktır. kullanıcılar Seviye arttıkça, uzun vadede modeli eğitmek için gereken hesaplama gücünden çok daha büyük olacaktır (birinin verdiği büyütme 100'dür).

Ayrıca, Nvidia ile geleneksel bulut satıcıları arasındaki ortaklığın karmaşıklığını da hesaba katar. DGX Cloud tamamen rekabetçi bir ürün olarak görünürse, önemli bir pazar payına sahip olabilir, ancak bulut üreticilerini Nvidia'ya olan bağımlılıklarından kurtulmaları için daha da hızlandıracaktır - "NVIDIA'yı azaltmak için zaten kendi çiplerini geliştirdiler." vergi" yukarı.

Başka bir açıdan bakıldığında, DGX Cloud ölçeğini tamamen genişletmek Nvidia'nın çıkarına olmayabilir. Nvidia, yongalardan oyun grafik kartlarına, sunuculara ve veri merkezlerine kadar donanım ürünlerini nadiren kendi başına üretir.OEM üreticileriyle işbirliği yapmayı tercih eder - o kadar ki Nvidia yongaları satın almak için OEM üreticilerinden geçmeniz gerekir. Bu, Nvidia'nın maliyetleri iyi kontrol etmesine ve kar marjlarını korumasına olanak tanır.

Bugün, Nvidia ve bulut satıcıları bir denge sağlıyor gibi görünüyor, ancak denge, özellikle bir taraf Nvidia olduğunda kırılmaya alışkın. Sonuçta, bu, Huang Renxun'un sözde "gelecek on yıllık" güncelleme döngüsünün ilk yılı. nesil veri merkezi”. .