AI çekirdek sıkıntısı, Nvidia tükendi

Yazar: Sun Pengyue Editör: Gale

Kaynak: Çinko Finans

Görsel kaynağı: Unbounded AI tarafından oluşturuldu

8 Ağustos'ta, küresel bilgisayar endüstrisindeki en önemli yuvarlak masa konferansı olan dünya bilgisayar grafikleri konferansı SIGGRAPH resmi olarak gerçekleştirildi.

NVIDIA kurucusu ve CEO'su Jensen Huang katıldı ve yeni nesil NVIDIA süper yapay zeka çipi GH200'ü getirdi. Jensen Huang, GH200'ü "dünyanın en hızlı belleği" olarak adlandıran yeni amiral gemisi ürününden çok emin.

**Bugünün yapay zeka pazarında Nvidia, "tüm yapay zeka dünyasını yöneten merkez" olarak adlandırılıyor. **OpenAI veya Google, META, Baidu, Tencent, Alibaba olsun, tüm üretken yapay zekalar, eğitim için büyük ölçüde Nvidia'nın yapay zeka çiplerine güveniyor.

Ayrıca basında çıkan haberlere göre, Ağustos 2023'te Nvidia AI çipi H100 için toplam pazar talebi 432.000 adet civarında olabilir ve Ebay'deki bir H100 çipinin mevcut fiyatı 45.000 ABD dolarına ulaştı, bu da 300.000 RMB'den fazlaya denk geliyor. Yuan.

Birim fiyatı 45.000 ABD doları olan 400.000'den fazla çip boşluğu vardır ve toplam fiyat kolayca milyonlarca dolara ulaşabilir.

Nvidia, "madencilik çağından" daha çılgın bir pazar dalgası yaşıyor.

Yapay zeka çipi, bulması zor

Sözde AI yongaları, aslında ana rolü yapay zeka algoritmalarının eğitimi ve uygulanmasıyla ilgili sayısız hesaplamanın yürütülmesine yardımcı olmak olan grafik işleme birimleridir (GPU'lar).

**Yani, üretken yapay zekanın her türlü akıllı performansı, sayısız GPU'nun istiflenmesinden gelir. Ne kadar çok çip kullanılırsa, üretken yapay zeka o kadar akıllı olur. **

OpenAI, GPT-4 eğitiminin ayrıntıları konusunda ağzı sıkıdır, ancak medyadaki spekülasyonlara göre, GPT-4'ün en az 8192 H100 çipe ihtiyacı vardır, fiyatı saatte 2$'dır, ön eğitim yaklaşık 55 günde tamamlanabilir ve maliyet yaklaşık 21,5 milyon $'dır (150 milyon RMB).

Microsoft yöneticilerine göre ChatGPT için bilgi işlem gücü sağlayan yapay zeka süper bilgisayarı, Microsoft'un 2019 yılında 1 milyar ABD doları yatırım yaptığı, onbinlerce Nvidia A100 GPU ve 60'tan fazla veri ile donatılmış büyük ölçekli üst düzey bir süper bilgisayardır. Toplamda, merkezde yüzbinlerce Nvidia GPU konuşlandırılmıştır.

ChatGPT'nin ihtiyaç duyduğu yapay zeka çipi sabit değil, aşamalı olarak artırılıyor. ChatGPT ne kadar akıllıysa, bunun arkasındaki fiyat, giderek daha fazla bilgi işlem gücünün gerekli olmasıdır. Morgan Stanley'nin tahminine göre GPT-5'in yaklaşık 25.000 GPU kullanması gerekecek ki bu GPT-4'ün yaklaşık üç katıdır.

**OpenAI ve Google gibi bir dizi AI ürününün ihtiyaçlarını karşılamak istiyorsanız, o zaman Nvidia'nın üretim kapasitesi için harika bir test olan tüm dünyada AI ürünleri için çekirdek sağlayan bir Nvidia şirketine eşdeğerdir. **

NVIDIA H100

Basında çıkan haberlere göre Nvidia, AI yongalarını tam kapasiteyle üretiyor olsa da, küçük ve büyük bulut sağlayıcılarının büyük ölçekli H100 küme kapasitesi tükenmek üzere ve H100'ün "ciddi kıtlık sorunu" en azından sonuna kadar devam edecek. 2024.

Şu anda, Nvidia'nın AI pazarına yönelik yongaları temel olarak iki türe ayrılıyor: H100 ve A100. H100, amiral gemisi ürünüdür. Teknik ayrıntılar açısından, H100, 16 bit muhakeme hızında A100'den yaklaşık 3,5 kat daha hızlıdır ve 16 bit eğitim hızı yaklaşık 2,3 kat daha hızlıdır.

H100 veya A100 olsun, hepsi TSMC tarafından ortak üretiliyor, bu da H100'ün üretimini sınırlıyor. Bazı medyaya göre, her H100'ün üretimden teslimata geçmesi yaklaşık yarım yıl sürüyor ve üretim verimliliği çok yavaş.

Nvidia, 2023'ün ikinci yarısında AI yongalarının tedarik kapasitesini artıracaklarını belirtmiş ancak herhangi bir niceliksel bilgi vermemişti.

Pek çok şirket ve alıcı, Nvidia'yı fab üretimini artırmaya, yalnızca TSMC ile işbirliği yapmaya değil, aynı zamanda Samsung ve Intel'e daha fazla sipariş vermeye çağırıyor.

** Daha yüksek eğitim hızı **

**Üretim kapasitesini artırmanın bir yolu yoksa, en iyi çözüm, kaliteyi kazanmak için daha yüksek performansa sahip çipleri piyasaya sürmektir. **

Sonuç olarak Nvidia, AI eğitim yeteneklerini geliştirmek için sık sık yeni GPU'lar piyasaya sürmeye başladı. İlk olarak, bu yılın Mart ayında Nvidia, üretici yapay zekaların artan bilgi işlem gücü taleplerini karşılamak için dört yapay zeka yongası, H100 NVL GPU, L4 Tensor Core GPU, L40 GPU ve NVIDIA Grace Hopper'ı piyasaya sürdü.

Önceki nesil henüz seri üretilip piyasaya sürülmedi.Nvidia, 8 Ağustos'ta SIGGRAPH Dünya Bilgisayar Grafikleri Konferansı'nda Huang Renxun tarafından H100'ün yükseltilmiş versiyonu olan GH200'ü piyasaya sürdü.

Yeni GH200 Grace Hopper Superchip'in 72 çekirdekli Grace CPU'ya dayandığı, 480 GB ECC LPDDR5X bellek ve GH100 bilgi işlem GPU'su, 141 GB HBM3E bellek ile donatıldığı, altı adet 24 GB yığın kullandığı ve 6144 bit bellek arabirimi kullandığı anlaşılmaktadır.

NVIDIA GH200

GH200'ün en büyük siyah teknolojisi, dünyanın HBM3e bellekle donatılmış ilk çipi olarak yerel GPU belleğini %50 oranında artırabilmesidir. Ve bu aynı zamanda özellikle yapay zeka pazarı için "özel bir yükseltmedir" çünkü üst düzey üretken yapay zeka genellikle boyut olarak çok büyük ancak bellek kapasitesi açısından sınırlıdır.

Kamuya açık bilgilere göre HBM3e bellek, SK Hynix'in beşinci nesil yüksek bant genişliğine sahip belleğidir ve daha küçük bir alanda daha yüksek veri aktarım hızları sağlayabilen yeni bir yüksek bant genişliğine sahip bellek teknolojisi türüdür. H100'ün sırasıyla 1,7 katına ve 1,55 katına ulaşabilen 141 GB kapasiteye ve saniyede 5 TB bant genişliğine sahiptir.

Temmuz ayında piyasaya sürülmesinden bu yana SK Hynix, doğrudan rakipleri Intel'in Optane DC ve Samsung'un Z-NAND flash yongalarının önünde, GPU pazarının sevgilisi haline geldi.

SK Hynix'in her zaman Nvidia'nın ortaklarından biri olduğunu belirtmekte fayda var.HBM3 bellekten başlayarak, Nvidia'nın ürünlerinin çoğu SK Hynix ürünlerini kullanıyor. Ancak SK Hynix, AI yongaları için gerekli belleğin üretim kapasitesi konusunda endişeleniyor ve Nvidia, SK Hynix'ten üretim kapasitesini bir kereden fazla artırmasını istedi.

Distosisi olan büyük bir aile, distosisi olan başka bir büyük aile ile karşılaştığında, insanlar GH200'ün üretim kapasitesi hakkında endişelenmeden edemiyorlar.

NVIDIA, mevcut nesil ürünü H100 ile karşılaştırıldığında GH200'ün 3,5 kat daha yüksek bellek kapasitesine ve 3 kat daha yüksek bant genişliğine sahip olduğunu ve HBM3e belleğin yeni nesil GH200'ün AI modellerini mevcut modelden 3,5 kat daha hızlı çalıştırmasını sağlayacağını resmi olarak açıkladı.

**AI modelini çalıştırma hızı H100'den 3,5 kat daha hızlıdır.Bu, 1 GH200'ün 3,5 H100'e eşdeğer olduğu anlamına mı geliyor? Her şey uygulama yoluyla öğrenilmelidir. **

Ancak şimdilik kesin olan şey, AI pazarının en büyük tedarikçisi olarak Nvidia'nın lider konumunu daha da sağlamlaştırdığı ve AMD ve Intel ile aradaki farkı genişlettiği.

NVIDIA Rakipleri

430.000 AI çip açığıyla karşı karşıya kalan hiçbir şirket etkilenmedi. Özellikle Nvidia'nın en büyük rakipleri AMD ve Intel, tüm pazarı tekelleştirmelerine izin vermeyecek.

AMD Yönetim Kurulu Başkanı ve CEO'su Su Zifeng, bu yıl 14 Haziran'da, büyük dilli modeller için tasarlanmış AI yongası MI300X de dahil olmak üzere çeşitli yeni AI yazılım ve donanım ürünlerini yoğun bir şekilde piyasaya sürdü. AI pazarında Nvidia'ya resmi olarak olumlu bir meydan okuma başlattı.

Donanım parametreleri açısından AMD MI300X, toplam 146 milyar transistör içeren 13 adede kadar küçük yongaya sahiptir ve 128 GB HBM3 bellekle donatılmıştır. HBM yoğunluğu Nvidia H100'ün 2,4 katı ve bant genişliği Nvidia H100'ün 1,6 katıdır, bu da üretici yapay zekanın işlem hızının artırılabileceği anlamına gelir.

Ancak ne yazık ki, bu amiral gemisi AI çipi stokta yok, ancak 2023'ün 4. çeyreğinde tamamen seri üretilmesi bekleniyor.

Diğer bir rakip olan Intel, yapay zeka yongası üreticisi HABANA Labs'ı 2019 yılında yaklaşık 2 milyar dolara satın alarak yapay zeka yongası pazarına giriyor.

Bu yılın Ağustos ayında, Intel'in en son kazanç çağrısında Intel CEO'su Pat Gelsinger, Intel'in 2026'da piyasaya sürülmesi beklenen, geçici olarak Falcon Shores 2 olarak adlandırılan yeni nesil bir Falcon Shores AI süper bilgi işlem çipi geliştirdiğini söyledi.

Intel, Falcon Shores 2'ye ek olarak, Gaudi3 geliştirme aşamasındayken şimdiden satışına başlayan AI yongası Gaudi2'yi de piyasaya sürdü.

Gaudi2 yonga spesifikasyonunun yüksek olmaması üzücü ve Nvidia H100 ve A100'e meydan okumak zor.

AMD MI300X

** Yabancı yarı iletken devlerinin kaslarını esneterek "çip yarışması" başlatmasının yanı sıra, yerli yarı iletken şirketleri de yapay zeka yongaları için araştırma ve geliştirme çalışmalarına başladı. **

Bunların arasında Kunlun çekirdek AI hızlandırıcı kartı RG800, Tianshu Zhixin'in Tiangai 100 hızlandırıcı kartı ve Suiyuan Technology'nin ikinci nesil eğitim ürünü Yunsui T20/T21, bunların tümü büyük ölçekli model eğitimini destekleyebileceklerini gösteriyor.

Standart olarak bilgi işlem gücünü ve savaş alanı olarak AI büyük modellerini kullanan çipler için verilen bu savaşta, AI pazarının en büyük kazananlarından biri olan Nvidia, çip tasarımı ve pazar payında gücünü gösterdi.

Bununla birlikte, yerli yapay zeka yongaları biraz geride olsa da, araştırma ve geliştirme ve pazar genişleme hızı hiç durmadı ve gelecek dört gözle beklemeye değer.