Yaşlı Huang kazandı! Nvidia'nın H100 siparişi 24 yıl için planlandı ve Musk hala oturamıyor

Orijinal kaynak: Qubit

Büyük modelleri iyileştirmek için en iyi GPU NVIDIA H100, hepsi tükendi!

Şimdi sipariş verseniz bile, 2024'ün 1. çeyreğine ve hatta 2. çeyreğine kadar mevcut olmayacak.

Bu, Nvidia ile yakından ilişkili bir bulut satıcısı olan CoreWeave tarafından Wall Street Journal'a açıklanan en son haberdir.

Arz, Nisan başından bu yana son derece dar. Sadece bir hafta içinde, beklenen teslimat süreleri makul seviyelerden yıl sonuna kadar sıçradı.

Dünyanın en büyük bulut satıcısı olan Amazon AWS de haberi doğruladı. CEO Adam Selipsky geçtiğimiz günlerde şunları söyledi:

A100 ve H100 son teknoloji ürünüdür... AWS için bile zor.

Daha önce Musk ayrıca bir talk show'da şunları söylemişti: GPU elde etmek artık d ürünlerinden daha zor.

Satın almak için bir "scalper" bulursanız, prim %25 kadar yüksektir.

Örneğin, Ebay'deki fiyat fabrika çıkışı yaklaşık 36.000 ABD dolarından 45.000 ABD dolarına** yükseldi ve arz kıt.

Bu durumda Baidu, Byte, Ali ve Tencent** gibi büyük yerli teknoloji şirketleri de Nvidia'dan A800 ve diğer yongalar için toplam 5 milyar ABD doları** tutarında sipariş verdiler.

Bunlardan sadece 1 milyar ABD doları tutarındaki malın bu yıl içinde teslim edilebileceği ve geri kalan %80'lik kısmın 2024 yılına kadar beklemesi gerekecek.

Peki satılan mevcut üst düzey GPU'lar kimler? Bu üretim kapasitesi dalgası nerede sıkıştı?

H100'ü kime satarsanız, son söz Lao Huang'a aittir

ChatGPT'nin ortaya çıkmasından bu yana, büyük modelleri eğitmede iyi olan Nvidia A100 ve H100 popüler hale geldi.

H100 bile, yeni kurulan şirketlerin ipotek kredisi almak için yatırım fonları bulmaları için bir varlık olarak kullanılabilir.

OpenAI ve Meta tarafından temsil edilen AI şirketleri, Amazon ve Microsoft tarafından temsil edilen bulut bilgi işlem şirketleri, özel bulutlar Coreweave ve Lambda ve kendi büyük modellerini iyileştirmek isteyen tüm çeşitli teknoloji şirketleri, The talep çok büyük.

**Ancak, satışın kime yapılacağı konusunda son sözü söyleyen temelde Nvidia CEO'su Huang Renxun'dur. **

The Information'a göre H100'ün arzı o kadar az ki, Nvidia** CoreWeave**'e çok sayıda yeni kart ve Amazon ve Microsoft gibi yerleşik bulut bilişim şirketlerine sınırlı tedarik** tahsis etti.

(Nvidia ayrıca doğrudan CoreWeave'e yatırım yaptı.)

Dış analiz, bu yerleşik şirketlerin Nvidia'ya olan bağımlılıklarını azaltmayı umarak kendi AI hızlandırma yongalarını geliştirmelerinden kaynaklanmaktadır, bu nedenle Lao Huang onlara yardımcı olacaktır.

Lao Huang, "satış temsilcilerinin küçük potansiyel müşterilere ne söyleyeceğini gözden geçirmek" dahil olmak üzere şirketin Nvidia içindeki günlük operasyonlarının tüm yönlerini de kontrol ediyor.

Şirketteki yaklaşık 40 yönetici, Meta Xiaozha ve Microsoft Xiaona'nın doğrudan astlarının toplamından daha fazla olan Lao Huang**'a doğrudan rapor veriyor.

Eski bir Nvidia yöneticisi, "Nvidia'da Huang Renxun aslında her ürünün baş ürün sorumlusudur" dedi.

Bir süre önce Lao Huang'ın abartılı bir şey yaptığı da söylendi: GPU'nun son kullanıcılarının kim olduğunu öğrenmek isteyen bazı küçük bulut bilişim şirketlerinden müşteri listelerini vermelerini isteyin.

Dış analize göre bu hareket, Nvidia'nın müşterilerin ürünlerine yönelik ihtiyaçlarını daha iyi anlamasına olanak sağlayacak ve ayrıca Nvidia'nın bu bilgiyi ek faydalar için kullanabileceğine dair endişeleri artırdı.

Bazı insanlar başka bir nedenin de Lao Huang'ın kartı gerçekten kimin kullandığını ve kimin kartı istiflediğini ve kullanmadığını bilmek istemesi olduğunu düşünüyor.

Nvidia ve Lao Huang'ın şimdi neden bu kadar büyük bir sesi var?

Bunun ana nedeni, üst düzey GPU'ların arz ve talebinin çok dengesiz olmasıdır.GPU Utils web sitesinin hesaplamasına göre, H100** farkı 430.000** kadar yüksektir.

Yazar Clay Pascal, bilinen çeşitli bilgi ve söylentilere dayanarak AI endüstrisindeki çeşitli oyuncuların yakın gelecekte ihtiyaç duyacağı H100 sayısını tahmin etti.

AI şirket tarafı:

• OpenAI, GPT-5'i eğitmek için 50.000 H100'e ihtiyaç duyabilir
• Meta'nın 100.000'e ihtiyacı olduğu söyleniyor
• InflectionAI'nin 22.000 kartlı bilgi işlem güç kümesi planı açıklandı
• Avrupa'daki Anthropic, Character.ai, MistraAI ve HelsingAI gibi büyük yapay zeka girişimlerinin her biri yaklaşık 10.000 adet gerektirir.

Bulut Bilişim Şirketi:

• Büyük genel bulutlarda Amazon, Microsoft, Google ve Oracle'ın tümü 30.000, toplam 120.000 olarak hesaplanır.
• CoreWeave ve Lambda tarafından temsil edilen özel bulutun toplam 100.000'e ihtiyacı var

432.000'e kadar ekler.

Bu, kendi bilgi işlem gücü kümelerini dağıtmaya başlayan bazı finans şirketlerini ve JP Morgan Chase ve Two Sigma gibi diğer sektör katılımcılarını saymıyor.

Öyleyse soru şu ki, bu kadar büyük bir arz açığıyla daha fazlasını üretemez miyiz?

Lao Huang da bunu düşündü, ancak üretim kapasitesi sıkıştı.

**Üretim kapasitesi bu kez nerede takıldı? **

Aslında TSMC, Nvidia için üretim planını çoktan ayarladı.

Ancak yine de bu kadar büyük bir boşluğu dolduramadı.

Nvidia'nın DGX sisteminin başkan yardımcısı ve genel müdürü Charlie Boyle, bu sefer gofrete takılmadığını ancak TSMC'nin CoWoS paketleme teknolojisinin üretim kapasitesinde bir darboğazla karşılaştığını söyledi.

TSMC'nin üretim kapasitesi için Nvidia ile rekabet eden Apple, Eylül konferansından önce yeni nesil iPhone için A17 çipini alacak.

TSMC kısa süre önce, paketleme sürecindeki birikmiş iş yükünü normale döndürmenin 1,5 yıl sürmesinin beklendiğini belirtti.

CoWoS paketleme teknolojisi, TSMC'nin temizlik becerisidir ve TSMC'nin Apple'ın özel çip dökümhanesi olmak için Samsung'u yenebilmesinin nedeni buna bağlıdır.

Bu teknolojiyle paketlenen ürünler yüksek performansa ve güçlü güvenilirliğe sahiptir, bu nedenle H100 3TB/s (hatta daha yüksek) bant genişliğine sahip olabilir.

CoWoS'un tam adı, gofret seviyesinde benzersiz bir çip entegrasyon teknolojisi olan Chip-on-Wafer-on-Substrate'dir.

Bu teknoloji, birden çok yonganın yalnızca 100μm kalınlığında** bir silikon aracı üzerine paketlenmesini sağlar.

Raporlara göre, yeni nesil aracının alanı, yaklaşık 5000mm² olan retikülün 6 katına ulaşacak.

Şimdiye kadar, TSMC dışında hiçbir üretici bu seviyede paketleme yeteneğine sahip değil.

CoWoS kesinlikle güçlü olsa da, onsuz çalışmaz mıydı? Diğer üreticiler yapabilir mi?

Lao Huang'ın "ikinci bir H100 dökümhanesi eklemeyi düşünmeyeceğimizi" zaten belirttiğinden bahsetmiyorum bile.

Gerçekte, bu mümkün olmayabilir.

Nvidia, Samsung ile daha önce işbirliği yaptı, ancak ikincisi, Nvidia için H100 serisi ürünler ve hatta diğer 5nm işlem yongaları üretmedi.

Buna dayanarak, bazı insanlar Samsung'un teknik seviyesinin Nvidia'nın son teknoloji GPU'lara yönelik teknolojik ihtiyaçlarını karşılayamayacağını düşünüyor.

Intel'e gelince...onların 5nm ürünleri henüz çıkmış gibi görünmüyor.

Lao Huang'ın üreticisini değiştirmek mümkün olmadığına göre, kullanıcılar doğrudan AMD'ye geçmeye ne dersiniz?

AMD, Evet？

Yalnızca performans açısından, AMD gerçekten de yavaş yavaş yetişiyor.

AMD'nin en yeni MI300X'i 192 GB HBM3 belleğe, 5,2 TB/s bant genişliğine sahiptir ve 80 milyar parametre modelini çalıştırabilir.

Nvidia tarafından yeni piyasaya sürülen DGX GH200, 141 GB HBM3e belleğe ve 5 TB/s bant genişliğine sahiptir.

Ancak bu, AMD'nin N kartındaki boşluğu hemen doldurabileceği anlamına gelmez——

Nvidia'nın gerçek "hendeği" CUDA platformunda yatıyor.

###

CUDA eksiksiz bir geliştirme ekosistemi oluşturmuştur, bu da kullanıcıların AMD ürünleri satın almaları durumunda hata ayıklamanın daha uzun süreceği anlamına gelir.

Özel bir bulut şirketinin yöneticisi, hiç kimsenin deneysel olarak 10.000 AMD GPU'yu devreye almak için 300 milyon dolar harcama riskini göze alamayacağını söyledi.

Yönetici, geliştirme ve hata ayıklama döngüsünün en az iki ay sürebileceğine inanıyor.

AI ürünlerinin hızlı bir şekilde değiştirilmesinin arka planına karşı, iki aylık bir boşluk herhangi bir üretici için ölümcül olabilir.

Ancak Microsoft, AMD'ye zeytin dalı uzattı.

Daha önce, Microsoft'un AMD ile ortaklaşa "Athena" kod adlı bir yapay zeka yongası geliştirmeye hazırlandığı söylentileri vardı.

Daha önce, MI200 piyasaya sürüldüğünde, Microsoft, satın alımını ilk duyuran ve bulut platformu Azure'da dağıtan kişi oldu.

Örneğin MSRA'nın yeni büyük model altyapısı RetNet, bir süre önce 512 AMD MI200'ler üzerinde eğitildi.

Nvidia'nın neredeyse tüm AI pazarını işgal ettiği durumda, birisinin sorumluluğu üstlenmesi gerekebilir ve herhangi biri takip etmeye cesaret etmeden önce büyük ölçekli AMD bilgi işlem güç kümesinin tamamının kanıtlanması gerekir.

Bununla birlikte, kısa bir süre içinde, Nvidia H100 ve A100 hala en yaygın seçeneklerdir.

Bir şey daha

Bir süre önce Apple, 192 GB'a kadar belleği** destekleyen yeni M2 Ultra yongasını piyasaya sürdüğünde, birçok uygulayıcı büyük modellerde ince ayar yapmak için onu kullanmaktan keyif aldı.

Sonuçta, Apple'ın M serisi yongalarının bellek ve video belleği birleştirilmiştir, 192 GB bellek 192 GB video belleğidir, bu da 80 GB H100'ün 2,4 katı veya 24 GB RTX4090'ın 8 katıdır.

Ancak, birisi bu makineyi gerçekten satın aldıktan sonra, gerçek test ve eğitim hızı** Nvidia RTX3080TI** kadar iyi değil, bırakın eğitimi, ince ayar bile uygun maliyetli değil.

Sonuçta, M serisi yongaların bilgi işlem gücü, yapay zeka bilgi işlem için özel olarak optimize edilmemiştir ve Everbright video belleği işe yaramaz.

Görünüşe göre büyük modeli geliştirmek esas olarak H100'e bağlı ve H100 isteyemeyeceğiniz bir şey.

Bu durum karşısında, internette dolaşan büyülü bir "GPU şarkısı"** bile var.

Çok beyin yıkama, dikkatli girin.

, süre 04:10

GPU şarkı evi

Referans bağlantısı: [1] [2] [3] [4] [5] [6] [7] [8] [9]