Görsel kaynağı: Unbounded AI tarafından oluşturuldu
Madencilik çağından AI çağına, GPU'nun bilgi işlem gücü yeniden devreye girdi. Yerli ve yabancı bulut satıcıları arasındaki bilgi işlem gücü rezervi rekabeti tüm hızıyla devam ediyor...
Byte, Nvidia'dan 100.000 adet A100 ve H800 hızlandırıcı kartı satın alarak 1 milyar ABD dolarını aştı (7 milyar RMB'nin üzerinde) Bu yıl yalnızca Byte'ın satın alma hacmi, Nvidia tarafından geçen yıl Çin'de satılan ticari GPU'ların toplam satışına yakın. , Başka bir büyük kuruluşun sipariş değeri en az 1 milyar yuan'dan fazladır.
Halihazırda yaklaşık 25.000 Nvidia GPU kullanan OpenAI, hala GPU sıkıntısı olduğunu söylüyor. ChatGPT, yaklaşık 69.000 NVIDIA DGX A100 80G sunucusu tarafından desteklenen her 100 milyon aktif kullanıcı için 13,5 EPLOPS bilgi işlem gücüne ihtiyaç duyar ve mevcut küresel bilgi işlem gücü, günlük ortalama yalnızca 100 milyon çevrimiçi kullanıcıyı destekleyebilir.
Bu üst düzey GPU'ların spot tirajlı pazarında, sıradan bir kişinin bile fırsatı gördüğünde denemeye can attığı ve gözleri "altın tuğlalarla" dolu olduğu görülüyor.
**Başlangıçta yaklaşık 74.000 yuan olan A800, şimdi 85.000 yuan'ın üzerine çıktı ve üst düzey sürüm yaklaşık 100.000 yuan'a yükseldi. ** 8 kartlı A800 modülünün Nisan ayı sonunda piyasadaki vadeli işlem kotasyonu hala 900.000 iken, teslim süresi 2 hafta idi.Şimdi kotasyon 1 milyonu aştı ve teslim süresi uzatıldı 7-8 haftaya kadar. Mayıs ayında A800, 100.000 yuan'a bile ateşlendi.
"Kenarda olanlar için teslimat süresi daha uzun ve fiyat daha pahalı." Tek kartı olmayanlar modülleri almaya gitti ve modülleri alamayanlar daha sonra tüm sunucuyu satın aldı.
GPU tek kartından modüle ve AI sunucusuna kadar, fiyat artışları çılgınca, kıtlık ciddi ve teslimat süresi uzadıkça uzuyor.Piyasadaki talep gerçekten bu kadar yüksek mi? Nvidia'nın GPU'su neden bu kadar kısa? Ayrıca sıfır orijinal ürünler için garantili bir teslim tarihi yok, ikinci el piyasası, gri kanallar, ödeme yapıldıktan sonra depozito iade edilmeyecek ve AI sunucusunu çevreleyen kaos yaşanıyor...
NVIDIA GPU Pazar Kaosu
"Bir kerede 1.000 veya 3.000 bilete ihtiyacım var ve onları tedarik edemiyorum. Buradaki talep gerçek mi yoksa sahte mi?"
"Piyasa iyi mi? Malları almanın bir yolunu buldum ama korkarım paramparça olacak."
**Mayıs ayında, Nvidia'nın GPU'ları hâlâ stokta yoktu ve fiyatları yükseliyordu. **
Bir temsilciye göre Nvidia A100'ün fiyatı geçen yıl Aralık ayında yükselmeye başladı.Bu yılın Nisan ayının ilk yarısı itibarıyla beş aylık kümülatif fiyat artışı %37,5'e, A800'ün kümülatif fiyat artışı ise 2015 yılında %20,0'ye ulaştı. Aynı dönem.
Teslim süreleri bir aydan üç aya veya daha uzun sürelere uzatıldı ve bazı yeni siparişler "Aralık ayına kadar teslim edilemeyebilir."
AI sunucularında nicel avantaja sahip olan bazı üreticiler, kemerlerini sıkarken GPU kaynaklarını kullanıyor. Microsoft, dahili olarak AI sunucu donanımı sıkıntısı ikilemine düştü ve bir "kota kaynağı" mekanizması benimsedi. Haziran ayında silinen OpenAI CEO'su Sam Altman'ın konuşma tutanaklarında Open AI'da da GPU bulunmadığından bahsedilmiş ve GPU sıkıntısı müşterilerin birçok kısa vadeli planını ertelemişti.
Yapay zeka dalgasının üzerinde duran "kürek satıcısı" Nvidia, şimdi neredeyse tüm AI sunucu çipi pazarını tekelleştirdi ve en büyük kazanan oldu.Çok geçmeden piyasa değeri bir trilyon yuan'ı aşarak ilk çip şirketi oldu. 1 trilyon ABD dolarını aşan piyasa değeri ile tarihte.
ABD yasağından etkilenerek ülkemde Nvidia A100'ün spot arzı direkt olarak kesildi.Çin'de AI büyük modelleri eğitmek için kullanılabilecek yaklaşık 40.000 ila 50.000 A100 var.Arz oldukça sıkı.Dahili kullanım kesinlikle sınırlı.
Ancak A100'ün şu anda normal arzda bulunan hadım edilmiş versiyonu olan A800, ancak geçen yılın üçüncü çeyreğinde üretime başladı. Artan yeni taleple birleştiğinde arz sıkıntısı yaşıyor. Mayıs ayı başlarında A800 arttı Çin'de 100.000 yuan'a.
Genel olarak konuşursak, medya tarafından bildirilen yüksek fiyatlı A800, A100 vb.
Piyasada GPU işinden bir arkadaş spot piyasada A800 fiyatının her gün değiştiğini ve kısa vadeli kur değişimlerinin de fiyatı etkileyeceğini söyledi. En düşük teklif 86 bine çıkmış olabilir."
Kıtlık ve fiyat artışı yoğunlaştıkça, giderek daha fazla katılımcı nakliye yapıyor ve GPU arıyordu ve GPU pazarında kaos başladı: sorgu sürüleri, popüler vadeli işlem piyasası ve yüksek mevduatlar ve ikinci el kanallardan çıkışlar. "çukur"...
En doğrudan izlenim, her yönden gelen gürültülü taleptir.Sunucu makineleri ve sunucu GPU'ları ile ilgili birçok piyasa uygulayıcısı, son zamanlarda AI'nın popülaritesi nedeniyle, birçok kişinin kartlar ve fiyatlar hakkında bilgi almak için geldiğini, ancak pek çoğunun gerçekten yapamayacağını bildirdi. fırsatlar.
A800, A100 tek kart aramaya geldim, talep az ve fiyatla ilgileniyorum ama talep çok ve müşterilere, arkadaşlara ve tüccarlara yardımcı oluyorum diyerek yüzbinlerce kart gerekiyor Huaqiangbei'den gönderiliyor, sanki fiyatları belirliyorlarmış gibi geliyor.
"Bu kadar çok şey varken nasıl tedarik edeceksiniz? Fiyat avantajına mı yoksa teslim süresi avantajına mı dikkat ettiğini sorun, başka bilgi yok." "Bazılarının mal için neredeyse hiç ödemesi yok, ve sorduktan sonra kaybolurlar." Kolay satın alma işlemi.
Şu anda Nvidia gibi kurumsal düzeyde GPU'ların tedariki için iki ana dağıtım kanalı vardır: biri orijinal fabrika-genel aracı-satıcı-pazarı; diğeri orijinal fabrika-OEM fabrika (sunucu üreticisi)-satıcı- pazar Spot piyasada dolaşanlar ağırlıklı olarak dağıtım, sunucu çözümleri veya ikinci el piyasalardadır.
Bu tür kurumsal düzeydeki ürünler, işletmeler, okullar ve sunucu çözümü sağlayıcıları gibi alt müşterileri kapsar. Sunucu işine odaklanan Brother Xu, Alibaba ve diğer şirketlerden gelen gerçek talebin genellikle büyük bir sipariş olduğunu söyledi.Bu büyük müşterilere, malları almak için üst düzeyde genel aracı veya sunucu OEM bulma konusunda öncelik verilir ve alt seviye küçüktür Bayiler ve sunucu parçaları tedarikçileri bulmak zordur. Medyada, bulut tedarikçilerinin, Byte ve Ali gibi büyük şirketlerin satın alma için çoğunlukla doğrudan Nvidia'nın orijinal fabrikasıyla pazarlık yaptığını ve aracıların ve ikinci el pazarlarının onların devasa ihtiyaçlarını karşılamasının zor olduğunu söylediğine dair haberler de var.
Spot piyasada gerçek talebin olmaması herkesin mal aramasını engellemez.Spot mallar tükenirse vadeli işlem yapmak zorunda kalırlar.İade edilemeyecek yüksek mevduatları taşımaları gerekir ve teslim tarihi uzak olabilir. uzak.
A800 kartlarının piyasada hala stokta olduğu, A100 kartların neredeyse "tükendiği" ve A800 modüllerinin nadiren stokta olduğu, bu nedenle vadeli seçim yapmak zorunda oldukları anlaşılıyor. 8 kartlı bir A800 modülünü örnek alarak, bir satıcı toplam 1,12 milyon fiyat, %50 depozito ve 7-8 haftalık teslimat süresi verdi.Zamanında teslimat garantisi yoktur (teslim süresi birkaç gün önce hala 6 haftaydı) ve depozito Geri ödeme yapılmadı. Nisan sonunda başka bir satıcının 8 kartlı A800 modülünün fiyatı %30-%50 peşinat ve 2 hafta teslim süresi ile hala 900.000 idi.
Bir aydan fazla bir süre sonra 8 kartlı bir A800 modülünün fiyat farkının 200.000 yuan'ı aştığı, teslim süresinin uzadığı ve depozitonun da artabileceği görülüyor.
Kaynak fabrika olduğunu iddia eden bir satıcı, 8 kartlı modülün stokta olduğunu ve onu isteyen alıcıların şimdiden 500 milyon yuan tutarında bir sipariş verdiğini ve şimdi yalnızca varış bildirimini bekleyebileceklerini söyledi.
Depozito ödemek erken sıraya girmek gibi görünüyor, ancak yüksek riskler bir arada var. 8 kartlı A800 modülünü örnek alırsak, genellikle %50'lik bir depozito alınır.Sınıfının en iyisi 80G NV A800 modülü 1 milyondan fazladır ve depozito en az 500.000'dir ve depozito bir kez ödenir, iade edilmez. İnternetteki bir alıcı, bu yıl Mart ve Nisan aylarında sipariş edilen 10 tek kartın henüz malları almadığını söyledi.
Birçok satıcı tarafından vaat edilen teslim süresi garanti edilmez, temel fiyat yüksektir ve depozito oranı da yüksektir, bu nedenle ödenmesi gereken gerçek para daha fazladır. Malları almazsanız, sadece bekleyebilirsiniz, sonuçta para ödenmiştir.
**Stokta toplu halde A800 ve A100 varsa, herkesin gözünde bunlar sıradan ekran kartları değil, altın tuğlalar. **
Bazı insanlar harareti görüyor ve GPU işini yapmak istiyor ama malın ellerine geçmesinden korkuyorlar.Kâr peşinde koşan bireysel spekülatörler için gerçek talep şüpheli.Fiyat çok yüksek, muma değmez.
İkinci el ürünler durmadan ortaya çıkıyor ve bazı insanlar ikinci el AI yongalarını yüksek fiyatlarla geri dönüştürüyor, bırakın nerede kullanıldıklarını, bu tür GPU'ların garantisi sorun.
Acil yukarı üretim kapasitesi: gelişmiş üretim süreçlerinde eksiklik yok, sorun nerede?
ChatGPT popüler hale geldikten sonra, İnternet şirketleri ve bulut satıcıları, Nvidia GPU'larının büyük bilgi işlem gücü için rekabet etmek için büyük AI modellerini daha kapsamlı bir şekilde devreye aldı.Eksik olan sadece A100 ve A800 değil, aynı zamanda üst düzey H100 ve H800. Biri sordu, gofret üretim kapasitesi sıkıntısı yok, neden GPU'lar tedarik edilemiyor?
"GPU performansı her 10 yılda bir 1000 kat artar", "Ne kadar çok satın alırsanız o kadar çok tasarruf edersiniz" Huang Yasası, Moore Yasasının yerini alacak. Gelişmiş üretim süreçleri GPU'ların performansını artırabilse de, Moore Yasası sona erdi. ve Sunucunun amacı, cep telefonu çiplerinin zorlu alan gereksinimlerinden farklıdır. GPU'lar için ilk tercih gelişmiş üretimse, gelişmiş paketleme pastanın üzerindeki kremadır.
Gelişmiş üretim süreçlerine sahip GPU'lar üretmek yeterli değildir.Paketi küçük, düşük güç tüketimi ve daha az pim yaparak ve yongalar arasında daha sıkı bir bağlantı gerçekleştirerek mevcut yonga üretim süreci kısıtlamaları altında GPU performansını iyileştirmek için büyük bir adımdır. cips ve paketleme yüzeyleri. Gelişmiş paketlemenin dört sihirli Bump, RDL, Gofret ve TSV teknolojisinden herhangi biri ile yeni paketleme becerileri aydınlatılabilir.
Nvidia'nın V100, A100, A800, H100 vb. ürünlerinin tümü, TSMC'nin yüksek bilgi işlem gücü AI arka planı altında çiplerin "depolama ve hesaplama entegrasyonu" sorununu çözen CoWoS gelişmiş paketleme teknolojisini benimsiyor. Bununla birlikte, TSMC'nin 7nm gofret döküm kapasitesi gerçekten de yetersiz değil, ancak bu sefer eksiklik hala TSMC'ye ekiliyor.
**Her şeyden önce, CoWoS gelişmiş paketlemenin temel teknolojisi yalnızca TSMC tarafından yapılabilir ve TSMC olmadan yapılamaz. **
Şu anda eksik olan gelişmiş paketleme gofreti, içindeki teknoloji TSMC'nin patentidir ve Nvidia bunu yapmak için yalnızca TSMC'yi bulabilmektedir.Gelişmiş üretim süreci ve gelişmiş paketleme, TSMC tarafından sıkıca kavranmıştır. 2012'de TSMC, benzersiz CoWoS gelişmiş paketleme teknolojisini piyasaya sürdü ve o zamandan beri gofret dökümhanesinden terminal paketlemeye kadar tek noktadan hizmet veriyor. CoWoS ailesi, CoWoS-S ve CoWoS-L/R ve diğer parçaları içerir ve yüksek hızlı bilgi işlem uygulamalarına karşılık gelen müşteriler arasında NVIDIA gibi birçok birinci sınıf üretici bulunur. Ayrıca, InFO gelişmiş paketleme serilerinin çoğu Apple'ın paketi altındadır.
Taşeronluk mu dediniz? Düşük teknolojili süreç gayet iyi, ancak çekirdek teknoloji TSMC olmadan hala yeterli değil ve diğer paketleme fabrikaları yalnızca çorba yiyebiliyor.
Son zamanlarda, geçici ihtiyaçlara yanıt olarak, TSMC işletim sisteminin bir kısmını (alt tabaka üzerinde) dış kaynak kullanımı ve taşeronluk yöntemini benimsemiştir, ancak bu CoWoS sürecinin dış kaynak kullanımı değildir.TSMC hala en değerli gelişmiş paketleme kısmına odaklanmaktadır.
TSMC, gofret dökümhanesinden tek elden paketleme elde etti. Tamamı ithal üretken AI çip üreticilerine sahip olan Google TPU, Nvidia GPU ve AMD MI300, TSMC'ye çok sayıda AIGC siparişi vererek CoWoS genişletme talebini artırdı.
İkinci olarak, bu tür gelişmiş paketleme, şu anda yetersiz olan ilgili paketleme üretim kapasitesini de tüketir.
Gelişmiş paketleme, bir yandan, daha küçük bir paketleme alanında daha fazla pin barındıran gofret seviyesi paketleme olan yukarı yönlü gofret işleme alanına doğru gelişirken, öte yandan, sonraki modül alanına doğru genişliyor ve gelişiyor. paket içinde sistem. Son zamanlarda @手机chip达人, CoWoS işleminin ön uç gofret işleminin araya giren aracı ve arka uç ambalajın kalıptan kalıba yığılmış kalıbı olarak ikiye ayrıldığını ortaya çıkardı. TSMC'nin CoWoS üretim kapasitesinin olmamasının nedeni, 65nm aracı eksikliği.
Buradaki aracı (aracı) Gofret (gofret) teknolojisini benimser.Örneğin, TSMC'nin CoWoS paketleme teknolojisi çözümü, çipi silikon aracıya (aracı) paketleyen ve silikon aracıda yüksek yoğunluklu gofreti kullanan 2.5D paketleme teknolojisidir. Kablolama, ara bağlantı için kullanılır ve ardından paket alt tabakasına monte edilir.
Bu nedenle GPU, gelişmiş paketleme işleminde, yani CoWoS kapasitesinde ek gofretler gerektirir. Yabancı sermayeli Nomura Securities, TSMC'nin CoWoS yıllık üretim kapasitesinin 2022 sonunda 70.000'den 80.000 gofrete, 2023 sonunda ise 140.000'den 150.000 gofrete çıkmasını bekliyor. 2024'ün sonuna kadar 200.000 gofrete meydan okunacak.
Gofret düzeyinde paketleme kapasitesindeki boşluğu doldurmak en önemli öncelik haline geldi. Ayrıca, gofret teknolojisinin sürekli gelişmesiyle, gofret alanı giderek artmaktadır.InFO ile karşılaştırıldığında, üst düzey pazar için CoWoS, nispeten fazla sayıda bağlantıya ve paket boyutuna sahiptir. @手机chip达人'e göre, 65 nm aracıya olan talep, üst kalıba (H100) göre 1,4 kat daha fazladır.
TSMC'nin gelişmiş CoWoS paketleme üretim kapasitesi ciddi şekilde yetersiz kaldı.Geçen yıldan bu yana TSMC'nin CoWoS talebi neredeyse iki katına çıktı ve talep önümüzdeki yıl güçlü olmaya devam edecek. Gelişmiş paketleme yalnızca TSMC'nin Tayvan fabrikası tarafından yapılabilir ve TSMC, gelişmiş paketleme sürecinin ilerlemesini hızlandırmak için doğrudan her fabrikada konuşlandırıyor ve genişletiyor.
"Ekran kartı sıkıntısı" sunucuya yandı gerçek ateş mi yoksa yanlış ateş mi?
Gerçekten ihtiyacı olan alıcılar için, bu tür bir üst düzey grafik kartı kullanmak, esasen bir kart, bir modül veya eksiksiz bir makine olmayan AI sunucuları için kullanılır. ** Ancak gerçek ihtiyaçlar açısından "BRIC" aslında sunuculardan daha düşüktür. **
AI için GPU'lar fiyat artışlarının gerisinde kalıyor ve bunlarla donatılmış sunucuların fiyatları artıyor.Nisan gibi erken bir tarihte, Inspur'un AI sunucularının fiyatını yaklaşık %20 oranında artıracağı bildirildi. Çin'e en iyi A100 ve H100 yongaları kararı. Sonraki kaynaklar artışın belirtilmediğini doğruladı.Başka bir kaynak, sunucu tedarikçisinin yalnızca Nvidia AI sunucularının fiyatını artırdığını, diğer sunucu ürünlerinin fiyatlarında ise bir değişiklik olmadığını söyledi.
Pacific Securities'in verilerine göre, Çin'in yapay zeka sunucu pazarındaki ilk 8 sunucu sarf malzemesi 2022'de %92'yi oluşturacak ve Inspur %37 ile listenin başında yer alacak. Inspur'un finansal açıklaması, Nvidia'nın ana çip tedarikçisi olduğunu gösteriyor. 2019'da Intel ve Nvidia, Inspur'un en büyük iki çip tedarikçisi oldu.
Tek bir GPU kartı, bir sunucunun bir bileşenine eşdeğerdir. Tek bir karta olan talep daha çok fiyatla ilgilidir. Sunucunun, 8 karta kadar birden fazla GPU modülü kullanması gerekir. Sunucunun PCle sürümünün bile şu anda maliyeti yaklaşık 800.000 yuan'dır. ve NV versiyonu 100.000 yuan.milyon seviyesindedir.
Şu anda, A800 vadeli işlem fiyatı 1,2 milyon yuan'dan fazla ve spot fiyat nispeten küçük.Tanınmış bir bilgisayar servis sağlayıcısının satış görevlisine göre, A800 makinesinin spot fiyatı 1,68 milyon yuan ve depozito %50. "Temmuz sonu 35 adet var. 25 adet sipariş verildi." İş amaçlı kullanım için bile, fiyat ucuz değil. Üstelik piyasa haberlerine göre A800 makinesinin normal teslim süresi Ekim ayı sonuna kadar planlanmış hatta birçok satıcı 24 haftayı doğrudan bildirmiş, teslim süresi ise 6 aya yakın.
Bütün sunucu işiyle uğraşan bazı arkadaşlara göre GPU ne kadar popüler olursa olsun sunucu kadar gerçek talebe yakın değil ve iş yapmak daha kolay. Kardeş Xu, artık sunuculara odaklandığını ve tek kartlarla ilgilenmediğini söyledi.Sunucu satmak, müşterilere teklif vermeden önce yapılandırmaları göndermektir.Kartlar daha zahmetlidir ve arayüzün uyumlu olup olmadığına bağlıdır... Kısaca... , sunucu nispeten ucuz.Dürüst olmak gerekirse, daha fazla işlem ve yüksek bir devir hızı var. Ve kart sadece çok fazla sorgu, işlem hacmi çok küçük, sadece büyük şirketler çok şey istiyor. "Daha fazlasını gerektirenlerin neredeyse tamamı makinenin tamamı içindir ve az miktarda olanların tümü kartlardır."
Geniş müşteri ihtiyaçları yelpazesinde, tüm AI sunucuları ortaya çıktıklarında birinci sınıf değildir ve ortaya çıktıklarında çok fazla talep vardır. İster A800 PCIE sunucusu, ister NVlinvk sunucusu veya H800 HGX sunucusu vb. olsun, işletmeler farklı ihtiyaçlara göre yapılandırmaları seçer. Tabii ki, sunucunun fiyatı daha şeffaf olacak ve fiyat karşılaştırması için daha fazla fırsat olacak.
GPU'lar ve sabit diskler, sunucuların aksesuarlarından biridir.Artık AI, ilgili sunucularda popüler hale geldiğine göre, A800 gibi üst düzey GPU'lar yüksek maliyetlidir ve yetersiz tedarik edilmektedir.Komple makineler arasında, fiyat hassasiyetleri da ön planda.
**Tek başına GPU kıtlığı, piyasada popüler gibi görünen ancak daha yanlış taleplerle karıştırılan yapay zeka sunucularının normal tedarikini sınırlıyor. **
Bu GPU ateşi dalgası, erkeklerin alından sıcaklık tabancası işi hakkında çılgınca spekülasyon yaptığı 2020 yılını anımsatıyor. O zamanlar, arkadaş çevresinin bölünme etkisi, piyasada gerçek olandan çok daha büyük yanlış bir talebe yol açtı. talep etmek. Sonuç olarak, arz yetersizdir, spot fiyat vadeli fiyattan çok daha yüksektir, teslimat süresi garanti edilmez ve satıcının varsayılan maliyeti düşüktür.
Aşırı çip kıtlığı günleri sona erdi.Üst düzey GPU üretim kapasitesi bir süreliğine mevcut olmayacak olsa da, buna karşılık gelen kurumsal düzeydeki talep engelleri nispeten yüksektir ve resmi teknik destek ve satış sonrası hizmet gerektirir. ani talep artışı herkesin hizmetine sunulmuştur.Uzun vadeli çalışma ve sağlam temeller olmadan sadece fırsatçı yöntemlere güvenerek trendden pay almak zordur.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
AI savaşının "yiyecek ve otunu" kapan Nvidia'nın AI grafik kartının fiyatı yükseliyor
Orijinal metin: Shinsei
Madencilik çağından AI çağına, GPU'nun bilgi işlem gücü yeniden devreye girdi. Yerli ve yabancı bulut satıcıları arasındaki bilgi işlem gücü rezervi rekabeti tüm hızıyla devam ediyor...
Byte, Nvidia'dan 100.000 adet A100 ve H800 hızlandırıcı kartı satın alarak 1 milyar ABD dolarını aştı (7 milyar RMB'nin üzerinde) Bu yıl yalnızca Byte'ın satın alma hacmi, Nvidia tarafından geçen yıl Çin'de satılan ticari GPU'ların toplam satışına yakın. , Başka bir büyük kuruluşun sipariş değeri en az 1 milyar yuan'dan fazladır.
Halihazırda yaklaşık 25.000 Nvidia GPU kullanan OpenAI, hala GPU sıkıntısı olduğunu söylüyor. ChatGPT, yaklaşık 69.000 NVIDIA DGX A100 80G sunucusu tarafından desteklenen her 100 milyon aktif kullanıcı için 13,5 EPLOPS bilgi işlem gücüne ihtiyaç duyar ve mevcut küresel bilgi işlem gücü, günlük ortalama yalnızca 100 milyon çevrimiçi kullanıcıyı destekleyebilir.
Bu üst düzey GPU'ların spot tirajlı pazarında, sıradan bir kişinin bile fırsatı gördüğünde denemeye can attığı ve gözleri "altın tuğlalarla" dolu olduğu görülüyor.
**Başlangıçta yaklaşık 74.000 yuan olan A800, şimdi 85.000 yuan'ın üzerine çıktı ve üst düzey sürüm yaklaşık 100.000 yuan'a yükseldi. ** 8 kartlı A800 modülünün Nisan ayı sonunda piyasadaki vadeli işlem kotasyonu hala 900.000 iken, teslim süresi 2 hafta idi.Şimdi kotasyon 1 milyonu aştı ve teslim süresi uzatıldı 7-8 haftaya kadar. Mayıs ayında A800, 100.000 yuan'a bile ateşlendi.
"Kenarda olanlar için teslimat süresi daha uzun ve fiyat daha pahalı." Tek kartı olmayanlar modülleri almaya gitti ve modülleri alamayanlar daha sonra tüm sunucuyu satın aldı.
GPU tek kartından modüle ve AI sunucusuna kadar, fiyat artışları çılgınca, kıtlık ciddi ve teslimat süresi uzadıkça uzuyor.Piyasadaki talep gerçekten bu kadar yüksek mi? Nvidia'nın GPU'su neden bu kadar kısa? Ayrıca sıfır orijinal ürünler için garantili bir teslim tarihi yok, ikinci el piyasası, gri kanallar, ödeme yapıldıktan sonra depozito iade edilmeyecek ve AI sunucusunu çevreleyen kaos yaşanıyor...
NVIDIA GPU Pazar Kaosu
"Bir kerede 1.000 veya 3.000 bilete ihtiyacım var ve onları tedarik edemiyorum. Buradaki talep gerçek mi yoksa sahte mi?"
"Piyasa iyi mi? Malları almanın bir yolunu buldum ama korkarım paramparça olacak."
**Mayıs ayında, Nvidia'nın GPU'ları hâlâ stokta yoktu ve fiyatları yükseliyordu. **
Bir temsilciye göre Nvidia A100'ün fiyatı geçen yıl Aralık ayında yükselmeye başladı.Bu yılın Nisan ayının ilk yarısı itibarıyla beş aylık kümülatif fiyat artışı %37,5'e, A800'ün kümülatif fiyat artışı ise 2015 yılında %20,0'ye ulaştı. Aynı dönem.
Teslim süreleri bir aydan üç aya veya daha uzun sürelere uzatıldı ve bazı yeni siparişler "Aralık ayına kadar teslim edilemeyebilir."
AI sunucularında nicel avantaja sahip olan bazı üreticiler, kemerlerini sıkarken GPU kaynaklarını kullanıyor. Microsoft, dahili olarak AI sunucu donanımı sıkıntısı ikilemine düştü ve bir "kota kaynağı" mekanizması benimsedi. Haziran ayında silinen OpenAI CEO'su Sam Altman'ın konuşma tutanaklarında Open AI'da da GPU bulunmadığından bahsedilmiş ve GPU sıkıntısı müşterilerin birçok kısa vadeli planını ertelemişti.
Yapay zeka dalgasının üzerinde duran "kürek satıcısı" Nvidia, şimdi neredeyse tüm AI sunucu çipi pazarını tekelleştirdi ve en büyük kazanan oldu.Çok geçmeden piyasa değeri bir trilyon yuan'ı aşarak ilk çip şirketi oldu. 1 trilyon ABD dolarını aşan piyasa değeri ile tarihte.
ABD yasağından etkilenerek ülkemde Nvidia A100'ün spot arzı direkt olarak kesildi.Çin'de AI büyük modelleri eğitmek için kullanılabilecek yaklaşık 40.000 ila 50.000 A100 var.Arz oldukça sıkı.Dahili kullanım kesinlikle sınırlı.
Ancak A100'ün şu anda normal arzda bulunan hadım edilmiş versiyonu olan A800, ancak geçen yılın üçüncü çeyreğinde üretime başladı. Artan yeni taleple birleştiğinde arz sıkıntısı yaşıyor. Mayıs ayı başlarında A800 arttı Çin'de 100.000 yuan'a.
Genel olarak konuşursak, medya tarafından bildirilen yüksek fiyatlı A800, A100 vb.
Piyasada GPU işinden bir arkadaş spot piyasada A800 fiyatının her gün değiştiğini ve kısa vadeli kur değişimlerinin de fiyatı etkileyeceğini söyledi. En düşük teklif 86 bine çıkmış olabilir."
Kıtlık ve fiyat artışı yoğunlaştıkça, giderek daha fazla katılımcı nakliye yapıyor ve GPU arıyordu ve GPU pazarında kaos başladı: sorgu sürüleri, popüler vadeli işlem piyasası ve yüksek mevduatlar ve ikinci el kanallardan çıkışlar. "çukur"...
En doğrudan izlenim, her yönden gelen gürültülü taleptir.Sunucu makineleri ve sunucu GPU'ları ile ilgili birçok piyasa uygulayıcısı, son zamanlarda AI'nın popülaritesi nedeniyle, birçok kişinin kartlar ve fiyatlar hakkında bilgi almak için geldiğini, ancak pek çoğunun gerçekten yapamayacağını bildirdi. fırsatlar.
A800, A100 tek kart aramaya geldim, talep az ve fiyatla ilgileniyorum ama talep çok ve müşterilere, arkadaşlara ve tüccarlara yardımcı oluyorum diyerek yüzbinlerce kart gerekiyor Huaqiangbei'den gönderiliyor, sanki fiyatları belirliyorlarmış gibi geliyor.
"Bu kadar çok şey varken nasıl tedarik edeceksiniz? Fiyat avantajına mı yoksa teslim süresi avantajına mı dikkat ettiğini sorun, başka bilgi yok." "Bazılarının mal için neredeyse hiç ödemesi yok, ve sorduktan sonra kaybolurlar." Kolay satın alma işlemi.
Şu anda Nvidia gibi kurumsal düzeyde GPU'ların tedariki için iki ana dağıtım kanalı vardır: biri orijinal fabrika-genel aracı-satıcı-pazarı; diğeri orijinal fabrika-OEM fabrika (sunucu üreticisi)-satıcı- pazar Spot piyasada dolaşanlar ağırlıklı olarak dağıtım, sunucu çözümleri veya ikinci el piyasalardadır.
Bu tür kurumsal düzeydeki ürünler, işletmeler, okullar ve sunucu çözümü sağlayıcıları gibi alt müşterileri kapsar. Sunucu işine odaklanan Brother Xu, Alibaba ve diğer şirketlerden gelen gerçek talebin genellikle büyük bir sipariş olduğunu söyledi.Bu büyük müşterilere, malları almak için üst düzeyde genel aracı veya sunucu OEM bulma konusunda öncelik verilir ve alt seviye küçüktür Bayiler ve sunucu parçaları tedarikçileri bulmak zordur. Medyada, bulut tedarikçilerinin, Byte ve Ali gibi büyük şirketlerin satın alma için çoğunlukla doğrudan Nvidia'nın orijinal fabrikasıyla pazarlık yaptığını ve aracıların ve ikinci el pazarlarının onların devasa ihtiyaçlarını karşılamasının zor olduğunu söylediğine dair haberler de var.
Spot piyasada gerçek talebin olmaması herkesin mal aramasını engellemez.Spot mallar tükenirse vadeli işlem yapmak zorunda kalırlar.İade edilemeyecek yüksek mevduatları taşımaları gerekir ve teslim tarihi uzak olabilir. uzak.
A800 kartlarının piyasada hala stokta olduğu, A100 kartların neredeyse "tükendiği" ve A800 modüllerinin nadiren stokta olduğu, bu nedenle vadeli seçim yapmak zorunda oldukları anlaşılıyor. 8 kartlı bir A800 modülünü örnek alarak, bir satıcı toplam 1,12 milyon fiyat, %50 depozito ve 7-8 haftalık teslimat süresi verdi.Zamanında teslimat garantisi yoktur (teslim süresi birkaç gün önce hala 6 haftaydı) ve depozito Geri ödeme yapılmadı. Nisan sonunda başka bir satıcının 8 kartlı A800 modülünün fiyatı %30-%50 peşinat ve 2 hafta teslim süresi ile hala 900.000 idi.
Bir aydan fazla bir süre sonra 8 kartlı bir A800 modülünün fiyat farkının 200.000 yuan'ı aştığı, teslim süresinin uzadığı ve depozitonun da artabileceği görülüyor.
Kaynak fabrika olduğunu iddia eden bir satıcı, 8 kartlı modülün stokta olduğunu ve onu isteyen alıcıların şimdiden 500 milyon yuan tutarında bir sipariş verdiğini ve şimdi yalnızca varış bildirimini bekleyebileceklerini söyledi.
Depozito ödemek erken sıraya girmek gibi görünüyor, ancak yüksek riskler bir arada var. 8 kartlı A800 modülünü örnek alırsak, genellikle %50'lik bir depozito alınır.Sınıfının en iyisi 80G NV A800 modülü 1 milyondan fazladır ve depozito en az 500.000'dir ve depozito bir kez ödenir, iade edilmez. İnternetteki bir alıcı, bu yıl Mart ve Nisan aylarında sipariş edilen 10 tek kartın henüz malları almadığını söyledi.
Birçok satıcı tarafından vaat edilen teslim süresi garanti edilmez, temel fiyat yüksektir ve depozito oranı da yüksektir, bu nedenle ödenmesi gereken gerçek para daha fazladır. Malları almazsanız, sadece bekleyebilirsiniz, sonuçta para ödenmiştir.
**Stokta toplu halde A800 ve A100 varsa, herkesin gözünde bunlar sıradan ekran kartları değil, altın tuğlalar. **
Bazı insanlar harareti görüyor ve GPU işini yapmak istiyor ama malın ellerine geçmesinden korkuyorlar.Kâr peşinde koşan bireysel spekülatörler için gerçek talep şüpheli.Fiyat çok yüksek, muma değmez.
İkinci el ürünler durmadan ortaya çıkıyor ve bazı insanlar ikinci el AI yongalarını yüksek fiyatlarla geri dönüştürüyor, bırakın nerede kullanıldıklarını, bu tür GPU'ların garantisi sorun.
Acil yukarı üretim kapasitesi: gelişmiş üretim süreçlerinde eksiklik yok, sorun nerede?
ChatGPT popüler hale geldikten sonra, İnternet şirketleri ve bulut satıcıları, Nvidia GPU'larının büyük bilgi işlem gücü için rekabet etmek için büyük AI modellerini daha kapsamlı bir şekilde devreye aldı.Eksik olan sadece A100 ve A800 değil, aynı zamanda üst düzey H100 ve H800. Biri sordu, gofret üretim kapasitesi sıkıntısı yok, neden GPU'lar tedarik edilemiyor?
"GPU performansı her 10 yılda bir 1000 kat artar", "Ne kadar çok satın alırsanız o kadar çok tasarruf edersiniz" Huang Yasası, Moore Yasasının yerini alacak. Gelişmiş üretim süreçleri GPU'ların performansını artırabilse de, Moore Yasası sona erdi. ve Sunucunun amacı, cep telefonu çiplerinin zorlu alan gereksinimlerinden farklıdır. GPU'lar için ilk tercih gelişmiş üretimse, gelişmiş paketleme pastanın üzerindeki kremadır.
Gelişmiş üretim süreçlerine sahip GPU'lar üretmek yeterli değildir.Paketi küçük, düşük güç tüketimi ve daha az pim yaparak ve yongalar arasında daha sıkı bir bağlantı gerçekleştirerek mevcut yonga üretim süreci kısıtlamaları altında GPU performansını iyileştirmek için büyük bir adımdır. cips ve paketleme yüzeyleri. Gelişmiş paketlemenin dört sihirli Bump, RDL, Gofret ve TSV teknolojisinden herhangi biri ile yeni paketleme becerileri aydınlatılabilir.
**Her şeyden önce, CoWoS gelişmiş paketlemenin temel teknolojisi yalnızca TSMC tarafından yapılabilir ve TSMC olmadan yapılamaz. **
Şu anda eksik olan gelişmiş paketleme gofreti, içindeki teknoloji TSMC'nin patentidir ve Nvidia bunu yapmak için yalnızca TSMC'yi bulabilmektedir.Gelişmiş üretim süreci ve gelişmiş paketleme, TSMC tarafından sıkıca kavranmıştır. 2012'de TSMC, benzersiz CoWoS gelişmiş paketleme teknolojisini piyasaya sürdü ve o zamandan beri gofret dökümhanesinden terminal paketlemeye kadar tek noktadan hizmet veriyor. CoWoS ailesi, CoWoS-S ve CoWoS-L/R ve diğer parçaları içerir ve yüksek hızlı bilgi işlem uygulamalarına karşılık gelen müşteriler arasında NVIDIA gibi birçok birinci sınıf üretici bulunur. Ayrıca, InFO gelişmiş paketleme serilerinin çoğu Apple'ın paketi altındadır.
Taşeronluk mu dediniz? Düşük teknolojili süreç gayet iyi, ancak çekirdek teknoloji TSMC olmadan hala yeterli değil ve diğer paketleme fabrikaları yalnızca çorba yiyebiliyor.
Son zamanlarda, geçici ihtiyaçlara yanıt olarak, TSMC işletim sisteminin bir kısmını (alt tabaka üzerinde) dış kaynak kullanımı ve taşeronluk yöntemini benimsemiştir, ancak bu CoWoS sürecinin dış kaynak kullanımı değildir.TSMC hala en değerli gelişmiş paketleme kısmına odaklanmaktadır.
TSMC, gofret dökümhanesinden tek elden paketleme elde etti. Tamamı ithal üretken AI çip üreticilerine sahip olan Google TPU, Nvidia GPU ve AMD MI300, TSMC'ye çok sayıda AIGC siparişi vererek CoWoS genişletme talebini artırdı.
İkinci olarak, bu tür gelişmiş paketleme, şu anda yetersiz olan ilgili paketleme üretim kapasitesini de tüketir.
Gelişmiş paketleme, bir yandan, daha küçük bir paketleme alanında daha fazla pin barındıran gofret seviyesi paketleme olan yukarı yönlü gofret işleme alanına doğru gelişirken, öte yandan, sonraki modül alanına doğru genişliyor ve gelişiyor. paket içinde sistem. Son zamanlarda @手机chip达人, CoWoS işleminin ön uç gofret işleminin araya giren aracı ve arka uç ambalajın kalıptan kalıba yığılmış kalıbı olarak ikiye ayrıldığını ortaya çıkardı. TSMC'nin CoWoS üretim kapasitesinin olmamasının nedeni, 65nm aracı eksikliği.
Bu nedenle GPU, gelişmiş paketleme işleminde, yani CoWoS kapasitesinde ek gofretler gerektirir. Yabancı sermayeli Nomura Securities, TSMC'nin CoWoS yıllık üretim kapasitesinin 2022 sonunda 70.000'den 80.000 gofrete, 2023 sonunda ise 140.000'den 150.000 gofrete çıkmasını bekliyor. 2024'ün sonuna kadar 200.000 gofrete meydan okunacak.
Gofret düzeyinde paketleme kapasitesindeki boşluğu doldurmak en önemli öncelik haline geldi. Ayrıca, gofret teknolojisinin sürekli gelişmesiyle, gofret alanı giderek artmaktadır.InFO ile karşılaştırıldığında, üst düzey pazar için CoWoS, nispeten fazla sayıda bağlantıya ve paket boyutuna sahiptir. @手机chip达人'e göre, 65 nm aracıya olan talep, üst kalıba (H100) göre 1,4 kat daha fazladır.
TSMC'nin gelişmiş CoWoS paketleme üretim kapasitesi ciddi şekilde yetersiz kaldı.Geçen yıldan bu yana TSMC'nin CoWoS talebi neredeyse iki katına çıktı ve talep önümüzdeki yıl güçlü olmaya devam edecek. Gelişmiş paketleme yalnızca TSMC'nin Tayvan fabrikası tarafından yapılabilir ve TSMC, gelişmiş paketleme sürecinin ilerlemesini hızlandırmak için doğrudan her fabrikada konuşlandırıyor ve genişletiyor.
"Ekran kartı sıkıntısı" sunucuya yandı gerçek ateş mi yoksa yanlış ateş mi?
Gerçekten ihtiyacı olan alıcılar için, bu tür bir üst düzey grafik kartı kullanmak, esasen bir kart, bir modül veya eksiksiz bir makine olmayan AI sunucuları için kullanılır. ** Ancak gerçek ihtiyaçlar açısından "BRIC" aslında sunuculardan daha düşüktür. **
AI için GPU'lar fiyat artışlarının gerisinde kalıyor ve bunlarla donatılmış sunucuların fiyatları artıyor.Nisan gibi erken bir tarihte, Inspur'un AI sunucularının fiyatını yaklaşık %20 oranında artıracağı bildirildi. Çin'e en iyi A100 ve H100 yongaları kararı. Sonraki kaynaklar artışın belirtilmediğini doğruladı.Başka bir kaynak, sunucu tedarikçisinin yalnızca Nvidia AI sunucularının fiyatını artırdığını, diğer sunucu ürünlerinin fiyatlarında ise bir değişiklik olmadığını söyledi.
Pacific Securities'in verilerine göre, Çin'in yapay zeka sunucu pazarındaki ilk 8 sunucu sarf malzemesi 2022'de %92'yi oluşturacak ve Inspur %37 ile listenin başında yer alacak. Inspur'un finansal açıklaması, Nvidia'nın ana çip tedarikçisi olduğunu gösteriyor. 2019'da Intel ve Nvidia, Inspur'un en büyük iki çip tedarikçisi oldu.
Tek bir GPU kartı, bir sunucunun bir bileşenine eşdeğerdir. Tek bir karta olan talep daha çok fiyatla ilgilidir. Sunucunun, 8 karta kadar birden fazla GPU modülü kullanması gerekir. Sunucunun PCle sürümünün bile şu anda maliyeti yaklaşık 800.000 yuan'dır. ve NV versiyonu 100.000 yuan.milyon seviyesindedir.
Şu anda, A800 vadeli işlem fiyatı 1,2 milyon yuan'dan fazla ve spot fiyat nispeten küçük.Tanınmış bir bilgisayar servis sağlayıcısının satış görevlisine göre, A800 makinesinin spot fiyatı 1,68 milyon yuan ve depozito %50. "Temmuz sonu 35 adet var. 25 adet sipariş verildi." İş amaçlı kullanım için bile, fiyat ucuz değil. Üstelik piyasa haberlerine göre A800 makinesinin normal teslim süresi Ekim ayı sonuna kadar planlanmış hatta birçok satıcı 24 haftayı doğrudan bildirmiş, teslim süresi ise 6 aya yakın.
Bütün sunucu işiyle uğraşan bazı arkadaşlara göre GPU ne kadar popüler olursa olsun sunucu kadar gerçek talebe yakın değil ve iş yapmak daha kolay. Kardeş Xu, artık sunuculara odaklandığını ve tek kartlarla ilgilenmediğini söyledi.Sunucu satmak, müşterilere teklif vermeden önce yapılandırmaları göndermektir.Kartlar daha zahmetlidir ve arayüzün uyumlu olup olmadığına bağlıdır... Kısaca... , sunucu nispeten ucuz.Dürüst olmak gerekirse, daha fazla işlem ve yüksek bir devir hızı var. Ve kart sadece çok fazla sorgu, işlem hacmi çok küçük, sadece büyük şirketler çok şey istiyor. "Daha fazlasını gerektirenlerin neredeyse tamamı makinenin tamamı içindir ve az miktarda olanların tümü kartlardır."
Geniş müşteri ihtiyaçları yelpazesinde, tüm AI sunucuları ortaya çıktıklarında birinci sınıf değildir ve ortaya çıktıklarında çok fazla talep vardır. İster A800 PCIE sunucusu, ister NVlinvk sunucusu veya H800 HGX sunucusu vb. olsun, işletmeler farklı ihtiyaçlara göre yapılandırmaları seçer. Tabii ki, sunucunun fiyatı daha şeffaf olacak ve fiyat karşılaştırması için daha fazla fırsat olacak.
GPU'lar ve sabit diskler, sunucuların aksesuarlarından biridir.Artık AI, ilgili sunucularda popüler hale geldiğine göre, A800 gibi üst düzey GPU'lar yüksek maliyetlidir ve yetersiz tedarik edilmektedir.Komple makineler arasında, fiyat hassasiyetleri da ön planda.
**Tek başına GPU kıtlığı, piyasada popüler gibi görünen ancak daha yanlış taleplerle karıştırılan yapay zeka sunucularının normal tedarikini sınırlıyor. **
Bu GPU ateşi dalgası, erkeklerin alından sıcaklık tabancası işi hakkında çılgınca spekülasyon yaptığı 2020 yılını anımsatıyor. O zamanlar, arkadaş çevresinin bölünme etkisi, piyasada gerçek olandan çok daha büyük yanlış bir talebe yol açtı. talep etmek. Sonuç olarak, arz yetersizdir, spot fiyat vadeli fiyattan çok daha yüksektir, teslimat süresi garanti edilmez ve satıcının varsayılan maliyeti düşüktür.
Aşırı çip kıtlığı günleri sona erdi.Üst düzey GPU üretim kapasitesi bir süreliğine mevcut olmayacak olsa da, buna karşılık gelen kurumsal düzeydeki talep engelleri nispeten yüksektir ve resmi teknik destek ve satış sonrası hizmet gerektirir. ani talep artışı herkesin hizmetine sunulmuştur.Uzun vadeli çalışma ve sağlam temeller olmadan sadece fırsatçı yöntemlere güvenerek trendden pay almak zordur.