Huang Tua menang! Pesanan H100 Nvidia telah dijadwalkan selama 24 tahun, dan Musk tidak bisa duduk diam

Sumber asli: Qubit

GPU terbaik untuk menyempurnakan model besar NVIDIA H100, semua terjual habis!

Bahkan jika Anda memesannya sekarang, itu tidak akan tersedia hingga Q1 atau bahkan Q2 tahun 2024.

Ini adalah berita terbaru yang diungkapkan ke Wall Street Journal oleh CoreWeave, vendor cloud yang terkait erat dengan Nvidia.

Pasokan sangat terbatas sejak awal April. Hanya dalam satu minggu, waktu pengiriman yang diharapkan melonjak dari tingkat yang wajar hingga akhir tahun.

Amazon AWS, vendor cloud terbesar di dunia, juga membenarkan kabar tersebut. CEO Adam Selipsky baru-baru ini mengatakan:

A100 dan H100 adalah yang tercanggih... sulit untuk mendapatkan bahkan untuk AWS.

Sebelumnya, Musk juga mengatakan dalam sebuah acara bincang-bincang: GPU sekarang lebih sulit didapat daripada d produk.

Jika Anda menemukan "scalper" untuk dibeli, preminya setinggi 25%.

Misalnya, harga di Ebay telah naik dari sekitar US$36.000 di pabrik menjadi US$45.000**, dan pasokannya langka.

Dalam situasi ini, perusahaan teknologi besar dalam negeri seperti Baidu, Byte, Ali, dan Tencent** juga telah memesan A800 dan chip lainnya dengan total US$5 miliar** dari Nvidia.

Diantaranya, hanya 1 miliar dolar AS barang yang dapat dikirimkan dalam tahun ini, dan 80% lainnya harus menunggu hingga 2024.

Jadi kepada siapa GPU kelas atas yang ada dijual? Di manakah gelombang kapasitas produksi ini terhenti?

Kepada siapa menjual H100, Lao Huang memiliki keputusan akhir

Sejak pecahnya ChatGPT, Nvidia A100 dan H100, yang pandai melatih model besar, menjadi populer.

Bahkan H100 sudah bisa dijadikan aset bagi perusahaan start-up untuk mencari dana investasi guna mendapatkan pinjaman hipotek.

Perusahaan AI diwakili oleh OpenAI dan Meta, perusahaan komputasi awan diwakili oleh Amazon dan Microsoft, cloud pribadi Coreweave dan Lambda, dan semua berbagai perusahaan teknologi yang ingin menyempurnakan model besar mereka sendiri, The permintaan sangat besar.

**Namun, pada dasarnya CEO Nvidia Huang Renxun yang memiliki keputusan akhir tentang siapa yang akan menjual. **

Menurut The Information, persediaan H100 sangat sedikit sehingga Nvidia** mengalokasikan sejumlah besar kartu baru untuk CoreWeave**, dan persediaan terbatas** untuk perusahaan komputasi awan yang mapan seperti Amazon dan Microsoft.

(Nvidia juga berinvestasi langsung di CoreWeave.)

Analisis eksternal karena perusahaan mapan ini sedang mengembangkan chip akselerasi AI mereka sendiri, berharap dapat mengurangi ketergantungan mereka pada Nvidia, sehingga Lao Huang akan membantu mereka.

Lao Huang juga mengontrol semua aspek operasi harian perusahaan dalam Nvidia, bahkan termasuk "meninjau apa yang akan dikatakan perwakilan penjualan kepada pelanggan potensial kecil".

Sekitar 40 eksekutif di perusahaan melapor langsung ke Lao Huang**, lebih dari gabungan bawahan langsung Meta Xiaozha dan Microsoft Xiaona.

Seorang mantan manajer Nvidia mengungkapkan, “Di Nvidia, Huang Renxun sebenarnya adalah chief product officer dari setiap produk.”

Beberapa waktu yang lalu, dilaporkan juga bahwa Lao Huang melakukan hal yang dilebih-lebihkan: Minta beberapa perusahaan cloud computing kecil untuk memberikan daftar pelanggan mereka, ingin mengetahui siapa pengguna akhir GPU tersebut.

Menurut analisis eksternal, langkah ini akan memungkinkan Nvidia untuk lebih memahami kebutuhan pelanggan akan produknya, dan juga menimbulkan kekhawatiran bahwa Nvidia dapat menggunakan informasi ini untuk keuntungan tambahan.

Beberapa orang juga berpendapat bahwa alasan lainnya adalah Lao Huang ingin mengetahui siapa yang benar-benar menggunakan kartu tersebut dan siapa yang hanya menimbun kartu tersebut dan tidak menggunakannya.

Mengapa Nvidia dan Lao Huang memiliki suara yang begitu besar sekarang?

Alasan utamanya adalah pasokan dan permintaan GPU kelas atas terlalu tidak seimbang Menurut perhitungan situs web GPU Utils, kesenjangan H100** setinggi 430.000**.

Penulis Clay Pascal memperkirakan jumlah H100 yang dibutuhkan oleh berbagai pemain di industri AI dalam waktu dekat berdasarkan berbagai informasi dan rumor yang diketahui.

Sisi perusahaan AI:

• OpenAI mungkin membutuhkan 50.000 H100 untuk melatih GPT-5
• Meta dikatakan membutuhkan 100.000
• Rencana cluster daya komputasi 22.000 kartu dari InflectionAI telah diumumkan
• Perusahaan rintisan AI utama seperti Anthropic, Character.ai, MistraAI, dan HelsingAI di Eropa masing-masing membutuhkan pesanan 10.000.

Perusahaan Komputasi Awan:

• Di cloud publik besar, Amazon, Microsoft, Google, dan Oracle semuanya dihitung pada 30.000, total 120.000
• Cloud pribadi yang diwakili oleh CoreWeave dan Lambda membutuhkan total 100.000

Jumlahnya mencapai 432.000.

Ini belum termasuk beberapa perusahaan keuangan dan peserta industri lainnya seperti JP Morgan Chase dan Two Sigma yang juga telah mulai menggunakan cluster daya komputasi mereka sendiri.

Jadi pertanyaannya, dengan kesenjangan pasokan yang begitu besar, tidak bisakah kita memproduksi lebih banyak?

Lao Huang juga memikirkannya, tetapi kapasitas produksi macet.

**Di mana kapasitas produksi macet saat ini? **

Padahal, TSMC sudah menyesuaikan rencana produksinya untuk Nvidia.

Namun, masih gagal mengisi celah yang begitu besar.

Charlie Boyle, wakil presiden dan manajer umum sistem DGX Nvidia, mengatakan bahwa kali ini tidak macet di wafer, tetapi teknologi pengemasan CoWoS TSMC telah mengalami hambatan dalam kapasitas produksinya.

Apple-lah yang bersaing dengan Nvidia untuk kapasitas produksi TSMC, dan akan mendapatkan chip A17 untuk iPhone generasi berikutnya sebelum konferensi September.

TSMC baru-baru ini menyatakan bahwa diperlukan waktu 1,5 tahun untuk mengembalikan backlog proses pengemasan ke normal.

Teknologi pengemasan CoWoS adalah keterampilan rumah tangga TSMC, dan alasan mengapa TSMC dapat mengalahkan Samsung untuk menjadi pengecoran chip eksklusif Apple bergantung padanya.

Produk yang dikemas dengan teknologi ini memiliki performa tinggi dan keandalan yang kuat, itulah sebabnya H100 bisa memiliki bandwidth 3TB/s (atau bahkan lebih tinggi).

Nama lengkap CoWoS adalah Chip-on-Wafer-on-Substrate, yang merupakan teknologi integrasi chip yang unik pada level wafer.

Teknologi ini memungkinkan pengemasan beberapa chip ke interposer silikon yang hanya setebal 100μm**.

Menurut laporan, luas interposer generasi berikutnya akan mencapai 6 kali reticle, yaitu sekitar 5000mm².

Sejauh ini, selain TSMC, tidak ada pabrikan yang memiliki tingkat kemampuan pengemasan seperti ini.

Meskipun CoWoS sangat kuat, bukankah itu akan berhasil tanpanya? Bisakah produsen lain melakukannya?

Belum lagi Lao Huang telah menyatakan bahwa "kami tidak akan mempertimbangkan untuk menambahkan pengecoran H100 kedua".

Pada kenyataannya, itu mungkin tidak mungkin.

Nvidia telah bekerja sama dengan Samsung sebelumnya, tetapi Samsung tidak pernah memproduksi produk seri H100 untuk Nvidia, atau bahkan chip proses 5nm lainnya.

Berdasarkan hal tersebut, beberapa orang berspekulasi bahwa level teknis Samsung mungkin tidak dapat memenuhi kebutuhan teknologi Nvidia untuk GPU mutakhir.

Adapun Intel ... produk 5nm mereka sepertinya belum keluar.

Karena tidak mungkin mengganti pabrikan Lao Huang, bagaimana jika pengguna langsung beralih ke AMD?

AMD，Ya？

Dari segi performa saja, AMD memang perlahan mengejar.

MI300X AMD terbaru memiliki memori HBM3 192GB, bandwidth 5,2TB/s, dan dapat menjalankan 80 miliar model parameter.

DGX GH200 yang baru saja dirilis oleh Nvidia memiliki memori 141GB HBM3e dan bandwidth 5TB/s.

Namun bukan berarti AMD bisa langsung mengisi kekosongan kartu N——

"Parit" asli Nvidia terletak pada platform CUDA.

###

CUDA telah membentuk ekosistem pengembangan yang lengkap, yang berarti jika pengguna membeli produk AMD, proses debug akan memakan waktu lebih lama.

Seorang eksekutif perusahaan cloud swasta mengatakan bahwa tidak ada yang berani mengambil risiko menghabiskan $300 juta untuk menerapkan 10.000 GPU AMD secara eksperimental.

Eksekutif percaya bahwa siklus pengembangan dan debugging mungkin memakan waktu setidaknya dua bulan.

Dengan latar belakang penggantian produk AI yang cepat, jeda dua bulan dapat berakibat fatal bagi produsen mana pun.

Namun, Microsoft memperluas cabang zaitun ke AMD.

Sebelumnya beredar rumor bahwa Microsoft sedang bersiap untuk bersama-sama mengembangkan chip AI yang diberi nama kode "Athena" dengan AMD.

Sebelumnya, ketika MI200 dirilis, Microsoft adalah yang pertama mengumumkan pembelian dan menerapkannya di platform cloud Azure.

Misalnya, infrastruktur model besar baru MSRA, RetNet, dilatih pada 512 AMD MI200 beberapa waktu lalu.

Di bawah situasi di mana Nvidia menempati hampir seluruh pasar AI, seseorang mungkin perlu memimpin dalam pengisian daya, dan seluruh cluster daya komputasi AMD skala besar harus dibuktikan sebelum ada yang berani menindaklanjuti.

Namun, dalam kurun waktu singkat, Nvidia H100 dan A100 masih menjadi pilihan paling mainstream.

Satu hal lagi

Beberapa waktu yang lalu, ketika Apple merilis chip M2 Ultra baru yang mendukung memori hingga 192GB**, banyak praktisi senang menggunakannya untuk menyempurnakan model besar.

Lagi pula, memori dan memori video chip seri-M Apple disatukan, memori 192GB adalah memori video 192GB, yaitu 2,4 kali lipat dari 80GB H100, atau 8 kali lipat dari RTX4090 24GB.

Namun, setelah seseorang benar-benar membeli mesin ini, kecepatan pengujian dan pelatihan yang sebenarnya** tidak sebaik Nvidia RTX3080TI**, penyetelan halus tidak hemat biaya, apalagi pelatihan.

Lagi pula, daya komputasi chip seri-M tidak dioptimalkan secara khusus untuk komputasi AI, dan memori video Everbright tidak berguna.

Tampaknya sebagian besar bergantung pada H100 untuk menyempurnakan model besar, dan H100 adalah sesuatu yang tidak dapat Anda minta.

Menghadapi situasi ini, bahkan ada "lagu GPU" ajaib ** yang beredar di Internet.

Sangat cuci otak, masuk dengan hati-hati.

, durasi 04:10

Rumah lagu GPU

Tautan referensi: [1] [2] [3] [4] [5] [6] [7] [8] [9]