Hegemoni perangkat keras AI NVIDIA sudah terlalu lama!
Sekarang, perusahaan teknologi besar sedang menunggu untuk menggulingkan supremasi mereka.
Tentu saja, Nvidia tidak akan duduk diam.
Baru-baru ini, media asing SemiAnalysis mengungkapkan peta jalan perangkat keras untuk NVIDIA dalam beberapa tahun ke depan, termasuk GPU H200, B100 dan "X100" yang sangat dinanti.
Dengan itu, ada beberapa informasi sulit, termasuk rencana teknologi proses NVIDIA, kecepatan / kapasitas HBM3E, PCIe 6.0, PCIe 7.0, NVLink, paket SerDes 1.6T 224G.
Jika rencana ini berjalan seperti yang diharapkan, Nvidia akan terus berhasil menghancurkan lawan-lawannya.
Tentu saja, posisi supremasi tidak begitu baik - AMD MI300, MI400, Amazon Trainium 2, Microsoft Athena, Intel Gaudi 3, tidak akan membuat Nvidia lebih baik.
Bersiaplah, serangan berenergi tinggi di depan!
** NVIDIA, lebih dari sekadar ingin menjadi hegemon perangkat keras **
Google telah mulai menata infrastruktur AI-nya sendiri, dan TPUv5 dan TPUv5e yang mereka bangun dapat digunakan baik untuk pelatihan internal dan inferensi, serta untuk pelanggan eksternal seperti Apple, Anthropic, CharacterAI, dan MidJourney.
Google bukan satu-satunya ancaman Nvidia.
Di sisi perangkat lunak, Meta PyTorch 2.0 dan OpenAI Triton juga booming, membuatnya kompatibel dengan vendor perangkat keras lainnya.
Saat ini, kesenjangan perangkat lunak tetap ada, tetapi tidak sebesar dulu.
Pada tumpukan perangkat lunak, GPU AMD, Gaudi Intel, MTIA Meta, dan Athena Microsoft semuanya telah mencapai beberapa tingkat pengembangan.
Meskipun NVIDIA masih mempertahankan posisi terdepan dalam perangkat keras, kesenjangan akan menutup lebih cepat dan lebih cepat.
NVIDIA H100 tidak akan mendominasi lama.
Dalam beberapa bulan mendatang, AMD MI300 dan Intel Gaudi 3 akan meluncurkan produk perangkat keras yang secara teknis lebih unggul dari H100.
Selain lawan yang sulit seperti Google, AMD, dan Intel, ada beberapa perusahaan yang juga memberikan banyak tekanan pada NVIDIA.
Meskipun perusahaan-perusahaan ini untuk sementara tertinggal dalam desain perangkat keras, mereka bisa mendapatkan subsidi dari raksasa di belakang mereka - dunia telah menderita NVIDIA untuk waktu yang lama, dan perusahaan-perusahaan ini berharap untuk mematahkan monopoli keuntungan besar NVIDIA atas HBM.
Trainium2 dan Inferentia3 Amazon yang akan datang, dan Athena Microsoft yang akan datang, adalah investasi yang telah ada selama bertahun-tahun.
Pesaing mengancam, dan Nvidia pasti tidak akan duduk diam.
Dalam pandangan media asing SemiAnalysis, terlepas dari gaya manajemen atau pengambilan keputusan rute, NVIDIA adalah "salah satu perusahaan yang paling diragukan di industri".
Dan Huang Jenxun mewujudkan semangat Andy Grove.
Sukses mengarah pada rasa puas diri. Kepuasan diri menyebabkan kegagalan. Hanya paranoia yang bertahan.
Untuk mengamankan posisi pertama, NVIDIA ambisius dan mengadopsi strategi petualangan multi-cabang.
Mereka tidak lagi meremehkan untuk bersaing dengan Intel dan AMD di pasar tradisional, tetapi ingin menjadi raksasa teknologi seperti Google, Microsoft, Amazon, Meta, dan Apple.
NVIDIA DGX Cloud, perangkat lunak, dan strategi akuisisi untuk bidang non-semikonduktor semuanya adalah bidak catur besar di belakangnya.
**Roadmap detail terbaru terungkap! **
Rincian penting dari roadmap terbaru NVIDIA telah terungkap.
Detail termasuk jaringan, memori, pengemasan dan node proses, berbagai GPU, pemilihan SerDes, PCIe 6.0, optik yang dikemas bersama, dan sakelar optik.
Jelas, di bawah tekanan kompetitif Google, Amazon, Microsoft, AMD dan Intel, NVIDIA mempercepat pengembangan B100 dan X100 dalam semalam.
B100: Saatnya memasarkan di atas segalanya
Menurut sumber internal, NVIDIA B100 akan diproduksi secara massal pada kuartal ketiga 2024, dan beberapa sampel awal akan dikirim pada kuartal kedua 2024.
Dalam hal kinerja dan TCO, apakah itu Amazon Trainium 2, Google TPUv5, AMD MI300X, atau Intel Gaudi 3 atau Microsoft Athena, itu lemah dibandingkan dengan itu.
Bahkan dengan mempertimbangkan subsidi dari mitra desain, AMD atau TSMC, mereka tidak dapat mengalahkan semuanya.
Untuk membawa B100 ke pasar secepat mungkin, NVIDIA membuat banyak kompromi.
Misalnya, NVIDIA ingin mengatur konsumsi daya pada tingkat yang lebih tinggi (1000W), tetapi pada akhirnya, mereka memilih untuk terus menggunakan 700W H100.
Dengan cara ini, B100 dapat terus menggunakan teknologi berpendingin udara saat diluncurkan.
Selain itu, pada seri awal B100, NVIDIA juga akan bersikeras menggunakan PCIe 5.0.
Kombinasi 5.0 dan 700W berarti dapat dicolokkan langsung ke server H100 HGX yang ada, sangat meningkatkan kapasitas rantai pasokan dan mendapatkan produksi dan pengiriman lebih awal.
Sebagian alasan keputusan untuk tetap menggunakan 5.0 adalah bahwa AMD dan Intel masih jauh tertinggal dalam integrasi PCIe 6.0. Dan bahkan tim internal Nvidia sendiri belum siap menggunakan CPU PCIe 6.0.
Selain itu, mereka akan menggunakan tautan gaya C2C yang lebih cepat.
Di masa depan, ConnectX-8 akan dilengkapi dengan switch PCIe 6.0 terintegrasi, tetapi belum ada yang siap.
Broadcom dan AsteraLabs tidak akan memiliki retimer PCIe6.0 mereka yang siap diproduksi hingga akhir tahun, dan mengingat ukuran substrat ini, hanya lebih banyak retimer yang dibutuhkan.
Ini juga berarti bahwa B100 asli akan dibatasi hingga 3.2T, dan kecepatan saat menggunakan ConnectX-7 hanya akan menjadi 400G, bukan 800G per GPU yang diklaim oleh NVIDIA pada PPT.
Jika Anda menjaga udara tetap dingin dan daya, PCIe, dan kecepatan jaringan konstan, mudah untuk memproduksi dan menyebarkan.
Nantinya, NVIDIA akan meluncurkan B100 versi 1.000W+ yang membutuhkan pendingin air.
Versi B100 ini akan menyediakan koneksi jaringan 800G penuh per GPU melalui ConnectX-8.
Untuk Ethernet/InfiniBand, SerDes ini masih 8x100G.
Sementara kecepatan jaringan per GPU telah berlipat ganda, kardinalitas telah berkurang setengahnya karena mereka masih harus melalui sakelar 51.2T yang sama. Switch 102.4T tidak akan lagi digunakan pada generasi B100.
Menariknya, telah dilaporkan bahwa komponen NVLink pada B100 akan menggunakan 224G SerDes, dan jika NVIDIA benar-benar dapat melakukan ini, tidak diragukan lagi ini merupakan peningkatan besar.
Kebanyakan orang di industri setuju bahwa 224G tidak dapat diandalkan dan tidak mungkin terjadi pada tahun 2024, kecuali untuk orang-orang di Nvidia.
Anda tahu, apakah itu Google, Meta, atau Amazon, target produksi massal akselerator AI 224G mereka ditetapkan untuk 2026/2027.
Jika NVIDIA mencapai ini pada 2024/2025, itu pasti akan mengalahkan lawan-lawannya ke tanah.
Dilaporkan bahwa B100 masih N4P TSMC, bukan teknologi yang didasarkan pada proses 3nm.
Jelas, untuk ukuran chip sebesar itu, proses 3nm TSMC belum matang.
Berdasarkan ukuran substrat yang diungkapkan oleh pemasok substrat NVIDIA Ibiden, NVIDIA tampaknya telah beralih ke desain yang terdiri dari 2 MCM chip besar monolitik yang berisi 8 atau 12 tumpukan HBM.
Chip SambaNova dan Intel tahun depan sama-sama menggunakan desain makro yang serupa.
Alasan mengapa NVIDIA tidak menggunakan teknologi ikatan hibrida seperti AMD adalah karena mereka membutuhkan produksi massal, dan biaya menjadi perhatian besar bagi mereka.
Menurut SemiAnalysis, kapasitas memori kedua chip B100 ini akan mirip atau lebih tinggi dari AMD MI300X, mencapai tumpukan 24GB.
Versi berpendingin udara dari B100 dapat mencapai kecepatan hingga 6.4Gbps, sedangkan versi berpendingin cairan dapat mencapai hingga 9.2Gbps.
Selain itu, NVIDIA juga menunjukkan GB200 dan B40 di roadmap.
Baik GB200 dan GX200 menggunakan G, yang jelas merupakan placeholder karena NVIDIA akan memperkenalkan CPU baru berdasarkan arsitektur Arm. Saya tidak akan menggunakan Grace lama-lama.
B40 kemungkinan berukuran setengah dari B100, dengan hanya chip N4P monolitik dan HBM hingga 4 atau 6 lapisan. Berbeda dengan L40S, ini masuk akal untuk inferensi pada model kecil.
"X100": Serangan Kritis
Hal yang paling mencolok tentang roadmap yang terbuka adalah jadwal "X100" NVIDIA.
Menariknya, ini sangat cocok dengan jadwal AMD MI400 saat ini. Hanya setahun setelah peluncuran H100, AMD merilis strategi MI300X-nya.
Kemasan AMD MI300X sangat mengesankan, dan mereka menjejalkan lebih banyak komputasi dan memori ke dalamnya, berharap untuk melampaui H100 setahun yang lalu dan dengan demikian melampaui Nvidia dalam perangkat keras murni.
Nvidia juga menemukan bahwa rilis GPU baru dua tahunan mereka memberi pesaing peluang besar untuk merebut pasar.
Nvidia, yang sedang terburu-buru, mempercepat siklus produk menjadi setahun sekali, tanpa memberi lawan kesempatan. Misalnya, mereka berencana untuk meluncurkan X100 pada tahun 2025, hanya setahun setelah B100.
Tentu saja, "X100" belum dalam produksi massal (tidak seperti B100), jadi semuanya masih mengudara.
Anda tahu, di masa lalu, NVIDIA tidak pernah membahas produk setelah produk generasi berikutnya, dan kali ini sudah belum pernah terjadi sebelumnya.
Selain itu, nama itu kemungkinan besar tidak disebut "X100".
Nvidia telah lama menjadi tradisi penamaan GPU setelah ilmuwan wanita terkemuka seperti Ada Lovelace, Grace Hopper dan Elizabeth Blackwell.
Adapun "X", satu-satunya yang logis adalah Xie Xide, yang mempelajari struktur semikonduktor dan strip logam, tetapi mengingat identitasnya, kemungkinannya harus kecil.
** Master Rantai Pasokan: Taruhan Besar Lao Huang **
Sejak awal berdirinya NVIDIA, Jensen Huang telah secara aktif mendorong penguasaan rantai pasokan untuk mendukung target pertumbuhan besar-besaran.
Mereka tidak hanya bersedia menerima pesanan yang tidak dapat dibatalkan – hingga $ 11,15 miliar dalam komitmen pembelian, kapasitas, dan inventaris – tetapi mereka juga memiliki perjanjian pembayaran di muka senilai $ 3,81 miliar.
Bisa dibilang, tidak ada pemasok tunggal yang bisa menandinginya.
Dan kisah Nvidia telah menunjukkan lebih dari sekali bahwa mereka dapat secara kreatif meningkatkan pasokan ketika pasokan terbatas.
Dialog antara Huang Jenxun dan Zhang Zhongmou pada tahun 2007
Ketika Zhang Zhongmou dan saya bertemu pada tahun 1997, Nvidia, yang hanya memiliki 100 orang, telah menghasilkan pendapatan $ 27 juta tahun itu.
Anda mungkin tidak percaya, tetapi Zhang Zhongmou biasa menelepon untuk penjualan dan akan mengunjungi pintunya. Dan saya akan menjelaskan kepada Zhang apa yang NVIDIA lakukan dan seberapa besar chip kami perlu, dan mereka akan menjadi lebih besar setiap tahun.
Kemudian, NVIDIA membuat total 127 juta wafer. Sejak itu, NVIDIA telah tumbuh hampir 100% setiap tahun, hingga sekarang. Artinya, dalam 10 tahun terakhir, tingkat pertumbuhan tahunan gabungan telah mencapai sekitar 70%.
Pada saat itu, Zhang tidak percaya bahwa Nvidia membutuhkan begitu banyak wafer, tetapi Huang bertahan.
NVIDIA telah mencapai sukses besar dengan bereksperimen dengan sisi penawaran. Sementara mereka menuliskan persediaan senilai miliaran dolar dari waktu ke waktu, mereka masih mendapatkan keuntungan positif dari pemesanan berlebihan.
Kali ini, NVIDIA langsung menyita sebagian besar pasokan komponen hulu GPU -
Mereka menempatkan pesanan yang sangat besar dengan tiga pemasok HBM, SK Hynix, Samsung dan Micron, memadati pasokan semua orang kecuali Broadcom dan Google. Pada saat yang sama, ia juga membeli sebagian besar pasokan TSMC CoWoS, serta kapasitas produksi Amkor.
Selain itu, NVIDIA memanfaatkan komponen hilir yang dibutuhkan oleh papan dan server HGX, seperti retimer, DSP, optik, dan banyak lagi.
Jika pemasok menutup telinga terhadap persyaratan NVIDIA, maka itu akan menghadapi "lobak dan tongkat" Lao Huang -
Di satu sisi, mereka akan mendapatkan pesanan yang tak terbayangkan dari NVIDIA; Di sisi lain, mereka dapat dihapus dari rantai pasokan yang ada oleh NVIDIA.
Tentu saja, NVIDIA juga menggunakan pesanan yang berkomitmen dan tidak dapat dibatalkan hanya jika pemasok sangat penting dan tidak dapat dihilangkan atau pasokan yang terdiversifikasi.
Setiap pemasok tampaknya menganggap dirinya sebagai pemenang dalam AI, sebagian karena NVIDIA telah menempatkan sejumlah besar pesanan dengan semua pemasoknya, dan mereka semua berpikir mereka memenangkan sebagian besar bisnis. Namun kenyataannya, itu hanya karena NVIDIA tumbuh terlalu cepat.
Kembali ke dinamika pasar, sementara Nvidia bertujuan untuk mencapai lebih dari $ 70 miliar dalam penjualan pusat data tahun depan, hanya Google yang memiliki kapasitas hulu yang cukup – dengan lebih dari 1 juta perangkat. Total kapasitas produksi AMD di bidang AI masih sangat terbatas, dengan maksimal hanya beberapa ratus ribu unit.
Strategi Bisnis: Potensi Anti-Kompetitif
Seperti yang kita semua tahu, NVIDIA memanfaatkan permintaan besar GPU untuk memasarkan dan menjual silang produk kepada pelanggan.
Ada banyak informasi dalam rantai pasokan bahwa NVIDIA memberikan alokasi prioritas kepada perusahaan tertentu berdasarkan berbagai faktor. Termasuk namun tidak terbatas pada: rencana pengadaan yang beragam, penelitian independen dan pengembangan rencana chip AI, pembelian DGX, NIC, sakelar dan / atau peralatan optik NVIDIA, dll.
Bahkan, bundling NVIDIA sangat sukses. Meskipun menjadi pemasok kecil transceiver serat optik, bisnis mereka meningkat tiga kali lipat dalam seperempat dan diperkirakan akan mengirimkan lebih dari $ 1 miliar tahun depan – jauh melampaui pertumbuhan bisnis GPU atau chip jaringan mereka sendiri.
Strategi ini bisa dikatakan cukup teliti.
Misalnya, satu-satunya cara untuk mengimplementasikan jaringan 3.2T dan RDMA / RoCE yang andal pada sistem NVIDIA adalah dengan menggunakan NIC NVIDIA. Tentu saja, di satu sisi, itu juga karena produk Intel, AMD dan Broadcom benar-benar tidak kompetitif - masih terjebak di level 200G.
Melalui pengelolaan rantai pasokan, NVIDIA juga telah mempromosikan siklus pengiriman NIC InfiniBand 400G, yang dapat secara signifikan lebih pendek dari NIC Ethernet 400G. Kedua NIC (ConnectX-7) sebenarnya identik dalam desain chip dan papan.
Alasan untuk ini adalah konfigurasi SKU Nvidia, bukan hambatan rantai pasokan aktual yang memaksa perusahaan untuk membeli switch InfiniBand berbiaya lebih tinggi daripada switch Ethernet standar.
Dan bukan itu saja, lihat saja betapa terobsesinya rantai pasokan dengan GPU L40 dan L40S, dan Anda tahu bahwa Nvidia mempermainkan distribusi lagi - untuk memenangkan lebih banyak alokasi H100, OEM perlu membeli lebih banyak L40S.
Ini sama dengan operasi NVIDIA di ruang PC - produsen notebook dan mitra AIB harus membeli G106/G107 yang lebih besar (GPU mid/low-end) untuk mendapatkan G102/G104 dengan margin lebih tinggi yang lebih langka (GPU high-end dan flagship).
Sebagai cocok, orang-orang dalam rantai pasokan juga telah diindoktrinasi dengan klaim bahwa L40S lebih baik daripada A100 karena memiliki FLOPS yang lebih tinggi.
Namun pada kenyataannya, GPU ini tidak cocok untuk inferensi LLM, karena mereka memiliki kurang dari setengah bandwidth memori A100 dan tidak memiliki NVLink.
Ini berarti bahwa menjalankan LLM pada L40S dan mencapai TCO yang baik hampir tidak mungkin, kecuali untuk model yang sangat kecil. Pemrosesan skala besar juga menghasilkan token yang dialokasikan untuk setiap pengguna yang hampir tidak dapat digunakan, membuat FLOPS teoritis tidak berguna dalam aplikasi praktis.
Selain itu, platform modular MGX NVIDIA, sekaligus menghilangkan kerja keras desain server, juga mengurangi margin keuntungan OEM.
Perusahaan seperti Dell, HP dan Lenovo jelas tahan terhadap MGX, tetapi perusahaan seperti Supermicro, Quanta, Asus, Gigabyte dan lainnya berebut untuk mengisi kesenjangan dan mengkomersialkan "AI perusahaan" berbiaya rendah.
Dan OEM / ODM yang terlibat dalam hype L40S dan MGX ini juga bisa mendapatkan alokasi produk GPU arus utama yang lebih baik dari NVIDIA.
** Optik Dikemas Bersama **
Dalam hal CPO, NVIDIA juga sangat mementingkannya.
Mereka telah mengerjakan berbagai solusi, termasuk dari Ayar Labs, serta yang mereka dapatkan sendiri dari Global Foundries dan TSMC.
Saat ini, NVIDIA telah memeriksa rencana CPO dari beberapa startup, tetapi belum membuat keputusan akhir.
Analisis percaya bahwa NVIDIA kemungkinan akan mengintegrasikan CPO ke NVSwitch dari "X100".
Karena mengintegrasikan langsung ke GPU itu sendiri bisa terlalu mahal dan sulit dalam hal keandalan.
** Optical Circuit Switch **
Salah satu kekuatan terbesar Google dalam infrastruktur AI adalah sakelar optiknya.
Rupanya, Nvidia sedang mengejar sesuatu yang serupa. Saat ini, mereka telah menjangkau beberapa perusahaan dan berharap dapat bekerja sama dalam pengembangan.
NVIDIA menyadari bahwa Fat Tree telah berakhir dengan terus berkembang, sehingga diperlukan topologi lain.
Tidak seperti pilihan Google 6D Torus, Nvidia lebih memilih untuk mengadopsi struktur Dragonfly.
Dapat dipahami bahwa NVIDIA masih jauh dari pengiriman OCS, tetapi mereka berharap untuk lebih dekat dengan tujuan ini pada tahun 2025, tetapi kemungkinannya tidak dapat dicapai.
OCS + CPO adalah cawan suci, terutama ketika OCS dapat diimplementasikan berdasarkan per paket, yang secara langsung akan mengubah permainan game.
Namun, belum ada yang menunjukkan kemampuan ini, bahkan Google.
Meskipun OCS dan CPO NVIDIA hanya dua set PPT di departemen penelitian, analis percaya bahwa CPO akan selangkah lebih dekat ke produktisasi pada 2025-2026.
Sumber daya:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Peta jalan 25 tahun NVIDIA meledak! Huang Hao tua bertaruh pada B100 untuk mengalahkan AMD, dan senjata rahasia X100 terungkap
Sumber asli: Shin Ji Yuan
Hegemoni perangkat keras AI NVIDIA sudah terlalu lama!
Sekarang, perusahaan teknologi besar sedang menunggu untuk menggulingkan supremasi mereka.
Tentu saja, Nvidia tidak akan duduk diam.
Baru-baru ini, media asing SemiAnalysis mengungkapkan peta jalan perangkat keras untuk NVIDIA dalam beberapa tahun ke depan, termasuk GPU H200, B100 dan "X100" yang sangat dinanti.
Jika rencana ini berjalan seperti yang diharapkan, Nvidia akan terus berhasil menghancurkan lawan-lawannya.
Tentu saja, posisi supremasi tidak begitu baik - AMD MI300, MI400, Amazon Trainium 2, Microsoft Athena, Intel Gaudi 3, tidak akan membuat Nvidia lebih baik.
Bersiaplah, serangan berenergi tinggi di depan!
Google telah mulai menata infrastruktur AI-nya sendiri, dan TPUv5 dan TPUv5e yang mereka bangun dapat digunakan baik untuk pelatihan internal dan inferensi, serta untuk pelanggan eksternal seperti Apple, Anthropic, CharacterAI, dan MidJourney.
Google bukan satu-satunya ancaman Nvidia.
Di sisi perangkat lunak, Meta PyTorch 2.0 dan OpenAI Triton juga booming, membuatnya kompatibel dengan vendor perangkat keras lainnya.
Pada tumpukan perangkat lunak, GPU AMD, Gaudi Intel, MTIA Meta, dan Athena Microsoft semuanya telah mencapai beberapa tingkat pengembangan.
Meskipun NVIDIA masih mempertahankan posisi terdepan dalam perangkat keras, kesenjangan akan menutup lebih cepat dan lebih cepat.
NVIDIA H100 tidak akan mendominasi lama.
Dalam beberapa bulan mendatang, AMD MI300 dan Intel Gaudi 3 akan meluncurkan produk perangkat keras yang secara teknis lebih unggul dari H100.
Meskipun perusahaan-perusahaan ini untuk sementara tertinggal dalam desain perangkat keras, mereka bisa mendapatkan subsidi dari raksasa di belakang mereka - dunia telah menderita NVIDIA untuk waktu yang lama, dan perusahaan-perusahaan ini berharap untuk mematahkan monopoli keuntungan besar NVIDIA atas HBM.
Trainium2 dan Inferentia3 Amazon yang akan datang, dan Athena Microsoft yang akan datang, adalah investasi yang telah ada selama bertahun-tahun.
Pesaing mengancam, dan Nvidia pasti tidak akan duduk diam.
Dan Huang Jenxun mewujudkan semangat Andy Grove.
Untuk mengamankan posisi pertama, NVIDIA ambisius dan mengadopsi strategi petualangan multi-cabang.
Mereka tidak lagi meremehkan untuk bersaing dengan Intel dan AMD di pasar tradisional, tetapi ingin menjadi raksasa teknologi seperti Google, Microsoft, Amazon, Meta, dan Apple.
**Roadmap detail terbaru terungkap! **
Rincian penting dari roadmap terbaru NVIDIA telah terungkap.
Detail termasuk jaringan, memori, pengemasan dan node proses, berbagai GPU, pemilihan SerDes, PCIe 6.0, optik yang dikemas bersama, dan sakelar optik.
B100: Saatnya memasarkan di atas segalanya
Menurut sumber internal, NVIDIA B100 akan diproduksi secara massal pada kuartal ketiga 2024, dan beberapa sampel awal akan dikirim pada kuartal kedua 2024.
Dalam hal kinerja dan TCO, apakah itu Amazon Trainium 2, Google TPUv5, AMD MI300X, atau Intel Gaudi 3 atau Microsoft Athena, itu lemah dibandingkan dengan itu.
Untuk membawa B100 ke pasar secepat mungkin, NVIDIA membuat banyak kompromi.
Misalnya, NVIDIA ingin mengatur konsumsi daya pada tingkat yang lebih tinggi (1000W), tetapi pada akhirnya, mereka memilih untuk terus menggunakan 700W H100.
Dengan cara ini, B100 dapat terus menggunakan teknologi berpendingin udara saat diluncurkan.
Kombinasi 5.0 dan 700W berarti dapat dicolokkan langsung ke server H100 HGX yang ada, sangat meningkatkan kapasitas rantai pasokan dan mendapatkan produksi dan pengiriman lebih awal.
Sebagian alasan keputusan untuk tetap menggunakan 5.0 adalah bahwa AMD dan Intel masih jauh tertinggal dalam integrasi PCIe 6.0. Dan bahkan tim internal Nvidia sendiri belum siap menggunakan CPU PCIe 6.0.
Selain itu, mereka akan menggunakan tautan gaya C2C yang lebih cepat.
Broadcom dan AsteraLabs tidak akan memiliki retimer PCIe6.0 mereka yang siap diproduksi hingga akhir tahun, dan mengingat ukuran substrat ini, hanya lebih banyak retimer yang dibutuhkan.
Ini juga berarti bahwa B100 asli akan dibatasi hingga 3.2T, dan kecepatan saat menggunakan ConnectX-7 hanya akan menjadi 400G, bukan 800G per GPU yang diklaim oleh NVIDIA pada PPT.
Jika Anda menjaga udara tetap dingin dan daya, PCIe, dan kecepatan jaringan konstan, mudah untuk memproduksi dan menyebarkan.
Versi B100 ini akan menyediakan koneksi jaringan 800G penuh per GPU melalui ConnectX-8.
Untuk Ethernet/InfiniBand, SerDes ini masih 8x100G.
Sementara kecepatan jaringan per GPU telah berlipat ganda, kardinalitas telah berkurang setengahnya karena mereka masih harus melalui sakelar 51.2T yang sama. Switch 102.4T tidak akan lagi digunakan pada generasi B100.
Menariknya, telah dilaporkan bahwa komponen NVLink pada B100 akan menggunakan 224G SerDes, dan jika NVIDIA benar-benar dapat melakukan ini, tidak diragukan lagi ini merupakan peningkatan besar.
Kebanyakan orang di industri setuju bahwa 224G tidak dapat diandalkan dan tidak mungkin terjadi pada tahun 2024, kecuali untuk orang-orang di Nvidia.
Anda tahu, apakah itu Google, Meta, atau Amazon, target produksi massal akselerator AI 224G mereka ditetapkan untuk 2026/2027.
Jika NVIDIA mencapai ini pada 2024/2025, itu pasti akan mengalahkan lawan-lawannya ke tanah.
Jelas, untuk ukuran chip sebesar itu, proses 3nm TSMC belum matang.
Chip SambaNova dan Intel tahun depan sama-sama menggunakan desain makro yang serupa.
Menurut SemiAnalysis, kapasitas memori kedua chip B100 ini akan mirip atau lebih tinggi dari AMD MI300X, mencapai tumpukan 24GB.
Versi berpendingin udara dari B100 dapat mencapai kecepatan hingga 6.4Gbps, sedangkan versi berpendingin cairan dapat mencapai hingga 9.2Gbps.
Selain itu, NVIDIA juga menunjukkan GB200 dan B40 di roadmap.
Baik GB200 dan GX200 menggunakan G, yang jelas merupakan placeholder karena NVIDIA akan memperkenalkan CPU baru berdasarkan arsitektur Arm. Saya tidak akan menggunakan Grace lama-lama.
B40 kemungkinan berukuran setengah dari B100, dengan hanya chip N4P monolitik dan HBM hingga 4 atau 6 lapisan. Berbeda dengan L40S, ini masuk akal untuk inferensi pada model kecil.
"X100": Serangan Kritis
Hal yang paling mencolok tentang roadmap yang terbuka adalah jadwal "X100" NVIDIA.
Menariknya, ini sangat cocok dengan jadwal AMD MI400 saat ini. Hanya setahun setelah peluncuran H100, AMD merilis strategi MI300X-nya.
Kemasan AMD MI300X sangat mengesankan, dan mereka menjejalkan lebih banyak komputasi dan memori ke dalamnya, berharap untuk melampaui H100 setahun yang lalu dan dengan demikian melampaui Nvidia dalam perangkat keras murni.
Nvidia, yang sedang terburu-buru, mempercepat siklus produk menjadi setahun sekali, tanpa memberi lawan kesempatan. Misalnya, mereka berencana untuk meluncurkan X100 pada tahun 2025, hanya setahun setelah B100.
Tentu saja, "X100" belum dalam produksi massal (tidak seperti B100), jadi semuanya masih mengudara.
Anda tahu, di masa lalu, NVIDIA tidak pernah membahas produk setelah produk generasi berikutnya, dan kali ini sudah belum pernah terjadi sebelumnya.
Selain itu, nama itu kemungkinan besar tidak disebut "X100".
Nvidia telah lama menjadi tradisi penamaan GPU setelah ilmuwan wanita terkemuka seperti Ada Lovelace, Grace Hopper dan Elizabeth Blackwell.
Adapun "X", satu-satunya yang logis adalah Xie Xide, yang mempelajari struktur semikonduktor dan strip logam, tetapi mengingat identitasnya, kemungkinannya harus kecil.
Sejak awal berdirinya NVIDIA, Jensen Huang telah secara aktif mendorong penguasaan rantai pasokan untuk mendukung target pertumbuhan besar-besaran.
Mereka tidak hanya bersedia menerima pesanan yang tidak dapat dibatalkan – hingga $ 11,15 miliar dalam komitmen pembelian, kapasitas, dan inventaris – tetapi mereka juga memiliki perjanjian pembayaran di muka senilai $ 3,81 miliar.
Bisa dibilang, tidak ada pemasok tunggal yang bisa menandinginya.
Dan kisah Nvidia telah menunjukkan lebih dari sekali bahwa mereka dapat secara kreatif meningkatkan pasokan ketika pasokan terbatas.
Pada saat itu, Zhang tidak percaya bahwa Nvidia membutuhkan begitu banyak wafer, tetapi Huang bertahan.
NVIDIA telah mencapai sukses besar dengan bereksperimen dengan sisi penawaran. Sementara mereka menuliskan persediaan senilai miliaran dolar dari waktu ke waktu, mereka masih mendapatkan keuntungan positif dari pemesanan berlebihan.
Kali ini, NVIDIA langsung menyita sebagian besar pasokan komponen hulu GPU -
Mereka menempatkan pesanan yang sangat besar dengan tiga pemasok HBM, SK Hynix, Samsung dan Micron, memadati pasokan semua orang kecuali Broadcom dan Google. Pada saat yang sama, ia juga membeli sebagian besar pasokan TSMC CoWoS, serta kapasitas produksi Amkor.
Selain itu, NVIDIA memanfaatkan komponen hilir yang dibutuhkan oleh papan dan server HGX, seperti retimer, DSP, optik, dan banyak lagi.
Jika pemasok menutup telinga terhadap persyaratan NVIDIA, maka itu akan menghadapi "lobak dan tongkat" Lao Huang -
Di satu sisi, mereka akan mendapatkan pesanan yang tak terbayangkan dari NVIDIA; Di sisi lain, mereka dapat dihapus dari rantai pasokan yang ada oleh NVIDIA.
Tentu saja, NVIDIA juga menggunakan pesanan yang berkomitmen dan tidak dapat dibatalkan hanya jika pemasok sangat penting dan tidak dapat dihilangkan atau pasokan yang terdiversifikasi.
Kembali ke dinamika pasar, sementara Nvidia bertujuan untuk mencapai lebih dari $ 70 miliar dalam penjualan pusat data tahun depan, hanya Google yang memiliki kapasitas hulu yang cukup – dengan lebih dari 1 juta perangkat. Total kapasitas produksi AMD di bidang AI masih sangat terbatas, dengan maksimal hanya beberapa ratus ribu unit.
Strategi Bisnis: Potensi Anti-Kompetitif
Seperti yang kita semua tahu, NVIDIA memanfaatkan permintaan besar GPU untuk memasarkan dan menjual silang produk kepada pelanggan.
Ada banyak informasi dalam rantai pasokan bahwa NVIDIA memberikan alokasi prioritas kepada perusahaan tertentu berdasarkan berbagai faktor. Termasuk namun tidak terbatas pada: rencana pengadaan yang beragam, penelitian independen dan pengembangan rencana chip AI, pembelian DGX, NIC, sakelar dan / atau peralatan optik NVIDIA, dll.
Strategi ini bisa dikatakan cukup teliti.
Misalnya, satu-satunya cara untuk mengimplementasikan jaringan 3.2T dan RDMA / RoCE yang andal pada sistem NVIDIA adalah dengan menggunakan NIC NVIDIA. Tentu saja, di satu sisi, itu juga karena produk Intel, AMD dan Broadcom benar-benar tidak kompetitif - masih terjebak di level 200G.
Melalui pengelolaan rantai pasokan, NVIDIA juga telah mempromosikan siklus pengiriman NIC InfiniBand 400G, yang dapat secara signifikan lebih pendek dari NIC Ethernet 400G. Kedua NIC (ConnectX-7) sebenarnya identik dalam desain chip dan papan.
Alasan untuk ini adalah konfigurasi SKU Nvidia, bukan hambatan rantai pasokan aktual yang memaksa perusahaan untuk membeli switch InfiniBand berbiaya lebih tinggi daripada switch Ethernet standar.
Dan bukan itu saja, lihat saja betapa terobsesinya rantai pasokan dengan GPU L40 dan L40S, dan Anda tahu bahwa Nvidia mempermainkan distribusi lagi - untuk memenangkan lebih banyak alokasi H100, OEM perlu membeli lebih banyak L40S.
Ini sama dengan operasi NVIDIA di ruang PC - produsen notebook dan mitra AIB harus membeli G106/G107 yang lebih besar (GPU mid/low-end) untuk mendapatkan G102/G104 dengan margin lebih tinggi yang lebih langka (GPU high-end dan flagship).
Sebagai cocok, orang-orang dalam rantai pasokan juga telah diindoktrinasi dengan klaim bahwa L40S lebih baik daripada A100 karena memiliki FLOPS yang lebih tinggi.
Namun pada kenyataannya, GPU ini tidak cocok untuk inferensi LLM, karena mereka memiliki kurang dari setengah bandwidth memori A100 dan tidak memiliki NVLink.
Ini berarti bahwa menjalankan LLM pada L40S dan mencapai TCO yang baik hampir tidak mungkin, kecuali untuk model yang sangat kecil. Pemrosesan skala besar juga menghasilkan token yang dialokasikan untuk setiap pengguna yang hampir tidak dapat digunakan, membuat FLOPS teoritis tidak berguna dalam aplikasi praktis.
Perusahaan seperti Dell, HP dan Lenovo jelas tahan terhadap MGX, tetapi perusahaan seperti Supermicro, Quanta, Asus, Gigabyte dan lainnya berebut untuk mengisi kesenjangan dan mengkomersialkan "AI perusahaan" berbiaya rendah.
Dan OEM / ODM yang terlibat dalam hype L40S dan MGX ini juga bisa mendapatkan alokasi produk GPU arus utama yang lebih baik dari NVIDIA.
** Optik Dikemas Bersama **
Dalam hal CPO, NVIDIA juga sangat mementingkannya.
Mereka telah mengerjakan berbagai solusi, termasuk dari Ayar Labs, serta yang mereka dapatkan sendiri dari Global Foundries dan TSMC.
Karena mengintegrasikan langsung ke GPU itu sendiri bisa terlalu mahal dan sulit dalam hal keandalan.
Salah satu kekuatan terbesar Google dalam infrastruktur AI adalah sakelar optiknya.
Rupanya, Nvidia sedang mengejar sesuatu yang serupa. Saat ini, mereka telah menjangkau beberapa perusahaan dan berharap dapat bekerja sama dalam pengembangan.
Tidak seperti pilihan Google 6D Torus, Nvidia lebih memilih untuk mengadopsi struktur Dragonfly.
Namun, belum ada yang menunjukkan kemampuan ini, bahkan Google.
Meskipun OCS dan CPO NVIDIA hanya dua set PPT di departemen penelitian, analis percaya bahwa CPO akan selangkah lebih dekat ke produktisasi pada 2025-2026.
Sumber daya: