Kekurangan inti AI, Nvidia terjual habis

Penulis: Sun Pengyue Editor: Gale

Sumber: Keuangan Seng

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Pada tanggal 8 Agustus, konferensi grafik komputer dunia SIGGRAPH, konferensi meja bundar terpenting dalam industri komputer global, resmi diadakan.

Pendiri dan CEO NVIDIA Jensen Huang hadir dan menghadirkan generasi baru chip NVIDIA super AI GH200. Jensen Huang sangat percaya diri dengan produk andalan barunya, menyebut GH200 sebagai "memori tercepat di dunia".

**Di pasar AI saat ini, Nvidia disebut sebagai "pusat yang menjalankan seluruh dunia AI". **Baik itu OpenAI atau Google, META, Baidu, Tencent, Alibaba, semua AI generatif sangat bergantung pada chip AI Nvidia untuk pelatihan.

Apalagi menurut laporan media, total permintaan pasar untuk chip Nvidia AI H100 pada Agustus 2023 mungkin sekitar 432.000 buah, dan harga chip H100 saat ini di Ebay bahkan sudah mencapai 45.000 dolar AS atau setara lebih dari 300.000 RMB. Yuan.

Ada lebih dari 400.000 celah chip, dengan harga satuan 45.000 dolar AS, dan harga total dapat dengan mudah mencapai jutaan dolar.

Nvidia sedang mengalami gelombang pasar yang lebih gila dari "era pertambangan".

Chip AI, sulit ditemukan

Apa yang disebut chip AI sebenarnya adalah unit pemrosesan grafis (GPU), yang peran utamanya adalah membantu menjalankan perhitungan yang tak terhitung jumlahnya yang terlibat dalam pelatihan dan penerapan algoritme kecerdasan buatan.

**Dengan kata lain, semua jenis performa cerdas AI generatif berasal dari penumpukan GPU yang tak terhitung jumlahnya. Semakin banyak chip yang digunakan, semakin pintar AI generatif. **

OpenAI bungkam tentang detail pelatihan GPT-4, tetapi menurut spekulasi media, GPT-4 membutuhkan setidaknya 8192 chip H100, dengan harga $2 per jam, pra-pelatihan dapat diselesaikan dalam waktu sekitar 55 hari, dan biayanya sekitar $21,5 juta (150 juta RMB).

Menurut eksekutif Microsoft, superkomputer AI yang memberikan dukungan daya komputasi untuk ChatGPT adalah superkomputer tingkat atas skala besar yang diinvestasikan Microsoft 1 miliar dolar AS pada 2019, dilengkapi dengan puluhan ribu GPU Nvidia A100, dan lebih dari 60 pusat data Secara total, ratusan ribu GPU Nvidia dikerahkan di pusat.

Chip AI yang dibutuhkan oleh ChatGPT tidak diperbaiki, tetapi ditingkatkan secara bertahap. Semakin pintar ChatGPT, harga di baliknya adalah semakin banyak daya komputasi yang dibutuhkan. Menurut prediksi Morgan Stanley, GPT-5 perlu menggunakan sekitar 25.000 GPU, yaitu sekitar tiga kali lipat dari GPT-4.

**Jika Anda ingin memenuhi kebutuhan serangkaian produk AI seperti OpenAI dan Google, maka itu setara dengan perusahaan Nvidia yang menyediakan core untuk produk AI di seluruh dunia, yang merupakan ujian besar bagi kapasitas produksi Nvidia. **

NVIDIA H100

Meskipun Nvidia memproduksi chip AI dengan kapasitas penuh, menurut laporan media, kapasitas cluster H100 berskala besar dari penyedia cloud kecil dan besar akan segera habis, dan "masalah kekurangan yang parah" dari H100 akan berlanjut hingga setidaknya akhir tahun 2024.

Saat ini, chip Nvidia untuk pasar AI terutama dibagi menjadi dua jenis: H100 dan A100. H100 adalah produk unggulan. Dalam hal detail teknis, H100 sekitar 3,5 kali lebih cepat dari A100 dalam kecepatan penalaran 16-bit, dan Kecepatan pelatihan 16-bit sekitar 2,3 kali lebih cepat.

Apakah itu H100 atau A100, semuanya diproduksi bersama oleh TSMC, yang membatasi produksi H100. Menurut beberapa media, dibutuhkan sekitar setengah tahun untuk setiap H100 dari produksi ke pengiriman, dan efisiensi produksi sangat lambat.

Nvidia telah menyatakan bahwa mereka akan meningkatkan kapasitas pasokan chip AI pada paruh kedua tahun 2023, tetapi tidak memberikan informasi kuantitatif apa pun.

Banyak perusahaan dan pembeli meminta Nvidia untuk meningkatkan produksi fab, tidak hanya untuk bekerja sama dengan TSMC, tetapi untuk menyerahkan lebih banyak pesanan ke Samsung dan Intel.

** Kecepatan latihan lebih cepat **

**Jika tidak ada cara untuk meningkatkan kapasitas produksi, maka solusi terbaik adalah meluncurkan chip dengan performa lebih tinggi untuk memenangkan kualitas. **

Alhasil, Nvidia mulai sering meluncurkan GPU baru untuk meningkatkan kemampuan pelatihan AI. Pertama, pada bulan Maret tahun ini, Nvidia merilis empat chip AI, GPU H100 NVL, GPU Inti Tensor L4, GPU L40, dan NVIDIA Grace Hopper, untuk memenuhi permintaan daya komputasi AI generatif yang terus meningkat.

Generasi sebelumnya belum diproduksi dan diluncurkan secara massal, Nvidia merilis versi upgrade dari H100, GH200, oleh Huang Renxun pada SIGGRAPH World Conference on Computer Graphics pada 8 Agustus.

Dapat dipahami bahwa GH200 Grace Hopper Superchip didasarkan pada CPU Grace 72-core, dilengkapi dengan memori 480GB ECC LPDDR5X dan GPU komputasi GH100, dengan memori HBM3E 141GB, menggunakan enam tumpukan 24GB, dan menggunakan antarmuka memori 6144-bit.

NVIDIA GH200

Teknologi hitam terbesar GH200 adalah sebagai chip pertama di dunia yang dilengkapi dengan memori HBM3e, ia dapat meningkatkan memori GPU lokalnya hingga 50%. Dan ini juga merupakan "peningkatan khusus" khusus untuk pasar kecerdasan buatan, karena AI generatif tingkat atas seringkali berukuran besar tetapi kapasitas memorinya terbatas.

Menurut informasi publik, memori HBM3e adalah memori bandwidth tinggi generasi kelima dari SK Hynix.Ini adalah jenis baru dari teknologi memori bandwidth tinggi yang dapat memberikan kecepatan transmisi data yang lebih tinggi dalam ruang yang lebih kecil. Ini memiliki kapasitas 141GB dan bandwidth 5TB per detik, yang masing-masing dapat mencapai 1,7 kali dan 1,55 kali lipat dari H100.

Sejak dirilis pada bulan Juli, SK Hynix telah menjadi kesayangan pasar GPU, mengungguli saingan langsung Intel Optane DC dan chip flash Z-NAND Samsung.

Perlu disebutkan bahwa SK Hynix selalu menjadi salah satu mitra Nvidia, mulai dari memori HBM3, sebagian besar produk Nvidia menggunakan produk SK Hynix. Namun, SK Hynix mengkhawatirkan kapasitas produksi memori yang diperlukan untuk chip AI, dan Nvidia telah meminta SK Hynix untuk meningkatkan kapasitas produksi lebih dari satu kali.

Ketika keluarga besar penderita distosia bertemu dengan keluarga besar penderita distosia lainnya, orang tidak bisa tidak khawatir dengan kapasitas produksi GH200.

NVIDIA secara resmi menyatakan bahwa dibandingkan dengan produk H100 generasi saat ini, GH200 memiliki kapasitas memori 3,5 kali lebih tinggi dan bandwidth 3 kali lebih tinggi; dan, memori HBM3e akan memungkinkan GH200 generasi berikutnya menjalankan model AI 3,5 kali lebih cepat daripada model saat ini.

**Kecepatan menjalankan model AI 3,5 kali lebih cepat dari H100 Apakah itu berarti 1 GH200 setara dengan 3,5 H100? Semuanya harus dipelajari melalui latihan. **

Namun untuk saat ini, yang pasti, sebagai pemasok terbesar di pasar AI, Nvidia semakin memantapkan posisi terdepannya dan memperlebar jarak dengan AMD dan Intel.

Saingan NVIDIA

Menghadapi kesenjangan 430.000 chip AI, tidak ada perusahaan yang tidak tergerak. Secara khusus, pesaing terbesar Nvidia, AMD dan Intel, tidak akan membiarkan mereka memonopoli seluruh pasar.

Pada 14 Juni tahun ini, Ketua dan CEO AMD Su Zifeng secara intensif merilis berbagai produk perangkat lunak dan perangkat keras AI baru, termasuk chip AI yang dirancang untuk model bahasa besar, MI300X. Secara resmi meluncurkan tantangan positif untuk Nvidia di pasar AI.

Dari segi parameter hardware, AMD MI300X memiliki sebanyak 13 chip kecil, berisi total 146 miliar transistor, dan dilengkapi dengan memori HBM3 sebesar 128GB. Kepadatan HBM-nya 2,4 kali lipat dari Nvidia H100, dan bandwidth-nya 1,6 kali lipat dari Nvidia H100, yang berarti kecepatan pemrosesan AI generatif dapat dipercepat.

Namun sayangnya, chip AI andalan ini belum ada stoknya, namun diperkirakan akan diproduksi secara massal pada kuartal Q4 tahun 2023.

Pesaing lain, Intel, mengakuisisi pembuat chip kecerdasan buatan HABANA Labs sekitar $2 miliar pada tahun 2019, memasuki pasar chip AI.

Pada bulan Agustus tahun ini, atas panggilan pendapatan terbaru Intel, CEO Intel Pat Gelsinger mengatakan bahwa Intel sedang mengembangkan chip superkomputer AI Falcon Shores generasi berikutnya, untuk sementara bernama Falcon Shores 2, yang diharapkan akan dirilis pada tahun 2026.

Selain Falcon Shores 2, Intel juga meluncurkan chip AI Gaudi2 yang sudah mulai dijual, sedangkan Gaudi3 masih dalam tahap pengembangan.

Hanya saja sayangnya spesifikasi chip Gaudi2 tidak tinggi, dan sulit untuk menantang Nvidia H100 dan A100.

AMD MI300X

** Selain raksasa semikonduktor asing meregangkan otot mereka dan memulai "persaingan chip", perusahaan semikonduktor dalam negeri juga telah memulai penelitian dan pengembangan chip AI. **

Diantaranya, kartu akselerator AI inti Kunlun RG800, kartu akselerator Tiangai 100 Tianshu Zhixin, dan produk pelatihan generasi kedua Teknologi Suiyuan Yunsui T20/T21 semuanya menunjukkan bahwa mereka dapat mendukung pelatihan model berskala besar.

Dalam pertempuran untuk chip yang menggunakan daya komputasi sebagai model standar dan AI besar sebagai medan perang, Nvidia, sebagai salah satu pemenang terbesar di pasar AI, telah menunjukkan kekuatannya dalam desain chip dan pangsa pasar.

Namun, meskipun chip AI domestik sedikit tertinggal, laju penelitian dan pengembangan serta perluasan pasar tidak pernah berhenti, dan masa depan patut dinantikan.