Dari era penambangan hingga era AI, kekuatan komputasi GPU kembali berperan. Persaingan cadangan daya komputasi antara vendor cloud dalam dan luar negeri sedang berjalan lancar...
Byte telah membeli 100.000 keping kartu akselerator A100 dan H800 dari Nvidia, melebihi US$1 miliar (lebih dari RMB 7 miliar).Volume pembelian Byte saja tahun ini mendekati total penjualan GPU komersial yang dijual Nvidia di China tahun lalu. , Perusahaan besar lainnya memiliki nilai pesanan setidaknya lebih dari 1 miliar yuan.
OpenAI yang sudah menggunakan sekitar 25.000 GPU Nvidia mengatakan masih ada kekurangan GPU. ChatGPT membutuhkan 13,5 EPLOPS daya komputasi untuk setiap 100 juta pengguna aktif, didukung oleh sekitar 69.000 server NVIDIA DGX A100 80G, dan daya komputasi global saat ini hanya dapat mendukung rata-rata 100 juta pengguna online harian.
Di pasar sirkulasi spot GPU kelas atas ini, bahkan setengah orang awam pun ingin mencoba ketika dia melihat peluang, dan matanya penuh dengan "batu bata emas".
**A800, yang awalnya sekitar 74.000 yuan, kini telah meningkat menjadi lebih dari 85.000 yuan, dan versi high-end telah meningkat menjadi sekitar 100.000 yuan. ** Pada akhir April, kutipan berjangka untuk modul A800 8-kartu di pasar masih 900.000 yuan, dengan periode pengiriman 2 minggu, sekarang kutipan telah mencapai lebih dari 1 juta yuan, dan periode pengiriman telah diperpanjang menjadi 7-8 minggu. Pada bulan Mei, A800 bahkan dipecat hingga 100.000 yuan.
"Waktu pengiriman untuk mereka yang berada di sela-sela lebih lama, dan harganya lebih mahal." Mereka yang tidak memiliki satu kartu membeli modul, dan mereka yang tidak dapat membeli modul kemudian membeli seluruh server.
Dari kartu tunggal GPU ke modul ke server AI, kenaikan harga gila-gilaan, kekurangan serius, dan waktu pengiriman semakin lama.Apakah permintaan di pasar benar-benar begitu tinggi? Mengapa GPU Nvidia sangat pendek? Selain itu, tidak ada tanggal pengiriman yang dijamin untuk produk asli baru, pasar barang bekas, saluran abu-abu, deposit tidak akan dikembalikan setelah pembayaran, dan kekacauan seputar server AI sedang berlangsung...
Kekacauan Pasar GPU NVIDIA
"Saya butuh 1.000 atau 3.000 tiket sekaligus, dan saya tidak bisa menyediakannya sama sekali. Apakah permintaan di sini asli atau palsu?"
"Apakah pasarnya bagus? Aku punya cara untuk mendapatkan barangnya, tapi aku khawatir itu akan hancur."
**Pada bulan Mei, GPU Nvidia masih kehabisan stok dan harganya naik. **
Menurut seorang agen, harga Nvidia A100 mulai naik pada Desember tahun lalu, hingga semester pertama April tahun ini, kenaikan harga kumulatif dalam lima bulan mencapai 37,5%, kenaikan harga kumulatif A800 mencapai 20,0% selama periode tersebut. periode yang sama.
Waktu tunggu telah diperpanjang dari satu bulan menjadi tiga bulan atau lebih, dan beberapa pesanan baru "mungkin tidak dikirimkan hingga Desember".
Beberapa pabrikan yang memiliki keunggulan kuantitatif dalam server AI menggunakan sumber daya GPU sambil mengencangkan ikat pinggang mereka. Microsoft jatuh ke dalam dilema kekurangan perangkat keras server AI secara internal, dan mengadopsi mekanisme "pasokan kuota". Pada bulan Juni, disebutkan dalam risalah pembicaraan CEO OpenAI Sam Altman yang dihapus bahwa Open AI juga kekurangan GPU, dan kekurangan GPU telah menunda banyak rencana jangka pendek pelanggan.
Berdiri di gelombang kecerdasan buatan, Nvidia, "penjual sekop", kini hampir memonopoli seluruh pasar chip server AI dan telah menjadi pemenang terbesar. Belum lama ini, nilai pasarnya melebihi satu triliun yuan, menjadi perusahaan chip pertama dalam sejarah dengan nilai pasar melebihi US$1 triliun.
Dipengaruhi oleh larangan AS, pasokan spot Nvidia A100 di negara saya langsung terputus. Ada sekitar 40.000 hingga 50.000 A100 yang dapat digunakan untuk melatih model besar AI di China. Pasokannya cukup terbatas. Penggunaan internal sangat ketat terbatas.
Namun, A800 versi kastrasi A100 yang saat ini pasokan normal baru mulai berproduksi pada kuartal ketiga tahun lalu, ditambah dengan meningkatnya permintaan baru, menghadapi kekurangan pasokan.Pada awal Mei, A800 telah meningkat hingga 100.000 yuan di Cina.
Secara umum, A800, A100, dll. yang mahal yang dilaporkan oleh media termasuk dalam konfigurasi teratas dalam seri ini, yaitu memori GPU 80G, dan teknologi interkoneksi mendukung versi NVLink.
Seorang teman di bisnis GPU di pasar memberi tahu kami bahwa harga A800 di pasar spot berubah setiap hari, dan perubahan nilai tukar jangka pendek juga akan memengaruhi harga. Tawaran terendah mungkin naik menjadi 86.000."
Ketika kelangkaan dan kenaikan harga meningkat, semakin banyak peserta yang mengirimkan dan mencari GPU, dan kekacauan di pasar GPU dimulai: banyak pertanyaan, pasar berjangka populer dan simpanan tinggi, dan arus keluar dari saluran bekas. "lubang"...
Kesan yang paling langsung adalah permintaan yang riuh dari segala penjuru Banyak praktisi pasar yang terkait dengan mesin server dan GPU server telah melaporkan bahwa baru-baru ini karena popularitas AI, banyak orang datang untuk menanyakan tentang kartu dan harga, tetapi tidak banyak yang benar-benar dapat membuat kesepakatan.
Saya datang untuk mencari kartu tunggal seperti A800 dan A100. Permintaannya kecil dan saya suka harganya, tetapi permintaannya besar, dan saya membutuhkan ratusan kartu. Saya berkata bahwa saya membantu pelanggan dan teman, dan pedagang dari Huaqiangbei adalah dikirim Rasanya seperti mereka menetapkan harga.
"Ketika Anda menghasilkan begitu banyak, bagaimana Anda bisa menyediakannya? Tanyakan padanya apakah dia memperhatikan keunggulan harga atau keunggulan waktu pengiriman, dan tidak ada informasi lebih lanjut. " "Beberapa orang hampir tidak membayar barang, dan mereka menghilang setelah bertanya." Transaksi pembelian yang mudah.
Saat ini, ada dua saluran distribusi utama untuk penyediaan GPU tingkat perusahaan seperti Nvidia: satu adalah pasar agen-dealer-pabrik-umum asli; yang lainnya adalah pabrik-pabrik-OEM asli (produsen server)-dealer- pasar . Yang beredar di pasar spot terutama di distribusi, solusi server atau pasar barang bekas.
Produk tingkat perusahaan tersebut mencakup pelanggan hilir seperti perusahaan, sekolah, dan penyedia solusi server. Saudara Xu, yang berfokus pada bisnis server, mengatakan bahwa permintaan sebenarnya dari Alibaba dan perusahaan lain biasanya pesanan besar, pelanggan besar ini diprioritaskan untuk menemukan agen umum atau OEM server di tingkat atas untuk mendapatkan barang, dan tingkat yang lebih rendah kecil.Reseller dan pemasok komponen server sulit didapat. Ada juga laporan media bahwa vendor cloud mengatakan bahwa perusahaan besar seperti Byte dan Ali terutama bernegosiasi langsung dengan pabrik asli Nvidia untuk pengadaan, dan agen serta pasar barang bekas sulit memenuhi kebutuhan besar mereka.
Kurangnya permintaan nyata di pasar spot tidak menghalangi semua orang untuk mencari barang. Jika barang spot terjual habis, mereka harus memesan kontrak berjangka. Mereka harus menanggung deposit tinggi yang tidak dapat dikembalikan, dan tanggal pengiriman mungkin jauh jauh.
Dapat dipahami bahwa kartu A800 masih tersedia di pasaran, kartu A100 hampir "punah", dan modul A800 jarang tersedia, sehingga harus memilih masa depan. Mengambil modul A800 8 kartu sebagai contoh, penjual mengutip harga total 1,12 juta, deposit 50%, dan waktu pengiriman 7-8 minggu Tidak ada jaminan pengiriman tepat waktu (waktu pengiriman masih 6 minggu beberapa hari yang lalu), dan deposit No refund. Pada akhir April, harga modul A800 8 kartu penjual lain masih 900.000, dengan deposit 30%-50% dan jangka waktu pengiriman 2 minggu.
Dalam lebih dari sebulan, terlihat perbedaan harga modul A800 8 kartu lebih dari 200.000 yuan, periode pengiriman diperpanjang, dan setoran juga dapat meningkat.
Seorang penjual yang mengaku sebagai pabrik sumber memberi tahu kami bahwa modul 8 kartu tersedia, dan pembeli yang menginginkannya telah memesan sebesar 500 juta yuan, dan sekarang mereka hanya bisa menunggu pemberitahuan kedatangan.
Bayar deposit sepertinya bisa antri lebih awal, tapi risiko tinggi berdampingan. Mengambil modul 8-kartu A800 sebagai contoh, deposit 50% biasanya dibebankan.Modul 80G NV A800 top-of-the-line lebih dari 1 juta, dan deposit minimal 500.000, dan setelah deposit dibayar, tidak dapat dikembalikan. Seorang pembeli di Internet mengatakan bahwa 10 kartu tunggal yang dipesan pada bulan Maret dan April tahun ini belum menerima barangnya.
Waktu pengiriman yang dijanjikan oleh banyak penjual tidak terjamin, harga dasarnya tinggi, dan rasio depositnya juga tinggi, sehingga uang riil yang harus dibayar lebih banyak. Kalau barang belum dapat, tinggal nunggu, toh uang sudah lunas.
**Jika Anda memiliki stok A800 dan A100, di mata semua orang, itu bukan kartu grafis biasa, itu adalah batu bata emas. **
Beberapa orang melihat panasnya dan ingin berbisnis GPU tetapi takut barang jatuh ke tangan mereka. Bagi spekulan individu yang mengejar keuntungan, permintaan sebenarnya diragukan. Harganya terlalu tinggi, tidak sebanding dengan lilinnya.
Produk bekas bermunculan tanpa henti, dan beberapa orang mendaur ulang chip AI bekas dengan harga tinggi, apalagi di mana digunakan, garansi GPU jenis ini menjadi masalah.
Kapasitas produksi hulu yang mendesak: tidak ada kekurangan proses manufaktur lanjutan, di mana masalahnya?
Setelah ChatGPT menjadi populer, perusahaan Internet dan vendor cloud telah menerapkan model AI besar secara lebih luas untuk bersaing mendapatkan daya komputasi yang besar dari GPU Nvidia.Yang kurang tidak hanya A100 dan A800, tetapi juga H100 dan H800 kelas atas. Ada yang tanya, tidak ada kekurangan kapasitas produksi wafer, kenapa GPU tidak bisa disuplai?
"Kinerja GPU meningkat 1000 kali lipat setiap 10 tahun", "semakin banyak Anda membeli, semakin banyak yang Anda hemat", Hukum Huang akan menggantikan Hukum Moore. Meskipun proses manufaktur lanjutan dapat meningkatkan kinerja GPU, Hukum Moore telah berakhir, dan Tujuan server berbeda dengan persyaratan ruang yang menuntut chip ponsel. Jika manufaktur tingkat lanjut adalah pilihan pertama untuk GPU, pengemasan tingkat lanjut adalah lapisan gula pada kue.
Memproduksi GPU dengan proses manufaktur canggih saja tidak cukup, ini adalah langkah besar untuk meningkatkan kinerja GPU di bawah kendala proses manufaktur chip saat ini dengan membuat paket kecil, konsumsi daya rendah, dan lebih sedikit pin, serta mewujudkan interkoneksi yang lebih erat antar chip. keripik dan substrat kemasan. . Dengan salah satu dari empat teknologi Bump, RDL, Wafer, dan TSV ajaib dari kemasan canggih, keterampilan pengemasan baru dapat diterangi.
Nvidia V100, A100, A800, H100, dll. semuanya mengadopsi teknologi pengemasan canggih CoWoS TSMC, yang memecahkan masalah "penyimpanan dan integrasi kalkulasi" chip di bawah latar belakang AI berdaya komputasi tinggi. Namun kapasitas pengecoran wafer 7nm TSMC memang tidak sedikit, namun kali ini kekurangan tersebut masih tertanam di TSMC.
**Pertama-tama, teknologi inti pengemasan lanjutan CoWoS hanya dapat dilakukan oleh TSMC, dan tidak dapat dilakukan tanpa TSMC. **
Wafer pengemasan canggih yang kurang sekarang, teknologi di dalamnya adalah paten TSMC, dan Nvidia hanya dapat menemukan TSMC untuk melakukannya.Proses manufaktur canggih dan pengemasan canggih dipegang teguh oleh TSMC. Pada tahun 2012, TSMC meluncurkan teknologi pengemasan canggih CoWoS yang unik, dan sejak itu memiliki layanan satu atap dari pengecoran wafer hingga pengemasan terminal. Keluarga CoWoS mencakup CoWoS-S dan CoWoS-L/R dan komponen lainnya, dan pelanggan yang terkait dengan aplikasi komputasi berkecepatan tinggi mencakup banyak pabrikan lapis pertama seperti NVIDIA. Selain itu, sebagian besar seri kemasan lanjutan InFO berada di bawah paket Apple.
Anda mengatakan outsourcing? Proses berteknologi rendah baik-baik saja, tetapi teknologi inti masih belum cukup tanpa TSMC, dan pabrik pengemasan lain hanya bisa makan sup.
Baru-baru ini, sebagai tanggapan terhadap kebutuhan sementara, TSMC telah mengadopsi metode outsourcing dan subkontrak bagian dari os (pada substrat), tetapi ini bukan outsourcing dari proses CoWoS. TSMC masih berfokus pada bagian pengemasan lanjutan yang paling berharga.
TSMC telah mencapai pengemasan satu atap dari pengecoran wafer.Google TPU, GPU Nvidia, dan AMD MI300, yang semuanya mengimpor produsen chip AI generatif, telah menyumbangkan sejumlah besar pesanan AIGC ke TSMC, mendorong permintaan untuk perluasan CoWoS.
Kedua, jenis kemasan lanjutan ini juga mengkonsumsi kapasitas produksi kemasan yang sesuai, yang saat ini kekurangan pasokan.
Di satu sisi, pengemasan lanjutan berkembang menuju bidang proses wafer hulu, yaitu pengemasan tingkat wafer, yang menampung lebih banyak pin di area pengemasan yang lebih kecil, dan di sisi lain, berkembang menuju bidang modul hilir dan berkembang. sistem-dalam-paket. Baru-baru ini @手机chip达人 mengungkapkan bahwa proses CoWoS dibagi menjadi interposer dari proses wafer front-end, dan die-to-die stacked die dari kemasan back-end. Kurangnya kapasitas produksi CoWoS TSMC disebabkan oleh kurangnya interposer 65nm.
Interposer (interposer) di sini mengadopsi teknologi Wafer (wafer), misalnya solusi teknologi pengemasan CoWoS TSMC adalah teknologi pengemasan 2.5D, yang mengemas chip ke dalam interposer silikon (interposer) dan menggunakan wafer kepadatan tinggi pada interposer silikon. Pengkabelan digunakan untuk menghubungkan dan kemudian dipasang pada substrat paket.
Oleh karena itu, GPU memerlukan wafer tambahan dalam proses pengemasan lanjutan, yaitu kapasitas CoWoS. Modal asing Nomura Securities memperkirakan kapasitas produksi tahunan CoWoS TSMC akan meningkat dari 70.000 menjadi 80.000 wafer pada akhir tahun 2022 menjadi 140.000 menjadi 150.000 wafer pada akhir tahun 2023. Dengan perluasan kapasitas produksi yang berkelanjutan, diperkirakan kapasitas produksi sebesar 200.000 wafer akan ditantang pada akhir tahun 2024.
Mengisi celah dalam kapasitas pengemasan tingkat wafer telah menjadi prioritas utama. Selain itu, dengan perkembangan teknologi wafer yang berkelanjutan, area wafer secara bertahap meningkat Dibandingkan dengan InFO, CoWoS untuk pasar kelas atas memiliki jumlah koneksi dan ukuran paket yang relatif besar. Menurut @手机chip达人, permintaan untuk interposer 65nm 1,4 kali lebih tinggi daripada top die (H100).
Kapasitas produksi pengemasan CoWoS TSMC yang canggih sangat kekurangan pasokan Sejak tahun lalu, permintaan CoWoS TSMC hampir dua kali lipat, dan permintaan akan terus menjadi kuat tahun depan. Pengemasan lanjutan hanya dapat dilakukan oleh pabrik Taiwan TSMC, dan TSMC secara langsung menerapkan dan memperluas di setiap pabrik untuk mempercepat kemajuan proses pengemasan lanjutan.
"Kekurangan kartu grafis" dibakar ke server api nyata atau api palsu?
Untuk pembeli yang benar-benar membutuhkannya, menggunakan kartu grafis kelas atas seperti itu pada dasarnya digunakan untuk server AI, baik yang tidak memiliki kartu, atau modul, atau mesin yang lengkap. ** Namun dalam hal kebutuhan nyata, "BRIC" sebenarnya kalah dengan server. **
GPU untuk AI kurang dari kenaikan harga, dan harga server yang dilengkapi dengannya naik. Pada awal April, dilaporkan bahwa Inspur akan menaikkan harga server AI sekitar 20%. Ini setelah Nvidia menghentikan pasokan chip A100 dan H100 teratasnya untuk keputusan China. Sumber selanjutnya mengkonfirmasi bahwa kenaikan tersebut tidak ditentukan.Sumber lain mengatakan bahwa pemasok server hanya menaikkan harga server Nvidia AI, dan harga produk server lainnya tidak berubah.
Menurut data dari Pacific Securities, 8 bahan habis pakai server teratas di pasar server AI China akan mencapai 92% pada tahun 2022, dan Inspur akan menempati urutan teratas dengan 37%. Pengungkapan keuangan Inspur menunjukkan bahwa Nvidia telah menjadi pemasok chip utamanya. Pada 2019, Intel dan Nvidia adalah dua pemasok chip teratas Inspur.
Satu kartu GPU setara dengan komponen server. Permintaan untuk satu kartu lebih sensitif terhadap harga. Server perlu menggunakan banyak modul GPU, dengan maksimal 8 kartu. Bahkan versi PCle dari server saat ini berharga sekitar 800.000 yuan, dan versi NV adalah level 100.000 yuan juta.
Saat ini, harga berjangka A800 lebih dari 1,2 juta yuan, dan harga spot relatif kecil Menurut seorang penjual dari penyedia layanan komputasi terkenal, harga spot mesin A800 adalah 1,68 juta yuan, dan deposit adalah 50%. "Akhir Juli ini ada 35 unit. Sudah dipesan 25 unit." Bahkan untuk keperluan bisnis, harganya tidak murah. Apalagi menurut berita pasar, masa pengiriman normal mesin A800 sudah dijadwalkan hingga akhir Oktober, bahkan banyak seller yang langsung melapor selama 24 minggu, dan masa pengiriman mendekati 6 bulan.
Di mata beberapa teman yang berkecimpung di seluruh bisnis server, sepopuler apa pun GPU-nya, tidak sedekat permintaan sebenarnya dengan server, dan lebih mudah berbisnis. Saudara Xu berkata bahwa dia sekarang fokus pada server, dan dia tidak tertarik pada kartu tunggal. Menjual server adalah mengirim konfigurasi ke pelanggan sebelum mengutip. Kartu lebih merepotkan, dan itu tergantung pada apakah antarmukanya kompatibel ... Singkatnya , servernya relatif murah, sejujurnya lebih banyak transaksi dan tingkat turnover tinggi. Dan kartunya banyak pertanyaan, volume transaksinya terlalu kecil, hanya perusahaan besar yang meminta banyak. "Yang membutuhkan lebih banyak hampir semuanya untuk seluruh mesin, dan yang dalam jumlah kecil semuanya kartu."
Dalam berbagai kebutuhan pelanggan, tidak semua server AI adalah top-of-the-line saat muncul, dan ada banyak permintaan saat muncul. Baik itu server PCIE A800, server NVlinvk, atau server HGX H800, dll., perusahaan memilih konfigurasi sesuai dengan kebutuhan yang berbeda. Tentunya harga server akan lebih transparan, dan akan ada lebih banyak peluang untuk perbandingan harga.
GPU dan hard disk adalah salah satu aksesori server. Sekarang AI telah menjadi populer di server terkait, GPU kelas atas seperti A800 terhitung mahal dan pasokannya sedikit. Di antara mesin lengkap, sensitivitas harganya adalah juga terdepan.
**Kekurangan GPU saja membatasi pasokan normal server AI, yang tampaknya populer di pasar, tetapi bercampur dengan lebih banyak permintaan palsu. **
Gelombang demam GPU ini mengingatkan pada tahun 2020, ketika orang-orang dengan panik berspekulasi tentang bisnis pistol suhu dahi.Pada saat itu, efek fisi dari lingkaran pertemanan menyebabkan permintaan palsu di pasar yang jauh lebih besar daripada yang sebenarnya. tuntutan. Akibatnya, pasokan terbatas, harga spot jauh lebih tinggi dari harga berjangka, periode pengiriman tidak dijamin, dan biaya default penjual rendah.
Hari-hari kelangkaan chip yang ekstrem telah berakhir. Meskipun kapasitas produksi GPU high-end tidak akan tersedia untuk sementara waktu, hambatan permintaan tingkat perusahaan terkait relatif tinggi, membutuhkan dukungan teknis formal dan layanan purna jual, ditambah dengan peningkatan permintaan yang tajam, yang semuanya diusulkan untuk semua orang.Tanpa kerja keras jangka panjang dan fondasi yang kokoh, sulit untuk mendapatkan bagian dari tren dengan hanya mengandalkan cara-cara oportunistik.
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Meraih "makanan dan rumput" perang AI, harga kartu grafis AI Nvidia melonjak
Teks asli: Shinsei
Dari era penambangan hingga era AI, kekuatan komputasi GPU kembali berperan. Persaingan cadangan daya komputasi antara vendor cloud dalam dan luar negeri sedang berjalan lancar...
Byte telah membeli 100.000 keping kartu akselerator A100 dan H800 dari Nvidia, melebihi US$1 miliar (lebih dari RMB 7 miliar).Volume pembelian Byte saja tahun ini mendekati total penjualan GPU komersial yang dijual Nvidia di China tahun lalu. , Perusahaan besar lainnya memiliki nilai pesanan setidaknya lebih dari 1 miliar yuan.
OpenAI yang sudah menggunakan sekitar 25.000 GPU Nvidia mengatakan masih ada kekurangan GPU. ChatGPT membutuhkan 13,5 EPLOPS daya komputasi untuk setiap 100 juta pengguna aktif, didukung oleh sekitar 69.000 server NVIDIA DGX A100 80G, dan daya komputasi global saat ini hanya dapat mendukung rata-rata 100 juta pengguna online harian.
Di pasar sirkulasi spot GPU kelas atas ini, bahkan setengah orang awam pun ingin mencoba ketika dia melihat peluang, dan matanya penuh dengan "batu bata emas".
**A800, yang awalnya sekitar 74.000 yuan, kini telah meningkat menjadi lebih dari 85.000 yuan, dan versi high-end telah meningkat menjadi sekitar 100.000 yuan. ** Pada akhir April, kutipan berjangka untuk modul A800 8-kartu di pasar masih 900.000 yuan, dengan periode pengiriman 2 minggu, sekarang kutipan telah mencapai lebih dari 1 juta yuan, dan periode pengiriman telah diperpanjang menjadi 7-8 minggu. Pada bulan Mei, A800 bahkan dipecat hingga 100.000 yuan.
"Waktu pengiriman untuk mereka yang berada di sela-sela lebih lama, dan harganya lebih mahal." Mereka yang tidak memiliki satu kartu membeli modul, dan mereka yang tidak dapat membeli modul kemudian membeli seluruh server.
Dari kartu tunggal GPU ke modul ke server AI, kenaikan harga gila-gilaan, kekurangan serius, dan waktu pengiriman semakin lama.Apakah permintaan di pasar benar-benar begitu tinggi? Mengapa GPU Nvidia sangat pendek? Selain itu, tidak ada tanggal pengiriman yang dijamin untuk produk asli baru, pasar barang bekas, saluran abu-abu, deposit tidak akan dikembalikan setelah pembayaran, dan kekacauan seputar server AI sedang berlangsung...
Kekacauan Pasar GPU NVIDIA
"Saya butuh 1.000 atau 3.000 tiket sekaligus, dan saya tidak bisa menyediakannya sama sekali. Apakah permintaan di sini asli atau palsu?"
"Apakah pasarnya bagus? Aku punya cara untuk mendapatkan barangnya, tapi aku khawatir itu akan hancur."
**Pada bulan Mei, GPU Nvidia masih kehabisan stok dan harganya naik. **
Menurut seorang agen, harga Nvidia A100 mulai naik pada Desember tahun lalu, hingga semester pertama April tahun ini, kenaikan harga kumulatif dalam lima bulan mencapai 37,5%, kenaikan harga kumulatif A800 mencapai 20,0% selama periode tersebut. periode yang sama.
Waktu tunggu telah diperpanjang dari satu bulan menjadi tiga bulan atau lebih, dan beberapa pesanan baru "mungkin tidak dikirimkan hingga Desember".
Beberapa pabrikan yang memiliki keunggulan kuantitatif dalam server AI menggunakan sumber daya GPU sambil mengencangkan ikat pinggang mereka. Microsoft jatuh ke dalam dilema kekurangan perangkat keras server AI secara internal, dan mengadopsi mekanisme "pasokan kuota". Pada bulan Juni, disebutkan dalam risalah pembicaraan CEO OpenAI Sam Altman yang dihapus bahwa Open AI juga kekurangan GPU, dan kekurangan GPU telah menunda banyak rencana jangka pendek pelanggan.
Berdiri di gelombang kecerdasan buatan, Nvidia, "penjual sekop", kini hampir memonopoli seluruh pasar chip server AI dan telah menjadi pemenang terbesar. Belum lama ini, nilai pasarnya melebihi satu triliun yuan, menjadi perusahaan chip pertama dalam sejarah dengan nilai pasar melebihi US$1 triliun.
Dipengaruhi oleh larangan AS, pasokan spot Nvidia A100 di negara saya langsung terputus. Ada sekitar 40.000 hingga 50.000 A100 yang dapat digunakan untuk melatih model besar AI di China. Pasokannya cukup terbatas. Penggunaan internal sangat ketat terbatas.
Namun, A800 versi kastrasi A100 yang saat ini pasokan normal baru mulai berproduksi pada kuartal ketiga tahun lalu, ditambah dengan meningkatnya permintaan baru, menghadapi kekurangan pasokan.Pada awal Mei, A800 telah meningkat hingga 100.000 yuan di Cina.
Secara umum, A800, A100, dll. yang mahal yang dilaporkan oleh media termasuk dalam konfigurasi teratas dalam seri ini, yaitu memori GPU 80G, dan teknologi interkoneksi mendukung versi NVLink.
Seorang teman di bisnis GPU di pasar memberi tahu kami bahwa harga A800 di pasar spot berubah setiap hari, dan perubahan nilai tukar jangka pendek juga akan memengaruhi harga. Tawaran terendah mungkin naik menjadi 86.000."
Ketika kelangkaan dan kenaikan harga meningkat, semakin banyak peserta yang mengirimkan dan mencari GPU, dan kekacauan di pasar GPU dimulai: banyak pertanyaan, pasar berjangka populer dan simpanan tinggi, dan arus keluar dari saluran bekas. "lubang"...
Kesan yang paling langsung adalah permintaan yang riuh dari segala penjuru Banyak praktisi pasar yang terkait dengan mesin server dan GPU server telah melaporkan bahwa baru-baru ini karena popularitas AI, banyak orang datang untuk menanyakan tentang kartu dan harga, tetapi tidak banyak yang benar-benar dapat membuat kesepakatan.
Saya datang untuk mencari kartu tunggal seperti A800 dan A100. Permintaannya kecil dan saya suka harganya, tetapi permintaannya besar, dan saya membutuhkan ratusan kartu. Saya berkata bahwa saya membantu pelanggan dan teman, dan pedagang dari Huaqiangbei adalah dikirim Rasanya seperti mereka menetapkan harga.
"Ketika Anda menghasilkan begitu banyak, bagaimana Anda bisa menyediakannya? Tanyakan padanya apakah dia memperhatikan keunggulan harga atau keunggulan waktu pengiriman, dan tidak ada informasi lebih lanjut. " "Beberapa orang hampir tidak membayar barang, dan mereka menghilang setelah bertanya." Transaksi pembelian yang mudah.
Saat ini, ada dua saluran distribusi utama untuk penyediaan GPU tingkat perusahaan seperti Nvidia: satu adalah pasar agen-dealer-pabrik-umum asli; yang lainnya adalah pabrik-pabrik-OEM asli (produsen server)-dealer- pasar . Yang beredar di pasar spot terutama di distribusi, solusi server atau pasar barang bekas.
Produk tingkat perusahaan tersebut mencakup pelanggan hilir seperti perusahaan, sekolah, dan penyedia solusi server. Saudara Xu, yang berfokus pada bisnis server, mengatakan bahwa permintaan sebenarnya dari Alibaba dan perusahaan lain biasanya pesanan besar, pelanggan besar ini diprioritaskan untuk menemukan agen umum atau OEM server di tingkat atas untuk mendapatkan barang, dan tingkat yang lebih rendah kecil.Reseller dan pemasok komponen server sulit didapat. Ada juga laporan media bahwa vendor cloud mengatakan bahwa perusahaan besar seperti Byte dan Ali terutama bernegosiasi langsung dengan pabrik asli Nvidia untuk pengadaan, dan agen serta pasar barang bekas sulit memenuhi kebutuhan besar mereka.
Kurangnya permintaan nyata di pasar spot tidak menghalangi semua orang untuk mencari barang. Jika barang spot terjual habis, mereka harus memesan kontrak berjangka. Mereka harus menanggung deposit tinggi yang tidak dapat dikembalikan, dan tanggal pengiriman mungkin jauh jauh.
Dapat dipahami bahwa kartu A800 masih tersedia di pasaran, kartu A100 hampir "punah", dan modul A800 jarang tersedia, sehingga harus memilih masa depan. Mengambil modul A800 8 kartu sebagai contoh, penjual mengutip harga total 1,12 juta, deposit 50%, dan waktu pengiriman 7-8 minggu Tidak ada jaminan pengiriman tepat waktu (waktu pengiriman masih 6 minggu beberapa hari yang lalu), dan deposit No refund. Pada akhir April, harga modul A800 8 kartu penjual lain masih 900.000, dengan deposit 30%-50% dan jangka waktu pengiriman 2 minggu.
Dalam lebih dari sebulan, terlihat perbedaan harga modul A800 8 kartu lebih dari 200.000 yuan, periode pengiriman diperpanjang, dan setoran juga dapat meningkat.
Seorang penjual yang mengaku sebagai pabrik sumber memberi tahu kami bahwa modul 8 kartu tersedia, dan pembeli yang menginginkannya telah memesan sebesar 500 juta yuan, dan sekarang mereka hanya bisa menunggu pemberitahuan kedatangan.
Bayar deposit sepertinya bisa antri lebih awal, tapi risiko tinggi berdampingan. Mengambil modul 8-kartu A800 sebagai contoh, deposit 50% biasanya dibebankan.Modul 80G NV A800 top-of-the-line lebih dari 1 juta, dan deposit minimal 500.000, dan setelah deposit dibayar, tidak dapat dikembalikan. Seorang pembeli di Internet mengatakan bahwa 10 kartu tunggal yang dipesan pada bulan Maret dan April tahun ini belum menerima barangnya.
Waktu pengiriman yang dijanjikan oleh banyak penjual tidak terjamin, harga dasarnya tinggi, dan rasio depositnya juga tinggi, sehingga uang riil yang harus dibayar lebih banyak. Kalau barang belum dapat, tinggal nunggu, toh uang sudah lunas.
**Jika Anda memiliki stok A800 dan A100, di mata semua orang, itu bukan kartu grafis biasa, itu adalah batu bata emas. **
Beberapa orang melihat panasnya dan ingin berbisnis GPU tetapi takut barang jatuh ke tangan mereka. Bagi spekulan individu yang mengejar keuntungan, permintaan sebenarnya diragukan. Harganya terlalu tinggi, tidak sebanding dengan lilinnya.
Produk bekas bermunculan tanpa henti, dan beberapa orang mendaur ulang chip AI bekas dengan harga tinggi, apalagi di mana digunakan, garansi GPU jenis ini menjadi masalah.
Kapasitas produksi hulu yang mendesak: tidak ada kekurangan proses manufaktur lanjutan, di mana masalahnya?
Setelah ChatGPT menjadi populer, perusahaan Internet dan vendor cloud telah menerapkan model AI besar secara lebih luas untuk bersaing mendapatkan daya komputasi yang besar dari GPU Nvidia.Yang kurang tidak hanya A100 dan A800, tetapi juga H100 dan H800 kelas atas. Ada yang tanya, tidak ada kekurangan kapasitas produksi wafer, kenapa GPU tidak bisa disuplai?
"Kinerja GPU meningkat 1000 kali lipat setiap 10 tahun", "semakin banyak Anda membeli, semakin banyak yang Anda hemat", Hukum Huang akan menggantikan Hukum Moore. Meskipun proses manufaktur lanjutan dapat meningkatkan kinerja GPU, Hukum Moore telah berakhir, dan Tujuan server berbeda dengan persyaratan ruang yang menuntut chip ponsel. Jika manufaktur tingkat lanjut adalah pilihan pertama untuk GPU, pengemasan tingkat lanjut adalah lapisan gula pada kue.
Memproduksi GPU dengan proses manufaktur canggih saja tidak cukup, ini adalah langkah besar untuk meningkatkan kinerja GPU di bawah kendala proses manufaktur chip saat ini dengan membuat paket kecil, konsumsi daya rendah, dan lebih sedikit pin, serta mewujudkan interkoneksi yang lebih erat antar chip. keripik dan substrat kemasan. . Dengan salah satu dari empat teknologi Bump, RDL, Wafer, dan TSV ajaib dari kemasan canggih, keterampilan pengemasan baru dapat diterangi.
**Pertama-tama, teknologi inti pengemasan lanjutan CoWoS hanya dapat dilakukan oleh TSMC, dan tidak dapat dilakukan tanpa TSMC. **
Wafer pengemasan canggih yang kurang sekarang, teknologi di dalamnya adalah paten TSMC, dan Nvidia hanya dapat menemukan TSMC untuk melakukannya.Proses manufaktur canggih dan pengemasan canggih dipegang teguh oleh TSMC. Pada tahun 2012, TSMC meluncurkan teknologi pengemasan canggih CoWoS yang unik, dan sejak itu memiliki layanan satu atap dari pengecoran wafer hingga pengemasan terminal. Keluarga CoWoS mencakup CoWoS-S dan CoWoS-L/R dan komponen lainnya, dan pelanggan yang terkait dengan aplikasi komputasi berkecepatan tinggi mencakup banyak pabrikan lapis pertama seperti NVIDIA. Selain itu, sebagian besar seri kemasan lanjutan InFO berada di bawah paket Apple.
Anda mengatakan outsourcing? Proses berteknologi rendah baik-baik saja, tetapi teknologi inti masih belum cukup tanpa TSMC, dan pabrik pengemasan lain hanya bisa makan sup.
Baru-baru ini, sebagai tanggapan terhadap kebutuhan sementara, TSMC telah mengadopsi metode outsourcing dan subkontrak bagian dari os (pada substrat), tetapi ini bukan outsourcing dari proses CoWoS. TSMC masih berfokus pada bagian pengemasan lanjutan yang paling berharga.
TSMC telah mencapai pengemasan satu atap dari pengecoran wafer.Google TPU, GPU Nvidia, dan AMD MI300, yang semuanya mengimpor produsen chip AI generatif, telah menyumbangkan sejumlah besar pesanan AIGC ke TSMC, mendorong permintaan untuk perluasan CoWoS.
Kedua, jenis kemasan lanjutan ini juga mengkonsumsi kapasitas produksi kemasan yang sesuai, yang saat ini kekurangan pasokan.
Di satu sisi, pengemasan lanjutan berkembang menuju bidang proses wafer hulu, yaitu pengemasan tingkat wafer, yang menampung lebih banyak pin di area pengemasan yang lebih kecil, dan di sisi lain, berkembang menuju bidang modul hilir dan berkembang. sistem-dalam-paket. Baru-baru ini @手机chip达人 mengungkapkan bahwa proses CoWoS dibagi menjadi interposer dari proses wafer front-end, dan die-to-die stacked die dari kemasan back-end. Kurangnya kapasitas produksi CoWoS TSMC disebabkan oleh kurangnya interposer 65nm.
Oleh karena itu, GPU memerlukan wafer tambahan dalam proses pengemasan lanjutan, yaitu kapasitas CoWoS. Modal asing Nomura Securities memperkirakan kapasitas produksi tahunan CoWoS TSMC akan meningkat dari 70.000 menjadi 80.000 wafer pada akhir tahun 2022 menjadi 140.000 menjadi 150.000 wafer pada akhir tahun 2023. Dengan perluasan kapasitas produksi yang berkelanjutan, diperkirakan kapasitas produksi sebesar 200.000 wafer akan ditantang pada akhir tahun 2024.
Mengisi celah dalam kapasitas pengemasan tingkat wafer telah menjadi prioritas utama. Selain itu, dengan perkembangan teknologi wafer yang berkelanjutan, area wafer secara bertahap meningkat Dibandingkan dengan InFO, CoWoS untuk pasar kelas atas memiliki jumlah koneksi dan ukuran paket yang relatif besar. Menurut @手机chip达人, permintaan untuk interposer 65nm 1,4 kali lebih tinggi daripada top die (H100).
Kapasitas produksi pengemasan CoWoS TSMC yang canggih sangat kekurangan pasokan Sejak tahun lalu, permintaan CoWoS TSMC hampir dua kali lipat, dan permintaan akan terus menjadi kuat tahun depan. Pengemasan lanjutan hanya dapat dilakukan oleh pabrik Taiwan TSMC, dan TSMC secara langsung menerapkan dan memperluas di setiap pabrik untuk mempercepat kemajuan proses pengemasan lanjutan.
"Kekurangan kartu grafis" dibakar ke server api nyata atau api palsu?
Untuk pembeli yang benar-benar membutuhkannya, menggunakan kartu grafis kelas atas seperti itu pada dasarnya digunakan untuk server AI, baik yang tidak memiliki kartu, atau modul, atau mesin yang lengkap. ** Namun dalam hal kebutuhan nyata, "BRIC" sebenarnya kalah dengan server. **
GPU untuk AI kurang dari kenaikan harga, dan harga server yang dilengkapi dengannya naik. Pada awal April, dilaporkan bahwa Inspur akan menaikkan harga server AI sekitar 20%. Ini setelah Nvidia menghentikan pasokan chip A100 dan H100 teratasnya untuk keputusan China. Sumber selanjutnya mengkonfirmasi bahwa kenaikan tersebut tidak ditentukan.Sumber lain mengatakan bahwa pemasok server hanya menaikkan harga server Nvidia AI, dan harga produk server lainnya tidak berubah.
Menurut data dari Pacific Securities, 8 bahan habis pakai server teratas di pasar server AI China akan mencapai 92% pada tahun 2022, dan Inspur akan menempati urutan teratas dengan 37%. Pengungkapan keuangan Inspur menunjukkan bahwa Nvidia telah menjadi pemasok chip utamanya. Pada 2019, Intel dan Nvidia adalah dua pemasok chip teratas Inspur.
Satu kartu GPU setara dengan komponen server. Permintaan untuk satu kartu lebih sensitif terhadap harga. Server perlu menggunakan banyak modul GPU, dengan maksimal 8 kartu. Bahkan versi PCle dari server saat ini berharga sekitar 800.000 yuan, dan versi NV adalah level 100.000 yuan juta.
Saat ini, harga berjangka A800 lebih dari 1,2 juta yuan, dan harga spot relatif kecil Menurut seorang penjual dari penyedia layanan komputasi terkenal, harga spot mesin A800 adalah 1,68 juta yuan, dan deposit adalah 50%. "Akhir Juli ini ada 35 unit. Sudah dipesan 25 unit." Bahkan untuk keperluan bisnis, harganya tidak murah. Apalagi menurut berita pasar, masa pengiriman normal mesin A800 sudah dijadwalkan hingga akhir Oktober, bahkan banyak seller yang langsung melapor selama 24 minggu, dan masa pengiriman mendekati 6 bulan.
Di mata beberapa teman yang berkecimpung di seluruh bisnis server, sepopuler apa pun GPU-nya, tidak sedekat permintaan sebenarnya dengan server, dan lebih mudah berbisnis. Saudara Xu berkata bahwa dia sekarang fokus pada server, dan dia tidak tertarik pada kartu tunggal. Menjual server adalah mengirim konfigurasi ke pelanggan sebelum mengutip. Kartu lebih merepotkan, dan itu tergantung pada apakah antarmukanya kompatibel ... Singkatnya , servernya relatif murah, sejujurnya lebih banyak transaksi dan tingkat turnover tinggi. Dan kartunya banyak pertanyaan, volume transaksinya terlalu kecil, hanya perusahaan besar yang meminta banyak. "Yang membutuhkan lebih banyak hampir semuanya untuk seluruh mesin, dan yang dalam jumlah kecil semuanya kartu."
Dalam berbagai kebutuhan pelanggan, tidak semua server AI adalah top-of-the-line saat muncul, dan ada banyak permintaan saat muncul. Baik itu server PCIE A800, server NVlinvk, atau server HGX H800, dll., perusahaan memilih konfigurasi sesuai dengan kebutuhan yang berbeda. Tentunya harga server akan lebih transparan, dan akan ada lebih banyak peluang untuk perbandingan harga.
GPU dan hard disk adalah salah satu aksesori server. Sekarang AI telah menjadi populer di server terkait, GPU kelas atas seperti A800 terhitung mahal dan pasokannya sedikit. Di antara mesin lengkap, sensitivitas harganya adalah juga terdepan.
**Kekurangan GPU saja membatasi pasokan normal server AI, yang tampaknya populer di pasar, tetapi bercampur dengan lebih banyak permintaan palsu. **
Gelombang demam GPU ini mengingatkan pada tahun 2020, ketika orang-orang dengan panik berspekulasi tentang bisnis pistol suhu dahi.Pada saat itu, efek fisi dari lingkaran pertemanan menyebabkan permintaan palsu di pasar yang jauh lebih besar daripada yang sebenarnya. tuntutan. Akibatnya, pasokan terbatas, harga spot jauh lebih tinggi dari harga berjangka, periode pengiriman tidak dijamin, dan biaya default penjual rendah.
Hari-hari kelangkaan chip yang ekstrem telah berakhir. Meskipun kapasitas produksi GPU high-end tidak akan tersedia untuk sementara waktu, hambatan permintaan tingkat perusahaan terkait relatif tinggi, membutuhkan dukungan teknis formal dan layanan purna jual, ditambah dengan peningkatan permintaan yang tajam, yang semuanya diusulkan untuk semua orang.Tanpa kerja keras jangka panjang dan fondasi yang kokoh, sulit untuk mendapatkan bagian dari tren dengan hanya mengandalkan cara-cara oportunistik.