Karnaval komputasi, siapa "Versi Cina" dari Nvidia?

**Sumber: **Inti Tide IC

Teks: Wang Yike Ten Alleys

Editor: Su Yang Xubai

* "Hal-hal inti itu berat" Rencana penelitian industri semikonduktor Tencent Technology, edisi Core Tide IC dan Tencent Technology ini, berfokus di balik ledakan model besar, pembentukan pola baru di pasar daya komputasi chip global, tata letak perusahaan terkemuka dan pertumbuhan mengejar produsen dalam negeri. *

Gelombang revolusi AI yang secara tidak sengaja dipicu oleh ChatGPT sekali lagi menyulut pasar chip AI.

"Chip seperti A800 dan H800 telah berubah dari sekitar 120.000 RMB menjadi 250.000 atau bahkan 300.000, atau bahkan setinggi 500.000." Ini adalah pemandangan nyata di lingkaran distribusi chip dalam negeri. Meroket, pabrikan besar dalam negeri ingin mendapatkan chip dalam jumlah besar kuantitas, dan mereka harus memiliki "hubungan langsung" dengan Huang Renxun.

Seperti yang disebut "tanpa chip, tanpa AI", karena permintaan akan daya komputasi model besar melonjak, chip, yang merupakan fondasi teknologi AI, mengantarkan peluang bisnis yang penting. OpenAI pernah meramalkan bahwa untuk membuat terobosan dalam penelitian ilmiah kecerdasan buatan, sumber daya komputasi yang dibutuhkan untuk dikonsumsi akan berlipat ganda setiap 3 hingga 4 bulan, dan dana juga perlu disesuaikan dengan pertumbuhan eksponensial "Hukum Moore".

CFO Nvidia Kress mengatakan bahwa permintaan pasar saat ini untuk daya komputasi AI telah melebihi ekspektasi perusahaan untuk beberapa kuartal mendatang, dan terlalu banyak pesanan yang harus dipenuhi.

Gelombang AI generatif telah menghasilkan banyak uang bagi Nvidia. Setelah 14 tahun listing, Nvidia berhasil memasuki klub kapitalisasi pasar triliunan dolar. Untuk mencapai tujuan tersebut, raksasa Silicon Valley seperti Apple membutuhkan waktu 37 tahun, Microsoft membutuhkan waktu 33 tahun, Amazon membutuhkan waktu 21 tahun, dan Tesla berlari paling cepat. , hanya membutuhkan waktu 11 tahun.

Hal ini juga mendorong perusahaan chip China untuk bersemangat mencoba Perusahaan chip domestik seperti Haiguang Information, Cambrian, Loongson Zhongke, Biren Technology, Tianshu Zhixin, dll. untuk mengandalkan penelitian mereka sendiri Pemberdayaan Model Domestik Skala Besar. Beberapa pabrikan besar juga mulai menggunakan chip AI yang dikembangkan sendiri untuk mendukung bagian dari tugas pelatihan atau penalaran model, seperti chip Baidu Kunlun, Ali Hanguang 800...

Menghadapi pasar triliunan dolar yang dibawa oleh kekuatan komputasi AI, dapatkah perusahaan domestik menikmati gelombang dividen ini? Bagaimana seharusnya produsen chip dalam negeri mengatasi "gunung" Nvidia? Ini adalah masalah yang tidak dapat dihindari oleh perusahaan mana pun.

01. Kegilaan AI telah menciptakan nilai pasar triliunan dolar Nvidia

Pria yang suka memakai pakaian kulit adalah yang pertama menikmati keuntungan AI.

Pada akhir tahun 2022, setelah ChatGPT keluar, dengan cepat menyebabkan kegilaan AI di seluruh dunia. Di antara mereka, Nvidia, yang bertaruh pada masa depan AI, telah menjadi salah satu perusahaan yang paling diuntungkan dari gelombang ChatGPT. Pada konferensi Nvidia GTC tahun ini, pendiri dan CEO Nvidia Jen-Hsun Huang mengungkapkan kecerdasan buatan dan teknologi chip baru, dan mengatakan bahwa "momen iPhone" untuk kecerdasan buatan telah tiba.

Pada konferensi pers, Huang Renxun mengatakan bahwa penyebaran model bahasa skala besar yang mirip dengan ChatGPT adalah beban kerja penalaran baru yang penting.Untuk mendukung penalaran model bahasa skala besar, Nvidia telah merilis serangkaian produk dan layanan seputar AI lapangan. Di antara mereka, arsitektur baru diadopsi. Dan chip H100 dengan proses yang lebih canggih adalah yang paling menarik.

Sumber: Situs web resmi NVIDIA

GPU ini adalah H100 berdasarkan arsitektur NVIDIA Hopper, dilengkapi dengan mesin Transformer yang dirancang untuk memproses dan menggerakkan model terlatih yang serupa dengan ChatGPT. Server standar dengan empat pasang H100 dan dual-GPU NVLink dapat mempercepat pelatihan dengan faktor 10 dibandingkan dengan HGX A100 untuk pemrosesan GPT-3.

"H100 dapat mengurangi biaya pemrosesan model bahasa besar dengan urutan besarnya." Huang Renxun pernah berkata. Berbasis chip H100, Nvidia juga telah membangun superkomputer DGX terbaru, dilengkapi dengan 8 GPU H100, sehingga dapat dihubungkan untuk membentuk GPU yang sangat besar, memberikan "cetak biru" untuk pembangunan infrastruktur AI. Superkomputer DGX telah sepenuhnya diproduksi.

Setelah itu, chip GPU kinerja tinggi Nvidia seperti A100, H100, A800 dan H800 menaikkan harganya, terutama chip unggulan H100, yang dijual seharga lebih dari 40.000 dolar AS di platform e-commerce luar negeri pada pertengahan April, dan beberapa penjual bahkan memberi harga 6,5 Sepuluh ribu dolar AS.

Pada saat yang sama, chip A800 dan H800 khusus China dari Nvidia juga telah dijarah. "Pada dasarnya sulit bagi perusahaan model skala besar dalam negeri untuk mendapatkan chip ini. Permintaan di seluruh pasar melebihi permintaan, dan kekurangannya sangat serius," Zhang Jue, pendiri pemasok pengadaan komponen elektronik "Guangxin Century", berkata terus terang ke Xinchao IC: "Tahun ini, chip GPU jenis ini telah berubah dari sekitar RMB 120.000 menjadi RMB 250.000 atau bahkan RMB 300.000, atau bahkan hingga RMB 500.000."

Tidak diragukan lagi bahwa kepemimpinan teknologi Nvidia dalam GPU berperforma tinggi, dan dua chip AI-nya, A100 dan H100, adalah kekuatan pendorong inti untuk model bahasa besar seperti ChatGPT.

Beberapa profesional komputasi awan percaya bahwa 10.000 chip Nvidia A100 adalah ambang daya komputasi untuk model AI yang bagus. Superkomputer AI yang dibangun Microsoft untuk OpenAI untuk melatih modelnya dilengkapi dengan 10.000 chip GPU Nvidia. Secara kebetulan, perusahaan Internet domestik besar juga telah memesan dalam jumlah besar dengan Nvidia. Menurut laporan LatePost yang terlambat, Byte telah memesan lebih dari US$1 miliar GPU dari Nvidia tahun ini. Perusahaan besar lain yang tidak dapat disebutkan namanya memiliki pesanan setidaknya lebih dari dari 1 miliar Yuan Renminbi.

Yang lebih dibesar-besarkan adalah apakah perusahaan-perusahaan ini akhirnya dapat mengambil kartu tersebut lebih bergantung pada hubungan bisnis, terutama apakah itu adalah pelanggan utama Nvidia di masa lalu. "Apakah Anda berbicara dengan Nvidia China atau pergi ke Amerika Serikat untuk berbicara dengan Lao Huang (Huang Renxun) secara langsung, ada perbedaan."

Akibatnya, data keuangan Nvidia sekali lagi naik ke level tertinggi baru. Pada tanggal 25 Mei, Nvidia merilis laporan keuangan kuartal pertama Pendapatan bisnis pusat data tempat chip AI berada mencapai rekor tertinggi, mempertahankan tingkat pertumbuhan tahun-ke-tahun lebih dari 10%.

Huang Renxun mengungkapkan bahwa seluruh lini produk pusat data sekarang sedang diproduksi, dan pasokannya sangat ditingkatkan untuk memenuhi lonjakan permintaan.

Serangkaian kabar baik langsung mendorong harga saham Nvidia semakin tinggi. Pada sore hari tanggal 30 Mei, pasar saham AS dibuka, dan nilai pasar Nvidia secara langsung melebihi $1 triliun. Pada 19 Juli, total nilai pasar Nvidia melonjak 175 miliar dolar AS dalam semalam, memicu ledakan investasi lagi.

Menurut situs web perusahaanmarketcap, total nilai pasar Nvidia menempati urutan keenam di dunia, dan juga merupakan perusahaan chip dengan nilai pasar tertinggi saat ini, mendekati dua TSMC ($533,6 miliar).Harga saham Nvidia telah meningkat sekitar 180% pada tahun ini tahun. Saya harus mengakui bahwa gelombang kegilaan AI ini telah membuat Nvidia Huang Renxun penuh.

02. Tidak mungkin Nvidia menikmati hiruk pikuk daya komputasi

"Nvidia tidak akan memonopoli pelatihan skala besar dan chip inferensi selamanya."

Itu adalah tanggapan CEO Tesla Elon Musk terhadap tweet dari Adam D'Angelo, CEO situs tanya jawab sosial dan pasar pengetahuan online Quora, yang menulis: "Salah satu alasan ledakan AI kurang dihargai adalah kekurangan GPU./TPU, yang menyebabkan berbagai pembatasan peluncuran produk dan pelatihan model, tetapi tidak satu pun darinya yang terlihat jelas. Sebaliknya, kami melihat harga saham Nvidia melonjak. Setelah pasokan memenuhi permintaan, segalanya menjadi lebih cepat."

Jelas, Silicon Valley Iron Man tidak setuju dengan ini. Dia juga berkomentar: "Banyak chip akselerator jaringan saraf lainnya juga sedang dikembangkan, dan Nvidia tidak akan memonopoli pelatihan dan penalaran skala besar selamanya."

Badai akan datang.

Seberapa besar pasar daya komputasi yang dapat dipusatkan oleh kegilaan AI pada model-model besar? Soochow Securities percaya bahwa permintaan daya komputasi model AI terus berkembang, membuka permintaan pasar untuk chip komputasi berkinerja tinggi Diperkirakan ukuran pasar chip AI negara saya akan mencapai 178 miliar yuan pada tahun 2025, dan tingkat pertumbuhan tahunan majemuk dari 2019 hingga 2025 akan mencapai 42,9%. Dari perspektif ukuran pasar, chip AI masih dalam masa pertumbuhan, tetapi memiliki potensi pertumbuhan yang besar.

Chip AI adalah konsep luas, yang umumnya mengacu pada modul yang khusus digunakan untuk memproses tugas komputasi dalam aplikasi kecerdasan buatan.Ini adalah perangkat keras tugas komputasi yang lahir di era perkembangan pesat aplikasi kecerdasan buatan.Semua chip untuk kecerdasan buatan aplikasi disebut chip AI. Ada tiga rute teknis utama: tujuan umum (GPU), semi-kustom (FPGA), dan kustom (ASIC).

Dari perspektif pelatihan model berskala besar, fine-tuning berbasis skenario, dan skenario aplikasi inferensi, daya komputasi heterogen yang disediakan oleh chip CPU+AI, kemampuan komputasi paralel yang superior, dan bandwidth interkoneksi yang tinggi dapat mendukung efisiensi maksimum komputasi AI dan menjadi solusi arus utama yang cerdas untuk komputasi.

Dalam hal pangsa pasar, menurut iResearch, pada tahun 2027, pasar chip AI China diperkirakan akan mencapai 216,4 miliar yuan. Dengan penerapan model AI optimal, proporsi chip penalaran AI akan meningkat dari hari ke hari. Pada tahun 2022, chip pelatihan AI China dan chip penalaran AI masing-masing akan mencapai 47,2% dan 52,8%.

Saat ini, ada tiga jenis pemain di bidang chip AI: satu adalah raksasa chip lama yang diwakili oleh Nvidia dan AMD, dengan kinerja produk yang luar biasa; yang lainnya adalah raksasa komputasi awan yang diwakili oleh Google, Baidu, dan Huawei. , dan mengembangkan chip AI, platform pembelajaran mendalam, dll. untuk mendukung pengembangan model besar. Misalnya, Kunpeng Ascend Huawei, CANN dan Mindspore, Kunlun Core Baidu, dll. Terakhir, ada beberapa unicorn chip AI yang kecil dan cantik, seperti Cambrian, Biren Technology, Tianshu Zhixin, dll.

Meskipun pecahnya model skala besar domestik dapat menyebabkan kesenjangan dalam daya komputasi, hanya masalah waktu sebelum produsen chip dalam negeri menikmati dividen penggantian domestik. Sebagai pengembang chip pelatihan AI, Cambrian, "saham chip AI pertama", sekali lagi menarik perhatian pasar, dan harga sahamnya terus meningkat. Nilai pasar terbaru telah melampaui 90 miliar.

Di lini produk cloud, Cambricon telah meluncurkan empat generasi produk chip: Siyuan 100 pada 2018, Siyuan 270 pada 2019, Siyuan 290 (kendaraan) pada 2020, dan seri Siyuan 370 yang dirilis pada 2021. Ini digunakan untuk mendukung tugas pemrosesan kecerdasan buatan dengan pertumbuhan pesat dalam kompleksitas dan throughput data dalam komputasi awan dan skenario pusat data. Selain itu, Cambrian juga memiliki produk yang sedang diteliti, Siyuan 590, yang belum dirilis. Selain itu, pada akhir tahun 2022, seri Siyuan 370 dan produk AIGC Baidu Flying Paddle akan menyelesaikan pengujian kompatibilitas Level II.

Namun, apakah perusahaan model skala besar domestik telah mengadopsi chip Cambrian belum mendapatkan informasi yang akurat. "Di bidang chip AI kelas atas, pabrikan dalam negeri masih dalam masa pertumbuhan, dan banyak hal membutuhkan waktu dan uang untuk memverifikasi." Seorang insinyur chip senior mengungkapkan. Bahkan chip dari perusahaan seperti Huawei, Baidu, dan Haiguang Information memiliki gap yang jelas dengan produk Nvidia.

Seseorang pernah berkata terus terang bahwa jarak antara Nvidia dan produsen chip lainnya adalah perbedaan antara akademisi dan siswa sekolah menengah. Seperti yang dikatakan Huang Renxun, Nvidia "telah berjalan", dan produsen chip lain yang ingin mengungguli raksasa hanya dapat berjalan dengan liar.

03. "Game of Thrones" di balik model AI besar

Selain Nvidia, AMD, raksasa GPU lainnya, juga mengambil tindakan baru-baru ini.

Baru-baru ini, AMD merilis kartu akselerator terbaru. Di situs konferensi tempat AMD meluncurkan kartu akselerator terbaru Instinct MI300X, sebaris kata diketik secara khusus pada PPT - didedikasikan untuk model bahasa besar. Hal ini dianggap oleh industri sebagai deklarasi langsung perang melawan Nvidia!

Dilaporkan bahwa kepadatan memori bandwidth tinggi (HBM) MI300X dapat mencapai hingga 2,4 kali lipat dari NVIDIA H100, dan bandwidth memori bandwidth tinggi dapat mencapai hingga 1,6 kali lipat dari H100. model AI lebih besar dari H100.

Seri MI300 tempat MI300X berada adalah seri kartu akselerator APU terbaru yang dibuat oleh AMD untuk AI dan HPC. Di antara mereka, MI300A adalah "model dasar", dan MI300X adalah "model yang dioptimalkan model besar" dengan kinerja perangkat keras yang lebih tinggi.

Saat ini, MI300A telah diambil sampelnya, dan diperkirakan akan segera tersedia untuk pembelian; MI300X kartu khusus berskala besar, dan platform komputasi AMD Instinct yang mengintegrasikan 8 MI300X diharapkan akan diambil sampelnya pada kuartal ketiga tahun ini. tahun, dan akan diluncurkan pada kuartal keempat.

Dalam beberapa tahun terakhir, dibandingkan dengan langkah besar Nvidia di bidang AI, tindakan AMD tampak agak lambat. Seperti yang dikatakan Eric Jang, CEO DeepBrain AI, dia merasa AMD telah mengecewakannya dalam beberapa tahun terakhir, dan tidak ada yang berubah dalam lima tahun terakhir. Apalagi saat merebaknya AIGC, jika AMD tidak bekerja keras untuk mengimbanginya, gap tersebut hanya akan melebar.

Dengan diluncurkannya produk seri AMD MI300, akhirnya kita bisa melihat pertarungan AMD dan Nvidia secara langsung.

Sayangnya, pasar tampaknya tidak membeli kartu baru AMD.

Selama konferensi AMD ini, harga sahamnya tidak naik tetapi turun. Sebaliknya, harga saham Nvidia juga naik gelombang. Sentimen pasar tidak sulit untuk dipahami, karena di bidang teknologi tinggi, terutama di pasar negara berkembang, sudah menjadi logika umum di pasar komersial untuk mengikuti setiap langkah dan tetap kuat.

Namun nyatanya, setelah mempelajari alasannya dengan cermat, dapat ditemukan bahwa alasan utama Nvidia memonopoli pasar chip pelatihan kecerdasan buatan adalah ekologi CUDA yang dikembangkan sendiri. Oleh karena itu, jika AMD MI300 ingin menggantikan Nvidia, pertama-tama harus kompatibel dengan ekosistem CUDA Nvidia AMD meluncurkan ekosistem ROCm untuk tujuan ini, dan mencapai kompatibilitas penuh dengan CUDA melalui HIP, sehingga mengurangi biaya pengguna yang diketahui.

Dalam hal ini, Murong Yi, seorang blogger investasi terkenal, percaya bahwa kesulitan mengambil rute yang kompatibel dengan NVIDIA CUDA adalah kecepatan iterasi pembaruannya tidak pernah dapat mengikuti CUDA, dan sulit untuk mencapai kompatibilitas penuh, yaitu , di satu sisi, iterasi selalu satu langkah lebih lambat. GPU Nvidia melakukan iterasi dengan cepat pada mikro-arsitektur dan set instruksi, dan pembaruan fungsi yang sesuai diperlukan di banyak tempat di tumpukan perangkat lunak atas, tetapi AMD tidak mungkin mengetahui peta jalan produk Nvidia, dan pembaruan perangkat lunak akan selalu satu langkah lebih lambat dari Nvidia (misalnya, AMD mungkin baru saja mengumumkan dukungan untuk CUDA11, tetapi Nvidia telah meluncurkan CUDA12); di sisi lain, kesulitan kompatibilitas penuh akan menambah beban kerja pengembang. Arsitektur perangkat lunak skala besar seperti CUDA adalah sangat rumit, dan AMD perlu menginvestasikan banyak tenaga kerja dan sumber daya material, akan memakan waktu bertahun-tahun atau bahkan lebih dari sepuluh tahun untuk mengejar ketinggalan, karena pasti akan ada perbedaan fungsional, dan jika kompatibilitas tidak dilakukan dengan baik, itu akan mempengaruhi penampilan. Oleh karena itu, ini juga merupakan alasan utama mengapa semua orang tidak membelinya.

Menurut perkiraan oleh Khaveen Investments, pangsa pasar GPU pusat data Nvidia akan mencapai 88% pada tahun 2022, dan AMD serta Intel akan berbagi sisanya.

Sejak OpenAI merilis ChatGPT tahun lalu, babak baru revolusi teknologi terus bergejolak. Dapat dikatakan bahwa tidak ada kemajuan teknologi yang menarik perhatian dunia sebanyak ChatGPT selama bertahun-tahun.

Berbagai perusahaan teknologi, lembaga penelitian ilmiah, dan perguruan tinggi dan universitas di dalam dan luar negeri sedang menindaklanjuti.Dalam waktu kurang dari setengah tahun, banyak perusahaan pemula untuk aplikasi model skala besar telah muncul, dan skala pembiayaan telah berulang kali mencapai tertinggi baru.

Menurut blogger wgang, Baidu, iFLYTEK, 4Paradigm, Universitas Tsinghua, Fudan, dan pabrik domestik besar lainnya, perusahaan pemula, dan lembaga penelitian ilmiah telah berturut-turut merilis produk model berskala besar:

Sumber: Zhihu wgwang

Dapat dilihat bahwa tidak hanya di bidang umum, tetapi juga dalam skenario industri tertentu, terutama di beberapa bidang dengan profesionalisme yang kuat dan kepadatan pengetahuan yang tinggi, perusahaan teknologi juga merilis model besar di bidang vertikal. Misalnya, Baijiayun (RTC), sebuah perusahaan yang terdaftar di AS, baru-baru ini merilis produk AIGC "Market Easy" berdasarkan wawasannya tentang kebutuhan layanan perusahaan. Ini juga merupakan mesin model skala besar GPT pertama yang cocok untuk skenario produksi konten departemen pemasaran perusahaan.

Beberapa orang dalam industri berkata sambil tersenyum: "Model skala besar domestik telah membentuk situasi di mana kelompok model menari dengan liar dan seratus model bersaing. Diperkirakan akan ada lebih dari 100 model skala besar pada akhir tahun ini. tahun."

Namun, pengembangan model besar memerlukan dukungan dari tiga faktor penting: algoritme, daya komputasi, dan data. Daya komputasi adalah mesin energi penting untuk pelatihan model besar, dan juga merupakan penghalang utama bagi pengembangan industri model besar Di Tiongkok.

Kemampuan chip secara langsung memengaruhi efek dan kecepatan pelatihan komputasi tinggi. Seperti disebutkan di atas, meskipun sering muncul produk model skala besar dalam negeri, menilai dari chip di belakangnya, semua platform ini menggunakan GPU Nvidia A100 dan H100, atau versi A800 dan A800 yang diluncurkan khusus oleh Nvidia setelah pelarangan tahun lalu. bandwidth kedua prosesor ini sekitar 3/4 dan sekitar setengah dari versi aslinya, menghindari standar batasan GPU performa tinggi.

Pada bulan Maret tahun ini, Tencent memimpin dengan mengumumkan bahwa mereka telah menggunakan H800. Mereka telah menggunakan H800 dalam versi baru layanan komputasi berkinerja tinggi yang dirilis oleh Tencent Cloud, dan mengatakan bahwa ini adalah yang pertama di China.

Alibaba Cloud juga mengusulkan secara internal pada Mei tahun ini bahwa "Smart Computing Battle" akan menjadi pertarungan nomor satu tahun ini, dan jumlah GPU telah menjadi indikator penting pertarungannya.

Selain itu, Shangtang juga mengumumkan bahwa hampir 30.000 GPU telah digunakan di cluster komputasi "perangkat besar AI", di mana 10.000 di antaranya adalah Nvidia A100. Byte dan Meituan langsung mengalokasikan GPU dari tim bisnis lain perusahaan untuk pelatihan model besar. Beberapa pabrikan bahkan sudah mencari berbagai produk mesin lengkap yang bisa melepas A100 di pasaran sejak paruh kedua tahun 2022, dengan tujuan semata-mata untuk mendapatkan chip GPU. "Terlalu banyak mesin dan tidak cukup tempat untuk menyimpannya."

Dapat dipahami bahwa perusahaan teknologi terkemuka dalam negeri telah banyak berinvestasi dalam AI dan komputasi awan, di masa lalu, akumulasi A100 mencapai puluhan ribu.

Pada saat yang sama, perusahaan teknologi besar China masih terlibat dalam babak baru kompetisi pengadaan.

Menurut penyedia layanan cloud, perusahaan besar seperti Byte dan Alibaba terutama menegosiasikan pembelian langsung dengan pabrik Nvidia asli, dan sulit bagi agen dan pasar barang bekas untuk memenuhi kebutuhan besar mereka.

Seperti disebutkan di atas, ByteDance telah memesan lebih dari US$1 miliar produk GPU dari Nvidia tahun ini.Volume pembelian Byte sendiri tahun ini mendekati total penjualan GPU komersial yang dijual Nvidia di China tahun lalu. Menurut laporan, ada perusahaan besar lainnya dengan pesanan minimal lebih dari 1 miliar yuan.

Dapat dilihat bahwa perusahaan teknologi besar China sangat mendesak untuk membeli GPU.

Tidak hanya perusahaan dalam negeri, pelanggan besar asing juga memiliki permintaan yang sangat kuat untuk chip Nvidia A100/H100. Menurut statistik, Baidu, yang pertama kali menguji produk mirip ChatGPT, memiliki belanja modal tahunan antara US$800 juta dan US$2 miliar sejak 2020, dan Alibaba antara US$6 miliar dan US$8 miliar. Selama periode yang sama, Amazon, Meta, Google, dan Microsoft, empat perusahaan teknologi Amerika yang membangun pusat datanya sendiri, memiliki pengeluaran modal tahunan minimal US$15 miliar.

Saat ini, visibilitas pesanan Nvidia telah mencapai 2024, dan chip kelas atas tidak banyak tersedia. Dengan jadwal produksi saat ini, A800/H800 pun tidak akan dikirimkan hingga akhir tahun ini atau tahun depan. Dalam jangka pendek, dari perspektif popularitasnya, satu-satunya hal yang memengaruhi penjualan GPU kelas atas Nvidia mungkin adalah kapasitas produksi TSMC.

04. Di balik Nvidia yang "gila", apakah chip dalam negeri tidak mencukupi baik hardware maupun software?

Dilihat dari pasokan chip produk model skala besar, saat ini tidak ada pengganti untuk A100, H100 dan versi yang lebih kecil dari A800 dan H800 yang dipasok khusus ke China dalam hal pelatihan model skala besar AI.

Jadi, mengapa di babak booming GPT ini, Nvidia memimpin dan tampil baik?

Zhang Gaonan, Managing Partner Huaying Capital, mengatakan bahwa di satu sisi, ini karena Nvidia memiliki tata letak paling awal, dan struktur mikrokernelnya juga telah berevolusi dan ditingkatkan dari generasi ke generasi. Sekarang apakah itu dalam hal konkurensi, kecepatan bus, atau dukungan matang mikrokernel untuk transformasi matriks, kemampuannya sudah sangat efisien, termasuk menyediakan platform komputasi CUDA yang sangat lengkap pada saat yang sama, yang sebenarnya telah menjadi standar industri potensial untuk algoritma pembelajaran mendalam Fasilitas pendukung seluruh rantai industri juga sangat lengkap, dan hambatan persaingan yang komprehensif serta kedalaman parit sangat tinggi.

Singkatnya, GPU Nvidia yang tak tergantikan saat ini berasal dari mekanisme pelatihan model besar Langkah intinya adalah pra-pelatihan dan penyesuaian halus Yang pertama adalah meletakkan dasar yang setara dengan menerima pendidikan umum Untuk lulus dari universitas ; yang terakhir dioptimalkan untuk skenario dan tugas tertentu untuk meningkatkan performa kerja.

Jadi, dapatkah chip GPU domestik mendukung kebutuhan daya komputasi model besar?

Dalam aplikasi praktis, permintaan model besar untuk daya komputasi dibagi menjadi dua tahap, yang pertama adalah proses pelatihan model besar ChatGPT, yang lainnya adalah proses penalaran komersialisasi model. Artinya, pelatihan AI adalah membuat model, dan penalaran AI adalah menggunakan model, dan pelatihan membutuhkan kinerja chip yang lebih tinggi.

Berdasarkan hal tersebut, perusahaan chip AI dalam negeri terus bermunculan, merilis produk ke pasar satu demi satu. Perusahaan seperti Teknologi Suiyuan, Teknologi Biren, Tianshu Zhixin, dan Cambrian semuanya telah meluncurkan produk GPU cloud mereka sendiri, dan indikator kinerja teoretisnya tidak lemah. Chip DCU Haiguang Information "Shensu No. 1" memiliki ekosistem perangkat lunak dan perangkat keras yang relatif lengkap dan kompatibel dengan arsitektur CUDA. Dan perusahaan Internet besar seperti Tencent, Baidu, dan Ali juga gencar menerapkan chip AI melalui investasi dan inkubasi.

Diantaranya, pelatihan model skala besar perlu memproses informasi granularitas tinggi, yang membutuhkan presisi dan kecepatan komputasi yang lebih tinggi untuk chip pelatihan cloud. Saat ini, sebagian besar GPU domestik tidak memiliki kemampuan untuk mendukung pelatihan model skala besar. Sangat cocok untuk pekerjaan inferensi cloud yang tidak memerlukan perincian informasi yang tinggi.

* Produk AI dan IC gelombang inti aplikasi dari beberapa perusahaan terkait dalam negeri diurutkan sesuai dengan informasi publik *

Pada bulan Maret tahun ini, Baidu Li Yanhong secara terbuka menyatakan bahwa chip Kunlun sekarang sangat cocok untuk penalaran model besar dan akan cocok untuk pelatihan di masa mendatang.

Zou Wei, wakil presiden Tianshu Zhixin, juga memberi tahu Xinchao IC bahwa masih ada celah tertentu antara chip dalam negeri dan produk terbaru Nvidia, tetapi dalam hal kalkulasi inferensi, chip dalam negeri dapat mencapai kinerja yang sama dengan produk arus utama, dan dengan aplikasi tersebut popularitas kecerdasan buatan, permintaan pasar untuk chip alasan akan mempercepat pertumbuhan, dan dengan perluasan permintaan, chip dalam negeri juga akan memiliki pasar yang lebih besar.

Orang lain di industri yang tidak ingin disebutkan namanya mengatakan, "Produk GPU tujuan umum domestik memang memiliki celah dengan produk unggulan internasional dalam memenuhi pelatihan model skala besar, tetapi itu tidak dapat diperbaiki. Hanya saja industri memiliki tidak dirancang ke arah model skala besar dalam definisi produk. "

Saat ini, praktisi industri sedang melakukan eksplorasi dan upaya yang relevan, seperti memikirkan apakah daya komputasi chip dapat ditingkatkan melalui chiplet dan kemasan canggih. Saat ini, perusahaan GPU dalam negeri sedang melakukan pengembangan dan tata letak chip di bidang model besar.

Dari perspektif modal, Zhang Gaonan, mitra pengelola Huaying Capital, mengatakan kepada Xinchao IC bahwa Huaying telah lama memperhatikan infrastruktur daya komputasi, baik itu GPU, DPU, atau komputasi hybrid fotolistrik mutakhir, komputasi kuantum , ada penelitian dan tata letak yang ditargetkan. Secara keseluruhan, ini berfokus pada infrastruktur komputasi tujuan umum, seperti FPGA dan komputasi tepi. Sebaliknya, saat ini, banyak chip daya komputasi seputar pembelajaran mendalam, algoritme khusus, pengoptimalan daya komputasi lokal, dll. Tidak menjadi fokus pertimbangannya.

Nyatanya, selain kesenjangan performa hardware, ekosistem software juga menjadi kekurangan produsen chip AI dalam negeri.

Chip perlu beradaptasi dengan berbagai level seperti sistem perangkat keras, rantai alat, kompiler, dll., Dan membutuhkan kemampuan beradaptasi yang kuat. Jika tidak, akan terlihat bahwa chip ini dapat menjalankan 90% daya komputasi di satu adegan, tetapi hanya di adegan lain adegan Kehabisan skenario kinerja 80%.

Seperti disebutkan di atas, Nvidia memiliki keunggulan yang jelas dalam hal ini. Pada awal 2006, Nvidia meluncurkan platform komputasi CUDA, yang merupakan mesin perangkat lunak komputasi paralel. Kerangka kerja CUDA mengintegrasikan banyak kode yang diperlukan untuk meminta daya komputasi GPU. Insinyur dapat langsung menggunakan kode-kode ini tanpa menulisnya satu per satu. Pengembang dapat menggunakan CUDA untuk melakukan pelatihan dan penalaran AI dengan lebih efisien, dan memanfaatkan daya komputasi GPU dengan lebih baik. Saat ini, CUDA telah menjadi infrastruktur AI, dan kerangka kerja, pustaka, dan alat AI arus utama semuanya dikembangkan berdasarkan CUDA.

Tanpa seperangkat bahasa pengkodean ini, akan sangat sulit bagi para insinyur perangkat lunak untuk menyadari nilai perangkat keras.

Jika GPU dan chip AI selain Nvidia ingin mengakses CUDA, mereka perlu menyediakan perangkat lunak adaptasinya sendiri. Menurut orang dalam industri, saya telah menghubungi produsen GPU non-NVIDIA. Meskipun kutipan chip dan layanannya lebih rendah dari NVIDIA dan berjanji untuk memberikan layanan yang lebih tepat waktu, keseluruhan biaya pelatihan dan pengembangan penggunaan GPU-nya akan lebih tinggi daripada NVIDIA. ketidakpastian hasil dan waktu pengembangan.

Meskipun GPU Nvidia mahal, sebenarnya ini adalah yang termurah untuk digunakan. Bagi perusahaan yang berniat memanfaatkan peluang model skala besar, uang seringkali bukan masalah, dan waktu adalah sumber daya yang lebih berharga.Setiap orang harus mendapatkan daya komputasi tingkat lanjut yang cukup sesegera mungkin untuk memastikan keunggulan penggerak pertama.

Oleh karena itu, untuk pemasok chip dalam negeri, meskipun produk dengan daya komputasi yang sebanding dapat ditumpuk dengan menumpuk chip, akan lebih sulit bagi pelanggan untuk menerima adaptasi dan kompatibilitas perangkat lunak. Selain itu, dari perspektif pengoperasian server, biaya motherboard, biaya listrik, biaya pengoperasian, dan masalah seperti konsumsi daya dan pembuangan panas yang perlu dipertimbangkan akan sangat meningkatkan biaya pengoperasian pusat data.

Karena sumber daya komputasi seringkali perlu disajikan dalam bentuk pooling, pusat data biasanya lebih bersedia menggunakan chip atau chip yang sama dari perusahaan yang sama untuk mengurangi kesulitan pooling daya komputasi.

Pelepasan daya komputasi memerlukan kerja sama perangkat lunak dan perangkat keras yang kompleks untuk mengubah daya komputasi teoretis dari chip menjadi daya komputasi yang efektif. Untuk pelanggan, tidak mudah menggunakan chip AI domestik. Penggantian chip cloud AI memerlukan biaya dan risiko migrasi tertentu, kecuali jika produk baru memiliki keunggulan kinerja, atau dapat memberikan masalah yang tidak dapat diselesaikan oleh orang lain dalam dimensi tertentu. Jika tidak, kemauan pelanggan untuk mengganti sangat rendah.

Sebagai satu-satunya pemasok GPU yang benar-benar dapat memproses ChatGPT, Nvidia layak disebut sebagai "raja kekuatan komputasi AI". Enam tahun lalu, Huang Renxun secara pribadi mengirimkan superkomputer pertama yang dilengkapi dengan chip A100 ke OpenAI, membantu yang terakhir membuat ChatGPT, dan menjadi pemimpin era AI.

Namun, sejak Amerika Serikat menerapkan kontrol ekspor tahun lalu, Nvidia telah dilarang mengekspor dua chip GPU tercanggihnya, H100 dan A100, ke China. Ini tidak diragukan lagi merupakan pukulan bagi perusahaan aplikasi hilir.

Dari perspektif keamanan dan pengendalian diri, ini juga memberikan peluang baru bagi perusahaan chip dalam negeri. Meskipun chip dalam negeri kalah dengan raksasa industri seperti Nvidia dan AMD dalam hal kinerja dan ekologi perangkat lunak, didorong oleh hubungan perdagangan internasional yang kompleks dan faktor geopolitik, "substitusi domestik" telah menjadi tema utama pengembangan industri semikonduktor dalam negeri.

05. Kesimpulan

Setiap peningkatan daya komputasi akan memicu gelombang perubahan teknologi dan industri: CPU memimpin umat manusia ke era PC, chip seluler memicu gelombang Internet seluler, dan chip AI memecahkan hambatan daya komputasi selama puluhan tahun di AI industri.

Hari ini, "momen AI iPhone" telah tiba, dan jalan menuju era berikutnya mungkin sudah ada di depan kita.

Meskipun bidang chip AI dan sistem perangkat lunak di pusat data ini masih didominasi oleh pabrikan asing, pintu pasar untuk "lokalisasi daya komputasi" mungkin sudah terbuka sekarang.