Pada tahun 2023, perusahaan chip AI diminta tiga kali berturut-turut

Sumber: Wawasan oleh Si Rui, penulis | Renee, editor | Sun Yue

Pada tahun 2023, lembaga investasi dan pemegang saham mengajukan tiga pertanyaan mematikan kepada perusahaan yang terdaftar di bidang chip AI:

Sudahkah Anda membuat chip terintegrasi penyimpanan dan perhitungan?

(Sumber investor yang bertanya kepada Montage Technology: Tonghuashun Finance)

Bagaimana kemajuan chip terintegrasi komputasi-memori?

(Investor meminta Dongxin berbagi sumber pertanyaan: Keuangan Tonghuashun)

Bagaimana prospek penyimpanan terintegrasi dan chip komputasi?

(Sumber pertanyaan investor terhadap saham Hengshuo: Tonghuashun Finance)

Serangkaian pertanyaan di atas berarti bahwa integrasi penyimpanan dan perhitungan tidak lagi "tetap" di kalangan akademisi dan industri, dan tampaknya menjadi populer di pasar sekunder: pemegang saham dan lembaga pialang bekerja lembur untuk menebus integrasi penyimpanan dan kalkulasi, jadi produsen chip tradisional sejak awal 2023, tata letak integrasi penyimpanan dan komputasi telah "tersiksa".

**Pertanyaan alami adalah mengapa integrasi setoran dan perhitungan tiba-tiba menjadi begitu populer? **

Huawei yang merilis produk penyimpanan baru OceanStor A310 pada 7.14 memberikan jawaban tersendiri. Zhou Yuefeng, presiden lini produk penyimpanan data Huawei, mengatakan bahwa ada banyak masalah data dalam pelatihan dan penalaran model besar tujuan umum dan model besar industri: pengumpulan data masif lintas domain yang lambat, efisiensi interaksi data yang rendah dalam prapemrosesan dan pelatihan, dan keamanan aliran data yang sulit.

Model AI yang besar menghadirkan tantangan baru untuk penyimpanan. Misalnya, stabilitasnya lebih buruk daripada AI tradisional. Pada saat yang sama, ada sejumlah besar pekerjaan prapemrosesan dan persiapan data. Komputasi dekat-memori harus digunakan ( semacam integrasi penyimpanan dan komputasi) untuk memecahkan masalah. Atasi masalah ini secara sistematis. **

Jadi, berapa banyak "data dalam jumlah besar" di sini? Menurut perhitungan SI Rui Insight, ChatGPT saat ini memiliki 100 juta pengguna harian.Jika 5% orang mengajukan pertanyaan setiap detik pada waktu yang sama setiap hari, itu akan menelan pembangkit listrik Bendungan Tiga Ngarai selama hampir satu tahun. **

Dengan kata lain, model besar sangat membutuhkan daya komputasi, dan solusi yang muncul yang diwakili oleh integrasi penyimpanan dan komputasi dapat menyelesaikan banyak tantangan yang ditimbulkan oleh model besar. Faktanya, selain menempatkan persyaratan ketat pada daya komputasi, model besar juga memberi produsen chip AI "banyak gula untuk dimakan".

Artikel ini mencoba mengeksplorasi, dengan latar belakang model besar, manfaat apa yang diberikan kepada produsen chip AI? Apa pola produsen terintegrasi penyimpanan dan komputasi masa depan yang telah "dipecat" oleh ChatGPT?

"Keberuntungan dan kemalangan bergantung satu sama lain" produsen chip AI

** Angin mockup masih bertiup, dan diskusi tentang mockup masih berjalan lancar. **

Pada awal Agustus, di sub-forum Konferensi Kecerdasan Buatan China Computer Federation (CCF) - "Melihat Kunlun di Perbatasan AI Skala Besar Model Computing Power Frontier", para ahli dan cendekiawan sepakat bahwa di era model skala besar , daya komputasi cerdas canggih telah menjadi "langka". Aset", bagaimana memanfaatkan sumber daya daya komputasi dengan baik dan memaksimalkan manfaatnya telah menjadi tantangan yang harus dihadapi setiap peserta.

Adapun jumlah daya komputasi yang diminta oleh GPT-3 saja, dalam keadaan konservatif, Bendungan Tiga Ngarai perlu "bekerja" sepanjang malam untuk memenuhi:

Dengan asumsi ada 100 juta orang online pada saat yang sama, 5% dari mereka mengajukan pertanyaan setiap detik pada waktu yang sama setiap hari, masing-masing menempati 30 token, dan 15,3 juta chip H100 diperlukan untuk menyediakan daya komputasi inferensi; dan daya konsumsi setiap H100 adalah 750W Sekitar, jika dijalankan selama 10 jam sehari, konsumsi daya tahunan pusat data tempat chip H100 ini berada akan mencapai 84 miliar kWh, sedangkan pembangkit listrik tahunan Bendungan Tiga Ngarai adalah 88,2 miliar kWh.

Apa yang membuat produsen chip AI semakin cemas adalah bahwa ini hanya konsumsi daya model ChatGPT yang besar pada tahap inferensi.

**Akibatnya, serangkaian solusi baru telah digali oleh produsen: **Penyimpanan dan kalkulasi terintegrasi, chiplet, HBM, dll. Diantaranya, karena integrasi penyimpanan dan komputasi menggulingkan dinding penyimpanan di bawah arsitektur tradisional von Neumann, sebenarnya telah mencapai pengurangan biaya dan peningkatan efisiensi, menjadi "Ziweixing" tahun ini.

(Sumber foto: "AI Big Computing Power Chip Industry Report-Ratusan Kapal Perang, Inovator Pertama" oleh Cirui Insights)

**Selain munculnya solusi baru yang membuat produsen chip AI bernafas, model besar ini juga membawa kabar baik bagi produsen chip, terutama produsen chip pemula: pentingnya ekologi perangkat lunak menurun. **

Ketika teknologinya belum cukup matang di masa-masa awal, peneliti hanya dapat memulai dengan memecahkan masalah tertentu, dan lahirlah model kecil dengan kurang dari satu juta parameter. Misalnya, DeepMind, sebuah perusahaan AI yang dimiliki oleh Google, mengizinkan AlphaGO untuk melakukan "pembelajaran" khusus pada langkah-langkah bermain catur jutaan pemain profesional manusia.

Setelah ada lebih banyak model kecil, masalah perangkat keras seperti adaptasi chip sudah dekat. Oleh karena itu, ketika Nvidia meluncurkan CUDA ekologi terpadu, GPU+CUDA dengan cepat mendapat pengakuan dari komunitas ilmu komputer dan menjadi konfigurasi standar untuk pengembangan kecerdasan buatan.

Model besar yang muncul satu demi satu saat ini memiliki kemampuan multi-modal, dapat menangani teks, gambar, pemrograman, dan masalah lainnya, dan juga dapat mencakup berbagai bidang vertikal seperti kantor, pendidikan, dan perawatan medis. Ini juga berarti bahwa beradaptasi dengan ekologi arus utama bukanlah satu-satunya pilihan: ketika permintaan chip untuk model besar meroket, produsen chip mungkin hanya dapat beradaptasi dengan 1-2 model besar, dan dapat menyelesaikan pengembangan beberapa model kecil di masa lalu.Pesanan. **

Dengan kata lain, kemunculan ChatGPT memberi peluang bagi produsen chip pemula untuk menyalip di tikungan. Ini berarti bahwa struktur pasar chip AI akan mengalami perubahan yang luar biasa: chip AI tidak lagi menjadi pertunjukan satu orang dari pabrikan individu, tetapi permainan kelompok dari banyak inovator. **

**Ketika daya komputasi menjadi komoditas yang langka, dan beradaptasi dengan ekologi arus utama tidak lagi menjadi keharusan, integrasi penyimpanan dan komputasi sulit menyembunyikan cahayanya. **Saat ini, apakah akan berinvestasi atau tidak, dan berapa banyak yang akan diinvestasikan, telah menjadi masalah kedua yang dihadapi produsen chip AI. **

Dalam hal ini, Jawaban yang diberikan oleh raksasa chip NVIDIA selama bertahun-tahun adalah berani dalam berinovasi dan menginvestasikan banyak uang:

Setiap produsen R&D dari teknologi baru pasti akan menghadapi masalah di berbagai tingkatan seperti kendala eksplorasi teknis dan ketidaksepakatan produsen hilir. Pada tahap awal, siapa pun yang memprediksi tren perkembangan masa depan terlebih dahulu, berani mengambil langkah-langkah eksplorasi, dan meletakkan sumber daya yang masuk akal untuk mencoba akan memanfaatkan peluang tersebut.

Ketika gelombang pusat data belum terlalu terpukul, dan pelatihan kecerdasan buatan masih merupakan bidang khusus, Nvidia telah banyak berinvestasi dalam pengembangan GPU komputasi tujuan umum dan perangkat lunak pemrograman terpadu CUDA, dan ini adalah pekerjaan yang bagus untuk Nvidia- platform komputasi.

Pada saat itu, menjadikan GPU yang dapat diprogram adalah opsi yang "tidak berguna dan merugi": Saya tidak tahu apakah kinerjanya dapat digandakan, tetapi pengembangan produk akan digandakan. Karena alasan ini, tidak ada pelanggan yang mau membayarnya. Namun, Nvidia yang memperkirakan bahwa prosesor grafis fungsi tunggal bukanlah solusi jangka panjang, memutuskan untuk menerapkan CUDA ke semua lini produk.

Dalam sebuah wawancara antara Xindongxi dan Dr. Lai Junjie, Senior Director of Engineering and Solutions of Nvidia China, Lai Junjie berkata: "Untuk visi platform komputasi, Huang Renxun dengan cepat memobilisasi banyak sumber daya dari Nvidia ke atas dan ke bawah pada awal hari."

Foresight + investasi besar, pada tahun 2012, Nvidia memenangkan penghargaan inovator: Pada tahun 2012, kinerja komputasi dari algoritma pembelajaran mendalam menimbulkan sensasi di kalangan akademisi. Sebagai alat produktivitas komputasi tinggi, lebih fleksibel, dan mudah digunakan, GPU+CUDA dengan cepat menjadi populer Komunitas ilmu komputer telah menjadi "konfigurasi standar" untuk pengembangan kecerdasan buatan.

Dalam perjalanan chip AI dengan daya komputasi besar, chip all-in-one untuk penyimpanan dan komputasi telah memasuki "periode emas" sendiri. **

Non-teknis, kaya secara finansial, jangan masuk

Melihat berbagai manfaat dari integrasi penyimpanan dan komputasi, pada tahap ini, kubu pemain yang mengintegrasikan penyimpanan dan chip komputasi semakin berkembang.

(Sumber foto: "AI Big Computing Power Chip Industry Report-Ratusan Kapal Perang, Inovator Pertama" oleh Cirui Insights)

Menurut statistik CIRUI Insight yang tidak lengkap, sejak 2019, sebagian besar produsen chip AI baru telah mengintegrasikan penyimpanan dan komputasi: ada 20 produsen chip AI baru pada 2019-2021, dan 10 di antaranya Memilih rute integrasi deposit dan perhitungan.

Ini semua menunjukkan bahwa integrasi penyimpanan dan komputasi akan menjadi bintang baru setelah GPGPU, ASIC, dan arsitektur lainnya. ** Dan bintang baru ini, tidak semua orang bisa mengambilnya. **

Di bawah keadaan bahwa kalangan akademisi, kalangan industri, dan modal dengan suara bulat optimis tentang integrasi penyimpanan dan komputasi, kekuatan teknis negara yang kuat, kumpulan bakat yang solid, dan kontrol yang tepat atas penerimaan biaya migrasi adalah kunci bagi perusahaan pemula. untuk mempertahankan daya saing mereka di industri Tiga hambatan yang berdiri di depan pemain baru. **

** Kekuatan teknis yang kuat selalu menjadi gunung tertinggi di bidang chip. **

Yang pertama adalah integrasi penyimpanan dan komputasi, yang melibatkan seluruh proses pembuatan chip: dari perangkat terendah, hingga desain sirkuit, desain arsitektur, rangkaian alat, dan kemudian hingga penelitian dan pengembangan lapisan perangkat lunak; Seluruh tubuh”: Saat membuat perubahan yang sesuai di setiap lapisan, tingkat adaptasi di antara setiap lapisan juga harus dipertimbangkan.

** Mari kita lihat lapis demi lapis, masalah teknis apa yang ada saat chip terintegrasi komputasi memori diproduksi. **

Pertama-tama, dalam hal pemilihan perangkat, pabrikan "berjalan di atas es tipis": desain memori menentukan tingkat hasil chip, dan jika arahnya salah, chip mungkin tidak diproduksi secara massal.

Yang kedua adalah tingkat desain sirkuit. Setelah perangkat tersedia di tingkat sirkuit, perangkat tersebut perlu digunakan untuk desain sirkuit larik penyimpanan. Saat ini, dalam desain sirkuit, tidak ada panduan alat EDA untuk penghitungan di dalam memori, dan perlu dilakukan secara manual, yang tentunya sangat meningkatkan kesulitan pengoperasian.

Segera setelah itu, setelah ada sirkuit di tingkat arsitektural, perlu dilakukan perancangan lapisan arsitektural. Setiap sirkuit adalah modul komputasi dasar, dan seluruh arsitektur terdiri dari modul yang berbeda.Desain modul terintegrasi komputasi-memori menentukan rasio efisiensi energi chip. Sirkuit analog akan terganggu oleh kebisingan, dan chip akan menghadapi banyak masalah saat dipengaruhi oleh kebisingan.

Dalam hal ini, arsitek chip diharuskan untuk sepenuhnya memahami karakteristik proses komputasi dalam memori analog, dan pada saat yang sama merancang arsitektur sesuai dengan karakteristik tersebut. Atas dasar ini, kemampuan beradaptasi antara arsitektur dan pengembangan perangkat lunak juga harus dipertimbangkan . Setelah desain arsitektur tingkat perangkat lunak selesai, rantai alat yang sesuai perlu dikembangkan.

(Sumber foto: "AI Big Computing Power Chip Industry Report-Ratusan Kapal Perang, Inovator Pertama" oleh Cirui Insights)

Karena model asli integrasi penyimpanan-komputasi berbeda dari model di bawah arsitektur tradisional, kompiler perlu beradaptasi dengan arsitektur integrasi penyimpanan-komputasi yang sama sekali berbeda untuk memastikan bahwa semua unit komputasi dapat dipetakan ke perangkat keras dan berjalan dengan lancar.

**Rantai teknis lengkap akan menguji kemampuan setiap tautan perangkat, desain sirkuit, desain arsitektur, rantai alat, dan pengembangan lapisan perangkat lunak, dan mengoordinasikan kemampuan adaptasi setiap tautan, yang merupakan pertempuran berlarut-larut yang menghabiskan waktu, tenaga, dan uang. **

**Pada saat yang sama, menurut proses pengoperasian tautan di atas, dapat dilihat bahwa chip terintegrasi komputasi-memori sangat membutuhkan perancang sirkuit dan arsitek chip yang berpengalaman. **

Mengingat kekhasan integrasi penyimpanan dan perhitungan, perusahaan yang dapat mengintegrasikan penyimpanan dan perhitungan perlu memiliki dua karakteristik berikut dalam hal cadangan personel:

1. Pemimpin perlu memiliki keberanian yang cukup. Harus ada ide yang jelas dalam pemilihan pemilihan perangkat (RRAM, SRAM, dll.) dan mode komputasi (tradisional von Neumann, penyimpanan dan perhitungan terintegrasi, dll.). Ini karena, sebagai teknologi subversif dan inovatif, integrasi penyimpanan dan perhitungan tidak ada yang memimpin, dan biaya coba-coba sangat tinggi. Pendiri perusahaan yang dapat mencapai komersialisasi seringkali memiliki pengalaman yang kaya di industri, pabrikan besar, dan latar belakang akademis, serta dapat memimpin tim untuk menyelesaikan iterasi produk dengan cepat.

2. Di tim inti, perlu membekali talenta-talenta berpengalaman di semua level teknologi. Misalnya arsitek yang menjadi inti tim. Arsitek perlu memiliki pemahaman dan pengetahuan yang mendalam tentang perangkat keras dan perangkat lunak yang mendasarinya, dan mampu mewujudkan arsitektur penyimpanan dan komputasi dalam konsep melalui teknologi, dan akhirnya mencapai pendaratan produk;

3. Selain itu, menurut laporan qubit, ada kekurangan talenta kelas atas dalam desain sirkuit di China, terutama di bidang sirkuit hybrid. Komputasi dalam memori melibatkan sejumlah besar desain sirkuit analog. Dibandingkan dengan desain sirkuit digital yang menekankan kerja sama tim, desain sirkuit analog membutuhkan desainer individual yang sangat paham dengan proses, desain, tata letak, model pdk, dan pengemasan.

Dan rangkaian talenta dan teknologi ini harus mengambil efek pendaratan sebagai tujuan akhir—produksi kelas satu adalah kekuatan produktif utama. **Selama pengiriman, pelanggan tidak hanya mempertimbangkan teknologi penyimpanan-komputasi terintegrasi, tetapi apakah indikator kinerja SoC terintegrasi penyimpanan-komputasi, seperti rasio efisiensi energi, rasio efisiensi area, dan kemudahan penggunaan, sudah memadai dibandingkan dengan produk sebelumnya Peningkatan, dan yang lebih penting, apakah biaya migrasi berada dalam kisaran yang dapat diterima.

Jika memilih chip baru untuk meningkatkan performa algoritme memerlukan pembelajaran ulang sistem pemrograman, dan biaya tenaga kerja migrasi model lebih tinggi daripada biaya pembelian GPU baru, kemungkinan besar pelanggan tidak akan memilih untuk menggunakan chip baru.

** Oleh karena itu, apakah integrasi setoran dan perhitungan dapat meminimalkan biaya migrasi selama proses pendaratan merupakan faktor kunci bagi pelanggan saat memilih produk. **

Dalam konteks model skala besar, chip terintegrasi komputasi-memori menjadi bintang baru di jalur chip berdasarkan konsumsi daya yang rendah tetapi rasio efisiensi energi yang tinggi. Saat ini, pasar deposit dan perhitungan terintegrasi masih dalam tahap "Xiaohe baru muncul".

**Namun, kami tidak dapat menyangkal bahwa pemain penyimpanan dan perhitungan terintegrasi telah membangun tiga tembok tinggi, dan mereka yang memiliki kekuatan teknis yang kuat dan cadangan bakat yang solid tidak boleh masuk. **