Sumber Asli: Industri Semikonduktor Vertikal dan Horizontal
Sumber gambar: Dihasilkan oleh AI Tak Terbatas
Baru-baru ini, HBM telah menjadi topik hangat di industri chip. Menurut TrendForce, volume bit memori bandwidth tinggi (HBM) diperkirakan akan mencapai 290 juta GB pada tahun 2023, peningkatan tahun-ke-tahun sekitar 60%, dan diperkirakan akan meningkat lebih lanjut sebesar 30% pada tahun 2024. Konsep memori HBM yang diajukan oleh AMD pada tahun 2008 direalisasikan oleh SK Hynix melalui teknologi TSV pada tahun 2013. 10 tahun setelah diperkenalkan, HBM tampaknya benar-benar memasuki era komersialisasi skala besar.
Lepas landasnya konsep HBM terkait langsung dengan popularitas AIGC. Server AI memiliki persyaratan bandwidth yang lebih tinggi. Dibandingkan dengan DDR SDRAM, HBM memiliki bandwidth yang lebih tinggi dan konsumsi energi yang lebih rendah. Bandwidth ultra-tinggi menjadikan HBM sebagai komponen inti dari GPU berperforma tinggi, dan HBM pada dasarnya adalah konfigurasi standar server AI. Saat ini, biaya HBM menempati urutan ketiga dalam biaya server AI, terhitung sekitar 9%, dan harga jual rata-rata satu server mencapai US$18.000.
Sejak kemunculan ChatGPT tahun lalu, pasar model berskala besar mulai berkembang pesat.Di pasar domestik, raksasa teknologi seperti Baidu, Ali, HKUST Xunfei, SenseTime, dan Huawei berturut-turut mengumumkan akan melatih AI mereka sendiri. model berskala besar. TrendForce memperkirakan bahwa pada tahun 2025 akan ada 5 AIGC skala besar yang setara dengan ChatGPT, 25 produk AIGC menengah Midjourney, dan 80 produk AIGC skala kecil.Bahkan sumber daya komputasi minimum yang diperlukan secara global mungkin memerlukan 145.600 hingga 233.700 GPU NVIDIA A100 . Ini adalah area pertumbuhan potensial untuk HBM.
Sejak awal tahun 2023, pesanan HBM dari Samsung dan SK Hynix meningkat pesat, dan harga HBM juga naik, baru-baru ini harga DRAM HBM3 naik 5 kali lipat. Samsung telah menerima pesanan dari AMD dan Nvidia untuk menambah pasokan HBM. SK hynix mulai memperluas lini produksi HBM, bertujuan untuk menggandakan kapasitas produksi HBM. Media Korea melaporkan bahwa Samsung berencana untuk menginvestasikan sekitar 760 juta dolar AS untuk memperluas produksi HBM, yang bertujuan untuk menggandakan kapasitas produksi HBM pada akhir tahun depan, dan perusahaan tersebut telah melakukan pemesanan peralatan utama.
Keunggulan HBM di AIGC
Terus terang, HBM akan meningkatkan daya komputasi server. Karena memproses sejumlah besar data dalam waktu singkat, server AI memiliki persyaratan bandwidth yang lebih tinggi. Fungsi HBM mirip dengan "stasiun transfer" data, yaitu menyimpan data gambar seperti setiap frame dan gambar yang digunakan di area buffer frame, dan menunggu GPU memanggil. Dibandingkan dengan teknologi memori tradisional, HBM memiliki bandwidth yang lebih tinggi, kuantitas I/O yang lebih banyak, konsumsi daya yang lebih rendah, dan ukuran yang lebih kecil, yang dapat sangat meningkatkan volume pemrosesan data dan laju transmisi server AI.
Sumber: rambus
Terlihat bahwa HBM memiliki keunggulan level "rolling" dalam hal bandwidth. Jika HBM2E berjalan pada 3,6Gbps pada antarmuka selebar 1024-bit, Anda mendapatkan bandwidth 3,7Tb/dtk, yang lebih dari 18 kali bandwidth LPDDR5 atau DDR4.
Selain keunggulan bandwidth, HBM dapat menghemat area, yang pada gilirannya dapat memuat lebih banyak GPU dalam sistem. Memori HBM terdiri dari tumpukan memori pada paket fisik yang sama dengan GPU.
Arsitektur seperti itu berarti penghematan daya dan area yang signifikan dibandingkan dengan desain memori GDDR5/6 tradisional, memungkinkan lebih banyak GPU dipasang di sistem. Saat HPC, AI, dan kumpulan data analitik tumbuh dalam ukuran dan masalah komputasi menjadi lebih kompleks, semakin banyak kapasitas memori dan bandwidth GPU menjadi kebutuhan. GPU H100 SXM5 menyediakan bandwidth memori lebih dari 3 TB/dtk dengan mendukung memori HBM3 cepat 80 GB (lima tumpukan), dua kali bandwidth memori A100.
Harga telah menjadi faktor pembatas untuk HBM di masa lalu. Tapi sekarang pasar model skala besar sedang dalam masa persaingan. Bagi raksasa yang membuat model skala besar, waktu adalah uang. Oleh karena itu, HBM, yang "mahal dan mahal", telah menjadi favorit baru perusahaan besar. raksasa model skala. Dengan meningkatnya permintaan GPU kelas atas secara bertahap, HBM telah mulai menjadi konfigurasi standar server AI.
Saat ini, Nvidia A100 dan H100 masing-masing dibekali HBM2e dan HBM3 berkapasitas 80GB.Dalam chip Grace Hopper terbarunya yang mengintegrasikan CPU dan GPU, kapasitas angkut HBM satu chip meningkat 20%, mencapai 96GB.
MI300 AMD juga dilengkapi dengan HBM3. Diantaranya, kapasitas MI300A sama dengan generasi sebelumnya yaitu 128GB, dan MI300X high-end mencapai 192GB, meningkat 50%.
Diharapkan Google akan secara aktif memperluas kerja samanya dengan Broadcom pada paruh kedua tahun 2023 untuk mengembangkan chip akselerasi AISC AI TPU juga direncanakan akan dilengkapi dengan memori HBM untuk memperluas infrastruktur AI.
Tata letak akselerasi vendor penyimpanan
"Adegan uang" semacam itu memungkinkan raksasa penyimpanan mempercepat tata letak memori HBM. Saat ini, tiga produsen chip memori teratas dunia sedang mentransfer lebih banyak kapasitas produksi untuk memproduksi HBM, namun karena butuh waktu untuk menyesuaikan kapasitas produksi, sulit untuk meningkatkan produksi HBM dengan cepat, dan diperkirakan pasokan HBM akan tetap ketat. dalam dua tahun ke depan.
Pasar HBM terutama dikendalikan oleh tiga raksasa DRAM utama. Namun, berbeda dengan pasar DRAM yang dipimpin oleh Samsung, SK Hynix berkembang lebih baik di pasar HBM. Seperti disebutkan di awal, SK Hynix mengembangkan produk HBM pertama. Pada April 2023, SK Hynix mengumumkan pengembangan produk DRAM HBM3 24GB pertama, yang menggunakan teknologi TSV untuk menumpuk 12 chip DRAM produk tunggal secara vertikal yang 40% lebih tipis dari chip yang ada, mencapai ketinggian yang sama dengan produk 16GB. Sementara itu, SK Hynix berencana menyiapkan sampel HBM3E dengan kinerja transmisi data 8Gbps pada paruh kedua tahun 2023, dan memproduksinya secara massal pada tahun 2024.
Tata letak perusahaan semikonduktor domestik untuk HBM sebagian besar berkisar pada bidang pengemasan dan antarmuka.
NationalChip Technology saat ini sedang meneliti dan merencanakan teknologi pengemasan chip 2.5D dari memori multi-HBM, dan secara aktif mempromosikan penelitian dan pengembangan serta penerapan teknologi Chiplet.
Setelah menyelesaikan lini produksi 2.5D/3D dari Tongfu Microelectronics Co., Ltd., perusahaan akan mewujudkan terobosan domestik di bidang teknologi pengemasan berkinerja tinggi HBM.
BIWIN telah meluncurkan chip memori dan modul memori berkinerja tinggi, dan akan terus memperhatikan teknologi HBM.
Chip Retimer PCIe 5.0/CXL 2.0 dari Montage Technology telah mencapai produksi massal. Chip ini merupakan peningkatan utama dari produk Retimer PCIe 4.0 dari Montage Technology, yang dapat menyediakan industri dengan bandwidth tinggi yang stabil dan andal, latensi rendah PCIe 5.0/CXL 2.0 solusi interkoneksi.
Meski HBM bagus, tetap harus tenang, HBM masih dalam tahap yang relatif awal, dan masa depannya masih panjang. Dapat diperkirakan bahwa semakin banyak produsen terus melakukan upaya di bidang-bidang seperti AI dan pembelajaran mesin, kompleksitas desain produk memori meningkat pesat, dan persyaratan yang lebih tinggi diterapkan pada bandwidth. Permintaan broadband yang meningkat Akan terus mendorong pengembangan dari HBM.
Panasnya HBM mencerminkan kemampuan berkendara AIGC. Lantas selain HBM dan GPU, adakah produk lain yang bisa memanfaatkan tren baru ini?
Berbicara tentang chip yang dinyalakan lainnya
Keunggulan FPGA mulai terlihat
FPGA (Field Programmable Gate Array) adalah sirkuit terintegrasi dengan elemen logika yang dapat diprogram, memori, dan sumber daya interkoneksi. Tidak seperti ASIC (Application Specific Integrated Circuit), FPGA memiliki keunggulan fleksibilitas, kemampuan penyesuaian, kemampuan pemrosesan paralel, dan peningkatan yang mudah.
Melalui pemrograman, pengguna dapat mengubah skenario aplikasi FPGA kapan saja, dan FPGA dapat mensimulasikan berbagai operasi paralel CPU, GPU, dan perangkat keras lainnya. Oleh karena itu, ini juga disebut "chip universal" di industri.
FPGA masuk akal untuk kebutuhan penalaran kecerdasan buatan dari model dasar yang sering berubah. Programabilitas FPGA melebihi ekonomi tipikal penggunaan FPGA. Jelasnya, FPGA tidak akan menjadi pesaing serius bagi sistem AI skala besar yang menggunakan ribuan GPU, tetapi seiring penetrasi AI lebih jauh ke dalam elektronik, jangkauan aplikasi untuk FPGA akan meluas.
Keunggulan FPGA dibandingkan GPU adalah konsumsi daya dan latensi yang lebih rendah. GPU tidak dapat memanfaatkan memori on-chip dengan baik dan perlu sering membaca DRAM off-chip, sehingga konsumsi daya sangat tinggi. FPGA dapat secara fleksibel menggunakan penyimpanan on-chip, sehingga konsumsi daya jauh lebih rendah daripada GPU.
Pada tanggal 27 Juni, AMD mengumumkan peluncuran AMD Versal Premium VP1902 adaptive system-on-chip (SoC), yang merupakan SoC adaptif berbasis FPGA. Ini adalah perangkat berbasis chiplet tingkat emulasi yang menyederhanakan verifikasi desain semikonduktor yang semakin kompleks. Dilaporkan bahwa AMD VP1902 akan menjadi FPGA terbesar di dunia Dibandingkan dengan produk generasi sebelumnya (Xilinx VU19P), VP1902 baru menambahkan fungsi Versal dan mengadopsi desain chip kecil, yang menggandakan kinerja utama FPGA.
Laporan Riset Sekuritas Dongxing percaya bahwa FPGA memiliki keunggulan besar dalam penalaran AI berdasarkan penundaan dan keunggulan konsumsi daya yang dibawa oleh arsitekturnya. Laporan penelitian Zheshang Securities sebelumnya juga menunjukkan bahwa selain GPU, solusi CPU+FPGA juga dapat memenuhi permintaan daya komputasi AI yang sangat besar.
Tidak seperti HBM yang dimonopoli oleh perusahaan luar negeri, perusahaan domestik telah mengakumulasi chip FPGA.
Bisnis utama Anlu Technology adalah R&D, desain, dan penjualan chip FPGA dan perangkat lunak EDA khusus.Produk ini telah banyak digunakan dalam kontrol industri, komunikasi jaringan, elektronik konsumen, dan bidang lainnya. Ziguang Tongchuang, anak perusahaan Ziguang Guowei, adalah perusahaan FPGA profesional yang merancang dan menjual chip FPGA serba guna. Ziguang Guowei pernah menyatakan pada performance briefing bahwa chip FPGA perusahaan dapat digunakan di bidang AI. Teknologi Dongtu terutama melakukan industrialisasi chip FPGA.Perusahaan pemegang saham perusahaan Zhongke Yihai Micro tim telah secara mandiri mengembangkan perangkat lunak EDA untuk mendukung pengembangan aplikasi produk FPGA-nya.
Ide Baru untuk Substitusi Domestik: Integrasi Penyimpanan dan Komputasi + Chiplet
Bisakah kita menggunakan proses dan teknologi yang tersedia saat ini untuk mengembangkan chip AI yang dapat bersaing dengan Nvidia dalam hal kinerja? Beberapa "ide baru" telah muncul, seperti integrasi penyimpanan dan perhitungan + Chiplet.
Pemisahan penyimpanan dan perhitungan akan menyebabkan kemacetan daya komputasi. Dengan pesatnya perkembangan teknologi AI, permintaan akan daya komputasi telah meledak. Di era pasca-Moore, bandwidth penyimpanan membatasi bandwidth efektif sistem komputasi, dan pertumbuhan daya komputasi sistem sedang berjuang. Misalnya, dibutuhkan 99 hari untuk melatih model BERT dari awal dengan 8 blok 1080TI. Arsitektur terintegrasi penyimpanan-komputasi tidak memiliki konsep penyimpanan multi-level yang dalam. Semua perhitungan diimplementasikan dalam memori, sehingga menghilangkan dinding penyimpanan dan overhead tambahan terkait yang disebabkan oleh heterogenitas komputasi penyimpanan; penghapusan dinding penyimpanan dapat sangat mengurangi penanganan data. , tidak hanya meningkatkan transmisi data dan kecepatan pemrosesan, tetapi juga meningkatkan rasio efisiensi energi beberapa kali.
Di satu sisi, konsumsi daya yang diperlukan untuk memproses daya komputasi yang sama antara arsitektur terintegrasi penyimpanan-komputasi dan prosesor arsitektur tradisional akan berkurang; Buka dinding kompilasi arsitektur tradisional.
Sarjana di Arizona State University merilis simulator benchmark arsitektur IMC berbasis Chiplet SIAM pada tahun 2021 untuk mengevaluasi potensi arsitektur baru ini dalam pelatihan model besar AI. SIAM mengintegrasikan perangkat, sirkuit, arsitektur, network-on-chip (NoC), network-in-package (NoP), dan model akses DRAM untuk mengaktifkan sistem komputasi performa tinggi end-to-end. SIAM dapat diskalakan dalam mendukung jaringan saraf dalam (DNN) dan dapat disesuaikan untuk berbagai struktur dan konfigurasi jaringan. Tim risetnya mendemonstrasikan fleksibilitas, skalabilitas, dan kecepatan simulasi SIAM dengan membandingkan DNN tingkat lanjut yang berbeda menggunakan kumpulan data CIFAR-10, CIFAR-100, dan ImageNet. Dikatakan bahwa dibandingkan dengan GPU NVIDIA V100 dan T4, arsitektur chiplet +IMC yang diperoleh melalui SIAM menunjukkan bahwa efisiensi energi ResNet-50 pada kumpulan data ImageNet telah meningkat masing-masing sebesar 130 dan 72.
Ini berarti bahwa chip AI terintegrasi penyimpanan-komputasi diharapkan dapat mencapai integrasi heterogen dengan bantuan teknologi Chiplet dan teknologi pengemasan tumpukan 2.5D / 3D, sehingga membentuk sistem komputasi berskala besar. Kombinasi penyimpanan dan kalkulasi + Chiplet tampaknya merupakan cara yang layak untuk mewujudkannya. Dikatakan bahwa Teknologi Yizhu sedang menjajaki jalan ini. Penyimpanan dan kalkulasi generasi pertamanya yang terintegrasi dengan chip komersial daya komputasi besar AI dapat mencapai daya komputasi kartu tunggal lebih dari 500T, dan konsumsi daya Dalam 75W. Mungkin ini akan menjadi awal dari kurva pertumbuhan kedua daya komputasi AI.
Kesimpulan
Pada Konferensi Kecerdasan Buatan Dunia, CEO AMD Lisa Su mengatakan bahwa akan ada siklus super komputasi skala besar dalam sepuluh tahun ke depan, oleh karena itu, ini adalah saat yang tepat untuk menjadi pemasok teknologi, dan juga berbeda dengan beberapa perusahaan yang akan menggunakan teknologi ini untuk mengembangkan teknologi yang berbeda. Waktu yang tepat untuk bekerja dengan klien aplikasi.
Tidak ada yang menginginkan industri dengan hanya satu pemain dominan. Bisakah pasar model skala besar memungkinkan industri chip memiliki struktur pasar baru, dan dapatkah pemain baru muncul?
"Pasar model besar telah membawa pola dan peluang pasar baru ke industri chip. Dengan mempromosikan pengembangan chip AI, mendorong pertumbuhan komputasi awan dan pasar pusat data, serta memicu perubahan lanskap persaingan, munculnya model besar telah membawa peluang baru ke arah pengembangan industri chip.
Perlu dicatat bahwa industri chip adalah industri yang sangat kompetitif dan padat teknologi. Memasuki industri membutuhkan sumber daya keuangan dan teknis yang besar untuk memenuhi persyaratan manufaktur dan R&D yang kompleks. Meskipun pasar model skala besar memberikan peluang bagi pemain baru, mereka perlu mengatasi tantangan teknis, keuangan, dan pemasaran untuk berhasil dalam industri chip yang sangat kompetitif. "balas chatgpt.
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Pasar model skala besar, tidak hanya HBM yang panas
Sumber Asli: Industri Semikonduktor Vertikal dan Horizontal
Baru-baru ini, HBM telah menjadi topik hangat di industri chip. Menurut TrendForce, volume bit memori bandwidth tinggi (HBM) diperkirakan akan mencapai 290 juta GB pada tahun 2023, peningkatan tahun-ke-tahun sekitar 60%, dan diperkirakan akan meningkat lebih lanjut sebesar 30% pada tahun 2024. Konsep memori HBM yang diajukan oleh AMD pada tahun 2008 direalisasikan oleh SK Hynix melalui teknologi TSV pada tahun 2013. 10 tahun setelah diperkenalkan, HBM tampaknya benar-benar memasuki era komersialisasi skala besar.
Lepas landasnya konsep HBM terkait langsung dengan popularitas AIGC. Server AI memiliki persyaratan bandwidth yang lebih tinggi. Dibandingkan dengan DDR SDRAM, HBM memiliki bandwidth yang lebih tinggi dan konsumsi energi yang lebih rendah. Bandwidth ultra-tinggi menjadikan HBM sebagai komponen inti dari GPU berperforma tinggi, dan HBM pada dasarnya adalah konfigurasi standar server AI. Saat ini, biaya HBM menempati urutan ketiga dalam biaya server AI, terhitung sekitar 9%, dan harga jual rata-rata satu server mencapai US$18.000.
Sejak kemunculan ChatGPT tahun lalu, pasar model berskala besar mulai berkembang pesat.Di pasar domestik, raksasa teknologi seperti Baidu, Ali, HKUST Xunfei, SenseTime, dan Huawei berturut-turut mengumumkan akan melatih AI mereka sendiri. model berskala besar. TrendForce memperkirakan bahwa pada tahun 2025 akan ada 5 AIGC skala besar yang setara dengan ChatGPT, 25 produk AIGC menengah Midjourney, dan 80 produk AIGC skala kecil.Bahkan sumber daya komputasi minimum yang diperlukan secara global mungkin memerlukan 145.600 hingga 233.700 GPU NVIDIA A100 . Ini adalah area pertumbuhan potensial untuk HBM.
Sejak awal tahun 2023, pesanan HBM dari Samsung dan SK Hynix meningkat pesat, dan harga HBM juga naik, baru-baru ini harga DRAM HBM3 naik 5 kali lipat. Samsung telah menerima pesanan dari AMD dan Nvidia untuk menambah pasokan HBM. SK hynix mulai memperluas lini produksi HBM, bertujuan untuk menggandakan kapasitas produksi HBM. Media Korea melaporkan bahwa Samsung berencana untuk menginvestasikan sekitar 760 juta dolar AS untuk memperluas produksi HBM, yang bertujuan untuk menggandakan kapasitas produksi HBM pada akhir tahun depan, dan perusahaan tersebut telah melakukan pemesanan peralatan utama.
Keunggulan HBM di AIGC
Terus terang, HBM akan meningkatkan daya komputasi server. Karena memproses sejumlah besar data dalam waktu singkat, server AI memiliki persyaratan bandwidth yang lebih tinggi. Fungsi HBM mirip dengan "stasiun transfer" data, yaitu menyimpan data gambar seperti setiap frame dan gambar yang digunakan di area buffer frame, dan menunggu GPU memanggil. Dibandingkan dengan teknologi memori tradisional, HBM memiliki bandwidth yang lebih tinggi, kuantitas I/O yang lebih banyak, konsumsi daya yang lebih rendah, dan ukuran yang lebih kecil, yang dapat sangat meningkatkan volume pemrosesan data dan laju transmisi server AI.
Terlihat bahwa HBM memiliki keunggulan level "rolling" dalam hal bandwidth. Jika HBM2E berjalan pada 3,6Gbps pada antarmuka selebar 1024-bit, Anda mendapatkan bandwidth 3,7Tb/dtk, yang lebih dari 18 kali bandwidth LPDDR5 atau DDR4.
Selain keunggulan bandwidth, HBM dapat menghemat area, yang pada gilirannya dapat memuat lebih banyak GPU dalam sistem. Memori HBM terdiri dari tumpukan memori pada paket fisik yang sama dengan GPU.
Harga telah menjadi faktor pembatas untuk HBM di masa lalu. Tapi sekarang pasar model skala besar sedang dalam masa persaingan. Bagi raksasa yang membuat model skala besar, waktu adalah uang. Oleh karena itu, HBM, yang "mahal dan mahal", telah menjadi favorit baru perusahaan besar. raksasa model skala. Dengan meningkatnya permintaan GPU kelas atas secara bertahap, HBM telah mulai menjadi konfigurasi standar server AI.
Saat ini, Nvidia A100 dan H100 masing-masing dibekali HBM2e dan HBM3 berkapasitas 80GB.Dalam chip Grace Hopper terbarunya yang mengintegrasikan CPU dan GPU, kapasitas angkut HBM satu chip meningkat 20%, mencapai 96GB.
MI300 AMD juga dilengkapi dengan HBM3. Diantaranya, kapasitas MI300A sama dengan generasi sebelumnya yaitu 128GB, dan MI300X high-end mencapai 192GB, meningkat 50%.
Diharapkan Google akan secara aktif memperluas kerja samanya dengan Broadcom pada paruh kedua tahun 2023 untuk mengembangkan chip akselerasi AISC AI TPU juga direncanakan akan dilengkapi dengan memori HBM untuk memperluas infrastruktur AI.
Tata letak akselerasi vendor penyimpanan
"Adegan uang" semacam itu memungkinkan raksasa penyimpanan mempercepat tata letak memori HBM. Saat ini, tiga produsen chip memori teratas dunia sedang mentransfer lebih banyak kapasitas produksi untuk memproduksi HBM, namun karena butuh waktu untuk menyesuaikan kapasitas produksi, sulit untuk meningkatkan produksi HBM dengan cepat, dan diperkirakan pasokan HBM akan tetap ketat. dalam dua tahun ke depan.
Pasar HBM terutama dikendalikan oleh tiga raksasa DRAM utama. Namun, berbeda dengan pasar DRAM yang dipimpin oleh Samsung, SK Hynix berkembang lebih baik di pasar HBM. Seperti disebutkan di awal, SK Hynix mengembangkan produk HBM pertama. Pada April 2023, SK Hynix mengumumkan pengembangan produk DRAM HBM3 24GB pertama, yang menggunakan teknologi TSV untuk menumpuk 12 chip DRAM produk tunggal secara vertikal yang 40% lebih tipis dari chip yang ada, mencapai ketinggian yang sama dengan produk 16GB. Sementara itu, SK Hynix berencana menyiapkan sampel HBM3E dengan kinerja transmisi data 8Gbps pada paruh kedua tahun 2023, dan memproduksinya secara massal pada tahun 2024.
Tata letak perusahaan semikonduktor domestik untuk HBM sebagian besar berkisar pada bidang pengemasan dan antarmuka.
NationalChip Technology saat ini sedang meneliti dan merencanakan teknologi pengemasan chip 2.5D dari memori multi-HBM, dan secara aktif mempromosikan penelitian dan pengembangan serta penerapan teknologi Chiplet. Setelah menyelesaikan lini produksi 2.5D/3D dari Tongfu Microelectronics Co., Ltd., perusahaan akan mewujudkan terobosan domestik di bidang teknologi pengemasan berkinerja tinggi HBM. BIWIN telah meluncurkan chip memori dan modul memori berkinerja tinggi, dan akan terus memperhatikan teknologi HBM. Chip Retimer PCIe 5.0/CXL 2.0 dari Montage Technology telah mencapai produksi massal. Chip ini merupakan peningkatan utama dari produk Retimer PCIe 4.0 dari Montage Technology, yang dapat menyediakan industri dengan bandwidth tinggi yang stabil dan andal, latensi rendah PCIe 5.0/CXL 2.0 solusi interkoneksi.
Meski HBM bagus, tetap harus tenang, HBM masih dalam tahap yang relatif awal, dan masa depannya masih panjang. Dapat diperkirakan bahwa semakin banyak produsen terus melakukan upaya di bidang-bidang seperti AI dan pembelajaran mesin, kompleksitas desain produk memori meningkat pesat, dan persyaratan yang lebih tinggi diterapkan pada bandwidth. Permintaan broadband yang meningkat Akan terus mendorong pengembangan dari HBM.
Panasnya HBM mencerminkan kemampuan berkendara AIGC. Lantas selain HBM dan GPU, adakah produk lain yang bisa memanfaatkan tren baru ini?
Berbicara tentang chip yang dinyalakan lainnya
Keunggulan FPGA mulai terlihat
FPGA (Field Programmable Gate Array) adalah sirkuit terintegrasi dengan elemen logika yang dapat diprogram, memori, dan sumber daya interkoneksi. Tidak seperti ASIC (Application Specific Integrated Circuit), FPGA memiliki keunggulan fleksibilitas, kemampuan penyesuaian, kemampuan pemrosesan paralel, dan peningkatan yang mudah.
Melalui pemrograman, pengguna dapat mengubah skenario aplikasi FPGA kapan saja, dan FPGA dapat mensimulasikan berbagai operasi paralel CPU, GPU, dan perangkat keras lainnya. Oleh karena itu, ini juga disebut "chip universal" di industri.
FPGA masuk akal untuk kebutuhan penalaran kecerdasan buatan dari model dasar yang sering berubah. Programabilitas FPGA melebihi ekonomi tipikal penggunaan FPGA. Jelasnya, FPGA tidak akan menjadi pesaing serius bagi sistem AI skala besar yang menggunakan ribuan GPU, tetapi seiring penetrasi AI lebih jauh ke dalam elektronik, jangkauan aplikasi untuk FPGA akan meluas.
Keunggulan FPGA dibandingkan GPU adalah konsumsi daya dan latensi yang lebih rendah. GPU tidak dapat memanfaatkan memori on-chip dengan baik dan perlu sering membaca DRAM off-chip, sehingga konsumsi daya sangat tinggi. FPGA dapat secara fleksibel menggunakan penyimpanan on-chip, sehingga konsumsi daya jauh lebih rendah daripada GPU.
Pada tanggal 27 Juni, AMD mengumumkan peluncuran AMD Versal Premium VP1902 adaptive system-on-chip (SoC), yang merupakan SoC adaptif berbasis FPGA. Ini adalah perangkat berbasis chiplet tingkat emulasi yang menyederhanakan verifikasi desain semikonduktor yang semakin kompleks. Dilaporkan bahwa AMD VP1902 akan menjadi FPGA terbesar di dunia Dibandingkan dengan produk generasi sebelumnya (Xilinx VU19P), VP1902 baru menambahkan fungsi Versal dan mengadopsi desain chip kecil, yang menggandakan kinerja utama FPGA.
Laporan Riset Sekuritas Dongxing percaya bahwa FPGA memiliki keunggulan besar dalam penalaran AI berdasarkan penundaan dan keunggulan konsumsi daya yang dibawa oleh arsitekturnya. Laporan penelitian Zheshang Securities sebelumnya juga menunjukkan bahwa selain GPU, solusi CPU+FPGA juga dapat memenuhi permintaan daya komputasi AI yang sangat besar.
Tidak seperti HBM yang dimonopoli oleh perusahaan luar negeri, perusahaan domestik telah mengakumulasi chip FPGA.
Bisnis utama Anlu Technology adalah R&D, desain, dan penjualan chip FPGA dan perangkat lunak EDA khusus.Produk ini telah banyak digunakan dalam kontrol industri, komunikasi jaringan, elektronik konsumen, dan bidang lainnya. Ziguang Tongchuang, anak perusahaan Ziguang Guowei, adalah perusahaan FPGA profesional yang merancang dan menjual chip FPGA serba guna. Ziguang Guowei pernah menyatakan pada performance briefing bahwa chip FPGA perusahaan dapat digunakan di bidang AI. Teknologi Dongtu terutama melakukan industrialisasi chip FPGA.Perusahaan pemegang saham perusahaan Zhongke Yihai Micro tim telah secara mandiri mengembangkan perangkat lunak EDA untuk mendukung pengembangan aplikasi produk FPGA-nya.
Ide Baru untuk Substitusi Domestik: Integrasi Penyimpanan dan Komputasi + Chiplet
Bisakah kita menggunakan proses dan teknologi yang tersedia saat ini untuk mengembangkan chip AI yang dapat bersaing dengan Nvidia dalam hal kinerja? Beberapa "ide baru" telah muncul, seperti integrasi penyimpanan dan perhitungan + Chiplet.
Pemisahan penyimpanan dan perhitungan akan menyebabkan kemacetan daya komputasi. Dengan pesatnya perkembangan teknologi AI, permintaan akan daya komputasi telah meledak. Di era pasca-Moore, bandwidth penyimpanan membatasi bandwidth efektif sistem komputasi, dan pertumbuhan daya komputasi sistem sedang berjuang. Misalnya, dibutuhkan 99 hari untuk melatih model BERT dari awal dengan 8 blok 1080TI. Arsitektur terintegrasi penyimpanan-komputasi tidak memiliki konsep penyimpanan multi-level yang dalam. Semua perhitungan diimplementasikan dalam memori, sehingga menghilangkan dinding penyimpanan dan overhead tambahan terkait yang disebabkan oleh heterogenitas komputasi penyimpanan; penghapusan dinding penyimpanan dapat sangat mengurangi penanganan data. , tidak hanya meningkatkan transmisi data dan kecepatan pemrosesan, tetapi juga meningkatkan rasio efisiensi energi beberapa kali.
Di satu sisi, konsumsi daya yang diperlukan untuk memproses daya komputasi yang sama antara arsitektur terintegrasi penyimpanan-komputasi dan prosesor arsitektur tradisional akan berkurang; Buka dinding kompilasi arsitektur tradisional.
Sarjana di Arizona State University merilis simulator benchmark arsitektur IMC berbasis Chiplet SIAM pada tahun 2021 untuk mengevaluasi potensi arsitektur baru ini dalam pelatihan model besar AI. SIAM mengintegrasikan perangkat, sirkuit, arsitektur, network-on-chip (NoC), network-in-package (NoP), dan model akses DRAM untuk mengaktifkan sistem komputasi performa tinggi end-to-end. SIAM dapat diskalakan dalam mendukung jaringan saraf dalam (DNN) dan dapat disesuaikan untuk berbagai struktur dan konfigurasi jaringan. Tim risetnya mendemonstrasikan fleksibilitas, skalabilitas, dan kecepatan simulasi SIAM dengan membandingkan DNN tingkat lanjut yang berbeda menggunakan kumpulan data CIFAR-10, CIFAR-100, dan ImageNet. Dikatakan bahwa dibandingkan dengan GPU NVIDIA V100 dan T4, arsitektur chiplet +IMC yang diperoleh melalui SIAM menunjukkan bahwa efisiensi energi ResNet-50 pada kumpulan data ImageNet telah meningkat masing-masing sebesar 130 dan 72.
Ini berarti bahwa chip AI terintegrasi penyimpanan-komputasi diharapkan dapat mencapai integrasi heterogen dengan bantuan teknologi Chiplet dan teknologi pengemasan tumpukan 2.5D / 3D, sehingga membentuk sistem komputasi berskala besar. Kombinasi penyimpanan dan kalkulasi + Chiplet tampaknya merupakan cara yang layak untuk mewujudkannya. Dikatakan bahwa Teknologi Yizhu sedang menjajaki jalan ini. Penyimpanan dan kalkulasi generasi pertamanya yang terintegrasi dengan chip komersial daya komputasi besar AI dapat mencapai daya komputasi kartu tunggal lebih dari 500T, dan konsumsi daya Dalam 75W. Mungkin ini akan menjadi awal dari kurva pertumbuhan kedua daya komputasi AI.
Kesimpulan
Pada Konferensi Kecerdasan Buatan Dunia, CEO AMD Lisa Su mengatakan bahwa akan ada siklus super komputasi skala besar dalam sepuluh tahun ke depan, oleh karena itu, ini adalah saat yang tepat untuk menjadi pemasok teknologi, dan juga berbeda dengan beberapa perusahaan yang akan menggunakan teknologi ini untuk mengembangkan teknologi yang berbeda. Waktu yang tepat untuk bekerja dengan klien aplikasi.
Tidak ada yang menginginkan industri dengan hanya satu pemain dominan. Bisakah pasar model skala besar memungkinkan industri chip memiliki struktur pasar baru, dan dapatkah pemain baru muncul?
"Pasar model besar telah membawa pola dan peluang pasar baru ke industri chip. Dengan mempromosikan pengembangan chip AI, mendorong pertumbuhan komputasi awan dan pasar pusat data, serta memicu perubahan lanskap persaingan, munculnya model besar telah membawa peluang baru ke arah pengembangan industri chip.
Perlu dicatat bahwa industri chip adalah industri yang sangat kompetitif dan padat teknologi. Memasuki industri membutuhkan sumber daya keuangan dan teknis yang besar untuk memenuhi persyaratan manufaktur dan R&D yang kompleks. Meskipun pasar model skala besar memberikan peluang bagi pemain baru, mereka perlu mengatasi tantangan teknis, keuangan, dan pemasaran untuk berhasil dalam industri chip yang sangat kompetitif. "balas chatgpt.