Ambisi Nvidia: "AI native" sepenuhnya menumbangkan pusat data

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Sumber: Wall Street News

Pengarang: Zhao Ying

CEO Nvidia Jensen Huang mengatakan demikian pada konferensi pers pada hari Selasa. Kemarin, Nvidia merilis platform chip super GH200 Grace Hopper generasi baru, yang dirancang khusus untuk era komputasi yang dipercepat dan AI generatif.

Huang Renxun menunjukkan bahwa untuk memenuhi permintaan AI generatif yang terus meningkat, pusat data perlu memiliki platform komputasi yang dipercepat untuk kebutuhan khusus. Platform chip GH200 yang baru menawarkan teknologi memori dan bandwidth yang superior, kemampuan untuk menghubungkan GPU dengan agregat kinerja tanpa kehilangan, dan memiliki desain server yang dapat dengan mudah digunakan di seluruh pusat data. **

Perlu disebutkan bahwa kedatangan gelombang model skala besar telah melahirkan berbagai aplikasi asli AI, yang menyebabkan lonjakan permintaan daya komputasi.Pasar pusat data yang didedikasikan untuk aplikasi kecerdasan buatan intensif data muncul dengan cepat.

Pusat data mengantarkan perubahan baru

Analis mencatat bahwa ketika penyedia komputasi awan yang mapan berlomba untuk memperbaiki pusat data dengan chip canggih dan pemutakhiran lainnya untuk memenuhi permintaan perangkat lunak kecerdasan buatan, beberapa pembuat pemula melihat peluang untuk membangun fasilitas baru dari awal.

Pusat data mirip dengan gudang besar, dilengkapi dengan banyak rak server, jaringan, dan peralatan penyimpanan untuk menyimpan dan memproses data. Dibandingkan dengan pusat data tradisional, pusat data AI memiliki lebih banyak server yang menggunakan chip berperforma tinggi, sehingga konsumsi daya rata-rata per rak server pusat data AI dapat mencapai 50 kilowatt atau lebih, sementara setiap rak pusat data tradisional Konsumsi daya sekitar 7 kW.

Ini berarti pusat data AI perlu membangun lebih banyak infrastruktur yang dapat menyediakan daya lebih tinggi. Karena konsumsi daya tambahan akan menghasilkan lebih banyak panas, pusat data AI juga memerlukan metode pendinginan lainnya, seperti pendinginan cair sistem, untuk Melindungi perangkat dari panas berlebih.

Manju Naglapur, wakil presiden senior di perusahaan jasa dan konsultan Unisys, mencatat:

**Pusat data AI yang dibangun khusus dapat menampung server yang menggunakan chip AI seperti GPU Nvidia, memungkinkan beberapa komputasi berjalan bersamaan saat aplikasi AI menyaring penyimpanan data yang sangat besar. ** Pusat data ini juga dilengkapi dengan jaringan serat optik dan perangkat penyimpanan yang lebih efisien untuk mendukung model kecerdasan buatan skala besar.

Pusat data AI adalah bangunan yang sangat terspesialisasi yang membutuhkan investasi uang dan waktu yang besar. Menurut data dari firma riset Data Bridge Market Research, pada tahun 2029, pengeluaran untuk pasar infrastruktur kecerdasan buatan global diperkirakan akan mencapai US$422,55 miliar, dengan tingkat pertumbuhan tahunan gabungan sebesar 44% selama enam tahun ke depan.

Kepala eksekutif DataBank Raul Martynek mengatakan kecepatan penyebaran AI kemungkinan akan menyebabkan kekurangan kapasitas pusat data dalam 12 hingga 24 bulan ke depan.

AI Computing Rookie Menerima Pembiayaan $2,3 Miliar

Saat ini, berbagai raksasa bertaruh pada pusat data AI, dan "patokan real estat" Blackstone menjual rumah dan beralih ke pusat data AI. Meta juga mengatakan akan membangun pusat data AI baru.

Seperti disebutkan dalam artikel sebelumnya, CoreWeave, pemula dalam daya komputasi AI, mengambil pinjaman hipotek dari Nvidia H100 dan memperoleh pembiayaan utang sebesar 2,3 miliar dolar AS (sekitar 16,5 miliar yuan).

**CoreWeave mengatakan bahwa dana tersebut akan digunakan untuk mempercepat pembangunan pusat data kecerdasan buatan, ini adalah pembiayaan lain setelah perusahaan menerima US$221 juta pada April tahun ini dan US$200 juta pada Mei. Didirikan enam tahun lalu, CoreWeave sudah memiliki tujuh pusat data AI online dan berharap dapat menggandakannya pada akhir tahun ini.

CoreWeave bekerja sama dengan Nvidia dan Inflection AI untuk membangun cluster server AI super besar, dengan target menjalankan 22.000 Nvidia H100. **Jika selesai, ini akan menjadi kluster server AI terbesar di dunia. **

Perlu disebutkan bahwa, menurut situs web resmi CoreWeave, layanan mereka 80% lebih murah daripada vendor komputasi awan tradisional. Server HGX H100 terbaru Nvidia, yang berisi 8 H100 dengan memori video 80G dan memori 1T, mulai dari $2,23 per jam (16 RMB). **

Dibandingkan dengan platform generasi sebelumnya, konfigurasi dual-chip dari platform baru GH200 Grace Hopper meningkatkan kapasitas memori sebesar 3,5 kali lipat dan bandwidth sebesar tiga kali lipat. Satu server memiliki 144 core performa tinggi Arm Neoverse, 8 petaflops performa AI, dan HBM3e terbaru dari teknologi memori 282GB.

Pantas saja di era ledakan LLM ini, Huang Renxun masih dengan berani mengatakan "semakin banyak Anda membeli, semakin banyak Anda berhemat"!