Nvidia yang sedang ramai-ramainya, apakah tujuan selanjutnya adalah mencuri bisnis vendor cloud?

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Siapa pun yang memiliki GPU Nvidia adalah perusahaan cloud

Selalu ada berita baru tentang Nvidia yang mengejutkan Anda.

Yang terbaru datang dari CoreWeave, startup cloud di AS.

Perusahaan mengumumkan pembiayaan $2,3 miliar, dan yang lebih mengejutkan adalah bahwa jaminan untuk uang ini adalah GPU yang dimilikinya. Di bawah kebangkitan model besar, GPU telah menjadi mata uang keras, dan alasan mengapa CoreWeave dapat memiliki begitu banyak barang langka dari Nvidia adalah karena status masa lalunya - penambang Ethereum terbesar di Amerika Utara.

Pada saat itu, ia memiliki lebih dari 50.000 GPU untuk penambangan. Setelah menghadapi penambangan yang tidak berkelanjutan, CoreWeave mengalihkan perhatiannya ke AI dan bidang lain yang memerlukan komputasi paralel, dan membeli sejumlah besar chip NVIDIA sebelum ChatGPT menjadi populer— —Pada saat itu waktu, kapasitas produksi keripik sudah mencukupi.

Hasilnya, CoreWeave mengklaim sebagai satu-satunya perusahaan di dunia yang dapat menyediakan daya komputasi H100 dalam skala besar, dan juga bertransformasi menjadi "vendor cloud".

Ya, suplai GPU-nya melampaui semua raksasa layanan cloud, termasuk Google Cloud, Amazon Cloud, dan Microsoft Azure.

Ini mungkin terdengar aneh. Bahkan tanpa hambatan jumlah GPU, membangun pusat data masih membutuhkan biaya yang sangat besar, ruang yang indah, desain pembuangan energi dan panas, serta kolaborasi perangkat lunak dan perangkat keras yang sangat kompleks. Secara umum, hanya mereka yang dapat memenuhi hal ini kondisi Itu mungkin raksasa, bukan startup yang baru saja mengumpulkan putaran Seri B ($ 421 juta).

Kemampuan CoreWeave untuk melakukan ini berasal dari pemahaman yang sangat berbeda tentang pusat data.

Pusat data tradisional terdiri dari CPU, yang berfokus pada kemampuan komputasi tujuan umum, didominasi oleh chip pertama dari Intel dan kemudian dari AMD.

Namun, pusat data baru untuk komputasi yang dipercepat lebih menekankan pada komputasi paralel, yang berarti membutuhkan memori yang lebih besar, bandwidth, dan kemampuan untuk menghubungkan semua unit komputasi yang dipercepat dengan erat.Pendiri dan CEO Nvidia Huang Renxun mengatakan ini Prosesnya "modernisasi pusat data," yang dia lihat sebagai siklus 10 tahun.

Awal dari siklus baru ini menandai pembangunan seluruh pusat data, koordinasi perangkat lunak dan perangkat keras, dan bahkan catu daya dan struktur pendingin perlu didesain ulang. Ini hampir membawa semua penyedia layanan cloud kembali ke garis awal - solusi pusat data generasi sebelumnya yang dirancang untuk CPU hampir tidak dapat disalin sama sekali. Misalnya, teknologi Infinite Band yang digunakan oleh Nvidia untuk menghubungkan cluster GPU besar membutuhkan lebih dari 500 mil kabel, yang tidak ada dalam desain pusat data tradisional.

CoreWeave memberikan contoh lain. Dengan ukuran situs yang sama, cluster GPU membutuhkan daya 4 kali lebih banyak daripada pusat data tradisional. Oleh karena itu, sistem daya dan sistem pendingin pusat data baru perlu didesain ulang sepenuhnya, yang bahkan bukan kombinasi perangkat keras dan perangkat lunak.biaya.

CoreWeave, yang mendahului peluang, tidak hanya dapat memberikan daya komputasi H100 yang sangat besar, tetapi juga puluhan kali lebih cepat daripada layanan cloud lainnya dan pada saat yang sama biayanya 80% lebih rendah. visi pusat data - pusat data berubah menuju komputasi yang dipercepat, dan daya komputasi yang langka disuplai melalui cloud.

Dengan cara ini, perusahaan penambangan mata uang virtual telah menjadi perusahaan cloud computing yang populer, hanya karena merupakan pengikut setia Nvidia.

Jenis awan apakah Nvidia Cloud

Siapa pun yang memiliki GPU Nvidia adalah vendor cloud paling populer, jadi siapa yang memiliki GPU Nvidia paling banyak? Rupanya itu sendiri.

Jadi sambil mendukung start-up cloud serupa, Nvidia juga membangun cloud-nya sendiri.

Nvidia memiliki banyak keuntungan dalam melakukan cloud itu sendiri, yang paling jelas adalah tidak terganggu oleh hubungan antara pasokan dan permintaan GPU. Musk pernah mengatakan di depan umum bahwa mendapatkan GPU jauh lebih sulit daripada mendapatkan obat-obatan, dan alasan mengapa CoreWeave dapat memberikan daya komputasi H100 berskala sangat besar juga dilaporkan terkait dengan pasokan Nvidia yang cukup - Nvidia berpartisipasi dalam CoreWeave beberapa bulan lalu B putaran pembiayaan.

Namun jelas, hanya berinvestasi di beberapa perusahaan pemula saja tidak cukup, dan permintaan besar akan daya komputasi AI generatif pada akhirnya akan membuat Nvidia berhenti dengan sendirinya. Pada konferensi GTC pada bulan Maret tahun ini, Nvidia meluncurkan layanan cloud-nya sendiri DGX Cloud, yang secara resmi diluncurkan pada pertengahan tahun.

Seperti terlihat dari namanya, DGX Cloud langsung memanfaatkan kemampuan superkomputer DGX Nvidia, dan setiap instance cloud dilengkapi dengan 8 GPU H100 atau A100 dan memori 640GB.

DGX Cloud mengadopsi struktur latensi rendah yang memungkinkan alur kerja besar diskalakan di seluruh kluster dan didistribusikan secara paralel ke beberapa node komputasi. Misalnya, Oracle, yang pertama kali mengumumkan kerja samanya dengan DGX Cloud, dapat menerapkan lebih dari 30.000 GPU A100 per klaster di OCI Supercluster, sehingga model besar dapat dilatih di cloud. Pengguna dapat dengan bebas mengakses superkomputer AI mereka sendiri di mana saja (Nvidia mengatakan bahwa distribusi daya komputasi bersifat eksklusif), dan hanya antarmuka front-end yang digunakan untuk menanganinya. Kecuali untuk proses pengembangan itu sendiri, tidak perlu khawatir tentang masalah apa pun yang terkait dengan infrastruktur perangkat keras. .

Layanan ini ditawarkan setiap bulan dengan harga hampir $40.000. Tentu saja, ini masih jauh lebih murah daripada membeli server DGX secara langsung seharga 200.000 dolar AS, tetapi banyak orang telah menunjukkan bahwa biaya Microsoft Azure kurang dari 20.000 dolar AS untuk 8 A100GPU yang sama, hampir setengah dari yang sebelumnya.

Mengapa begitu mahal? Karena layanan cloud Nvidia berbeda dari yang lain, ini tidak hanya mencakup daya komputasi, tetapi juga solusi AI yang lengkap.

Dua layanan bernama Base Command Platform dan AI Enterprise diintegrasikan ke dalam DGX Cloud. Yang pertama adalah perangkat lunak manajemen dan pemantauan, yang tidak hanya dapat digunakan untuk merekam beban pelatihan daya komputasi awan, menyediakan integrasi lintas-awan dan daya komputasi lokal, tetapi juga memungkinkan pengguna untuk mengakses langsung DGX Cloud dari browser. Yang terakhir adalah lapisan perangkat lunak di platform Nvidia AI Ribuan paket perangkat lunak menyediakan berbagai model pra-pelatihan, kerangka kerja AI, dan perpustakaan yang dipercepat, sehingga menyederhanakan biaya pengembangan dan penerapan AI end-to-end. Selain itu, DGX Cloud juga menyediakan layanan pengecoran model yang disebut AI Foundations, yang memungkinkan pengguna bisnis menggunakan data milik mereka sendiri untuk menyesuaikan model besar vertikal mereka sendiri.

Solusi lengkap ini dikombinasikan dengan perangkat lunak dan perangkat keras membuat kecepatan pelatihan DGX Cloud dua hingga tiga kali lebih tinggi daripada komputasi awan tradisional. Ini adalah perbedaan terbesar antara DGX Cloud dan layanan cloud tradisional. Ini mengintegrasikan dua aspek NVIDIA dengan sangat baik. Poin kuat: ekologi AI dan daya komputasi. Untuk Nvidia, frasa "perangkat lunak sebagai layanan" tampaknya diubah menjadi "integrasi perangkat lunak dan perangkat keras sebagai layanan". DGX Cloud secara terpusat mewakili batas atas kemampuan integrasi vertikal produsen perangkat keras ke atas.

Ambisi dan kenyataan Huang Renxun

Namun ini tidak berarti bahwa Nvidia telah sepenuhnya mengangkat meja vendor cloud tradisional. Layanannya disediakan melalui vendor cloud tradisional. DGX Cloud awalnya diumumkan akan diluncurkan di Oracle Cloud, diikuti oleh Microsoft dan Google, dan cara Nvidia bekerja dengan vendor cloud ini cukup menarik: Nvidia pertama-tama menjual perangkat keras GPU ke mitra cloud ini, lalu menyewakan perangkat keras tersebut agar dapat berjalan DGX Cloud.

Beberapa orang bercanda bahwa ini disebut menghasilkan uang dari kedua belah pihak tanpa penundaan.

Faktanya, Huang Jensen menjelaskan model ini: "Kami mendapat manfaat dari pelanggan yang menggunakan platform komputasi kami, dan pelanggan mendapatkan keuntungan dengan menempatkan kami (platform komputasi) di cloud (vendor cloud) mereka."

Jika Anda hanya mendengarkan apa yang dikatakan Huang Renxun, ini adalah akhir yang saling menguntungkan, tetapi ini hanya narasinya yang konsisten. Nvidia sudah terkunci dalam persaingan dengan pelanggannya sendiri, dan ia tahu itu.

Kemajuan DGX Cloud memberi tahu kami bahwa Huang Renxun tidak berniat untuk hanya menerapkannya di vendor cloud tradisional. Di SIGGRAPH 2023 pada bulan Agustus, Nvidia pertama kali mengumumkan kerja samanya dengan Hugging Face, lalu merilis layanan bernama AI Workbench. Mereka semua memungkinkan pengguna untuk dengan mudah membuat, menguji, dan menyesuaikan model pra-pelatihan besar, dan dukungan daya komputasi di belakang mereka secara alami mencakup DGX Cloud.

Ini jelas akan memengaruhi hubungan antara Nvidia dan vendor cloud: penyedia layanan cloud terpenting, termasuk Google, Amazon, dan Microsoft, juga merupakan pelanggan utama Nvidia, dan promosi layanan cloud Nvidia sendiri pasti akan merebut pangsa pasar mereka. Secara khusus, kami telah menyebutkan di bagian pertama bahwa, sebagai raksasa pusat data dan layanan cloud, mereka tidak memiliki banyak keuntungan dalam membangun pusat data generasi berikutnya.Ancaman layanan cloud mereka sendiri tidak kecil.

Huang Renxun tidak akan menyadari hal ini, jadi sikapnya terhadap DGX Cloud cukup menarik, misalnya dia secara terbuka menyatakan bahwa rasio campuran layanan cloud yang sesuai adalah 10% Nvidia DGX plus 90% cloud publik. Dengan kata lain, dalam positioning Huang Renxun, DGX Cloud bukanlah lawan atau ancaman bagi vendor cloud tradisional, melainkan partner.

Dalam panggilan konferensi analis setelah pengumuman laporan keuangan kuartalan Q1, Huang Renxun berbicara lebih banyak tentang manfaat dari kerja sama ini, "situasi win-win yang sangat besar", Huang Renxun menggambarkannya seperti ini. Dalam pemahamannya, DGX Cloud adalah tumpukan Nvidia murni (tumpukan Nvidia murni), yang menggabungkan pengembangan kecerdasan buatan, basis data besar, dan jaringan berkecepatan tinggi dan latensi rendah untuk menjadi infrastruktur AI yang nyaman untuk membuka pasar baru yang besar - peserta dalam pasar ini termasuk Nvidia dan vendor cloud tradisional, dan semua orang akan mendapat manfaat dari ledakan AI generatif.

Mencoba menghindari konflik sebenarnya karena DGX Cloud hanya dapat mempertahankan volume kecil untuk waktu yang lama.

Alasan pertama tentu saja hambatan daya komputasi. "Sangat banyak pesanan" adalah deskripsi Huang Renxun tentang volume bisnis pusat data. Tentu saja, prioritas inti Nvidia adalah mengembangkan dan memastikan produksi sebanyak mungkin chip canggih yang memenuhi permintaan pasar, jika tidak, skala layanan cloud tidak dapat dikembangkan.

Meskipun TSMC dalam produksi tanpa henti, perlu dicatat bahwa kesenjangan daya komputasi tidak semakin kecil tetapi semakin besar, karena begitu model besar diluncurkan dan dikomersialkan (seperti ChatGPT), biaya penalarannya akan meningkat secara eksponensial dengan skala. pengguna Saat level meningkat, dalam jangka panjang, itu akan jauh lebih besar daripada daya komputasi yang diperlukan untuk melatih model (perbesaran yang diberikan seseorang adalah 100).

Selain itu, juga memperhitungkan kompleksitas kemitraan antara Nvidia dan vendor cloud tradisional. Jika DGX Cloud muncul sebagai produk yang murni kompetitif, itu mungkin menempati pangsa pasar yang cukup besar, tetapi pasti akan mempercepat produsen cloud untuk menghilangkan ketergantungan mereka pada Nvidia - mereka telah mengembangkan chip mereka sendiri untuk mengurangi "NVIDIA pajak".

Dari perspektif lain, mungkin bukan kepentingan terbaik Nvidia untuk memperluas skala DGX Cloud sepenuhnya. Dari chip hingga kartu grafis game hingga server dan pusat data, Nvidia jarang memproduksi produk perangkat keras sendiri, dan lebih memilih untuk bekerja sama dengan produsen OEM sehingga Anda masih harus melalui produsen OEM untuk membeli chip Nvidia. Hal ini memungkinkan Nvidia mengendalikan biaya dengan baik dan mempertahankan margin keuntungan.

Saat ini, Nvidia dan vendor cloud tampaknya menjaga keseimbangan, tetapi keseimbangan digunakan untuk merusak, terutama ketika salah satu pihak adalah Nvidia. Bagaimanapun, ini adalah tahun pertama siklus pembaruan dari apa yang disebut "sepuluh tahun berikutnya" oleh Huang Renxun -pusat data generasi”. .