Puluhan miliar dolar dalam gulat platform, pertempuran AI generatif data cloud

Penulis: Vivek Sabrina, Sumber: Ras Kelinci Silikon

Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas

Snowflake dan Databricks selalu menjadi dua perusahaan yang mendapat banyak perhatian di bidang database, meskipun mereka berada di situs yang sama, mereka masing-masing memiliki karakteristiknya sendiri, dan persaingan belum diatur.

Dalam gelombang AI generatif ini, kedua perusahaan sangat aktif melalui akuisisi. Snowflake menyelesaikan akuisisi Neeva (mesin pencari AI tingkat perusahaan), dan Databricks mengakuisisi MosaicML (penyebaran model ML) seharga US$1,3 miliar, dan mengumumkan akuisisi pada cara sederhana Akuisisi OmniML (Model Compression).

Kedua perusahaan telah mengubah situasi keharmonisan mereka sebelumnya di permukaan dan persaingan secara rahasia, dan memilih untuk mengadakan pertemuan tahunan terpenting perusahaan pada hari yang sama, menyoroti tata letak AI generatif mereka, dan ambisi mereka tidak dapat disembunyikan.

Snowflake akan go public pada tahun 2020, dengan nilai pasar saat ini sebesar US$57,92 miliar (2023.8.1).Databricks belum terdaftar.Menurut putaran terakhir pembiayaan, valuasinya telah mencapai US$38 miliar. Dengan restu AI generatif, dapatkah valuasi Databricks/nilai pasar listing masa depan mengejar Snowflake? Bisakah Kepingan Salju membawanya ke level selanjutnya?

Vivek, mitra Madrona, dan investor Sabrina, yang berinvestasi di Snowflake, berbagi pandangan mereka tentang kedua perusahaan yang bergulat di bidang AI generatif.

Minggu lalu adalah yang besar bagi para praktisi di ruang data dan kecerdasan buatan, karena dua pemain paling penting - Databricks dan Snowflake - masing-masing mengadakan konferensi tahunan mereka di San Francisco dan Las Vegas (Databricks 'Data dan AI Summit dan Snowflake's Summit) .

Bukan kebetulan jika kedua raksasa ini memutuskan untuk mengadakan acara besar mereka di minggu yang sama. **Snowflake dan Databricks telah menjadi teman dan saingan selama dekade terakhir, tetapi minggu ini memperjelas bahwa mereka sekarang adalah saingan berat satu sama lain, dan bahwa medan pertempuran baru adalah kecerdasan buatan. ** Tidak mengherankan, banyak diskusi dan pengumuman di kedua konferensi berkisar seputar AI generatif. Pesan utamanya adalah untuk membangun strategi AI generatif, setiap perusahaan harus memulai dengan strategi data.

Tidak mengherankan, baik Databricks maupun Snowflake menjelaskan mengapa mereka dapat mendukung pelanggan dengan sebaik-baiknya dalam perjalanan ini.

Bagaimana dua perusahaan yang memulai di berbagai bagian rantai nilai, bahkan pernah menjadi kemitraan strategis, berkembang menjadi pesaing yang begitu sengit di era baru kecerdasan buatan ini?

Mari gali lebih dalam.

[Penafian cepat: Madrona berinvestasi di putaran Seri C Snowflake dan masih memiliki sebagian saham di perusahaan. 】

01Snowflake: Dari Data Warehouse ke Data Cloud

Snowflake didirikan pada tahun 2012 oleh Benoît Dageville dan Thierry Cruanes. Mereka adalah dua pakar basis data yang telah bekerja di Oracle selama bertahun-tahun, dan mereka dengan cermat mengamati bahwa sebagian besar gudang data "dikeraskan, mahal, dan sulit digunakan". Dageville dan Cruanes bermitra dengan Marcin Zukowski, mantan CEO Vectorwise, untuk membangun gudang data masa depan berdasarkan tiga premis utama:

1. Arsitektur berbasis cloud sepenuhnya;

2. Komputasi dan penyimpanan terpisah untuk mencapai ekspansi yang hampir tak terbatas;

3. Elastisitas dalam penggunaan sumber daya komputasi, memungkinkan kecepatan yang belum pernah terjadi sebelumnya dalam pemrosesan kueri dan fleksibilitas. Saat ini, Snowflake telah berkembang dari "hanya" gudang data cloud menjadi "cloud data" yang memberi pelanggan satu platform untuk mengakses, membangun, berkolaborasi, dan memonetisasi data mereka. Hanya dalam waktu satu dekade, Snowflake telah berkembang menjadi perusahaan publik senilai $55 miliar, melayani lebih dari 6.000 pelanggan dan banyak perusahaan Fortune 500. Snowflake telah bergabung dengan penyedia cloud hyperscale utama (Azure, AWS, dan GCP), dan sekarang mereka memiliki pandangan yang jelas pada AI untuk perhatian lebih.

Untuk mencapai tujuan tersebut, mereka telah melakukan serangkaian akuisisi dan peluncuran produk di bidang kecerdasan buatan dan pembelajaran mesin, antara lain:

1. Snowpark memungkinkan ilmuwan data untuk menggunakan bahasa pemrograman pilihan mereka untuk pengembangan, penerapan, dan orkestrasi beban kerja pembelajaran mesin end-to-end. Dengan Snowpark, pelanggan dapat mencerna, menganalisis, dan mengubah data mereka untuk melatih model pembelajaran mesin dan menjalankan analitik yang lebih prediktif.

2. Streamlit adalah alat pembuat aplikasi berbasis data yang diperoleh Snowflake pada Maret 2022 seharga $800 juta. Streamlit memungkinkan pelanggan untuk mengembangkan aplikasi intensif data hanya dengan beberapa baris kode. Streamlit menyederhanakan proses kontekstualisasi tugas analisis data dan output model pembelajaran mesin melalui aplikasi web front-end.

3. Neeva, perusahaan yang diakuisisi Snowflake awal tahun ini, bertujuan untuk mempercepat interaksi perusahaan dan pencarian dengan data, terutama dengan cara yang lebih komunikatif.

02Databricks: Bangun Lakehouse

Databricks didirikan pada 2013, hanya setahun setelah Snowflake. Tidak seperti Benoit dan Theyry, yang merupakan praktisi industri, Databricks didirikan oleh sekelompok orang yang memiliki ikatan mendalam dengan akademisi dan komunitas open source.

Ketujuh pendiri, termasuk CEO saat ini Ali Ghodsi, adalah peneliti AMPLab di UC Berkeley dan menyusun Apache Spark, mesin analitik terpadu sumber terbuka untuk pemrosesan data skala besar. Spark telah berkembang menjadi salah satu framework pemrosesan data terbesar dan paling banyak digunakan, memainkan peran penting dalam rekayasa data skala besar, ilmu data, dan pembelajaran mesin.

Tujuan awal Databricks adalah untuk mengkomersialkan Spark, meluncurkan versi Spark tingkat perusahaan yang menyediakan semua fitur (tata kelola, dukungan, hosting, dll.) yang dibutuhkan oleh organisasi besar. Databricks kemudian berevolusi menjadi "Lakehouse Platform" inovatif yang menyatukan data, analitik, dan kecerdasan buatan. Konsep Lakehouse terpadu menggabungkan "integrasi, penyimpanan, pemrosesan, tata kelola, berbagi, analitik, dan kecerdasan buatan" dalam satu platform.

Selama dekade terakhir, Databricks telah menjadi salah satu perusahaan swasta paling bernilai di dunia, dengan penilaian tahun 2021 sebesar $38 miliar dan baru-baru ini mencapai tonggak pendapatan $1 miliar. Mereka melayani puluhan ribu klien korporat dan pengguna open source, dan dianggap sebagai salah satu IPO paling terkenal. Di tengah semua pertumbuhan ini, mereka semakin memposisikan diri sebagai pemimpin dalam AI, dengan akuisisi dan peluncuran produk penting baru-baru ini, termasuk akuisisi MosaicML senilai $1,3 miliar (selengkapnya di bawah), dan sumber terbuka Dolly, sebuah LLM yang disesuaikan dengan instruksi yang dapat dilatih untuk kurang dari $30.

03 Tabrakan dalam AI

Baik Snowflake maupun Databricks berada di posisi yang baik untuk terus memanfaatkan tren struktural jangka panjang saat perusahaan bersiap untuk beralih ke AI generatif. Kedua perusahaan mencoba memposisikan diri mereka sebagai platform data multi-produk strategis karena aplikasi AI generatif menjadi lebih banyak tersedia. Berikut adalah beberapa pengumuman penting dari konferensi masing-masing dan pendapat kami tentang strategi AI keseluruhan masing-masing perusahaan.

Pengumuman Utama Kepingan Salju:

** PENGUMUMAN PENGEMBANG**

1. Kerangka kerja aplikasi asli Snowflake: Ini dapat diperluas berdasarkan cloud data Snowflake dengan memungkinkan pengembang membuat, mendistribusikan, dan memonetisasi aplikasi untuk memanfaatkan data dengan cara baru.

2. Layanan Kontainer Snowpark: Memperluas programabilitas data dan infrastruktur komputasi untuk mendukung bahasa pemrograman, mengakses perangkat lunak pihak ketiga, dan menyediakan keamanan dan tata kelola yang ditingkatkan untuk menghosting aplikasi tumpukan penuh dan LLM. Fleksibilitas lebih lanjut diberikan dengan menggeneralisasi platform komputasi Snowflake, memungkinkan pelanggan untuk menjalankan aplikasi end-to-end lengkap dari lapisan bawah (lapisan data) sampai ke lapisan UI.

3. Pengumuman penting lainnya: kemampuan streaming Snowpipe; Tabel Dinamis (juga dikenal sebagai Tabel Terwujud); AI Dokumen (layanan baru untuk mengekstraksi data tidak terstruktur dari dokumen); dan Tabel Gunung Es.

Pengumuman MitraSnowflake mengumumkan beberapa mitra utama termasuk NVIDIA, Microsoft dan Weights & Biases.

1. Kemitraan dengan NVIDIA berencana untuk menanamkan kerangka kerja pengembangan perusahaan NeMo ke dalam cloud data Snowflake, yang akan memungkinkan pelanggan Snowflake untuk membangun dan menerapkan LLM dan aplikasi berbasis AI menggunakan data hak milik yang disimpan di Snowflake.

2. Kolaborasi dengan Microsoft akan memperluas kemitraan dengan Azure, berfokus pada integrasi produk baru seputar layanan OpenAI dan Azure AI/ML Microsoft Azure. Kolaborasi tersebut berpotensi membawa beban kerja dan pelanggan ke cloud data.

3. Bekerja sama dengan Weights & Biases, platform MLOps terkemuka, layanan container Snowflake memungkinkan Weights & Biases mempercepat pengembangan iteratif model ML, LLM, dan aplikasi berbasis LLM di cloud data Snowflake. Pada akhirnya, kolaborasi ini akan membantu bisnis dan pengguna lebih mudah membangun dan memanfaatkan AI generatif.

4. Selain kedua perusahaan ini, Snowflake telah mengumumkan banyak kemitraan lainnya dengan Alteryx, Hex, Dataiku, RelationalAI, Pinecone, dan lainnya.

PENDAPAT KAMI

Sampai saat ini, Snowflake tidak mengungkapkan rencana apa pun untuk menambahkan AI generatif ke kemampuannya yang sudah ada, dan banyak investor menyatakan keprihatinan tentang kemampuan Snowflake untuk bersaing di ruang ini, terutama dibandingkan dengan Databricks. Namun, pada KTT 2023, Snowflake menghadirkan visi yang kuat, memposisikan dirinya sebagai penyedia cloud data tepercaya, dan dengan itu, membangun cerita yang kuat seputar AI generatif.

Kemitraan Snowflake dengan Nvidia dan pengumuman layanan kontainer Snowpark menjadikan mereka pemain yang lebih layak dalam tumpukan data AI. Poin inti yang ingin mereka sampaikan adalah bahwa mereka dapat memungkinkan pelanggan untuk mengakses, mengembangkan, dan menerapkan LLM dan aplikasi berbasis AI dengan aman di cloud data Snowflake, sambil menyediakan komputasi yang dipercepat dengan GPU Nvidia dan perangkat lunak AI.

Meskipun cerita dan pesan mereka mengesankan, menurut kami mereka masih diunggulkan dibandingkan Databricks di ruang AI...

Pengumuman utama Databricks:

** PENGUMUMAN PENGEMBANG**

1. LakehouseIQ: Antarmuka bahasa alami berbasis LLM untuk mencari dan membuat kueri data, dan pemahaman yang kuat tentang data pelanggan, jargon internal, dan pola penggunaan untuk memahami arsitektur, dokumen, kueri, sistem pelanggan, dll.

2. **LakehouseAI: **Databricks telah mengumumkan sejumlah fitur baru di Databricks ML, termasuk beberapa pada kemampuan LLMOps seperti mengintegrasikan data, menyiapkan kumpulan data untuk pembelajaran mesin, menyempurnakan dan mengatur model pembelajaran mesin, dan menerapkan model itu sendiri . Databricks juga mengumumkan sejumlah fitur seputar Pencarian Vektor, Layanan Fitur, dan Gateway MLFlow.

3. MosaicML: Tepat sebelum KTT, Databricks mengumumkan akuisisi MosaicML senilai $1,3 miliar, yang diposisikan sebagai "mesin untuk membuat model GenAI" selama KTT.

4. **Pengumuman penting lainnya: **Delta Lake 3.0, MLFlow 2.5 mendukung pemantauan cerdas berbagai LLM backend, Aplikasi Lakehouse, dan Pemantauan Databricks Lakehouse.

pendapat kami

Databricks mengambil pendekatan terpadu untuk AI dengan menyatukan data, model AI, kemampuan pemantauan dan tata kelola ke dalam platform Lakehouse. Hasilnya, Databricks memungkinkan pelanggan untuk mengembangkan solusi GenAI mereka secara lebih efisien, dan pelanggan memandang Databricks sebagai mitra tepercaya yang, rata-rata, lebih cepat, lebih hemat biaya, dan lebih mudah digunakan dalam pengembangan pembelajaran mesin.

Meskipun sudah dianggap sebagai pemain kunci dalam tumpukan AI, Databricks telah memperkuat kepemimpinannya di GenAI melalui investasi dalam model seperti Dolly, LLM yang mengikuti instruksi sumber terbuka, dan akuisisi besar-besaran dari MosaicML. Databricks selanjutnya menyoroti Lakehouse mereka sebagai cara terbaik bagi startup GenAI untuk melatih dan menerapkan model AI mereka sendiri, memanfaatkan data milik mereka sendiri dengan cara yang hemat biaya tanpa terikat oleh perusahaan teknologi besar.

**04 Ke depan, apa yang bisa kita harapkan? **

Meskipun kegilaan AI generatif telah berlangsung selama lebih dari delapan bulan, minggu lalu telah memperjelas bahwa Snowflake dan Databricks sedang berlomba untuk mendapatkan pikiran dan pangsa pasar di luar angkasa. Jadi, apa yang bisa kita harapkan dari persaingan yang semakin ketat ini?

1. Akuisisi akan berlanjut → Baik Snowflake dan Databricks memiliki posisi yang relatif baik untuk terus mengakuisisi perusahaan kecil yang melengkapi keseluruhan strategi mereka. Snowflake memiliki sekitar $4 miliar tunai di neraca, sementara Databricks memiliki valuasi tinggi yang tersedia untuk diperdagangkan. Sementara itu, ratusan startup AI dan alat data sangat ingin menemukan outlet di pasar IPO yang kering. Kami tidak berpikir Neeva dan MosaicML akan menjadi akuisisi terakhir oleh raksasa ini dan akan ada konsolidasi di pasar.

2. Pelanggan akan mendapatkan keuntungan → Dalam persaingan yang meningkat antara Snowflake dan Databricks, pemenang yang jelas haruslah pelanggan mereka. Kedua raksasa ini dengan cepat menambahkan produk dan layanan baru ke platform mereka, membangun "toko serba ada" bagi pelanggan untuk membangun aplikasi data dan memanfaatkan LLM. Peningkatan platform ini akan membantu mendemokratisasi akses ke AI dan memungkinkan ilmuwan data, insinyur data, dan praktisi AI untuk berkolaborasi dengan lebih bermakna.

3. Azure dan AWS akan mendapatkan lebih banyak keuntungan → Karena Snowflake dan Databricks terus berkembang lebih jauh di pasar AI, mereka akan membutuhkan banyak daya komputasi, terutama disediakan oleh Azure dan AWS. Insinyur data Anant Packidurali dengan cermat mengamati hal ini. Dengan cara yang sama seperti manfaat Nvidia dalam AI, penyedia layanan cloud hyperscale yang menyediakan infrastruktur untuk kebutuhan komputasi Snowflake dan Databricks akan mendapatkan keuntungan terlepas dari siapa yang memenangkan perlombaan AI.

Karena bisnis semakin mengandalkan data untuk mendukung strategi AI generatif mereka, kami yakin Snowflake dan Databricks berada di posisi yang tepat untuk memanfaatkan perubahan generasi ini. Meskipun mereka berasal dari bagian rantai nilai yang berbeda dan hubungan mereka telah berkembang selama dekade terakhir, mereka sekarang berpacu dengan imbalan besar.