Десятки мільярдів доларів у боротьбі за платформи, битві штучного інтелекту, що генерує хмарні дані

Автор: Вівек Сабріна, Джерело: Silicon Rabbit Race

Джерело зображення: створено інструментом Unbounded AI

Snowflake і Databricks завжди були двома компаніями, які отримували багато уваги в області баз даних.Хоча вони знаходяться на одному сайті, кожна з них має свої особливості, і конкуренція не була поставлена на стіл.

У цій хвилі генеративного штучного інтелекту дві компанії дуже активні через придбання. Snowflake завершила придбання Neeva (пошукова система ШІ корпоративного рівня), а Databricks придбала MosaicML (розгортання моделі ML) за 1,3 мільярда доларів США та оголосила про придбання в Отримання OmniML (Model Compression).

Дві компанії змінили свою попередню ситуацію гармонії на поверхні та таємного суперництва, і вирішили провести найважливішу щорічну зустріч компанії в той самий день, підкресливши їх генеративний макет ШІ, і їхні амбіції неможливо приховати.

Snowflake стане публічним у 2020 році з поточною ринковою вартістю 57,92 мільярда доларів США (2023.8.1). Databricks ще не зареєстровано на біржі. Згідно з останнім раундом фінансування, його оцінка сягнула 38 мільярдів доларів США. З благословенням генеративного штучного інтелекту чи зможе оцінка/ринкова вартість майбутнього лістингу Databricks наздогнати Snowflake? Чи зможе Сніжинка перейти на наступний рівень?

Вівек, партнер Madrona, та інвестор Сабріна, яка інвестувала в Snowflake, поділилися своїми поглядами на дві компанії, які борються в галузі генеративного ШІ.

Минулий тиждень був важливим для практиків у сфері даних і штучного інтелекту, оскільки два найважливіші гравці — Databricks і Snowflake — провели свої щорічні конференції відповідно в Сан-Франциско та Лас-Вегасі (Databricks’ Data and AI Summit і Snowflake’s Summit). .

Не випадково ці два гіганти вирішили провести свої масштабні події на одному тижні. **Сніжинка та Databricks були друзями та суперниками протягом останнього десятиліття, але цього тижня стало ясно, що тепер вони є головними суперниками один одного, і що новим полем битви є штучний інтелект. ** Не дивно, що велика частина обговорень і оголошень на обох конференціях оберталася навколо генеративного ШІ. Ключове повідомлення полягає в тому, що щоб побудувати генеративну стратегію ШІ, кожна компанія повинна почати зі стратегії даних.

Не дивно, що і Databricks, і Snowflake обґрунтували, чому вони можуть найкраще підтримувати клієнтів у цій подорожі.

Як дві компанії, які починали свою діяльність у різних частинах ланцюжка створення вартості, колись навіть були стратегічним партнерством, перетворилися на таких запеклих конкурентів у цю нову еру штучного інтелекту?

Копаймо глибше.

[Коротка відмова від відповідальності: Мадрона інвестувала в серію С Snowflake і досі володіє деякими акціями компанії. 】

01Сніжинка: від сховища даних до хмари даних

Snowflake була заснована в 2012 році Бенуа Дагевілем і Тьєррі Круанесом. Вони є двома експертами з баз даних, які багато років працювали в Oracle, і вони гостро зауважують, що більшість сховищ даних є «захищеними, дорогими та складними у використанні». Dageville і Cruanes співпрацювали з Марчіном Жуковскі, колишнім генеральним директором Vectorwise, щоб побудувати сховище даних майбутнього на основі трьох ключових умов:

1. Повністю хмарна архітектура;

2. Розділіть обчислення та сховище для досягнення майже необмеженого розширення;

3. Еластичність у використанні обчислювальних ресурсів, що забезпечує безпрецедентну швидкість обробки запитів і гнучкість. Сьогодні Snowflake виріс із «просто» хмарного сховища даних до «хмари даних», яка надає клієнтам єдину платформу для доступу, створення, співпраці та монетизації своїх даних. Трохи більше ніж за десять років Snowflake перетворилася на публічну компанію з оборотом 55 мільярдів доларів, яка обслуговує понад 6000 клієнтів і багато компаній зі списку Fortune 500. Snowflake об’єднала зусилля з основними постачальниками гіпермасштабованих хмар (Azure, AWS і GCP), і тепер вони чітко націлені на ШІ, щоб привернути більше уваги.

Для досягнення цієї мети вони здійснили низку придбань і запусків продуктів у сфері штучного інтелекту та машинного навчання, зокрема:

1. Snowpark дозволяє дослідникам обробки даних використовувати бажану мову програмування для розробки, розгортання та оркестровки наскрізного машинного навчання. За допомогою Snowpark клієнти можуть завантажувати, аналізувати та перетворювати свої дані, щоб тренувати моделі машинного навчання та виконувати більш прогнозну аналітику.

2. Streamlit — це керований даними інструмент створення додатків, який Snowflake придбала в березні 2022 року за 800 мільйонів доларів. Streamlit дає змогу клієнтам розробляти програми, що містять інтенсивні дані, лише за допомогою кількох рядків коду. Streamlit спрощує процес контекстуалізації завдань аналізу даних і виведення моделі машинного навчання через інтерфейсні веб-додатки.

3. Neeva, компанія Snowflake, придбана на початку цього року, має на меті прискорити корпоративну взаємодію та пошук із даними, особливо в більш розмовній формі.

02Databricks: Побудувати Lakehouse

Databricks була заснована в 2013 році, всього через рік після Snowflake. На відміну від Бенуа та Террі, які є галузевими практиками, Databricks була заснована групою людей, які мають глибокі зв’язки з науковими колами та спільнотою відкритого коду.

Семеро засновників, включаючи нинішнього генерального директора Алі Годсі, були дослідниками AMLab в Каліфорнійському університеті в Берклі та задумали Apache Spark, уніфікований аналітичний механізм із відкритим кодом для великомасштабної обробки даних. Spark перетворився на одну з найбільших і найбільш використовуваних систем обробки даних, яка відіграє важливу роль у великомасштабній інженерії даних, науці про дані та машинному навчанні.

Початковою метою Databricks було комерціалізувати Spark, запустивши версію Spark корпоративного рівня, яка надає всі функції (керування, підтримка, хостинг тощо), необхідні великим організаціям. Потім Databricks перетворилася на інноваційну «платформу Lakehouse», яка об’єднує дані, аналітику та штучний інтелект. Уніфікована концепція Lakehouse поєднує «інтеграцію, зберігання, обробку, управління, обмін, аналітику та штучний інтелект» на одній платформі.

За останнє десятиліття Databricks стала однією з найбільш високооцінюваних приватних компаній у світі з оцінкою в 38 мільярдів доларів у 2021 році, а нещодавно досягла рубежу в 1 мільярд доларів доходу. Вони обслуговують десятки тисяч корпоративних клієнтів і користувачів з відкритим кодом і вважаються одними з найгучніших IPO. На тлі всього цього зростання вони все більше позиціонують себе як лідерів у сфері штучного інтелекту завдяки нещодавнім видатним придбанням і запуску продуктів, включаючи придбання MosaicML за 1,3 мільярда доларів (докладніше про це нижче) і відкритий код Dolly, налаштованого на інструкції LLM, який можна навчитися менше ніж за 30 доларів.

03 Зіткнення в ШІ

І Snowflake, і Databricks мають хороші можливості, щоб продовжувати використовувати довгострокові структурні тенденції, оскільки підприємства готуються до переходу на генеративний ШІ. Обидві компанії намагаються позиціонувати себе як стратегічні багатопродуктові платформи даних, оскільки генеративні додатки ШІ стають більш доступними. Ось деякі ключові оголошення з відповідних конференцій і наше бачення загальної стратегії ШІ кожної компанії.

Головний анонс Snowflake:

ОГОЛОШЕННЯ РОЗРОБНИКА

1. Рідна структура програм Snowflake: її можна розширити на основі хмари даних Snowflake, дозволяючи розробникам створювати, поширювати та монетизувати програми для використання даних по-новому.

2. Контейнерний сервіс Snowpark: розширте можливості програмування даних і обчислювальну інфраструктуру для підтримки мов програмування, доступу до програмного забезпечення сторонніх розробників, а також забезпечте покращену безпеку та керування для розміщення програм із повним стеком і LLM. Додаткова гнучкість забезпечується узагальненням обчислювальної платформи Snowflake, що дозволяє клієнтам запускати повні наскрізні програми від нижнього рівня (рівня даних) до рівня інтерфейсу користувача.

3. Інші важливі оголошення: можливості потокового передавання Snowpipe; динамічні таблиці (також відомі як матеріалізовані таблиці); Document AI (новий сервіс для вилучення неструктурованих даних із документів); і таблиці Iceberg.

Оголошення про партнерствоSnowflake оголосила про кількох ключових партнерів, зокрема NVIDIA, Microsoft і Weights & Biases.

1. Партнерство з NVIDIA планує вбудувати свою корпоративну структуру розробки NeMo у хмару даних Snowflake, що дозволить клієнтам Snowflake створювати та розгортати LLM та додатки на основі ШІ, використовуючи власні дані, що зберігаються в Snowflake.

2. Співпраця з Microsoft розширить партнерство з Azure, зосередившись на інтеграції нових продуктів навколо служб Microsoft Azure OpenAI і Azure AI/ML. Співпраця має потенціал для перенесення робочих навантажень і клієнтів у хмару даних.

3. Співпрацюючи з Weights & Biases, провідною платформою MLOps, служба контейнерів Snowflake дозволяє Weights & Biases пришвидшити ітераційну розробку моделей ML, LLM і програм, керованих LLM, у хмарі даних Snowflake. Зрештою, ця співпраця допоможе компаніям і користувачам легше створювати та використовувати генеративний ШІ.

4. Окрім цих двох компаній, Snowflake оголосила про багато інших партнерств з Alteryx, Hex, Dataiku, RelationalAI, Pinecone та іншими.

НАША ДУМКА

Донедавна Snowflake не розкривала жодних планів щодо додавання генеративного штучного інтелекту до наявних можливостей, і багато інвесторів висловлювали занепокоєння щодо здатності Snowflake конкурувати в цьому просторі, особливо порівняно з Databricks. Однак на саміті 2023 року Snowflake представила чітке бачення, позиціонуючи себе як надійного хмарного постачальника даних, і завдяки цьому створила сильну історію навколо генеративного ШІ.

Партнерство Snowflake з Nvidia та анонс контейнерного сервісу Snowpark роблять їх більш життєздатним гравцем у стеку даних AI. Основний момент, який вони хочуть донести, полягає в тому, що вони можуть надати клієнтам безпечний доступ, розробку та розгортання LLM і програм на основі штучного інтелекту в хмарі даних Snowflake, одночасно забезпечуючи прискорені обчислення за допомогою графічних процесорів Nvidia та програмного забезпечення штучного інтелекту.

Незважаючи на те, що їх історія та повідомлення вражають, ми вважаємо, що вони все ще залишаються аутсайдерами порівняно з Databricks у просторі ШІ...

Основне оголошення Databricks:

ОГОЛОШЕННЯ РОЗРОБНИКА

1. LakehouseIQ: природний мовний інтерфейс на базі LLM для пошуку та запиту даних, а також ефективного розуміння даних клієнта, внутрішнього жаргону та шаблонів використання для розуміння архітектури клієнта, документів, запитів, систем тощо.

2. **LakehouseAI: **Databricks анонсувала низку нових функцій у Databricks ML, зокрема деякі з можливостей LLMOps, як-от інтеграція даних, підготовка наборів даних для машинного навчання, точне налаштування та контроль моделей машинного навчання та розгортання самих моделей . Databricks також анонсувала низку функцій щодо векторного пошуку, служб функцій і шлюзу MLFlow.

3. MosaicML: Незадовго до саміту Databricks оголосила про придбання MosaicML за 1,3 мільярда доларів, яка під час саміту позиціонувалася як «машина для створення моделей GenAI».

4. **Інші важливі повідомлення: **Delta Lake 3.0, MLFlow 2.5 підтримують інтелектуальний моніторинг різних серверних LLM, програм Lakehouse і Databricks Lakehouse Monitoring.

наша думка

Databricks використовує уніфікований підхід до ШІ, об’єднуючи дані, моделі ШІ, можливості моніторингу та управління на платформі Lakehouse. Як наслідок, Databricks дозволяє клієнтам розробляти свої рішення GenAI ефективніше, а клієнти сприймають Databricks як надійного партнера, який у середньому є швидшим, економічнішим і простішим у використанні в розробці машинного навчання.

Хоча Databricks вже вважається ключовим гравцем у стеку штучного інтелекту, Databricks зміцнила своє лідерство в GenAI завдяки інвестиціям у такі моделі, як Dolly, LLM із відкритим вихідним кодом, що виконує інструкції, та великому придбанню MosaicML. Далі Databricks відзначили свій Lakehouse як найкращий спосіб для стартапів GenAI навчати та розгортати власні моделі штучного інтелекту, використовуючи власні власні дані економічно ефективним способом, не будучи зв’язаними великими технологічними компаніями.

**04 Забігаючи вперед, що ми можемо очікувати? **

Незважаючи на те, що захоплення генеративним штучним інтелектом триває вже більше восьми місяців, останній тиждень дав зрозуміти, що Snowflake і Databricks змагаються за розум і частку ринку в просторі. Отже, чого ми можемо очікувати від цієї загостреної конкуренції?

1. Придбання триватимуть → І Snowflake, і Databricks мають відносно хороші можливості для продовження придбання менших компаній, які доповнюють їх загальну стратегію. На балансі Snowflake близько 4 мільярдів доларів готівки, а Databricks має високу оцінку, доступну для торгівлі. Тим часом сотні стартапів із застосуванням штучного інтелекту та інструментів обробки даних прагнуть знайти вихід на сухий ринок IPO. Ми не думаємо, що Neeva та MosaicML будуть останніми придбаннями цих гігантів, і на ринку відбудеться консолідація.

2. Клієнти отримають вигоду → У загостренні конкуренції між Snowflake і Databricks явним переможцем мають стати їхні клієнти. Два гіганти швидко додають нові продукти та послуги на свої платформи, створюючи «єдине вікно» для клієнтів, щоб створювати додатки для обробки даних і використовувати LLM. Це вдосконалення платформи допоможе демократизувати доступ до штучного інтелекту та дозволить науковцям з обробки даних, інженерам із обробки даних і практикам штучного інтелекту співпрацювати більш змістовно.

3. Azure і AWS отримають більше прибутку → Оскільки Snowflake і Databricks продовжуватимуть розширюватися на ринку штучного інтелекту, їм знадобиться багато обчислювальної потужності, головним чином наданої Azure і AWS. Інженер з даних Анант Пакідуралі це проникливо зауважує. Подібно до того, як Nvidia отримує переваги від штучного інтелекту, постачальники гіпермасштабованих хмарних послуг, які забезпечують інфраструктуру для обчислювальних потреб Snowflake і Databricks, отримають виграш незалежно від того, хто виграє гонку ШІ.

Оскільки компанії все більше покладаються на дані для підтримки своїх генеративних стратегій штучного інтелекту, ми вважаємо, що і Snowflake, і Databricks мають хороші можливості, щоб отримати вигоду від цієї зміни поколінь. Незважаючи на те, що вони походять з різних частин ланцюжка створення вартості, і їхні стосунки розвивалися протягом останнього десятиліття, зараз вони беруть участь у змаганні за величезні винагороди.