Десятки миллиардов долларов в битве платформ, битве ИИ за генерацию облачных данных

Автор: Вивек Сабрина, Источник: Silicon Rabbit Race

Источник изображения: сгенерировано инструментом Unbounded AI

Snowflake и Databricks всегда были двумя компаниями, которым уделялось много внимания в области баз данных.Хотя они находятся на одном сайте, каждая из них имеет свои особенности, и конкуренция не была поставлена на стол.

На этой волне генеративного ИИ две компании очень активны благодаря приобретениям: Snowflake завершила приобретение Neeva (поисковая система ИИ корпоративного уровня), а Databricks приобрела MosaicML (развертывание модели машинного обучения) за 1,3 миллиарда долларов США и объявила о приобретении в Сдержанный способ.Получение OmniML (Model Compression).

Две компании изменили свою прежнюю ситуацию гармонии на поверхности и тайного соперничества и решили провести самое важное ежегодное собрание компании в один и тот же день, подчеркнув свою генеративную схему искусственного интеллекта, и их амбиции невозможно скрыть.

Snowflake станет публичной в 2020 году, а ее текущая рыночная стоимость составит 57,92 млрд долларов США (2023.8.1). Databricks еще не зарегистрирована. Согласно последнему раунду финансирования, ее оценка достигла 38 млрд долларов США. Сможет ли с благословением генеративного ИИ рыночная стоимость Databricks/будущего листинга догнать Snowflake? Сможет ли Снежинка выйти на новый уровень?

Вивек, партнер Madrona, и инвестор Сабрина, инвестировавшая в Snowflake, поделились своим мнением о двух компаниях, борющихся в области генеративного ИИ.

Прошлая неделя была важной для специалистов-практиков в области данных и искусственного интеллекта, так как два наиболее важных игрока — Databricks и Snowflake — провели свои ежегодные конференции в Сан-Франциско и Лас-Вегасе соответственно (Databricks’ Data and AI Summit и Snowflake’s Summit). ).

Неслучайно эти два гиганта решили провести свои крупные мероприятия на одной неделе. **Snowflake и Databricks были друзьями и соперниками в течение последнего десятилетия, но на этой неделе стало ясно, что теперь они являются главными соперниками друг друга, и что новым полем битвы станет искусственный интеллект. ** Неудивительно, что большая часть обсуждений и объявлений на обеих конференциях вращалась вокруг генеративного ИИ. Ключевой посыл заключается в том, что чтобы построить стратегию генеративного ИИ, каждая компания должна начать со стратегии данных.

Неудивительно, что и Databricks, и Snowflake доказали, почему они могут лучше всего поддерживать клиентов на этом пути.

Как две компании, которые начинали в разных частях цепочки создания стоимости, когда-то даже стратегическое партнерство, превратились в таких яростных конкурентов в эту новую эру искусственного интеллекта?

Давайте копнем глубже.

[Небольшой отказ от ответственности: Мадрона инвестировала в раунд C Snowflake и до сих пор владеет некоторыми акциями компании. 】

01Snowflake: от хранилища данных к облаку данных

Бренд Snowflake был основан в 2012 году Бенуа Дажвилем и Тьерри Круанесом. Это два эксперта по базам данных, проработавшие в Oracle много лет, и они остро замечают, что большинство хранилищ данных «защищены, дороги и сложны в использовании». Dageville и Cruanes объединились с Марцином Зуковски, бывшим генеральным директором Vectorwise, для создания хранилища данных будущего на основе трех ключевых предпосылок:

1. Полностью облачная архитектура;

2. Разделение вычислений и хранения для практически неограниченного расширения;

3. Эластичность в использовании вычислительных ресурсов, обеспечивающая беспрецедентную скорость обработки запросов и гибкость. Сегодня Snowflake превратилась из «просто» облачного хранилища данных в «облако данных», которое предоставляет клиентам единую платформу для доступа, создания, совместной работы и монетизации своих данных. Всего за десятилетие Snowflake превратилась в публичную компанию стоимостью 55 миллиардов долларов, обслуживающую более 6000 клиентов и многие компании из списка Fortune 500. Snowflake объединила усилия с крупными поставщиками гипермасштабируемых облачных сервисов (Azure, AWS и GCP), и теперь они явно нацелились на ИИ, чтобы привлечь к ним больше внимания.

Для достижения этой цели они осуществили ряд приобретений и запусков продуктов в области искусственного интеллекта и машинного обучения, в том числе:

1. Snowpark позволяет специалистам по данным использовать предпочитаемый ими язык программирования для сквозной разработки, развертывания и оркестровки рабочих нагрузок машинного обучения. С помощью Snowpark клиенты могут получать, анализировать и преобразовывать свои данные для обучения моделей машинного обучения и выполнения прогнозной аналитики.

2. Streamlit — это инструмент для создания приложений на основе данных, который Snowflake приобрела в марте 2022 года за 800 миллионов долларов. Streamlit позволяет клиентам разрабатывать приложения, интенсивно использующие данные, с помощью всего нескольких строк кода. Streamlit упрощает процесс контекстуализации задач анализа данных и вывода модели машинного обучения с помощью интерфейсных веб-приложений.

3. Neeva, компания, которую Snowflake приобрела ранее в этом году, нацелена на ускорение корпоративного взаимодействия и поиска данных, особенно в более разговорной форме.

02Databricks: Построить домик у озера

Databricks была основана в 2013 году, всего через год после Snowflake. В отличие от Бенуа и Тирри, которые являются отраслевыми практиками, Databricks была основана группой людей, тесно связанных с академическими кругами и сообществом открытого исходного кода.

Семь основателей, в том числе нынешний генеральный директор Али Годси, были исследователями AMPLab в Калифорнийском университете в Беркли и задумали Apache Spark, унифицированный аналитический механизм с открытым исходным кодом для крупномасштабной обработки данных. Spark превратился в одну из крупнейших и наиболее часто используемых сред обработки данных, играющую важную роль в крупномасштабной обработке данных, науке о данных и машинном обучении.

Первоначальная цель Databricks состояла в том, чтобы коммерциализировать Spark, выпустив версию Spark корпоративного уровня, которая предоставляет все функции (управление, поддержка, хостинг и т. д.), необходимые крупным организациям. Затем Databricks превратились в инновационную «платформу Lakehouse», которая объединяет данные, аналитику и искусственный интеллект. Единая концепция Lakehouse сочетает в себе «интеграцию, хранение, обработку, управление, совместное использование, аналитику и искусственный интеллект» на единой платформе.

За последнее десятилетие Databricks стала одной из самых ценных частных компаний в мире: ее оценка в 2021 году составила 38 миллиардов долларов, а недавно она достигла отметки в 1 миллиард долларов дохода. Они обслуживают десятки тысяч корпоративных клиентов и пользователей с открытым исходным кодом и считаются одними из самых громких IPO. На фоне всего этого роста они все больше позиционируют себя как лидеров в области ИИ благодаря недавним заметным приобретениям и запуску продуктов, в том числе приобретению MosaicML за 1,3 миллиарда долларов (подробнее об этом ниже) и открытию Dolly, LLM с инструкциями, которые можно обучить менее чем за 30 долларов.

03 Столкновение в AI

И Snowflake, и Databricks имеют хорошие возможности для дальнейшего использования долгосрочных структурных тенденций, поскольку предприятия готовятся к переходу на генеративный ИИ. Обе компании пытаются позиционировать себя как стратегические мультипродуктовые платформы данных по мере того, как генеративные приложения ИИ становятся все более доступными. Вот некоторые ключевые объявления с соответствующих конференций и наш взгляд на общую стратегию ИИ каждой компании.

Большое объявление Snowflake:

ОБЪЯВЛЕНИЕ РАЗРАБОТЧИКА

1. Собственная среда приложений Snowflake: ее можно расширить на основе облака данных Snowflake, позволяя разработчикам создавать, распространять и монетизировать приложения для использования данных новыми способами.

2. Контейнерная служба Snowpark: расширение возможностей программирования данных и вычислительной инфраструктуры для поддержки языков программирования, доступа к стороннему программному обеспечению, а также обеспечение повышенной безопасности и управления для размещения полностековых приложений и LLM. Дополнительная гибкость обеспечивается за счет обобщения вычислительной платформы Snowflake, что позволяет клиентам запускать полные комплексные приложения от нижнего уровня (уровня данных) до уровня пользовательского интерфейса.

3. Другие важные объявления: возможности потоковой передачи Snowpipe, динамические таблицы (также известные как материализованные таблицы), Document AI (новый сервис для извлечения неструктурированных данных из документов) и таблицы Iceberg.

Объявление о партнерахSnowflake объявила о нескольких ключевых партнерах, включая NVIDIA, Microsoft и Weights & Biases.

1. В рамках партнерства с NVIDIA планируется встроить свою корпоративную среду разработки NeMo в облако данных Snowflake, что позволит клиентам Snowflake создавать и развертывать LLM и приложения на основе ИИ, используя проприетарные данные, хранящиеся в Snowflake.

2. Сотрудничество с Microsoft расширит партнерство с Azure, сосредоточив внимание на интеграции новых продуктов с Microsoft Azure OpenAI и службами Azure AI/ML. Сотрудничество может перенести рабочие нагрузки и клиентов в облако данных.

3. В сотрудничестве с Weights & Biases, ведущей платформой MLOps, контейнерный сервис Snowflake позволяет Weights & Biases ускорить итеративную разработку моделей ML, LLM и приложений на основе LLM в облаке данных Snowflake. В конечном счете, это сотрудничество поможет компаниям и пользователям легче создавать и использовать генеративный ИИ.

4. Помимо этих двух компаний, Snowflake объявила о многих других партнерствах с Alteryx, Hex, Dataiku, RelationalAI, Pinecone и другими.

НАШЕ МНЕНИЕ

До недавнего времени Snowflake не раскрывала никаких планов по добавлению генеративного ИИ к своим существующим возможностям, и многие инвесторы выражали обеспокоенность по поводу способности Snowflake конкурировать в этой области, особенно по сравнению с Databricks. Однако на саммите 2023 года Snowflake представила сильное видение, позиционируя себя как надежного поставщика облачных данных, и благодаря этому создала сильную историю вокруг генеративного ИИ.

Партнерство Snowflake с Nvidia и анонс контейнерного сервиса Snowpark делают их более жизнеспособным игроком в стеке данных ИИ. Основная идея, которую они хотят донести, заключается в том, что они могут предоставить клиентам безопасный доступ, разработку и развертывание LLM и приложений на основе ИИ в облаке данных Snowflake, обеспечивая при этом ускорение вычислений с помощью графических процессоров Nvidia и программного обеспечения ИИ.

Хотя их история и послание впечатляют, мы думаем, что они все еще аутсайдеры по сравнению с Databricks в области ИИ...

Основное объявление Databricks:

ОБЪЯВЛЕНИЕ РАЗРАБОТЧИКА

1. LakehouseIQ: интерфейс на естественном языке на основе LLM для поиска и запроса данных, а также глубокое понимание данных клиента, внутреннего жаргона и шаблонов использования для понимания архитектуры, документов, запросов, систем и т. д. клиента.

2. **LakehouseAI: **Databricks объявила о ряде новых функций в Databricks ML, в том числе о некоторых возможностях LLMOps, таких как интеграция данных, подготовка наборов данных для машинного обучения, точная настройка и курирование моделей машинного обучения, а также развертывание самих моделей. . Databricks также анонсировала ряд функций, связанных с векторным поиском, службами функций и шлюзом MLFlow.

3. MosaicML: Незадолго до саммита Databricks объявила о приобретении MosaicML за 1,3 миллиарда долларов, который во время саммита позиционировался как «машина для построения моделей GenAI».

4. **Другие заслуживающие внимания объявления: **Delta Lake 3.0, MLFlow 2.5 поддерживают интеллектуальный мониторинг различных серверных LLM, приложений Lakehouse и Databricks Lakehouse Monitoring.

наше мнение

Databricks использует единый подход к ИИ, объединяя данные, модели ИИ, возможности мониторинга и управления на платформе Lakehouse. В результате Databricks позволяет клиентам более эффективно разрабатывать свои решения GenAI, а клиенты воспринимают Databricks как надежного партнера, который в среднем работает быстрее, экономичнее и проще в использовании при разработке машинного обучения.

Хотя Databricks уже считается ключевым игроком в стеке ИИ, она укрепила свое лидерство в GenAI благодаря инвестициям в такие модели, как Dolly, LLM с открытым исходным кодом и крупному приобретению MosaicML. Далее Databricks подчеркнула, что их Lakehouse — лучший способ для стартапов GenAI обучать и развертывать свои собственные модели ИИ, экономически эффективно используя собственные проприетарные данные, не привязываясь к крупным технологическим компаниям.

**04 Забегая вперед, чего нам ожидать? **

Хотя повальное увлечение генеративным ИИ продолжается уже более восьми месяцев, на прошлой неделе стало ясно, что Snowflake и Databricks участвуют в гонке за умы и долю рынка в этой области. Итак, что мы можем ожидать от этой усиленной конкуренции?

1. Поглощения будут продолжаться → И Snowflake, и Databricks имеют относительно хорошие возможности для продолжения приобретения небольших компаний, которые дополняют их общую стратегию. На балансе Snowflake около 4 миллиардов долларов наличными, в то время как Databricks имеет высокую оценку, доступную для торговли. Тем временем сотни стартапов, занимающихся ИИ и инструментами обработки данных, стремятся найти выход на рынке сухого IPO. Мы не думаем, что Neeva и MosaicML станут последними приобретениями этих гигантов, и на рынке произойдет консолидация.

2. Клиенты получат выгоду → В растущей конкуренции между Snowflake и Databricks явным победителем должны стать их клиенты. Два гиганта быстро добавляют новые продукты и услуги на свои платформы, создавая «универсальные магазины» для клиентов, чтобы они могли создавать приложения для работы с данными и использовать LLM. Это усовершенствование платформы поможет демократизировать доступ к ИИ и позволит специалистам по данным, инженерам данных и специалистам по ИИ сотрудничать более содержательно.

3. Azure и AWS получат больше прибыли → Поскольку Snowflake и Databricks продолжают расширяться на рынке ИИ, им потребуется много вычислительной мощности, в основном предоставляемой Azure и AWS. Инженер данных Анант Пакидурали проницательно замечает это. Точно так же, как Nvidia выигрывает от ИИ, поставщики гипермасштабируемых облачных услуг, которые предоставляют инфраструктуру для вычислительных потребностей Snowflake и Databricks, выиграют независимо от того, кто выиграет гонку ИИ.

Поскольку предприятия все больше полагаются на данные для поддержки своих стратегий генеративного ИИ, мы считаем, что и Snowflake, и Databricks имеют хорошие возможности для извлечения выгоды из этой смены поколений. Хотя они принадлежат к разным звеньям производственно-сбытовой цепочки и их отношения развивались за последнее десятилетие, сейчас они участвуют в гонке с огромным вознаграждением.