Des dizaines de milliards de dollars dans la lutte contre les plates-formes, la bataille de l'IA génératrice de données dans le cloud

Auteur : Vivek Sabrina, Source : Silicon Rabbit Race

Source de l'image : générée par l'outil d'IA illimitée

Snowflake et Databricks ont toujours été deux entreprises qui ont fait l'objet de beaucoup d'attention dans le domaine des bases de données, bien qu'elles soient sur le même site, elles ont chacune leurs propres caractéristiques, et la concurrence n'a pas été mise sur la table.

Dans cette vague d'IA générative, les deux sociétés sont très actives par le biais d'acquisitions. Snowflake a finalisé l'acquisition de Neeva (moteur de recherche d'IA au niveau de l'entreprise) et Databricks a acquis MosaicML (déploiement de modèles ML) pour 1,3 milliard de dollars, et a annoncé l'acquisition en de manière discrète Acquisition OmniML (Model Compression).

Les deux sociétés ont changé leur situation antérieure d'harmonie en surface et de rivalité en secret, et ont choisi de tenir la réunion annuelle la plus importante de l'entreprise le même jour, mettant en évidence leur disposition d'IA générative, et leurs ambitions ne peuvent être cachées.

Snowflake entrera en bourse en 2020, avec une valeur marchande actuelle de 57,92 milliards de dollars (2023.8.1). Databricks n'a pas encore été coté. Selon le dernier cycle de financement, sa valorisation a atteint 38 milliards de dollars. Avec la bénédiction de l'IA générative, l'évaluation/la valeur marchande future de Databricks peut-elle rattraper Snowflake ? Snowflake peut-il passer au niveau supérieur ?

Vivek, un partenaire de Madrona, et l'investisseur Sabrina, qui a investi dans Snowflake, ont partagé leurs points de vue sur les deux sociétés qui luttent dans le domaine de l'IA générative.

La semaine dernière a été importante pour les praticiens de l'espace des données et de l'intelligence artificielle, car deux des acteurs les plus importants - Databricks et Snowflake - ont tenu leurs conférences annuelles respectivement à San Francisco et à Las Vegas (Databricks' Data and AI Summit et Snowflake's Summit) .

Ce n'est pas un hasard si ces deux géants ont décidé de tenir leurs grands événements dans la même semaine. ** Snowflake et Databricks ont été amis et rivaux au cours de la dernière décennie, mais cette semaine a clairement indiqué qu'ils sont désormais les principaux rivaux l'un de l'autre et que le nouveau champ de bataille est l'intelligence artificielle. ** Sans surprise, une grande partie des discussions et des annonces lors des deux conférences ont tourné autour de l'IA générative. Le message clé est que pour construire une stratégie d'IA générative, chaque entreprise doit commencer par une stratégie de données.

Sans surprise, Databricks et Snowflake ont expliqué pourquoi ils peuvent mieux soutenir les clients dans ce voyage.

Comment deux entreprises qui ont démarré dans des parties différentes de la chaîne de valeur, autrefois même un partenariat stratégique, sont-elles devenues des concurrents aussi féroces dans cette nouvelle ère de l'intelligence artificielle ?

Creusons plus profondément.

[Avis de non-responsabilité rapide : Madrona a investi dans le cycle de série C de Snowflake et détient toujours des actions dans la société. 】

01Snowflake : de l'entrepôt de données au cloud de données

Snowflake a été fondée en 2012 par Benoît Dageville et Thierry Cruanes. Ce sont deux experts en bases de données qui travaillent chez Oracle depuis de nombreuses années, et ils observent avec acuité que la plupart des entrepôts de données sont "durcis, coûteux et difficiles à utiliser". Dageville et Cruanes se sont associés à Marcin Zukowski, ancien PDG de Vectorwise, pour construire un entrepôt de données du futur basé sur trois prémisses clés :

1. Architecture entièrement basée sur le cloud ;

2. Séparez l'informatique et le stockage pour obtenir une expansion presque illimitée ;

3. Élasticité dans l'utilisation des ressources informatiques, permettant une vitesse et une flexibilité sans précédent dans le traitement des requêtes. Aujourd'hui, Snowflake est passé d'un "simple" entrepôt de données cloud à un "cloud de données" qui fournit aux clients une plate-forme unique pour accéder, créer, collaborer et monétiser leurs données. En un peu plus d'une décennie, Snowflake est devenue une entreprise publique de 55 milliards de dollars, desservant plus de 6 000 clients et de nombreuses entreprises du Fortune 500. Snowflake s'est associé aux principaux fournisseurs de cloud hyperscale (Azure, AWS et GCP), et ils ont désormais clairement en vue l'IA pour plus d'attention.

Pour atteindre cet objectif, ils ont réalisé une série d'acquisitions et de lancements de produits dans le domaine de l'intelligence artificielle et de l'apprentissage automatique, notamment :

1. Snowpark permet aux scientifiques des données d'utiliser leur langage de programmation préféré pour le développement, le déploiement et l'orchestration de charge de travail d'apprentissage automatique de bout en bout. Avec Snowpark, les clients peuvent ingérer, analyser et transformer leurs données pour former des modèles d'apprentissage automatique et exécuter des analyses plus prédictives.

2. Streamlit est un outil de création d'applications basé sur les données que Snowflake a acquis en mars 2022 pour 800 millions de dollars. Streamlit permet aux clients de développer des applications gourmandes en données avec seulement quelques lignes de code. Streamlit simplifie le processus de contextualisation des tâches d'analyse de données et de la sortie du modèle d'apprentissage automatique via des applications Web frontales.

3. Neeva, une société que Snowflake a acquise plus tôt cette année, vise à accélérer l'interaction et la recherche d'entreprise avec les données, en particulier de manière plus conversationnelle.

02Databricks : Construisez Lakehouse

Databricks a été fondée en 2013, juste un an après Snowflake. Contrairement à Benoit et Theirry, qui sont des professionnels de l'industrie, Databricks a été fondé par un groupe de personnes ayant des liens étroits avec le milieu universitaire et la communauté open source.

Les sept fondateurs, dont l'actuel PDG Ali Ghodsi, étaient des chercheurs AMPLab à l'UC Berkeley et ont conçu Apache Spark, un moteur d'analyse unifié open source pour le traitement de données à grande échelle. Spark est devenu l'un des frameworks de traitement de données les plus importants et les plus utilisés, jouant un rôle important dans l'ingénierie des données à grande échelle, la science des données et l'apprentissage automatique.

L'objectif initial de Databricks était de commercialiser Spark, en lançant une version professionnelle de Spark qui fournit toutes les fonctionnalités (gouvernance, support, hébergement, etc.) nécessaires aux grandes organisations. Databricks a ensuite évolué pour devenir la « Lakehouse Platform » innovante qui unifie les données, l'analyse et l'intelligence artificielle. Le concept unifié de Lakehouse combine "l'intégration, le stockage, le traitement, la gouvernance, le partage, l'analyse et l'intelligence artificielle" sur une seule plateforme.

Au cours de la dernière décennie, Databricks est devenue l'une des sociétés privées les plus appréciées au monde, avec une valorisation de 38 milliards de dollars en 2021 et a récemment atteint un chiffre d'affaires de 1 milliard de dollars. Ils servent des dizaines de milliers d'entreprises clientes et d'utilisateurs open source, et sont considérés comme l'une des introductions en bourse les plus en vue. Au milieu de toute cette croissance, ils se sont de plus en plus positionnés comme des leaders de l'IA, avec des acquisitions et des lancements de produits notables récents, y compris l'acquisition de MosaicML pour 1,3 milliard de dollars (plus d'informations ci-dessous) et l'open source du Dolly, un LLM adapté aux instructions qui peut être formé pour moins de 30 $.

03 Collision dans l'IA

Snowflake et Databricks sont tous deux bien placés pour continuer à capitaliser sur les tendances structurelles à long terme alors que les entreprises se préparent au passage à l'IA générative. Les deux sociétés tentent de se positionner en tant que plates-formes de données multiproduits stratégiques à mesure que les applications d'IA génératives deviennent plus largement disponibles. Voici quelques annonces clés de leurs conférences respectives et notre point de vue sur la stratégie globale d'IA de chaque entreprise.

** Annonce majeure de flocon de neige : **

ANNONCE DU DÉVELOPPEUR

1. Cadre d'application natif de Snowflake : Il peut être étendu sur la base du cloud de données de Snowflake en permettant aux développeurs de créer, de distribuer et de monétiser des applications pour utiliser les données de nouvelles façons.

2. Snowpark Container Service : Étendez la programmabilité des données et l'infrastructure informatique pour prendre en charge les langages de programmation, accéder à des logiciels tiers et fournir une sécurité et une gouvernance améliorées pour l'hébergement d'applications complètes et de LLM. Une plus grande flexibilité est fournie par la généralisation de la plate-forme informatique de Snowflake, permettant aux clients d'exécuter des applications complètes de bout en bout depuis la couche inférieure (couche de données) jusqu'à la couche d'interface utilisateur.

3. Autres annonces importantes : fonctionnalités de streaming Snowpipe ; tables dynamiques (également appelées tables matérialisées ); Document AI (un nouveau service d'extraction de données non structurées à partir de documents) ; et tables Iceberg.

Annonce de partenariatSnowflake a annoncé plusieurs partenaires clés, dont NVIDIA, Microsoft et Weights & Biases.

1. Le partenariat avec NVIDIA prévoit d'intégrer son cadre de développement d'entreprise NeMo dans le cloud de données de Snowflake, ce qui permettra aux clients de Snowflake de créer et de déployer des LLM et des applications basées sur l'IA en utilisant des données propriétaires stockées dans Snowflake.

2. La collaboration avec Microsoft élargira le partenariat avec Azure, en se concentrant sur de nouvelles intégrations de produits autour des services OpenAI et Azure AI/ML de Microsoft Azure. La collaboration a le potentiel d'amener les charges de travail et les clients dans le cloud de données.

3. En coopération avec Weights & Biases, une plate-forme MLOps de premier plan, le service de conteneurs de Snowflake permet à Weights & Biases d'accélérer le développement itératif de modèles ML, de LLM et d'applications pilotées par LLM dans le cloud de données Snowflake. En fin de compte, cette collaboration aidera les entreprises et les utilisateurs à créer et à exploiter plus facilement l'IA générative.

4. En plus de ces deux sociétés, Snowflake a annoncé de nombreux autres partenariats avec Alteryx, Hex, Dataiku, RelationalAI, Pinecone et autres.

NOTRE OPINION

Jusqu'à récemment, Snowflake n'avait divulgué aucun projet d'ajout d'IA générative à ses capacités existantes, et de nombreux investisseurs ont exprimé leur inquiétude quant à la capacité de Snowflake à être compétitif dans cet espace, en particulier par rapport à Databricks. Cependant, lors du sommet de 2023, Snowflake a présenté une vision forte, se positionnant comme un fournisseur de cloud de données de confiance, et avec cela a construit une histoire forte autour de l'IA générative.

Le partenariat de Snowflake avec Nvidia et l'annonce du service de conteneur Snowpark en font un acteur plus viable dans la pile de données AI. Le point central qu'ils veulent transmettre est qu'ils peuvent permettre aux clients d'accéder, de développer et de déployer en toute sécurité des LLM et des applications basées sur l'IA dans le cloud de données Snowflake, tout en fournissant un calcul accéléré avec les GPU Nvidia et les logiciels d'IA.

Bien que leur histoire et leur message soient impressionnants, nous pensons qu'ils sont toujours des outsiders par rapport à Databricks dans l'espace de l'IA...

Annonce principale de Databricks :

ANNONCE DU DÉVELOPPEUR

1. LakehouseIQ : Interface en langage naturel basée sur LLM pour la recherche et l'interrogation de données, et compréhension puissante des données du client, du jargon interne et des modèles d'utilisation pour comprendre l'architecture, les documents, les requêtes, les systèmes, etc. du client.

2. **LakehouseAI : **Databricks a annoncé un certain nombre de nouvelles fonctionnalités dans Databricks ML, dont certaines sur les capacités LLMOps telles que l'intégration de données, la préparation d'ensembles de données pour l'apprentissage automatique, le réglage fin et la conservation de modèles d'apprentissage automatique, et le déploiement des modèles eux-mêmes. . Databricks a également annoncé un certain nombre de fonctionnalités autour de Vector Search, Feature Services et MLFlow Gateway.

3. MosaicML : Juste avant le sommet, Databricks a annoncé l'acquisition de MosaicML pour 1,3 milliard de dollars, qui s'est positionnée comme une "machine à construire des modèles GenAI" lors du sommet.

4. **Autres annonces notables : **Delta Lake 3.0, MLFlow 2.5 prennent en charge la surveillance intelligente de différents LLM backend, Lakehouse Apps et Databricks Lakehouse Monitoring.

notre opinion

Databricks adopte une approche unifiée de l'IA en rassemblant des données, des modèles d'IA, des capacités de surveillance et de gouvernance dans la plate-forme Lakehouse. En conséquence, Databricks permet aux clients de développer leurs solutions GenAI plus efficacement, et les clients perçoivent Databricks comme un partenaire de confiance qui, en moyenne, est plus rapide, plus rentable et plus facile à utiliser dans le développement de machine learning.

Alors qu'il était déjà considéré comme un acteur clé de la pile d'IA, Databricks a consolidé son leadership dans GenAI grâce à des investissements dans des modèles tels que Dolly, un LLM open source suivant les instructions, et une acquisition majeure de MosaicML. Databricks a ensuite souligné que leur Lakehouse était le meilleur moyen pour les startups GenAI de former et de déployer leurs propres modèles d'IA, en exploitant leurs propres données propriétaires de manière rentable sans être liés par les grandes entreprises technologiques.

**04 À quoi pouvons-nous nous attendre ? **

Bien que l'engouement pour l'IA générative dure depuis plus de huit mois, la semaine dernière a clairement montré que Snowflake et Databricks sont dans une course aux esprits et aux parts de marché dans l'espace. Alors, que peut-on attendre de cette compétition accrue ?

1. Les acquisitions se poursuivront → Snowflake et Databricks sont relativement bien positionnés pour continuer à acquérir de plus petites entreprises qui complètent leur stratégie globale. Snowflake a environ 4 milliards de dollars de liquidités à son bilan, tandis que Databricks a une valorisation élevée disponible à la négociation. Pendant ce temps, des centaines de startups d'IA et d'outils de données sont impatientes de trouver un débouché sur un marché des introductions en bourse asséché. Nous ne pensons pas que Neeva et MosaicML seront les dernières acquisitions de ces géants et qu'il y aura une consolidation sur le marché.

2. Les clients en bénéficieront → Dans la concurrence croissante entre Snowflake et Databricks, le grand gagnant devrait être leurs clients. Les deux géants ajoutent rapidement de nouveaux produits et services à leurs plates-formes, créant des "guichets uniques" permettant aux clients de créer des applications de données et de tirer parti des LLM. Cette amélioration de la plateforme contribuera à démocratiser l'accès à l'IA et permettra aux scientifiques des données, aux ingénieurs des données et aux praticiens de l'IA de collaborer de manière plus significative.

3. Azure et AWS gagneront plus de bénéfices → Alors que Snowflake et Databricks continuent de se développer sur le marché de l'IA, ils nécessiteront beaucoup de puissance de calcul, principalement fournie par Azure et AWS. L'ingénieur de données Anant Packidurali l'observe astucieusement. De la même manière que Nvidia bénéficie de l'IA, les fournisseurs de services cloud hyperscale qui fournissent l'infrastructure pour les besoins informatiques de Snowflake et Databricks ont tout à gagner, quel que soit le vainqueur de la course à l'IA.

Alors que les entreprises s'appuient de plus en plus sur les données pour soutenir leurs stratégies d'IA génératives, nous pensons que Snowflake et Databricks sont bien placés pour tirer parti de ce changement générationnel. Bien qu'ils viennent de différentes parties de la chaîne de valeur et que leur relation ait évolué au cours de la dernière décennie, ils sont maintenant dans une course avec d'énormes récompenses.