Decenas de miles de millones de dólares en lucha de plataformas, batalla de IA generativa de datos en la nube

Autor: Vivek Sabrina, Fuente: Silicon Rabbit Race

Fuente de la imagen: generada por la herramienta de IA ilimitada

Snowflake y Databricks siempre han sido dos empresas que han recibido mucha atención en el campo de las bases de datos, aunque están en el mismo sitio, cada una tiene sus propias características y la competencia no se ha puesto sobre la mesa.

En esta ola de IA generativa, las dos empresas están muy activas a través de adquisiciones. Snowflake completó la adquisición de Neeva (motor de búsqueda de IA de nivel empresarial) y Databricks adquirió MosaicML (implementación de modelo ML) por US$1.300 millones, y anunció la adquisición en Adquisición OmniML (Model Compression).

Las dos empresas han cambiado su situación anterior de armonía en la superficie y rivalidad en secreto, y eligieron celebrar la reunión anual más importante de la empresa el mismo día, destacando su diseño generativo de IA, y sus ambiciones no se pueden ocultar.

Snowflake saldrá a bolsa en 2020, con un valor de mercado actual de 57.920 millones de dólares (2023.8.1). Databricks aún no ha cotizado. Según la última ronda de financiación, su valoración ha alcanzado los 38.000 millones de dólares. Con la bendición de la IA generativa, ¿puede la valoración/valor de mercado de cotización futura de Databricks alcanzar a Snowflake? ¿Puede Snowflake llevarlo al siguiente nivel?

Vivek, socio de Madrona, y la inversora Sabrina, que invirtió en Snowflake, compartieron sus puntos de vista sobre las dos empresas que luchan en el campo de la IA generativa.

La semana pasada fue importante para los profesionales en el espacio de datos e inteligencia artificial, ya que dos de los jugadores más importantes, Databricks y Snowflake, celebraron sus conferencias anuales en San Francisco y Las Vegas, respectivamente (Databricks' Data and AI Summit y Snowflake's Summit) .

No es casualidad que estos dos gigantes decidieran realizar sus grandes eventos en la misma semana. **Snowflake y Databricks han sido amigos y rivales durante la última década, pero esta semana dejaron en claro que ahora son los archirrivales del otro y que el nuevo campo de batalla es la inteligencia artificial. ** Como era de esperar, gran parte de la discusión y los anuncios en ambas conferencias giraron en torno a la IA generativa. El mensaje clave es que para construir una estrategia de IA generativa, cada empresa debe comenzar con una estrategia de datos.

Como era de esperar, tanto Databricks como Snowflake argumentaron por qué pueden ayudar mejor a los clientes en este viaje.

¿Cómo dos empresas que comenzaron en diferentes partes de la cadena de valor, una vez incluso una asociación estratégica, se convirtieron en competidores tan feroces en esta nueva era de inteligencia artificial?

Profundicemos.

[Descargo de responsabilidad rápido: Madrona invirtió en la ronda Serie C de Snowflake y aún posee algunas acciones en la compañía. 】

01Snowflake: del almacén de datos a la nube de datos

Snowflake fue fundada en 2012 por Benoît Dageville y Thierry Cruanes. Son dos expertos en bases de datos que han trabajado en Oracle durante muchos años y observan con atención que la mayoría de los almacenes de datos son "reforzados, costosos y difíciles de usar". Dageville y Cruanes se asociaron con Marcin Zukowski, ex director ejecutivo de Vectorwise, para construir un almacén de datos del futuro basado en tres premisas clave:

1. Arquitectura completamente basada en la nube;

2. Computación y almacenamiento separados para lograr una expansión casi ilimitada;

3. Elasticidad en el uso de recursos informáticos, lo que permite una velocidad sin precedentes en el procesamiento de consultas y flexibilidad. En la actualidad, Snowflake ha pasado de ser "simplemente" un almacén de datos en la nube a una "nube de datos" que brinda a los clientes una plataforma única para acceder, crear, colaborar y monetizar sus datos. En poco más de una década, Snowflake se ha convertido en una empresa pública de $ 55 mil millones, que atiende a más de 6,000 clientes y muchas compañías Fortune 500. Snowflake ha unido fuerzas con los principales proveedores de nube de hiperescala (Azure, AWS y GCP), y ahora tienen la vista puesta claramente en la IA para obtener más atención.

Para lograr este objetivo, han realizado una serie de adquisiciones y lanzamientos de productos en el campo de la inteligencia artificial y el aprendizaje automático, que incluyen:

1. Snowpark permite a los científicos de datos utilizar su lenguaje de programación preferido para el desarrollo, la implementación y la orquestación de cargas de trabajo de aprendizaje automático de extremo a extremo. Con Snowpark, los clientes pueden ingerir, analizar y transformar sus datos para entrenar modelos de aprendizaje automático y ejecutar análisis más predictivos.

2. Streamlit es una herramienta de creación de aplicaciones basada en datos que Snowflake adquirió en marzo de 2022 por 800 millones de dólares. Streamlit permite a los clientes desarrollar aplicaciones de uso intensivo de datos con solo unas pocas líneas de código. Streamlit simplifica el proceso de contextualización de las tareas de análisis de datos y la salida del modelo de aprendizaje automático a través de aplicaciones web front-end.

3. Neeva, una empresa que Snowflake adquirió a principios de este año, tiene como objetivo acelerar la interacción empresarial y la búsqueda de datos, especialmente de una manera más conversacional.

02Ladrillos de datos: Construir Lakehouse

Databricks se fundó en 2013, solo un año después de Snowflake. A diferencia de Benoit y Theyry, que son profesionales de la industria, Databricks fue fundado por un grupo de personas con vínculos profundos con la academia y la comunidad de código abierto.

Los siete fundadores, incluido el actual CEO Ali Ghodsi, eran investigadores de AMPLab en UC Berkeley y concibieron Apache Spark, un motor de análisis unificado de código abierto para el procesamiento de datos a gran escala. Spark ha crecido hasta convertirse en uno de los marcos de trabajo de procesamiento de datos más grandes y utilizados, y desempeña un papel importante en la ingeniería de datos, la ciencia de datos y el aprendizaje automático a gran escala.

El objetivo original de Databricks era comercializar Spark, lanzando una versión de nivel empresarial de Spark que proporciona todas las funciones (gobernanza, soporte, hospedaje, etc.) que necesitan las grandes organizaciones. Luego, Databricks evolucionó hasta convertirse en la innovadora "Plataforma Lakehouse" que unifica datos, análisis e inteligencia artificial. El concepto unificado de Lakehouse combina "integración, almacenamiento, procesamiento, gobernanza, uso compartido, análisis e inteligencia artificial" en una sola plataforma.

Durante la última década, Databricks se ha convertido en una de las empresas privadas más valoradas del mundo, con una valoración en 2021 de 38.000 millones de dólares y recientemente alcanzó un hito de ingresos de 1.000 millones de dólares. Sirven a decenas de miles de clientes corporativos y usuarios de código abierto, y se consideran una de las OPI de más alto perfil. En medio de todo este crecimiento, se han posicionado cada vez más como líderes en IA, con recientes adquisiciones y lanzamientos de productos notables, incluida la adquisición de MosaicML por $ 1.300 millones (más sobre eso a continuación) y la apertura de Dolly, un LLM ajustado a las instrucciones que se puede entrenar por menos de $30.

03 Colisión en IA

Tanto Snowflake como Databricks están bien posicionados para continuar capitalizando las tendencias estructurales a largo plazo a medida que las empresas se preparan para el cambio hacia la IA generativa. Ambas compañías están tratando de posicionarse como plataformas estratégicas de datos de múltiples productos a medida que las aplicaciones generativas de inteligencia artificial están más disponibles. Estos son algunos anuncios clave de sus respectivas conferencias y nuestra opinión sobre la estrategia general de IA de cada empresa.

Anuncio principal de Snowflake:

ANUNCIO DE DESARROLLADOR

1. Marco de aplicación nativo de Snowflake: se puede ampliar en función de la nube de datos de Snowflake al permitir que los desarrolladores creen, distribuyan y moneticen aplicaciones para utilizar los datos de nuevas formas.

2. Servicio de contenedores Snowpark: ampliar la capacidad de programación de datos y la infraestructura informática para admitir lenguajes de programación, acceder a software de terceros y proporcionar seguridad y gobernanza mejoradas para alojar aplicaciones completas y LLM. Se proporciona mayor flexibilidad al generalizar la plataforma informática de Snowflake, lo que permite a los clientes ejecutar aplicaciones completas de extremo a extremo desde la capa inferior (capa de datos) hasta la capa de interfaz de usuario.

3. Otros anuncios importantes: capacidades de transmisión de Snowpipe, tablas dinámicas (también conocidas como tablas materializadas), IA de documentos (un nuevo servicio para extraer datos no estructurados de documentos) y tablas Iceberg.

Anuncio de sociosSnowflake anunció varios socios clave, incluidos NVIDIA, Microsoft y Weights & Biases.

1. La asociación con NVIDIA planea integrar su marco de desarrollo empresarial NeMo en la nube de datos de Snowflake, lo que permitirá a los clientes de Snowflake crear e implementar LLM y aplicaciones basadas en IA utilizando datos patentados almacenados en Snowflake.

2. La colaboración con Microsoft ampliará la asociación con Azure, centrándose en nuevas integraciones de productos en torno a los servicios OpenAI y Azure AI/ML de Microsoft Azure. La colaboración tiene el potencial de traer cargas de trabajo y clientes a la nube de datos.

3. En cooperación con Weights & Biases, una plataforma líder de MLOps, el servicio de contenedores de Snowflake permite que Weights & Biases acelere el desarrollo iterativo de modelos ML, LLM y aplicaciones impulsadas por LLM en la nube de datos de Snowflake. En última instancia, esta colaboración ayudará a las empresas y los usuarios a construir y aprovechar la IA generativa más fácilmente.

4. Además de estas dos empresas, Snowflake ha anunciado muchas otras asociaciones con Alteryx, Hex, Dataiku, RelationalAI, Pinecone y otras.

NUESTRA OPINION

Hasta hace poco, Snowflake no reveló ningún plan para agregar inteligencia artificial generativa a sus capacidades existentes, y muchos inversores expresaron su preocupación sobre la capacidad de Snowflake para competir en este espacio, especialmente en comparación con Databricks. Sin embargo, en la cumbre de 2023, Snowflake presentó una visión sólida, posicionándose como un proveedor confiable de nube de datos y, con eso, construyó una historia sólida en torno a la IA generativa.

La asociación de Snowflake con Nvidia y el anuncio del servicio de contenedores Snowpark los convierte en un jugador más viable en la pila de datos de IA. El punto central que quieren transmitir es que pueden permitir a los clientes acceder, desarrollar e implementar LLM y aplicaciones basadas en IA de manera segura en la nube de datos de Snowflake, al tiempo que brindan computación acelerada con GPU Nvidia y software de IA.

Si bien su historia y su mensaje son impresionantes, creemos que aún no son los favoritos en relación con los Databricks en el espacio de la IA...

Anuncio principal de Databricks:

ANUNCIO DE DESARROLLADOR

1. LakehouseIQ: interfaz de lenguaje natural basada en LLM para buscar y consultar datos, y una poderosa comprensión de los datos del cliente, la jerga interna y los patrones de uso para comprender la arquitectura, los documentos, las consultas, los sistemas, etc. del cliente.

2. **LakehouseAI: **Databricks ha anunciado una serie de características nuevas en Databricks ML, incluidas algunas sobre las capacidades de LLMOps, como la integración de datos, la preparación de conjuntos de datos para el aprendizaje automático, el ajuste y la selección de modelos de aprendizaje automático, y la implementación de los propios modelos. . Databricks también anunció una serie de funciones en torno a la búsqueda de vectores, los servicios de funciones y MLFlow Gateway.

3. MosaicML: Justo antes de la cumbre, Databricks anunció la adquisición de MosaicML por $1.3 mil millones, que se posicionó como una "máquina para construir modelos GenAI" durante la cumbre.

4. **Otros anuncios dignos de mención: **Delta Lake 3.0, MLFlow 2.5 admiten el monitoreo inteligente de diferentes LLM de back-end, Lakehouse Apps y Databricks Lakehouse Monitoring.

nuestra opinion

Databricks adopta un enfoque unificado de la IA al reunir datos, modelos de IA, capacidades de supervisión y gobernanza en la plataforma Lakehouse. Como resultado, Databricks permite a los clientes desarrollar sus soluciones GenAI de manera más eficiente y los clientes perciben a Databricks como un socio confiable que, en promedio, es más rápido, más rentable y más fácil de usar en el desarrollo de aprendizaje automático.

Si bien ya se lo consideraba un jugador clave en la pila de IA, Databricks ha consolidado su liderazgo en GenAI a través de inversiones en modelos como Dolly, un LLM de seguimiento de instrucciones de código abierto y una importante adquisición de MosaicML. Databricks continuó destacando su Lakehouse como la mejor manera para que las nuevas empresas de GenAI entrenen e implementen sus propios modelos de IA, aprovechando sus propios datos patentados de manera rentable sin estar atados por las grandes empresas de tecnología.

**04 De cara al futuro, ¿qué podemos esperar? **

Si bien la moda de la IA generativa ha estado ocurriendo durante más de ocho meses, la semana pasada dejó en claro que Snowflake y Databricks están en una carrera por las mentes y la participación de mercado en el espacio. Entonces, ¿qué podemos esperar de esta competencia intensificada?

1. Las adquisiciones continuarán → Tanto Snowflake como Databricks están relativamente bien posicionados para continuar adquiriendo empresas más pequeñas que complementen su estrategia general. Snowflake tiene alrededor de $ 4 mil millones en efectivo en su balance general, mientras que Databricks tiene una alta valoración disponible para negociar. Mientras tanto, cientos de nuevas empresas de herramientas de datos e inteligencia artificial están ansiosas por encontrar una salida en un mercado seco de OPI. No creemos que Neeva y MosaicML sean las últimas adquisiciones de estos gigantes y habrá consolidación en el mercado.

2. Los clientes se beneficiarán → En la creciente competencia entre Snowflake y Databricks, el claro ganador deben ser sus clientes. Los dos gigantes están agregando rápidamente nuevos productos y servicios a sus plataformas, creando "ventanillas únicas" para que los clientes creen aplicaciones de datos y aprovechen los LLM. Esta mejora de la plataforma ayudará a democratizar el acceso a la IA y permitirá que los científicos de datos, los ingenieros de datos y los profesionales de la IA colaboren de manera más significativa.

3. Azure y AWS obtendrán más ganancias → A medida que Snowflake y Databricks continúen expandiéndose en el mercado de la IA, requerirán mucha potencia informática, principalmente proporcionada por Azure y AWS. El ingeniero de datos Anant Packidurali observa astutamente esto. De la misma manera que Nvidia se beneficia de la IA, los proveedores de servicios en la nube a hiperescala que brindan la infraestructura para las necesidades informáticas de Snowflake y Databricks pueden ganar independientemente de quién gane la carrera de la IA.

A medida que las empresas confían cada vez más en los datos para respaldar sus estrategias de IA generativa, creemos que tanto Snowflake como Databricks están bien posicionados para capitalizar este cambio generacional. Aunque provienen de diferentes partes de la cadena de valor y su relación ha evolucionado durante la última década, ahora están en una carrera con enormes recompensas.