Dezenas de bilhões de dólares em batalha de plataforma, batalha de IA geradora de dados em nuvem

Autor: Vivek Sabrina, Fonte: Silicon Rabbit Race

Fonte da imagem: Gerada pela ferramenta Unbounded AI

Snowflake e Databricks sempre foram duas empresas que receberam muita atenção na área de banco de dados. Embora estejam no mesmo site, cada uma tem suas características próprias, e a concorrência não foi colocada sobre a mesa.

Nesta onda de IA generativa, as duas empresas estão muito ativas por meio de aquisições. A Snowflake concluiu a aquisição da Neeva (mecanismo de busca de IA de nível empresarial) e a Databricks adquiriu a MosaicML (implantação de modelo de ML) por US$ 1,3 bilhão e anunciou a aquisição em uma maneira discreta Aquisição OmniML (Model Compression).

As duas empresas mudaram sua situação anterior de harmonia na superfície e rivalidade em segredo, e optaram por realizar a reunião anual mais importante da empresa no mesmo dia, destacando seu layout de IA generativo, e suas ambições não podem ser escondidas.

A Snowflake abrirá seu capital em 2020, com um valor de mercado atual de US$ 57,92 bilhões (2023.8.1). A Databricks ainda não foi listada. De acordo com a última rodada de financiamento, sua avaliação atingiu US$ 38 bilhões. Com a bênção da IA generativa, a avaliação/valor de mercado futuro da Databricks pode alcançar o Snowflake? Snowflake pode levá-lo para o próximo nível?

Vivek, sócio da Madrona, e a investidora Sabrina, que investiu na Snowflake, compartilharam suas opiniões sobre as duas empresas que lutam no campo da IA generativa.

A semana passada foi importante para os profissionais no espaço de dados e inteligência artificial, pois dois dos players mais importantes - Databricks e Snowflake - realizaram suas conferências anuais em San Francisco e Las Vegas, respectivamente (Databricks 'Data and AI Summit e Snowflake's Summit) .

Não é por acaso que esses dois gigantes decidiram realizar seus grandes eventos na mesma semana. **Snowflake e Databricks têm sido amigos e rivais na última década, mas esta semana deixou claro que agora eles são os arquirrivais um do outro e que o novo campo de batalha é a inteligência artificial. ** Não surpreendentemente, grande parte da discussão e anúncios em ambas as conferências giraram em torno da IA generativa. A mensagem principal é que para construir uma estratégia de IA generativa, toda empresa deve começar com uma estratégia de dados.

Sem surpresa, tanto o Databricks quanto o Snowflake argumentaram por que eles podem oferecer o melhor suporte aos clientes nessa jornada.

Como duas empresas que começaram em diferentes partes da cadeia de valor, antes até uma parceria estratégica, evoluíram para concorrentes tão ferozes nesta nova era da inteligência artificial?

Vamos cavar mais fundo.

[Isenção de responsabilidade rápida: Madrona investiu na rodada da Série C da Snowflake e ainda possui algumas ações da empresa. 】

01Snowflake: Do Data Warehouse à Data Cloud

A Snowflake foi fundada em 2012 por Benoît Dageville e Thierry Cruanes. Eles são dois especialistas em banco de dados que trabalham na Oracle há muitos anos e observam com atenção que a maioria dos data warehouses são "fortes, caros e difíceis de usar". Dageville e Cruanes fizeram parceria com Marcin Zukowski, ex-CEO da Vectorwise, para construir um data warehouse do futuro com base em três premissas principais:

1. Arquitetura totalmente baseada em nuvem;

2. Computação e armazenamento separados para alcançar uma expansão quase ilimitada;

3. Elasticidade no uso de recursos computacionais, permitindo velocidade sem precedentes no processamento de consultas e flexibilidade. Hoje, a Snowflake cresceu de "apenas" um data warehouse em nuvem para uma "nuvem de dados" que fornece aos clientes uma única plataforma para acessar, criar, colaborar e monetizar seus dados. Em pouco mais de uma década, a Snowflake se tornou uma empresa pública de US$ 55 bilhões, atendendo a mais de 6.000 clientes e muitas empresas da Fortune 500. A Snowflake uniu forças com os principais provedores de nuvem de hiperescala (Azure, AWS e GCP) e agora eles estão de olho na IA para obter mais atenção.

Para atingir esse objetivo, eles fizeram uma série de aquisições e lançamentos de produtos na área de inteligência artificial e aprendizado de máquina, incluindo:

1. O Snowpark permite que os cientistas de dados usem sua linguagem de programação preferida para desenvolvimento, implantação e orquestração de carga de trabalho de aprendizado de máquina de ponta a ponta. Com o Snowpark, os clientes podem ingerir, analisar e transformar seus dados para treinar modelos de aprendizado de máquina e executar análises mais preditivas.

2. Streamlit é uma ferramenta de criação de aplicativos baseada em dados que a Snowflake adquiriu em março de 2022 por US$ 800 milhões. O Streamlit permite que os clientes desenvolvam aplicativos com uso intensivo de dados com apenas algumas linhas de código. O Streamlit simplifica o processo de contextualizar as tarefas de análise de dados e a saída do modelo de aprendizado de máquina por meio de aplicativos da Web front-end.

3. A Neeva, empresa que a Snowflake adquiriu no início deste ano, visa acelerar a interação empresarial e a pesquisa com dados, especialmente de uma forma mais conversacional.

02Databricks: Construir Lakehouse

A Databricks foi fundada em 2013, apenas um ano após o Snowflake. Ao contrário de Benoit e Theirry, que são profissionais do setor, o Databricks foi fundado por um grupo de pessoas com laços profundos com a academia e a comunidade de código aberto.

Os sete fundadores, incluindo o atual CEO Ali Ghodsi, eram pesquisadores do AMPLab na UC Berkeley e conceberam o Apache Spark, um mecanismo de análise unificado de código aberto para processamento de dados em larga escala. O Spark cresceu e se tornou uma das maiores e mais usadas estruturas de processamento de dados, desempenhando um papel importante na engenharia de dados em larga escala, ciência de dados e aprendizado de máquina.

O objetivo original da Databricks era comercializar o Spark, lançando uma versão de nível empresarial do Spark que fornece todos os recursos (governança, suporte, hospedagem etc.) necessários para grandes organizações. Databricks então evoluiu para a inovadora "Plataforma Lakehouse" que unifica dados, análises e inteligência artificial. O conceito unificado da Lakehouse combina "integração, armazenamento, processamento, governança, compartilhamento, análise e inteligência artificial" em uma única plataforma.

Na última década, a Databricks se tornou uma das empresas privadas mais valorizadas do mundo, com uma avaliação de US$ 38 bilhões em 2021 e recentemente alcançou um marco de receita de US$ 1 bilhão. Eles atendem a dezenas de milhares de clientes corporativos e usuários de código aberto e são considerados um dos IPOs de maior destaque. Em meio a todo esse crescimento, eles se posicionaram cada vez mais como líderes em IA, com recentes aquisições e lançamentos de produtos notáveis, incluindo a aquisição de US$ 1,3 bilhão da MosaicML (mais sobre isso abaixo) e o código aberto do Dolly, um LLM ajustado para instruções que pode ser treinado por menos de $ 30.

03 Colisão em IA

Tanto o Snowflake quanto o Databricks estão bem posicionados para continuar a capitalizar as tendências estruturais de longo prazo, à medida que as empresas se preparam para a mudança em direção à IA generativa. Ambas as empresas estão tentando se posicionar como plataformas estratégicas de dados de vários produtos, à medida que os aplicativos generativos de IA se tornam mais amplamente disponíveis. Aqui estão alguns anúncios importantes de suas respectivas conferências e nossa opinião sobre a estratégia geral de IA de cada empresa.

Anúncio importante do floco de neve:

ANÚNCIO DO DESENVOLVEDOR

1. Estrutura de aplicativo nativo do Snowflake: pode ser estendida com base na nuvem de dados do Snowflake, permitindo que os desenvolvedores criem, distribuam e monetizem aplicativos para utilizar dados de novas maneiras.

2. Snowpark Container Service: Amplie a capacidade de programação de dados e a infraestrutura de computação para dar suporte a linguagens de programação, acessar software de terceiros e fornecer segurança e governança aprimoradas para hospedar aplicativos full-stack e LLM. Mais flexibilidade é fornecida pela generalização da plataforma de computação do Snowflake, permitindo que os clientes executem aplicativos completos de ponta a ponta, desde a camada inferior (camada de dados) até a camada de interface do usuário.

3. Outros anúncios importantes: recursos de streaming Snowpipe; tabelas dinâmicas (também conhecidas como tabelas materializadas); Document AI (um novo serviço para extrair dados não estruturados de documentos); e tabelas Iceberg.

Anúncio de parceiroA Snowflake anunciou vários parceiros importantes, incluindo NVIDIA, Microsoft e Pesos e vieses.

1. A parceria com a NVIDIA planeja incorporar sua estrutura de desenvolvimento empresarial NeMo na nuvem de dados da Snowflake, o que permitirá que os clientes da Snowflake criem e implantem LLMs e aplicativos baseados em IA utilizando dados proprietários armazenados na Snowflake.

2. A colaboração com a Microsoft expandirá a parceria com o Azure, com foco em novas integrações de produtos em torno dos serviços OpenAI do Microsoft Azure e Azure AI/ML. A colaboração tem o potencial de trazer cargas de trabalho e clientes para a nuvem de dados.

3. Cooperando com Weights & Biases, uma plataforma MLOps líder, o serviço de contêiner da Snowflake permite que Weights & Biases acelere o desenvolvimento iterativo de modelos ML, LLMs e aplicativos baseados em LLM na nuvem de dados Snowflake. Em última análise, essa colaboração ajudará empresas e usuários a criar e alavancar a IA generativa com mais facilidade.

4. Além dessas duas empresas, a Snowflake anunciou muitas outras parcerias com a Alteryx, Hex, Dataiku, RelationalAI, Pinecone e outras.

NOSSA OPINIÃO

Até recentemente, o Snowflake não divulgou nenhum plano para adicionar IA generativa aos seus recursos existentes, e muitos investidores expressaram preocupação com a capacidade do Snowflake de competir nesse espaço, especialmente em comparação com o Databricks. No entanto, na cúpula de 2023, a Snowflake apresentou uma visão forte, posicionando-se como um provedor confiável de nuvem de dados e, com isso, construiu uma forte história em torno da IA generativa.

A parceria da Snowflake com a Nvidia e o anúncio do serviço de contêiner Snowpark os tornam um player mais viável na pilha de dados de IA. O ponto principal que eles querem transmitir é que eles podem permitir que os clientes acessem, desenvolvam e implementem com segurança LLMs e aplicativos baseados em AI na nuvem de dados Snowflake, enquanto fornecem computação acelerada com GPUs Nvidia e software AI.

Embora a história e a mensagem deles sejam impressionantes, achamos que eles ainda são azarões em relação ao Databricks no espaço de IA...

Anúncio principal do Databricks:

ANÚNCIO DO DESENVOLVEDOR

1. LakehouseIQ: interface de linguagem natural baseada em LLM para pesquisar e consultar dados e compreensão poderosa dos dados do cliente, jargão interno e padrões de uso para entender a arquitetura, documentos, consultas, sistemas etc. do cliente.

2. **LakehouseAI: **Databricks anunciou uma série de novos recursos no Databricks ML, incluindo alguns em recursos LLMOps, como integração de dados, preparação de conjuntos de dados para aprendizado de máquina, ajuste fino e curadoria de modelos de aprendizado de máquina e implantação dos próprios modelos . Databricks também anunciou uma série de recursos em torno de Vector Search, Feature Services e MLFlow Gateway.

3. MosaicML: Pouco antes da cúpula, a Databricks anunciou a aquisição da MosaicML por US$ 1,3 bilhão, que foi posicionada como uma "máquina para construir modelos GenAI" durante a cúpula.

4. **Outros anúncios dignos de nota: **Delta Lake 3.0, MLFlow 2.5 oferece suporte a monitoramento inteligente de diferentes LLMs de back-end, Lakehouse Apps e Databricks Lakehouse Monitoring.

nossa opinião

O Databricks adota uma abordagem unificada para IA, reunindo dados, modelos de IA, recursos de monitoramento e governança na plataforma Lakehouse. Como resultado, o Databricks permite que os clientes desenvolvam suas soluções GenAI com mais eficiência, e os clientes percebem o Databricks como um parceiro confiável que, em média, é mais rápido, econômico e fácil de usar no desenvolvimento de aprendizado de máquina.

Embora já seja considerado um participante importante na pilha de IA, a Databricks solidificou sua liderança na GenAI por meio de investimentos em modelos como Dolly, um LLM de código aberto que segue instruções e uma grande aquisição da MosaicML. A Databricks destacou sua Lakehouse como a melhor maneira para as startups GenAI treinarem e implantarem seus próprios modelos de IA, aproveitando seus próprios dados proprietários de maneira econômica, sem serem amarrados por grandes empresas de tecnologia.

**04 Olhando para frente, o que podemos esperar? **

Embora a mania da IA generativa esteja acontecendo há mais de oito meses, a semana passada deixou claro que Snowflake e Databricks estão em uma corrida por mentes e participação de mercado no espaço. Então, o que podemos esperar dessa competição acirrada?

1. As aquisições continuarão → Tanto a Snowflake quanto a Databricks estão relativamente bem posicionadas para continuar adquirindo empresas menores que complementam sua estratégia geral. A Snowflake tem cerca de US$ 4 bilhões em caixa em seu balanço, enquanto a Databricks tem uma alta avaliação disponível para negociação. Enquanto isso, centenas de startups de IA e ferramentas de dados estão ansiosas para encontrar uma saída em um mercado seco de IPO. Não acreditamos que Neeva e MosaicML sejam as últimas aquisições desses gigantes e que haja consolidação no mercado.

2. Os clientes se beneficiarão → Na competição crescente entre Snowflake e Databricks, o vencedor claro deve ser seus clientes. Os dois gigantes estão adicionando rapidamente novos produtos e serviços às suas plataformas, construindo "balcões únicos" para os clientes criarem aplicativos de dados e alavancarem LLMs. Esse aprimoramento da plataforma ajudará a democratizar o acesso à IA e permitirá que cientistas de dados, engenheiros de dados e profissionais de IA colaborem de maneira mais significativa.

3. Azure e AWS obterão mais lucro → Como Snowflake e Databricks continuam a se expandir ainda mais no mercado de IA, eles exigirão muito poder de computação, fornecido principalmente por Azure e AWS. O engenheiro de dados Anant Packidurali observa isso com astúcia. Da mesma forma que a Nvidia se beneficia da IA, os provedores de serviços em nuvem de hiperescala que fornecem a infraestrutura para as necessidades de computação do Snowflake e do Databricks têm a ganhar, independentemente de quem vença a corrida da IA.

Como as empresas dependem cada vez mais de dados para apoiar suas estratégias de IA generativas, acreditamos que tanto o Snowflake quanto o Databricks estão bem posicionados para capitalizar essa mudança geracional. Embora venham de diferentes partes da cadeia de valor e seu relacionamento tenha evoluído na última década, eles agora estão em uma corrida com grandes recompensas.