Fundada há 2 anos, cada funcionário vale 21 milhões de dólares americanos, por que a MosaicML vende 1,3 bilhão de dólares americanos?

Recentemente, houve uma onda de investimentos e aquisições na área de IA. A Salesforce, uma empresa de renome mundial, injetou US$ 450 milhões na Anthropic, enquanto a Runway levantou com sucesso US$ 141 milhões em financiamento. Além disso, a Snowflake também anunciou a conclusão da aquisição da Neeva, enquanto a gigante doméstica chinesa Meituan adquiriu a empresa de IA Light Years Away por 2,065 bilhões.

O negócio mais importante, no entanto, foi sem dúvida a aquisição da startup MosaicML. Entende-se que a MosaicML foi adquirida pela gigante de big data Databricks por aproximadamente US$ 1,3 bilhão, e sua avaliação dobrou seis vezes nesta transação, tornando-a a maior aquisição no primeiro semestre deste ano. Foi estabelecido há apenas 2 anos e tem mais de 60 funcionários. O que sustenta a alta valorização do MosaicML?

Databricks adquire MosaicML para acelerar a democratização de tecnologias de IA generativas

A Databricks anunciou oficialmente recentemente que adquiriu a MosaicML, uma startup de inteligência artificial generativa, por cerca de US$ 1,3 bilhão (cerca de 9,3 bilhões de yuans) para fornecer serviços para a criação de ferramentas do tipo ChatGPT para empresas.

Após a aquisição, a MosaicML se tornará parte da plataforma Databricks Lakehouse. Toda a equipe e tecnologia da MosaicML serão colocadas sob a bandeira da Databricks, fornecendo às empresas uma plataforma unificada para gerenciar ativos de dados e poder usar seus próprios dados proprietários para construir, possuir e proteger Modelos de IA generativos próprios.

A MosaicML é uma empresa de IA generativa muito jovem. Foi fundada em San Francisco em 2021. Ela divulgou publicamente apenas uma rodada de financiamento e tem apenas 62 funcionários. Na última rodada de financiamento, sua avaliação foi de 220 milhões de dólares americanos, ou seja, a avaliação da aquisição da MosaicML saltou diretamente 6 vezes. O acordo é a maior aquisição anunciada no campo de IA generativa até agora este ano. Não faz muito tempo, a gigante da computação em nuvem Snowflake acaba de anunciar a aquisição de outra empresa de geração de IA, a Neeva. Após alguns meses de frenesi de investimentos, uma enorme onda corporativa de aquisições de startups de IA generativa parece estar em andamento.

Databricks originou-se da UC Berkeley e participou do desenvolvimento do projeto Apache Spark. Como gigante de armazenamento e análise de dados, a partir de 2022, será avaliada em US$ 31 bilhões, ajudando grandes empresas como AT&T, Shell e Walgreens a processar dados. Há algum tempo, acabei de abrir meu próprio modelo grande de Dolly, com o objetivo de obter um efeito semelhante ao ChatGPT com menos parâmetros. Depois que a computação em nuvem se tornou mais popular, o conceito de "integração de lagos e armazéns" proposto pela Spark influenciou profundamente várias start-ups de big data. Desde a sua criação em 2013, a Databricks cresceu rapidamente e se tornou a empresa de infraestrutura de dados mais quente do mundo. No ano passado, a Databricks anunciou uma receita anual de mais de US$ 1 bilhão e, após concluir a última rodada de financiamento em agosto de 2021, sua avaliação mais recente atingiu US$ 38 bilhões.

Vantagens dos modelos da série MosaicML MPT

Os modelos da série MPT do MosaicML são subclasses da classe base HuggingFace PretrainedModel e são totalmente compatíveis com o ecossistema HuggingFace. O modelo MPT-7B é um dos modelos mais populares do MosaicML com bilhões de parâmetros e pode lidar com mais de 2.000 tarefas de processamento de linguagem natural. Entre eles, a camada de otimização do MPT-7B inclui FlashAttention e norma de camada de baixa precisão, etc., que pode tornar o modelo 2-7 vezes mais rápido que os métodos de treinamento tradicionais, e a escalabilidade quase linear de recursos garante que modelos com bilhões de parâmetros podem ser usados no Train em horas, não em dias. A MosaicML também lançou um novo modelo de linguagem grande de código aberto comercialmente disponível MPT-30B, que possui 30 bilhões de parâmetros e supera o GPT-3.

Fonte de dados: avaliação MT-Bench de modelos mainstream MosaicML

As vantagens dos modelos da série MPT são sua alta eficiência e baixo custo. A complexidade dos modelos de inteligência artificial que usam uma grande quantidade de dados para "treinamento" aumentou drasticamente. O treinamento de um modelo agora custa pelo menos milhões de dólares, o que geralmente é inacessível para pequenas e médias empresas, exceto para grandes empresas. Os modelos da série MPT do MosaicML permitem que as empresas treinem seus próprios modelos de linguagem a um custo menor e com maior eficiência, para que possam aplicar mais facilmente a tecnologia de IA generativa e obter melhor desempenho nos negócios. A maioria dos modelos de linguagem de código aberto só pode lidar com sequências com no máximo alguns milhares de tokens (consulte a Figura 1). No entanto, com a plataforma MosaicML e um único nó de 8xA100-40GB, os usuários podem facilmente ajustar o MPT-7B para lidar com comprimentos de contexto de até 65k. A capacidade de lidar com essa adaptação extrema de comprimento de contexto vem do ALiBi, uma das principais escolhas arquitetônicas do MPT-7B.

Por exemplo, o texto completo de The Great Gatsby tem menos de 68k Tokens. Em um teste, o modelo StoryWriter leu O Grande Gatsby e gerou um epílogo. Um dos epílogos da geração do modelo é mostrado na Figura 2. O StoryWriter leu O Grande Gatsby em cerca de 20 segundos (cerca de 150.000 palavras por minuto). Devido ao maior comprimento da sequência, sua velocidade de "digitação" é menor do que outros modelos MPT-7B, em torno de 105 palavras por minuto. Embora o StoryWriter tenha sido ajustado com um comprimento de contexto de 65k, ALiBi permite que o modelo infira entradas mais longas do que foi treinado: 68k tokens no caso de O Grande Gatsby e até 84k tokens em testes.

Figura 2: O MPT-7B-StoryWriter-65k+ escreveu o epílogo de O Grande Gatsby. O resultado do epílogo é fornecer o texto completo de "O Grande Gatsby" (aproximadamente 68k tokens) como entrada para o modelo, seguido pela palavra "epílogo" e permitir que o modelo continue gerando.

Popularização da tecnologia de IA generativa

A tecnologia de IA generativa é um ramo da inteligência artificial que usa grandes quantidades de dados e algoritmos de aprendizado profundo para gerar conteúdo automaticamente, como texto original, imagens e código de computador. O surgimento dessa tecnologia permite que as pessoas processem e analisem dados de maneira mais conveniente e atendam melhor às necessidades humanas. Com o rápido desenvolvimento da tecnologia de big data e inteligência artificial, a tecnologia de IA generativa tem sido amplamente utilizada no processamento de linguagem natural, reconhecimento de imagem e realidade virtual e outros campos. Por exemplo, no campo do processamento de linguagem natural, o GPT-4 tornou-se um dos modelos de IA generativa mais populares, que pode ser usado para tarefas como gerar artigos, traduzir idiomas e responder a perguntas. No campo de reconhecimento de imagem, o StyleGAN2 pode gerar imagens de alta qualidade, que podem ser usadas no desenvolvimento de jogos, produção de filmes e televisão e realidade virtual.

Naveen Rao, CEO da MosaicML, afirmou anteriormente que, desde 2018, a complexidade dos modelos de inteligência artificial que usam grandes quantidades de dados para "treinamento" aumentou drasticamente e o treinamento de um modelo agora custa pelo menos milhões de dólares. Pequenas e médias empresas geralmente não podem pagar. Após esta aquisição, o produto conjunto da plataforma Lakehouse da Databricks e da tecnologia MosaicML permitirá que as empresas usem seus próprios dados proprietários para treinar e construir modelos de IA generativos de forma simples, rápida e com baixo custo. lugar. De acordo com a Databricks, com a plataforma e o suporte técnico da Databricks e MosaicML, o custo de treinamento e uso de LLMs para empresas será reduzido significativamente, e espera-se que caia para milhares de dólares. Isso facilita a popularização da IA generativa.

Significado da aquisição da MosaicML pela Databricks

O principal objetivo da aquisição da MosaicML pela Databricks é acelerar o desenvolvimento e a democratização da tecnologia de IA generativa. Ao integrar as tecnologias e recursos das duas empresas, a Databricks pode atender melhor às necessidades dos clientes e fornecer soluções mais eficientes e convenientes. Especificamente, a aquisição trará mudanças nos seguintes aspectos:

1. Modelo de linguagem grande mais eficiente

Depois que a Databricks adquire a MosaicML, ela pode integrar os modelos da série MPT em sua plataforma Lakehouse para fornecer aos clientes modelos de linguagem grandes mais eficientes e de baixo custo. Isso ajudará as empresas a lidar melhor com as tarefas de processamento de linguagem natural e melhorar a eficiência e a precisão dos negócios.

2. Velocidade de treinamento do modelo mais rápida

Os modelos da série MPT do MosaicML apresentam treinamento rápido, o que ajudará o Databricks a fornecer serviços de treinamento de modelo mais rápidos. Isso é especialmente importante para empresas que precisam responder rapidamente às demandas do mercado, ajudando-as a atender melhor às necessidades dos clientes.

3. Maior democratização

A aquisição da MosaicML pela Databricks também significa que a democratização da tecnologia de IA generativa aumentará ainda mais. Os modelos da série MPT do MosaicML podem tornar mais fácil para pequenas e médias empresas treinar seus próprios modelos de linguagem, para que possam aplicar melhor a tecnologia de IA generativa e obter melhor desempenho nos negócios. Isso ajudará a promover o desenvolvimento e a aplicação da tecnologia de IA generativa e promoverá a popularização e o desenvolvimento da tecnologia de inteligência artificial.

Resumir

Os aplicativos de IA generativa são projetados para gerar texto bruto, imagens e código de computador com base nas dicas de linguagem natural do usuário. O interesse pela tecnologia aumentou desde que a startup de inteligência artificial OpenAI lançou o ChatGPT, um chatbot de IA generativo online, em novembro passado. "Toda organização deve poder se beneficiar da revolução da IA e ter mais controle sobre como seus dados são usados. Databricks e MosaicML têm uma oportunidade incrível de democratizar a IA e fazer da Lakehouse a potência da geração de builds. O melhor lugar para inteligência artificial, ” disse Ali Ghodsi, cofundador e CEO da Databricks.

A importância da aquisição da MosaicML pela Databricks não é apenas acelerar o desenvolvimento e a democratização da tecnologia de IA generativa, mas também integrar as tecnologias e recursos das duas empresas para fornecer aos clientes soluções mais eficientes e convenientes. Com o rápido desenvolvimento e aplicação da tecnologia de inteligência artificial, a tecnologia de IA generativa desempenhará um papel cada vez mais importante.A aquisição da MosaicML pela Databricks também reflete a importância e o investimento de várias empresas nessa direção. Empresas como a Anthropic e a OpenAI licenciam modelos de linguagem prontos para uso, que então criam aplicativos de IA generativos sobre eles. Oportunidades foram criadas para startups como MosaicML, impulsionadas pela forte demanda comercial por esses modelos. A partir das sucessivas aquisições da Snowflake e da Databricks, podemos ver que grandes empresas de tecnologia estão passando gradualmente de pesquisa e desenvolvimento independentes e investimento estratégico para fusões e aquisições para tecnologia de IA generativa.

Fonte de referência: