Créé il y a 2 ans, chaque employé vaut 21 millions de dollars américains, pourquoi MosaicML vend-il 1,3 milliard de dollars américains ?

Récemment, il y a eu une vague d'investissements et d'acquisitions dans le domaine de l'IA. Salesforce, une entreprise de renommée mondiale, a injecté 450 millions de dollars dans Anthropic, tandis que Runway a réussi à lever 141 millions de dollars de financement. En outre, Snowflake a également annoncé la finalisation de son acquisition de Neeva, tandis que le géant chinois Meituan a acquis la société d'intelligence artificielle Light Years Away pour 2,065 milliards.

L'accord le plus médiatisé, cependant, a sans aucun doute été l'acquisition de la startup MosaicML. Il est entendu que MosaicML a été acquis par le géant du big data Databricks pour environ 1,3 milliard de dollars américains, et sa valorisation a doublé six fois dans cette transaction, ce qui en fait la plus importante acquisition du premier semestre de cette année. Elle n'est établie que depuis 2 ans et compte plus de 60 employés. Qu'est-ce qui soutient la forte valorisation de MosaicML ?

Databricks acquiert MosaicML pour accélérer la démocratisation des technologies d'IA générative

Databricks a récemment annoncé officiellement avoir acquis MosaicML, une startup d'intelligence artificielle générative, pour environ 1,3 milliard de dollars (environ 9,3 milliards de yuans) afin de fournir des services de création d'outils de type ChatGPT pour les entreprises.

Après l'acquisition, MosaicML fera partie de la plate-forme Databricks Lakehouse. Toute l'équipe et la technologie de MosaicML seront regroupées sous la bannière de Databricks, offrant aux entreprises une plate-forme unifiée pour gérer les actifs de données et être en mesure d'utiliser leurs propres données propriétaires pour créer, Posséder et protéger Propres modèles d'IA générative.

MosaicML est une très jeune entreprise d'IA générative, fondée à San Francisco en 2021. Elle n'a annoncé publiquement qu'un seul tour de financement et ne compte que 62 employés. Lors du dernier tour de financement, sa valorisation était de 220 millions de dollars américains, c'est-à-dire que la valorisation de l'acquisition de MosaicML a directement bondi de 6 fois. L'accord est la plus grande acquisition annoncée dans le domaine de l'IA générative jusqu'à présent cette année. Il n'y a pas si longtemps, le géant du cloud computing Snowflake vient d'annoncer l'acquisition d'une autre société d'IA générative, Neeva. Après quelques mois de frénésie d'investissement, une vague massive d'acquisitions de startups d'IA générative semble être en cours.

Databricks est originaire de l'UC Berkeley et a participé au développement du projet Apache Spark. En tant que géant du stockage et de l'analyse de données, à partir de 2022, il sera évalué à 31 milliards de dollars, aidant de grandes entreprises telles que AT&T, Shell et Walgreens à traiter les données. Il y a quelque temps, je viens d'ouvrir mon propre grand modèle Dolly, dans le but d'obtenir un effet similaire à ChatGPT avec moins de paramètres. Après la démocratisation du cloud computing, le concept « d'intégration des lacs et des entrepôts » proposé par Spark a profondément influencé un certain nombre de start-ups du big data. Depuis sa création en 2013, Databricks est rapidement devenue la société Data Infra la plus en vogue au monde. L'année dernière, Databricks a annoncé un chiffre d'affaires annuel de plus d'un milliard de dollars, et après avoir achevé la dernière ronde de financement en août 2021, sa dernière valorisation a atteint 38 milliards de dollars.

Avantages des modèles de la série MosaicML MPT

Les modèles de la série MPT de MosaicML sont des sous-classes de la classe de base HuggingFace PretrainedModel et sont entièrement compatibles avec l'écosystème HuggingFace. Le modèle MPT-7B est l'un des modèles les plus populaires de MosaicML avec des milliards de paramètres et peut gérer plus de 2 000 tâches de traitement du langage naturel. Parmi eux, la couche d'optimisation de MPT-7B comprend FlashAttention et la norme de couche de faible précision, etc., ce qui peut rendre le modèle 2 à 7 fois plus rapide que les méthodes de formation traditionnelles, et l'évolutivité quasi linéaire des ressources garantit que les modèles avec des milliards des paramètres peuvent être utilisés dans Train en heures, pas en jours. MosaicML a également publié un nouveau modèle de grand langage open source disponible dans le commerce MPT-30B, qui compte 30 milliards de paramètres et surpasse GPT-3.

Source de données : évaluation MT-Bench des modèles grand public MosaicML

Les avantages des modèles de la série MPT sont leur haute efficacité et leur faible coût. La complexité des modèles d'intelligence artificielle qui utilisent une grande quantité de données pour "la formation" a fortement augmenté. Former un modèle coûte désormais au moins des millions de dollars, ce qui est généralement inabordable pour les petites et moyennes entreprises, à l'exception des grandes entreprises. Les modèles de la série MPT de MosaicML permettent aux entreprises de former leurs propres modèles de langage à moindre coût et avec une plus grande efficacité, afin qu'elles puissent appliquer plus facilement la technologie d'IA générative et obtenir de meilleures performances commerciales. La plupart des modèles de langage open source ne peuvent gérer que des séquences avec au plus quelques milliers de jetons (voir Figure 1). Cependant, avec la plate-forme MosaicML et un nœud unique de 8xA100-40 Go, les utilisateurs peuvent facilement ajuster le MPT-7B pour gérer des longueurs de contexte jusqu'à 65k. La capacité à gérer cette adaptation de longueur de contexte extrême provient d'ALiBi, l'un des choix architecturaux clés de MPT-7B.

Par exemple, le texte intégral de The Great Gatsby a moins de 68 000 jetons. Dans un test, le modèle StoryWriter a lu The Great Gatsby et a généré un épilogue. L'un des épilogues de la génération de modèles est illustré à la figure 2. StoryWriter a lu The Great Gatsby en 20 secondes environ (environ 150 000 mots par minute). En raison de la longueur de la séquence plus longue, sa vitesse de "dactylographie" est plus lente que les autres modèles MPT-7B, à environ 105 mots par minute. Bien que StoryWriter ait été affiné avec une longueur de contexte de 65 000, ALiBi permet au modèle de déduire des entrées plus longues que celles sur lesquelles il a été formé : 68 000 jetons dans le cas de The Great Gatsby et jusqu'à 84 000 jetons lors des tests.

Figure 2 : Le MPT-7B-StoryWriter-65k+ a écrit l'épilogue de The Great Gatsby. Le résultat de l'épilogue est de fournir le texte intégral de "The Great Gatsby" (environ 68 000 jetons) en entrée du modèle, suivi du mot "épilogue" et de permettre au modèle de continuer à générer.

Vulgarisation de la technologie d'IA générative

La technologie d'IA générative est une branche de l'intelligence artificielle qui utilise de grandes quantités de données et des algorithmes d'apprentissage en profondeur pour générer automatiquement du contenu tel que du texte original, des images et du code informatique. L'émergence de cette technologie permet aux gens de traiter et d'analyser les données plus facilement et de mieux répondre aux besoins humains. Avec le développement rapide des mégadonnées et de la technologie de l'intelligence artificielle, la technologie d'IA générative a été largement utilisée dans le traitement du langage naturel, la reconnaissance d'images, la réalité virtuelle et d'autres domaines. Par exemple, dans le domaine du traitement du langage naturel, GPT-4 est devenu l'un des modèles d'IA générative les plus populaires, qui peut être utilisé pour des tâches telles que la génération d'articles, la traduction de langues et la réponse à des questions. Dans le domaine de la reconnaissance d'images, StyleGAN2 peut générer des images de haute qualité, qui peuvent être utilisées dans le développement de jeux, la production cinématographique et télévisuelle et la réalité virtuelle.

Naveen Rao, PDG de MosaicML, a précédemment déclaré que depuis 2018, la complexité des modèles d'intelligence artificielle utilisant de grandes quantités de données pour la "formation" a fortement augmenté, et la formation d'un modèle coûte désormais au moins des millions de dollars. ne peuvent généralement pas se le permettre. Après cette acquisition, le produit conjoint de la plate-forme Lakehouse de Databricks et de la technologie MosaicML permettra aux entreprises d'utiliser leurs propres données propriétaires pour former et créer des modèles d'IA génératifs simplement, rapidement et à faible coût. Sans contrôle ni propriété, le développement de modèles d'IA personnalisés peut prendre lieu. Selon Databricks, avec la plate-forme et le support technique de Databricks et MosaicML, le coût de la formation et de l'utilisation des LLM pour les entreprises sera considérablement réduit et devrait tomber à des milliers de dollars. Cela facilite la vulgarisation de l'IA générative.

Importance de l'acquisition de MosaicML par Databricks

L'objectif principal de l'acquisition de MosaicML par Databricks est d'accélérer le développement et la démocratisation de la technologie d'IA générative. En intégrant les technologies et les ressources des deux sociétés, Databricks peut mieux répondre aux besoins des clients et fournir des solutions plus efficaces et pratiques. Plus précisément, l'acquisition apportera des changements dans les aspects suivants :

1. Un grand modèle de langage plus efficace

Après l'acquisition de MosaicML par Databricks, Databricks peut intégrer les modèles de la série MPT dans sa plate-forme Lakehouse pour fournir aux clients des modèles de grande langue plus efficaces et à moindre coût. Cela aidera les entreprises à mieux gérer les tâches de traitement du langage naturel et à améliorer l'efficacité et la précision de l'entreprise.

2. Vitesse d'entraînement du modèle plus rapide

Les modèles de la série MPT de MosaicML offrent une formation rapide, ce qui aidera Databricks à fournir des services de formation de modèles plus rapides. Ceci est particulièrement important pour les entreprises qui doivent répondre rapidement aux demandes du marché, en les aidant à mieux répondre aux besoins des clients.

3. Une plus grande démocratisation

L'acquisition de MosaicML par Databricks signifie également que la démocratisation de la technologie d'IA générative va encore augmenter. Les modèles de la série MPT de MosaicML peuvent permettre aux petites et moyennes entreprises de former plus facilement leurs propres modèles de langage, afin qu'elles puissent mieux appliquer la technologie d'IA générative et obtenir de meilleures performances commerciales. Cela contribuera à promouvoir le développement et l'application de la technologie d'IA générative et à promouvoir la vulgarisation et le développement de la technologie de l'intelligence artificielle.

Résumer

Les applications d'IA générative sont conçues pour générer du texte brut, des images et du code informatique en fonction des signaux de langage naturel de l'utilisateur. L'intérêt pour la technologie a augmenté depuis que la startup d'intelligence artificielle OpenAI a lancé ChatGPT, un chatbot IA génératif en ligne, en novembre dernier. "Chaque organisation devrait pouvoir bénéficier de la révolution de l'IA et avoir plus de contrôle sur la façon dont ses données sont utilisées. Databricks et MosaicML ont une opportunité incroyable de démocratiser l'IA et de faire de Lakehouse le moteur de la génération de build. Le meilleur endroit pour l'intelligence artificielle, ” a déclaré Ali Ghodsi, co-fondateur et PDG de Databricks.

L'importance de l'acquisition de MosaicML par Databricks n'est pas seulement d'accélérer le développement et la démocratisation de la technologie d'IA générative, mais aussi d'intégrer les technologies et les ressources des deux sociétés pour fournir aux clients des solutions plus efficaces et plus pratiques. Avec le développement et l'application rapides de la technologie d'intelligence artificielle, la technologie d'IA générative jouera un rôle de plus en plus important.L'acquisition de MosaicML par Databricks reflète également l'importance et l'investissement de diverses entreprises dans cette direction. Des entreprises comme Anthropic et OpenAI octroient des licences à des modèles de langage prêts à l'emploi aux entreprises, qui créent ensuite des applications d'IA génératives par-dessus. Des opportunités ont été créées pour des startups comme MosaicML, portées par une forte demande commerciale pour ces modèles. Depuis les acquisitions successives de Snowflake et Databricks, nous pouvons voir que les grandes entreprises technologiques passent progressivement de la recherche et développement indépendante et de l'investissement stratégique aux fusions et acquisitions pour la technologie d'IA générative.

Source de référence: