Bon nombre des 14 auteurs impliqués dans l'étude Llama sont partis.
En février de cette année, Meta a « open source » une nouvelle grande série de modèles - Llama (Large Language Model Meta AI), avec des paramètres allant de 7 milliards à 65 milliards. Quelques mois plus tard, la sortie de Llama 2 a ouvert la commercialisation des grands modèles. Beaucoup ont décrit l'open source de Llama 2 comme le « moment Android » des grands modèles.
En raison des excellentes performances des modèles des séries Llama et Llama 2, de nombreuses personnes les considèrent comme des alternatives gratuites et open source aux modèles plus grands tels que ChatGPT. Tout le monde fait l'éloge de Meta pour ses contributions à la communauté open source, mais pour certains scientifiques et ingénieurs impliqués dans le projet Llama, cet éloge était trop peu, trop tard.
Selon The Information, des personnes proches de la situation interne ont déclaré que de nombreuses personnes impliquées dans le projet Llama avaient démissionné en raison d'une lutte interne entre une autre équipe de recherche de Meta et l'équipe Llama au sujet des ressources informatiques. L'équipe travaillait sur un modèle concurrent, mais pour une raison inconnue, j'ai fini par l'abandonner.
Bien qu'il ne s'agisse que d'une révélation venant d'un initié, leur départ rappelle que les entreprises technologiques, grandes et petites, sont aux prises avec des tensions causées par le manque de ressources informatiques alors qu'elles développent des modèles d'IA générative, qui nécessitent des puces dédiées, et ces puces ne sont pas disponibles. fournis gratuitement. Les grandes entreprises technologiques disposent de plus de ressources informatiques que la plupart des autres, un fait que certaines entreprises comme Meta soulignent lors du recrutement de chercheurs en IA.
Nous constatons que même les grandes entreprises disposent de ressources limitées. Alors que la demande de talents en IA augmente, cet exode met également en évidence les défis auxquels sont confrontées les grandes entreprises technologiques pour retenir les talents en IA.
L'article de Llama "LLaMA : Open and Efficient Foundation Language Models" a été publié en février de cette année. Il compte 14 auteurs, et maintenant plusieurs d'entre eux ont quitté leur emploi. Certains d'entre eux sont allés dans de nouvelles start-ups et d'autres ont lancé des entreprises.
Adresse papier :
Jetons un coup d'œil à ceux qui ont démissionné.
Gautier Izacard
Gautier Izacard a commencé à travailler chez Meta en 2020 et quittera Meta en avril 2023 pour rejoindre la start-up Inflection AI en 2022.
Inflection AI a une longue histoire. Ses trois cofondateurs sont l'ancien cofondateur de DeepMind, Mustafa Suleyman, le cofondateur de Linkedln, Reid Hoffman, et l'ancienne scientifique en chef de DeepMind, Karen Simonyan. En juin de cette année, Inflection AI a également annoncé que la société avait levé 1,3 milliard de dollars lors d'un nouveau cycle de financement, mené par Microsoft, Nvidia, Reid Hoffman, Bill Gates et l'ancien PDG de Google, Eric Schmidt.
*Trois co-fondateurs d'Inflection AI. *
Timothée Lacroix
Timothée Lacroix a rejoint Facebook AI Research Lab en 2015 en tant qu'ingénieur de recherche. En juin 2023, il quittera Meta (Facebook) et rejoindra la startup française Mistral AI en tant que Chief Technology Officer (CTO).
Armand Joulin
Armand Joulin a obtenu son doctorat en 2012 à l'INRIA et à l'ENS. En 2014, Armand Joulin rejoint Meta et occupe successivement les postes de chercheur scientifique, directeur de recherche senior et directeur de recherche. Avant de rejoindre Meta, Armand était chercheur postdoctoral à l'Université de Stanford, travaillant avec Daphne Koller et Feifei Li. Armand Joulin quittera Meta en mai 2023.
Guillaume Lampe
Guillaume Lampe est aujourd'hui co-fondateur et scientifique en chef de Mistral AI. Il a quitté Meta en mars de cette année, après y avoir travaillé pendant plus de 6 ans, et son poste précédent chez Meta était celui de chercheur scientifique.
Guillaume Lampe est diplômé de l'Université Carnegie Mellon avec une maîtrise et un doctorat de l'Université Paris VI.
Enfin, nous présentons la startup Mistral AI, créée en mai de cette année. L'organisation se concentre principalement sur la recherche et le développement de modèles d'IA génératifs et est en concurrence avec OpenAI. Les co-fondateurs comprennent Arthur MENSCH (et PDG), Guillaume Lampe (et scientifique en chef) et Timothée Lacroix est le directeur de la technologie.
Selon Techcrunch, ils prévoient de publier le premier modèle d’intelligence artificielle générative basé sur du texte en 2024. En juin de cette année, Mistral AI, créée il y a seulement 4 semaines, a reçu 113 millions de dollars américains en financement de démarrage.
Guillaume Lampe et Timothée Lacroix ont été présentés plus tôt. En tant que PDG, Arthur MENSCH a travaillé pendant plus de 2 ans chez DeepMind (maintenant fusionné avec Google DeepMind) et a participé à la recherche du modèle de langage visuel Flamingo.
les références:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Meta a été exposé à de violents combats internes en raison du vol de ressources informatiques, et de nombreux auteurs de Llama ont quitté
Rédacteurs : Xiaozhou, Chen Ping
En février de cette année, Meta a « open source » une nouvelle grande série de modèles - Llama (Large Language Model Meta AI), avec des paramètres allant de 7 milliards à 65 milliards. Quelques mois plus tard, la sortie de Llama 2 a ouvert la commercialisation des grands modèles. Beaucoup ont décrit l'open source de Llama 2 comme le « moment Android » des grands modèles.
En raison des excellentes performances des modèles des séries Llama et Llama 2, de nombreuses personnes les considèrent comme des alternatives gratuites et open source aux modèles plus grands tels que ChatGPT. Tout le monde fait l'éloge de Meta pour ses contributions à la communauté open source, mais pour certains scientifiques et ingénieurs impliqués dans le projet Llama, cet éloge était trop peu, trop tard.
Selon The Information, des personnes proches de la situation interne ont déclaré que de nombreuses personnes impliquées dans le projet Llama avaient démissionné en raison d'une lutte interne entre une autre équipe de recherche de Meta et l'équipe Llama au sujet des ressources informatiques. L'équipe travaillait sur un modèle concurrent, mais pour une raison inconnue, j'ai fini par l'abandonner.
Bien qu'il ne s'agisse que d'une révélation venant d'un initié, leur départ rappelle que les entreprises technologiques, grandes et petites, sont aux prises avec des tensions causées par le manque de ressources informatiques alors qu'elles développent des modèles d'IA générative, qui nécessitent des puces dédiées, et ces puces ne sont pas disponibles. fournis gratuitement. Les grandes entreprises technologiques disposent de plus de ressources informatiques que la plupart des autres, un fait que certaines entreprises comme Meta soulignent lors du recrutement de chercheurs en IA.
Nous constatons que même les grandes entreprises disposent de ressources limitées. Alors que la demande de talents en IA augmente, cet exode met également en évidence les défis auxquels sont confrontées les grandes entreprises technologiques pour retenir les talents en IA.
L'article de Llama "LLaMA : Open and Efficient Foundation Language Models" a été publié en février de cette année. Il compte 14 auteurs, et maintenant plusieurs d'entre eux ont quitté leur emploi. Certains d'entre eux sont allés dans de nouvelles start-ups et d'autres ont lancé des entreprises.
Jetons un coup d'œil à ceux qui ont démissionné.
Gautier Izacard
Inflection AI a une longue histoire. Ses trois cofondateurs sont l'ancien cofondateur de DeepMind, Mustafa Suleyman, le cofondateur de Linkedln, Reid Hoffman, et l'ancienne scientifique en chef de DeepMind, Karen Simonyan. En juin de cette année, Inflection AI a également annoncé que la société avait levé 1,3 milliard de dollars lors d'un nouveau cycle de financement, mené par Microsoft, Nvidia, Reid Hoffman, Bill Gates et l'ancien PDG de Google, Eric Schmidt.
Timothée Lacroix
Armand Joulin
Guillaume Lampe
Guillaume Lampe est diplômé de l'Université Carnegie Mellon avec une maîtrise et un doctorat de l'Université Paris VI.
Enfin, nous présentons la startup Mistral AI, créée en mai de cette année. L'organisation se concentre principalement sur la recherche et le développement de modèles d'IA génératifs et est en concurrence avec OpenAI. Les co-fondateurs comprennent Arthur MENSCH (et PDG), Guillaume Lampe (et scientifique en chef) et Timothée Lacroix est le directeur de la technologie.
Guillaume Lampe et Timothée Lacroix ont été présentés plus tôt. En tant que PDG, Arthur MENSCH a travaillé pendant plus de 2 ans chez DeepMind (maintenant fusionné avec Google DeepMind) et a participé à la recherche du modèle de langage visuel Flamingo.