La plupart des principaux auteurs originaux de LLaMA ont démissionné et l'histoire intérieure de Meta AI a été révélée ! La concurrence pour la puissance de calcul était féroce et les membres de l'équipe des grands modèles ont changé pendant trois tours consécutifs.
Au cours des 6 derniers mois, l'explosion de ChatGPT a complètement rendu Meta incapable de rester assis.
De la sortie de la série de modèles open source à grande échelle LLaMA en février, à la mise à niveau de Llama 2, puis au modèle de codage Code Llama, on peut dire que Meta mise tout sur ALL IN AI.
Dans la communauté open source, la recherche gratuite et l'utilisation commerciale des modèles de la série Llama ont directement déclenché la fission des modèles de remplacement.
Cependant, alors que Meta se porte bien, l’équipe AI fait face à une vague de démissions.
L'Information rapporte en exclusivité qu'en raison de conflits internes sur la puissance de calcul, la plupart des membres de l'équipe des projets LLaMA et OPT ont démissionné.
En fait, Meta a directement abandonné le modèle qu'ils développaient pour rivaliser avec PaLM et a réorganisé les deux équipes de laboratoire de Meta AI pour se concentrer sur le développement de Llama 2.
Le départ de la plupart des chercheurs de Meta vient de révéler que le manque de puissance de calcul est le problème central de l'IA générative de mise en page.
14 auteurs de l'article LLaMA, à moitié démissionnés
Vus du monde extérieur, les géants de la technologie disposent de plus de ressources informatiques que la plupart des entreprises. Certaines entreprises, dont Meta, soulignent unanimement qu'elles sont "GPU RICH" lorsqu'elles recrutent des chercheurs en IA.
Mais en fait, je sais très bien que l'offre de ressources informatiques de Meta est également limitée.
En conséquence, le conflit sur la puissance de calcul a commencé au sein de l'équipe interne, obligeant de nombreuses personnes à abandonner Meta.
Plus précisément, plus de la moitié des 14 auteurs du modèle LLaMA de première génération publié en février de cette année ont tous démissionné.
Certains se sont tournés vers des startups d’IA, tandis que d’autres ont rejoint des géants de la technologie.
Adresse papier :
Les chercheurs et ingénieurs qui quittent Meta comprennent Timothée Lacroix, Guillaume Lampe et Marie-Anne Lachaux, co-auteurs de l'article original de LLaMA.
Ils travaillent désormais au sein de la startup française Mistral AI, cofondée par Lacroix et Lampe en juin.
L'un des auteurs, Armand Joulin, directeur de recherche de Meta AI, a quitté Meta en mai et a désormais rejoint Apple.
Joelle Pineau, responsable de la « Recherche fondamentale en IA » au Laboratoire de recherche en méta-intelligence artificielle, a déclaré dans une entrevue :
Retenir et attirer des gens formidables est probablement ce à quoi je consacre le plus de temps, car je ne peux rien faire sans de grands chercheurs.
La vague de départs à laquelle Meta est confrontée ne fait que mettre en évidence les défis auxquels les grandes entreprises technologiques sont confrontées en réponse à l’augmentation de la demande de talents en intelligence artificielle.
Dans la vague actuelle de grands modèles, les grandes entreprises technologiques sont impatientes d’intégrer l’IA dans leurs produits et services, de peur de prendre du retard.
Kyle Langworthy, cadre chez Riviera Partners, a déclaré que les entreprises « avides de talents » font la queue pour débaucher les chercheurs en intelligence artificielle de Meta.
En février, après que la sortie de LLaMA ait suscité l'enthousiasme de la communauté, Xiao Zha a annoncé du jour au lendemain le grand pas de l'entreprise : la création d'une équipe produit de premier plan pour se concentrer sur AIGC.
En bref, Xiao Zha place désormais l'accent principal de Meta sur l'intelligence artificielle générative dans le but de rattraper ses concurrents tels que Google, Microsoft et OpenAI.
Et le « métaverse » qu’était All In en 2021 a également été placé en position secondaire.
Immédiatement après, Meta a publié et open source les dernières recherches dans le domaine de l'intelligence artificielle, y compris le modèle visuel général SAM "Segment Everything", le modèle d'IA multimodal ImageBind, Llama2, Code Llama, etc.
Une fois publiées, ces études ont suscité de grandes répercussions dans la communauté open source et ont reçu des éloges unanimes.
Aujourd’hui, avec la perte de chercheurs expérimentés, Meta a ajouté un autre obstacle pour rattraper ses concurrents.
Alors, que s’est-il passé exactement pour que ces chercheurs chevronnés partent en colère ?
La bataille de puissance de calcul entre LLaMA et OPT
En 2013, après avoir rejoint Meta, Yann LeCun crée le laboratoire de recherche en intelligence artificielle Meta AI (anciennement FAIR) alors qu'il était directeur de la recherche en IA.
En plus de ses principaux laboratoires à Menlo Park, en Californie, et à New York (où se trouve LeCun), Meta AI possède des bureaux à Montréal (où se trouve Pineau), Paris, Londres et Seattle.
La création du laboratoire Meta AI est principalement dédiée à la recherche sur l'IA, appliquant l'intelligence artificielle à divers scénarios tels que la traduction et l'IRM.
Cependant, après l’émergence de ChatGPT, les dirigeants d’entreprise sont devenus plus désireux d’intégrer plus profondément l’IA dans les produits.
En fait, Meta développait son propre LLM avant la sortie de ChatGPT.
En mai 2022, une équipe nord-américaine de Meta AI a annoncé et open source le grand modèle OPT-175B.
Meta affirme que ce modèle consomme moins d'énergie que le GPT-3, même si les deux modèles apprennent quantitativement la même quantité pendant l'entraînement.
Quelques mois plus tard, l'équipe a commencé à travailler sur un deuxième modèle, plus grand, conçu pour concurrencer le PaLM de Google.
Pendant ce temps, une autre équipe Meta AI basée à Paris a commencé à travailler sur un grand modèle de langage distinct, ou LLaMA.
Des personnes proches du dossier ont déclaré que ce modèle est plus petit que l'OPT. L’équipe de recherche estime que des modèles plus petits seront plus efficaces en matière d’inférence.
Puis le problème est survenu : les équipes des deux laboratoires d'Amérique du Nord et de Paris se sont lancées dans une bataille pour les ressources en puissance de calcul, ce qui a intensifié les conflits entre les équipes internes.
En particulier, l'équipe LLaMA se sentait négligée et ses modèles étaient petits, mais recevaient beaucoup moins de ressources informatiques que l'équipe OPT en Amérique du Nord.
Joelle Pineau, responsable de la « Recherche fondamentale en IA » a déclaré :
Les décisions sur la manière d'allouer les ressources informatiques chez Meta sont prises environ une fois par mois par un groupe de dirigeants de différentes parties de l'entreprise.
Le montant qui sera finalement alloué et à qui dépend des priorités de l'organisation et de l'état du projet avant sa sortie.
S'il y a un litige concernant l'attribution des employés de Meta AI, il sera soumis au supérieur, qui est le niveau de Pineau pour traitement.
Dans l'interview, Pineau a admis qu'il existe des tensions entre les équipes de LLaMA et d'OPT sur la répartition de la puissance de calcul, ajoutant : "Nous essayons de trouver un moyen d'écouter la voix de chacun, même si nous ne pouvons pas répondre aux besoins de chacun".
Pour certains chercheurs, cela ressemble à une compétition.
Certains dirigeants de Meta AI se demandent également pourquoi les deux équipes travaillent sur des projets similaires mais se font concurrence pour des ressources limitées.
Grands changements en février
Les tensions entre les deux équipes ont atteint leur paroxysme en février de cette année.
Ce mois-ci, dans le but de rattraper ses concurrents, Meta AI a publié pour la première fois LLaMA en tant que modèle open source, sous licence à des fins de recherche.
En effet, une semaine avant la sortie, Antoine Bordes, co-directeur de Meta AI et responsable de la succursale parisienne, a quitté Meta. La raison externe de son départ était que les horaires de travail étaient aussi épuisants qu'en Californie.
Aujourd’hui, Bordes a rejoint la société d’intelligence artificielle Helsing.
Son départ isole encore davantage l'équipe de LLaMA des dirigeants nord-américains, ont déclaré des personnes proches du dossier. De plus, Pineau a également admis que le départ de Bordes « a apporté une certaine incertitude » à l'équipe.
Il ne s’agit pas seulement d’un problème de moral de recherche frustré au sein de l’équipe LLaMA : dans le même temps, l’équipe OPT a également été confrontée au problème du roulement du personnel au cours des derniers mois.
On dit que le modèle plus large que l'équipe OPT développait a été directement abandonné par Meta. Il n’est pas difficile de comprendre que la perte du personnel de l’OPT est directement liée à cette décision.
La moitié des 19 auteurs d'articles OPT ont également quitté Meta, selon le profil Linkedin de l'auteur de l'étude.
Adresse papier :
Pineau, responsable de la « Basic AI Research », a déclaré impuissant : « Lorsque toutes les équipes souhaitent mettre à niveau leurs modèles en ce moment, vous pouvez soit en choisir un, soit les laisser coopérer.
Réorganisation de l'équipe, positionnement flou
Pendant que tout cela se produisait, Meta AI était également submergée par de fréquents changements d’entreprise.
Depuis novembre de l'année dernière, Xiao Zha a procédé à plusieurs licenciements à l'échelle de l'entreprise. Parmi eux, Meta AI n’a pas été épargné.
En février de cette année, les dirigeants de Meta AI ont décidé de rassembler certains membres des équipes concurrentes LLaMA et OPT pour créer officiellement l'équipe « Generative AI » (dirigée par l'ancien dirigeant d'Apple Ahmad Al-Dahle), et également transférée de Meta AI A. grand nombre de personnes.
En fait, nous pouvons voir de nombreux auteurs LLaMA et OPT dans l'article Llama 2.
Par exemple, dans l'équipe OPT, Moya Chen, Todor Mihaylov et Punit Singh Koura ont rejoint l'équipe « IA générative ».
Dans l’équipe LLaMA première génération, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal et Aurélien Rodriguez ont rejoint l’équipe « IA générative ».
Fait intéressant, dans la reconnaissance de Llama 2, trois des quatre équipes mentionnées à l'origine de ces recherches sont parties, et seul Edouard Grave est toujours là.
Malgré le succès du célèbre modèle open source LLaMA, les tensions entre les chercheurs continuent de croître alors que l'attitude changeante de Meta envers la recherche sur l'IA se poursuit.
Traditionnellement, Meta AI a eu une culture ascendante dirigée par des chercheurs, permettant à l'équipe de se concentrer sur le domaine de l'IA et de réaliser des progrès révolutionnaires.
Mais à mesure que Xiao Zha devenait de plus en plus enclin à intégrer l'IA dans les applications de Meta, l'objectif de Meta AI s'est également rétréci, en dissolvant les recherches qui n'étaient pas axées sur le produit, comme le repliement des protéines.
Dans le même temps, de nouveaux projets « sautent à plusieurs reprises » entre l'équipe d'IA générative et Meta AI.
Par exemple, Llama 2, sorti par Meta en juillet, et Code Llama, spécialisé dans la génération de code, sorti en août, sont chacun à la tête de deux équipes.
À cet égard, Pineau a déclaré : « Ce domaine se développe trop rapidement. Nous explorons toujours de quel projet Meta AI devrait être responsable ? De quel projet l'équipe d'IA générative devrait-elle être responsable ?
Sur le devant de la scène, le modèle open source est brillant et beau, mais dans les coulisses, la vague de démissions de chercheurs en IA, les conflits sur la puissance de calcul et la réorganisation des équipes ont apporté de nombreuses incertitudes dans les efforts de Meta pour rattraper ses adversaires. IA.
Les références:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La plupart des principaux auteurs originaux de LLaMA ont démissionné et l'histoire intérieure de Meta AI a été révélée ! La concurrence pour la puissance de calcul était féroce et les membres de l'équipe des grands modèles ont changé pendant trois tours consécutifs.
Source originale : Xinzhiyuan
Au cours des 6 derniers mois, l'explosion de ChatGPT a complètement rendu Meta incapable de rester assis.
De la sortie de la série de modèles open source à grande échelle LLaMA en février, à la mise à niveau de Llama 2, puis au modèle de codage Code Llama, on peut dire que Meta mise tout sur ALL IN AI.
Dans la communauté open source, la recherche gratuite et l'utilisation commerciale des modèles de la série Llama ont directement déclenché la fission des modèles de remplacement.
Cependant, alors que Meta se porte bien, l’équipe AI fait face à une vague de démissions.
L'Information rapporte en exclusivité qu'en raison de conflits internes sur la puissance de calcul, la plupart des membres de l'équipe des projets LLaMA et OPT ont démissionné.
Le départ de la plupart des chercheurs de Meta vient de révéler que le manque de puissance de calcul est le problème central de l'IA générative de mise en page.
14 auteurs de l'article LLaMA, à moitié démissionnés
Vus du monde extérieur, les géants de la technologie disposent de plus de ressources informatiques que la plupart des entreprises. Certaines entreprises, dont Meta, soulignent unanimement qu'elles sont "GPU RICH" lorsqu'elles recrutent des chercheurs en IA.
Mais en fait, je sais très bien que l'offre de ressources informatiques de Meta est également limitée.
En conséquence, le conflit sur la puissance de calcul a commencé au sein de l'équipe interne, obligeant de nombreuses personnes à abandonner Meta.
Plus précisément, plus de la moitié des 14 auteurs du modèle LLaMA de première génération publié en février de cette année ont tous démissionné.
Certains se sont tournés vers des startups d’IA, tandis que d’autres ont rejoint des géants de la technologie.
Les chercheurs et ingénieurs qui quittent Meta comprennent Timothée Lacroix, Guillaume Lampe et Marie-Anne Lachaux, co-auteurs de l'article original de LLaMA.
Ils travaillent désormais au sein de la startup française Mistral AI, cofondée par Lacroix et Lampe en juin.
La vague de départs à laquelle Meta est confrontée ne fait que mettre en évidence les défis auxquels les grandes entreprises technologiques sont confrontées en réponse à l’augmentation de la demande de talents en intelligence artificielle.
Dans la vague actuelle de grands modèles, les grandes entreprises technologiques sont impatientes d’intégrer l’IA dans leurs produits et services, de peur de prendre du retard.
Kyle Langworthy, cadre chez Riviera Partners, a déclaré que les entreprises « avides de talents » font la queue pour débaucher les chercheurs en intelligence artificielle de Meta.
En février, après que la sortie de LLaMA ait suscité l'enthousiasme de la communauté, Xiao Zha a annoncé du jour au lendemain le grand pas de l'entreprise : la création d'une équipe produit de premier plan pour se concentrer sur AIGC.
En bref, Xiao Zha place désormais l'accent principal de Meta sur l'intelligence artificielle générative dans le but de rattraper ses concurrents tels que Google, Microsoft et OpenAI.
Et le « métaverse » qu’était All In en 2021 a également été placé en position secondaire.
Une fois publiées, ces études ont suscité de grandes répercussions dans la communauté open source et ont reçu des éloges unanimes.
Aujourd’hui, avec la perte de chercheurs expérimentés, Meta a ajouté un autre obstacle pour rattraper ses concurrents.
La bataille de puissance de calcul entre LLaMA et OPT
En 2013, après avoir rejoint Meta, Yann LeCun crée le laboratoire de recherche en intelligence artificielle Meta AI (anciennement FAIR) alors qu'il était directeur de la recherche en IA.
En plus de ses principaux laboratoires à Menlo Park, en Californie, et à New York (où se trouve LeCun), Meta AI possède des bureaux à Montréal (où se trouve Pineau), Paris, Londres et Seattle.
Cependant, après l’émergence de ChatGPT, les dirigeants d’entreprise sont devenus plus désireux d’intégrer plus profondément l’IA dans les produits.
En fait, Meta développait son propre LLM avant la sortie de ChatGPT.
En mai 2022, une équipe nord-américaine de Meta AI a annoncé et open source le grand modèle OPT-175B.
Meta affirme que ce modèle consomme moins d'énergie que le GPT-3, même si les deux modèles apprennent quantitativement la même quantité pendant l'entraînement.
Pendant ce temps, une autre équipe Meta AI basée à Paris a commencé à travailler sur un grand modèle de langage distinct, ou LLaMA.
Des personnes proches du dossier ont déclaré que ce modèle est plus petit que l'OPT. L’équipe de recherche estime que des modèles plus petits seront plus efficaces en matière d’inférence.
Puis le problème est survenu : les équipes des deux laboratoires d'Amérique du Nord et de Paris se sont lancées dans une bataille pour les ressources en puissance de calcul, ce qui a intensifié les conflits entre les équipes internes.
En particulier, l'équipe LLaMA se sentait négligée et ses modèles étaient petits, mais recevaient beaucoup moins de ressources informatiques que l'équipe OPT en Amérique du Nord.
Joelle Pineau, responsable de la « Recherche fondamentale en IA » a déclaré :
S'il y a un litige concernant l'attribution des employés de Meta AI, il sera soumis au supérieur, qui est le niveau de Pineau pour traitement.
Dans l'interview, Pineau a admis qu'il existe des tensions entre les équipes de LLaMA et d'OPT sur la répartition de la puissance de calcul, ajoutant : "Nous essayons de trouver un moyen d'écouter la voix de chacun, même si nous ne pouvons pas répondre aux besoins de chacun".
Pour certains chercheurs, cela ressemble à une compétition.
Certains dirigeants de Meta AI se demandent également pourquoi les deux équipes travaillent sur des projets similaires mais se font concurrence pour des ressources limitées.
Grands changements en février
Les tensions entre les deux équipes ont atteint leur paroxysme en février de cette année.
Ce mois-ci, dans le but de rattraper ses concurrents, Meta AI a publié pour la première fois LLaMA en tant que modèle open source, sous licence à des fins de recherche.
En effet, une semaine avant la sortie, Antoine Bordes, co-directeur de Meta AI et responsable de la succursale parisienne, a quitté Meta. La raison externe de son départ était que les horaires de travail étaient aussi épuisants qu'en Californie.
Aujourd’hui, Bordes a rejoint la société d’intelligence artificielle Helsing.
Il ne s’agit pas seulement d’un problème de moral de recherche frustré au sein de l’équipe LLaMA : dans le même temps, l’équipe OPT a également été confrontée au problème du roulement du personnel au cours des derniers mois.
On dit que le modèle plus large que l'équipe OPT développait a été directement abandonné par Meta. Il n’est pas difficile de comprendre que la perte du personnel de l’OPT est directement liée à cette décision.
La moitié des 19 auteurs d'articles OPT ont également quitté Meta, selon le profil Linkedin de l'auteur de l'étude.
Pineau, responsable de la « Basic AI Research », a déclaré impuissant : « Lorsque toutes les équipes souhaitent mettre à niveau leurs modèles en ce moment, vous pouvez soit en choisir un, soit les laisser coopérer.
Réorganisation de l'équipe, positionnement flou
Pendant que tout cela se produisait, Meta AI était également submergée par de fréquents changements d’entreprise.
Depuis novembre de l'année dernière, Xiao Zha a procédé à plusieurs licenciements à l'échelle de l'entreprise. Parmi eux, Meta AI n’a pas été épargné.
En février de cette année, les dirigeants de Meta AI ont décidé de rassembler certains membres des équipes concurrentes LLaMA et OPT pour créer officiellement l'équipe « Generative AI » (dirigée par l'ancien dirigeant d'Apple Ahmad Al-Dahle), et également transférée de Meta AI A. grand nombre de personnes.
En fait, nous pouvons voir de nombreux auteurs LLaMA et OPT dans l'article Llama 2.
Par exemple, dans l'équipe OPT, Moya Chen, Todor Mihaylov et Punit Singh Koura ont rejoint l'équipe « IA générative ».
Dans l’équipe LLaMA première génération, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal et Aurélien Rodriguez ont rejoint l’équipe « IA générative ».
Fait intéressant, dans la reconnaissance de Llama 2, trois des quatre équipes mentionnées à l'origine de ces recherches sont parties, et seul Edouard Grave est toujours là.
Traditionnellement, Meta AI a eu une culture ascendante dirigée par des chercheurs, permettant à l'équipe de se concentrer sur le domaine de l'IA et de réaliser des progrès révolutionnaires.
Mais à mesure que Xiao Zha devenait de plus en plus enclin à intégrer l'IA dans les applications de Meta, l'objectif de Meta AI s'est également rétréci, en dissolvant les recherches qui n'étaient pas axées sur le produit, comme le repliement des protéines.
Par exemple, Llama 2, sorti par Meta en juillet, et Code Llama, spécialisé dans la génération de code, sorti en août, sont chacun à la tête de deux équipes.
Sur le devant de la scène, le modèle open source est brillant et beau, mais dans les coulisses, la vague de démissions de chercheurs en IA, les conflits sur la puissance de calcul et la réorganisation des équipes ont apporté de nombreuses incertitudes dans les efforts de Meta pour rattraper ses adversaires. IA.
Les références: