A maioria dos principais autores originais do LLaMA renunciou e a história interna da Meta AI foi exposta! A competição pelo poder computacional foi acirrada e os membros da grande equipe modelo mudaram por três rodadas consecutivas
Nos últimos seis meses, a popularidade do ChatGPT tornou o Meta completamente incapaz de ficar parado.
Desde o lançamento da grande série de modelos de código aberto LLaMA em fevereiro, até a atualização do Llama 2 e, em seguida, ao modelo de codificação Code Llama, a Meta está apostando tudo no ALL IN AI.
Na comunidade de código aberto, a pesquisa gratuita e o uso comercial dos modelos da série Llama desencadearam diretamente a fissão dos modelos de substituição.
No entanto, enquanto Meta está na glória, a equipe de IA enfrenta uma onda de demissões.
A Informação informou com exclusividade que a maioria dos membros das equipes dos projetos LLaMA e OPT se demitiram devido a disputas internas de poder computacional.
Mesmo assim, a Meta abandonou diretamente o modelo que estava desenvolvendo para rivalizar com o PaLM e reorganizou as duas equipes de laboratório da Meta AI para se concentrar no desenvolvimento do Llama 2.
A demissão da maioria dos pesquisadores do Meta expôs que a escassez de poder computacional é o problema central no layout da IA generativa.
Os artigos do LLaMA têm 14 autores, metade dos quais sai
Para o mundo exterior, os gigantes da tecnologia têm mais recursos computacionais do que a maioria das empresas. Algumas empresas, incluindo a Meta, enfatizam consistentemente que são “RICAS EM GPU” ao recrutar pesquisadores de IA.
Mas, na verdade, sei muito bem que a oferta de recursos computacionais do Meta também é limitada.
Com isso, iniciou-se a disputa pelo poder computacional na equipe interna, fazendo com que muitas pessoas abandonassem o Meta.
Especificamente, mais da metade dos 14 autores do modelo LLaMA de primeira geração lançado em fevereiro deste ano renunciaram.
Alguns recorreram a startups de IA, enquanto outros se juntaram a gigantes da tecnologia.
Endereço do papel:
Cientistas pesquisadores e engenheiros que deixaram Meta incluem Timothée Lacroix, Guillaume Lample e Marie-Anne Lachaux, co-autores do artigo original do LLaMA.
Eles agora trabalham na startup francesa Mistral AI, que Lacroix e Lample cofundaram em junho.
Um dos autores, Armand Joulin, diretor de pesquisa da Meta AI, deixou a Meta em maio e agora ingressou na Apple.
Joelle Pineau, chefe de "Pesquisa Básica de IA" no Laboratório de Pesquisa de Meta Inteligência Artificial, disse em uma entrevista:
Reter e atrair ótimas pessoas é provavelmente onde passo mais tempo, porque não posso fazer nada sem grandes pesquisadores.
A onda de saídas que a Meta enfrenta apenas destaca o desafio das grandes empresas de tecnologia para lidar com o aumento da demanda por talentos em inteligência artificial.
Na atual vaga de grandes modelos, as grandes empresas tecnológicas estão ansiosas por integrar a IA nos seus próprios produtos e serviços, por receio de ficarem para trás.
Kyle Langworthy, executivo da Riviera Partners, disse que as empresas “sedentas de talento” estão fazendo fila para caçar os pesquisadores de inteligência artificial da Meta.
Em fevereiro, após o lançamento do LLaMA ter despertado o entusiasmo da comunidade, Xiao Zha certa vez anunciou a grande mudança da empresa da noite para o dia: formar uma equipe de produtos de ponta para se concentrar no AIGC.
Resumindo, Xiao Zha coloca o foco principal do futuro da Meta na inteligência artificial generativa, na tentativa de alcançar concorrentes como Google, Microsoft e OpenAI.
O “Metaverso” que já foi All In em 2021 também foi colocado em uma posição secundária.
Imediatamente depois, Meta lançou e abriu o código-fonte das pesquisas mais recentes no campo da inteligência artificial de tempos em tempos, incluindo o modelo visual geral SAM "Segment Everything", o modelo de IA multimodal ImageBind, Llama2, Code Llama, etc.
Uma vez divulgados, esses estudos despertaram grande repercussão na comunidade open source e receberam elogios unânimes.
Agora, com a perda de pesquisadores experientes, a Meta adicionou outro obstáculo para alcançar os concorrentes.
Então, o que exatamente aconteceu para fazer esses pesquisadores seniores saírem furiosos?
A batalha do poder computacional entre LLaMA e OPT
Em 2013, depois que Yann LeCun ingressou na Meta, ele fundou o laboratório de pesquisa de inteligência artificial Meta AI (anteriormente FAIR) quando atuou como diretor de pesquisa de IA.
Além de seus laboratórios principais em Menlo Park, Califórnia, e Nova York (onde a LeCun está sediada), a Meta AI também possui escritórios em Montreal (onde a Pineau está sediada), Paris, Londres e Seattle.
A criação do laboratório Meta AI dedica-se principalmente à investigação de IA, aplicando inteligência artificial a vários cenários, tais como tradução e digitalização de ressonância magnética.
No entanto, após o surgimento do ChatGPT, os executivos da empresa ficaram mais ansiosos para integrar mais profundamente a IA aos produtos.
Na verdade, antes do lançamento do ChatGPT, a Meta vinha desenvolvendo seu próprio LLM.
Em maio de 2022, uma equipe norte-americana de Meta AI anunciou e abriu o código-fonte do grande modelo OPT-175B.
Meta afirma que este modelo consome menos energia que o GPT-3, embora os dois modelos aprendam a mesma quantidade durante o treinamento.
Poucos meses depois, a equipe começou a trabalhar em um segundo modelo maior, projetado para competir com o PaLM do Google.
Ao mesmo tempo, outra equipe Meta AI em Paris começou a desenvolver um modelo de linguagem separado em grande escala, também conhecido como LLaMA.
Pessoas familiarizadas com o assunto disseram que este modelo é menor que o OPT. A equipe de pesquisa acredita que modelos menores serão mais eficientes na inferência.
Surgiu então um problema: equipes de dois laboratórios da América do Norte e de Paris começaram a competir pelo acesso aos recursos computacionais, o que acirrou as disputas entre as equipes internas.
Em particular, a equipe LLaMA sente que foi ignorada: seu modelo é pequeno, mas recebe muito menos recursos computacionais do que a equipe norte-americana OPT.
Joelle Pineau, chefe de "Pesquisa Básica de IA", disse:
As decisões sobre como alocar recursos computacionais na Meta são tomadas aproximadamente mensalmente por um pequeno grupo de líderes de diferentes partes do negócio.
Quanto é finalmente alocado e para quem é determinado pelas prioridades organizacionais e pelo quão próximo o projeto está de ser liberado.
Caso haja disputa sobre a alocação de funcionários da Meta AI, ela será submetida ao superior, que é o nível do Pineau, para processamento.
Na entrevista, Pineau admitiu que existe alguma tensão entre as equipes LLaMA e OPT sobre a distribuição do poder computacional, acrescentando: “Tentamos encontrar uma maneira de ouvir a voz de todos, mesmo que não possamos atender às necessidades de todos”.
Para alguns pesquisadores, parece uma competição.
Alguns executivos da Meta AI também questionaram por que ambas as equipes estavam trabalhando em projetos semelhantes, mas competindo entre si por recursos limitados.
Grandes mudanças em fevereiro
As tensões entre as duas equipes atingiram um nível febril em fevereiro deste ano.
Ainda neste mês, em um esforço para alcançar os concorrentes, a Meta AI lançou pela primeira vez o LLaMA como um modelo de código aberto, licenciado para fins de pesquisa.
Na verdade, Antoine Bordes, codiretor da Meta AI e chefe da filial de Paris, deixou a Meta uma semana antes do lançamento, e o motivo de sua saída foi que as horas de trabalho eram tão exaustivas quanto na Califórnia.
Agora, Bordes ingressou na empresa de inteligência artificial Helsing.
Sua saída isola ainda mais a equipe do LLaMA dos executivos da América do Norte, disseram as pessoas. Além disso, Pineau reconheceu que a saída de Bordes “criou alguma incerteza” para a equipe.
Não é apenas uma questão de moral de pesquisa da equipe LLaMA; enquanto isso, a equipe OPT tem enfrentado desgaste nos últimos meses.
Diz-se que o modelo maior desenvolvido pela equipe OPT foi abandonado diretamente pela Meta. Não é difícil compreender que a perda de pessoal da OPT está diretamente relacionada com esta decisão.
De acordo com o perfil do autor do estudo no Linkedin, metade dos 19 autores de artigos OPT deixaram o Meta.
Endereço do papel:
Pineau, chefe de “Pesquisa Básica de IA”, disse impotente: “Quando todas as equipes quiserem atualizar seus modelos neste momento, você pode escolher um deles ou deixá-los cooperar”.
Reorganização da equipe, posicionamento pouco claro
Enquanto tudo isso acontecia, a Meta AI também ficou sobrecarregada com as frequentes mudanças da empresa.
Desde novembro do ano passado, Xiao Zha realizou diversas demissões em toda a empresa. Entre eles, o Meta AI não foi poupado.
Em fevereiro deste ano, os líderes da Meta AI decidiram reunir alguns membros das equipes concorrentes LLaMA e OPT para estabelecer formalmente a equipe "Generative AI" (o ex-executivo da Apple Ahmad Al-Dahle está no comando), e também recorrer à Meta AI Muitas pessoas.
Na verdade, podemos ver muitos autores de LLaMA e OPT no artigo Llama 2.
Por exemplo, na equipe OPT, Moya Chen, Todor Mihaylov e Punit Singh Koura juntaram-se à equipe "Generative AI".
Na primeira geração da equipe LLaMA, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal, Aurelien Rodriguez juntaram-se à equipe "Generative AI".
Curiosamente, no reconhecimento do Llama 2, três das quatro equipes que iniciaram esta pesquisa mencionada inicialmente partiram, e apenas Edouard Grave ainda está lá.
Apesar do sucesso do aclamado modelo de código aberto LLaMA, as tensões entre os pesquisadores continuam a crescer à medida que a mudança de atitude da Meta em relação à pesquisa em IA continua.
A Meta AI tem tradicionalmente uma cultura ascendente liderada por pesquisadores, permitindo que a equipe se concentre e faça avanços no campo da IA.
Mas à medida que Xiao Zha se tornou cada vez mais inclinado a integrar a IA nas aplicações da Meta, o foco da Meta AI também se estreitou - desmantelando a investigação que não era orientada para o produto, como o enovelamento de proteínas.
Ao mesmo tempo, novos projetos também estão “saltando repetidamente” entre a equipe de IA generativa e a Meta AI.
Por exemplo, Llama 2, lançado pela Meta em julho, e Code Llama, especializado em geração de código, lançado em agosto, são respectivamente responsáveis por duas equipes.
A esse respeito, Pineau disse: "Este campo está se desenvolvendo muito rápido. Ainda estamos explorando, por qual projeto a Meta AI deve ser responsável? Por qual projeto a equipe de IA generativa deve ser responsável?"
Na frente do palco, o modelo de código aberto é glamoroso e bonito, mas nos bastidores, a onda de saída de pesquisadores de IA, disputas de poder de computação e reorganização da equipe trouxeram muitos fatores incertos aos esforços da Meta para alcançar seus oponentes.
Referências:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A maioria dos principais autores originais do LLaMA renunciou e a história interna da Meta AI foi exposta! A competição pelo poder computacional foi acirrada e os membros da grande equipe modelo mudaram por três rodadas consecutivas
Fonte original: Xinzhiyuan
Nos últimos seis meses, a popularidade do ChatGPT tornou o Meta completamente incapaz de ficar parado.
Desde o lançamento da grande série de modelos de código aberto LLaMA em fevereiro, até a atualização do Llama 2 e, em seguida, ao modelo de codificação Code Llama, a Meta está apostando tudo no ALL IN AI.
Na comunidade de código aberto, a pesquisa gratuita e o uso comercial dos modelos da série Llama desencadearam diretamente a fissão dos modelos de substituição.
No entanto, enquanto Meta está na glória, a equipe de IA enfrenta uma onda de demissões.
A Informação informou com exclusividade que a maioria dos membros das equipes dos projetos LLaMA e OPT se demitiram devido a disputas internas de poder computacional.
A demissão da maioria dos pesquisadores do Meta expôs que a escassez de poder computacional é o problema central no layout da IA generativa.
Os artigos do LLaMA têm 14 autores, metade dos quais sai
Para o mundo exterior, os gigantes da tecnologia têm mais recursos computacionais do que a maioria das empresas. Algumas empresas, incluindo a Meta, enfatizam consistentemente que são “RICAS EM GPU” ao recrutar pesquisadores de IA.
Mas, na verdade, sei muito bem que a oferta de recursos computacionais do Meta também é limitada.
Com isso, iniciou-se a disputa pelo poder computacional na equipe interna, fazendo com que muitas pessoas abandonassem o Meta.
Especificamente, mais da metade dos 14 autores do modelo LLaMA de primeira geração lançado em fevereiro deste ano renunciaram.
Alguns recorreram a startups de IA, enquanto outros se juntaram a gigantes da tecnologia.
Cientistas pesquisadores e engenheiros que deixaram Meta incluem Timothée Lacroix, Guillaume Lample e Marie-Anne Lachaux, co-autores do artigo original do LLaMA.
Eles agora trabalham na startup francesa Mistral AI, que Lacroix e Lample cofundaram em junho.
A onda de saídas que a Meta enfrenta apenas destaca o desafio das grandes empresas de tecnologia para lidar com o aumento da demanda por talentos em inteligência artificial.
Na atual vaga de grandes modelos, as grandes empresas tecnológicas estão ansiosas por integrar a IA nos seus próprios produtos e serviços, por receio de ficarem para trás.
Kyle Langworthy, executivo da Riviera Partners, disse que as empresas “sedentas de talento” estão fazendo fila para caçar os pesquisadores de inteligência artificial da Meta.
Em fevereiro, após o lançamento do LLaMA ter despertado o entusiasmo da comunidade, Xiao Zha certa vez anunciou a grande mudança da empresa da noite para o dia: formar uma equipe de produtos de ponta para se concentrar no AIGC.
Resumindo, Xiao Zha coloca o foco principal do futuro da Meta na inteligência artificial generativa, na tentativa de alcançar concorrentes como Google, Microsoft e OpenAI.
O “Metaverso” que já foi All In em 2021 também foi colocado em uma posição secundária.
Uma vez divulgados, esses estudos despertaram grande repercussão na comunidade open source e receberam elogios unânimes.
Agora, com a perda de pesquisadores experientes, a Meta adicionou outro obstáculo para alcançar os concorrentes.
A batalha do poder computacional entre LLaMA e OPT
Em 2013, depois que Yann LeCun ingressou na Meta, ele fundou o laboratório de pesquisa de inteligência artificial Meta AI (anteriormente FAIR) quando atuou como diretor de pesquisa de IA.
Além de seus laboratórios principais em Menlo Park, Califórnia, e Nova York (onde a LeCun está sediada), a Meta AI também possui escritórios em Montreal (onde a Pineau está sediada), Paris, Londres e Seattle.
No entanto, após o surgimento do ChatGPT, os executivos da empresa ficaram mais ansiosos para integrar mais profundamente a IA aos produtos.
Na verdade, antes do lançamento do ChatGPT, a Meta vinha desenvolvendo seu próprio LLM.
Em maio de 2022, uma equipe norte-americana de Meta AI anunciou e abriu o código-fonte do grande modelo OPT-175B.
Meta afirma que este modelo consome menos energia que o GPT-3, embora os dois modelos aprendam a mesma quantidade durante o treinamento.
Ao mesmo tempo, outra equipe Meta AI em Paris começou a desenvolver um modelo de linguagem separado em grande escala, também conhecido como LLaMA.
Pessoas familiarizadas com o assunto disseram que este modelo é menor que o OPT. A equipe de pesquisa acredita que modelos menores serão mais eficientes na inferência.
Surgiu então um problema: equipes de dois laboratórios da América do Norte e de Paris começaram a competir pelo acesso aos recursos computacionais, o que acirrou as disputas entre as equipes internas.
Em particular, a equipe LLaMA sente que foi ignorada: seu modelo é pequeno, mas recebe muito menos recursos computacionais do que a equipe norte-americana OPT.
Joelle Pineau, chefe de "Pesquisa Básica de IA", disse:
Caso haja disputa sobre a alocação de funcionários da Meta AI, ela será submetida ao superior, que é o nível do Pineau, para processamento.
Na entrevista, Pineau admitiu que existe alguma tensão entre as equipes LLaMA e OPT sobre a distribuição do poder computacional, acrescentando: “Tentamos encontrar uma maneira de ouvir a voz de todos, mesmo que não possamos atender às necessidades de todos”.
Para alguns pesquisadores, parece uma competição.
Alguns executivos da Meta AI também questionaram por que ambas as equipes estavam trabalhando em projetos semelhantes, mas competindo entre si por recursos limitados.
Grandes mudanças em fevereiro
As tensões entre as duas equipes atingiram um nível febril em fevereiro deste ano.
Ainda neste mês, em um esforço para alcançar os concorrentes, a Meta AI lançou pela primeira vez o LLaMA como um modelo de código aberto, licenciado para fins de pesquisa.
Na verdade, Antoine Bordes, codiretor da Meta AI e chefe da filial de Paris, deixou a Meta uma semana antes do lançamento, e o motivo de sua saída foi que as horas de trabalho eram tão exaustivas quanto na Califórnia.
Agora, Bordes ingressou na empresa de inteligência artificial Helsing.
Não é apenas uma questão de moral de pesquisa da equipe LLaMA; enquanto isso, a equipe OPT tem enfrentado desgaste nos últimos meses.
Diz-se que o modelo maior desenvolvido pela equipe OPT foi abandonado diretamente pela Meta. Não é difícil compreender que a perda de pessoal da OPT está diretamente relacionada com esta decisão.
De acordo com o perfil do autor do estudo no Linkedin, metade dos 19 autores de artigos OPT deixaram o Meta.
Pineau, chefe de “Pesquisa Básica de IA”, disse impotente: “Quando todas as equipes quiserem atualizar seus modelos neste momento, você pode escolher um deles ou deixá-los cooperar”.
Reorganização da equipe, posicionamento pouco claro
Enquanto tudo isso acontecia, a Meta AI também ficou sobrecarregada com as frequentes mudanças da empresa.
Desde novembro do ano passado, Xiao Zha realizou diversas demissões em toda a empresa. Entre eles, o Meta AI não foi poupado.
Em fevereiro deste ano, os líderes da Meta AI decidiram reunir alguns membros das equipes concorrentes LLaMA e OPT para estabelecer formalmente a equipe "Generative AI" (o ex-executivo da Apple Ahmad Al-Dahle está no comando), e também recorrer à Meta AI Muitas pessoas.
Na verdade, podemos ver muitos autores de LLaMA e OPT no artigo Llama 2.
Por exemplo, na equipe OPT, Moya Chen, Todor Mihaylov e Punit Singh Koura juntaram-se à equipe "Generative AI".
Na primeira geração da equipe LLaMA, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal, Aurelien Rodriguez juntaram-se à equipe "Generative AI".
Curiosamente, no reconhecimento do Llama 2, três das quatro equipes que iniciaram esta pesquisa mencionada inicialmente partiram, e apenas Edouard Grave ainda está lá.
A Meta AI tem tradicionalmente uma cultura ascendente liderada por pesquisadores, permitindo que a equipe se concentre e faça avanços no campo da IA.
Mas à medida que Xiao Zha se tornou cada vez mais inclinado a integrar a IA nas aplicações da Meta, o foco da Meta AI também se estreitou - desmantelando a investigação que não era orientada para o produto, como o enovelamento de proteínas.
Por exemplo, Llama 2, lançado pela Meta em julho, e Code Llama, especializado em geração de código, lançado em agosto, são respectivamente responsáveis por duas equipes.
Na frente do palco, o modelo de código aberto é glamoroso e bonito, mas nos bastidores, a onda de saída de pesquisadores de IA, disputas de poder de computação e reorganização da equipe trouxeram muitos fatores incertos aos esforços da Meta para alcançar seus oponentes.
Referências: