Muitos dos 14 autores que participaram do estudo Llama partiram.
Em fevereiro deste ano, a Meta "abriu o código-fonte" de uma nova grande série de modelos - Llama (Large Language Model Meta AI), com parâmetros que variam de 7 bilhões a 65 bilhões. Alguns meses depois, o lançamento do Llama 2 abriu a comercialização de modelos grandes. Muitas pessoas descreveram o código aberto do Llama 2 como o "momento Android" dos modelos grandes.
Devido ao excelente desempenho dos modelos Llama e Llama série 2, muitos os veem como alternativas gratuitas e de código aberto para modelos maiores, como o ChatGPT. Todos elogiam o Meta por suas contribuições à comunidade de código aberto, mas para alguns cientistas e engenheiros envolvidos no projeto Llama, esse elogio é muito pequeno e tarde demais.
De acordo com a The Information, pessoas familiarizadas com a situação interna disseram que muitas pessoas envolvidas no projeto Llama renunciaram devido a uma luta interna entre outra equipe de pesquisa da Meta e a equipe Llama por recursos computacionais. A equipe estava trabalhando em um modelo concorrente, mas por algum motivo desconhecido acabou abandonando-o.
Embora estas tenham sido revelações internas, as suas saídas são um lembrete de que as grandes e pequenas empresas tecnológicas estão a lidar com tensões devido à escassez de recursos informáticos à medida que desenvolvem modelos generativos de IA que requerem chips dedicados, e esses chips não são fornecidos gratuitamente. As grandes empresas de tecnologia têm mais recursos computacionais do que a maioria, fato que algumas empresas como a Meta enfatizam ao contratar pesquisadores de IA.
Vemos que mesmo as grandes empresas têm recursos limitados que podem fornecer. À medida que aumenta a procura de talentos em IA, o êxodo também destaca os desafios enfrentados pelas grandes empresas tecnológicas na retenção de talentos em IA.
O artigo de Llama "LLaMA: Open and Efficient Foundation Language Models" foi publicado em fevereiro deste ano. Há 14 autores, e agora vários deles deixaram seus empregos. Alguns deles foram para novas empresas iniciantes e alguns iniciaram negócios.
Endereço do papel:
Vamos dar uma olhada em quem está saindo.
Gautier Izacard
Gautier Izacard começou a trabalhar na Meta em 2020 e deixou a Meta em abril de 2023 para ingressar na Inflection AI, uma startup fundada em 2022.
A Inflection AI tem uma longa história: seus três cofundadores são o ex-cofundador da DeepMind, Mustafa Suleyman, o cofundador do Linkedln, Reid Hoffman, e a ex-cientista-chefe da DeepMind, Karen Simonyan. Em junho deste ano, a Inflection AI também anunciou que a empresa havia levantado US$ 1,3 bilhão em uma nova rodada de financiamento, liderada pela Microsoft, NVIDIA, Reid Hoffman, Bill Gates e o ex-CEO do Google, Eric Schmidt.
*Três cofundadores da Inflection AI. *
Timothée Lacroix
Timothee Lacroix ingressou no Facebook AI Research Lab em 2015 como engenheiro de pesquisa. Em junho de 2023, ele deixou a Meta (Facebook) e ingressou na startup francesa Mistral AI como diretor de tecnologia (CTO).
Arman Joulin
Armand Joulin recebeu seu doutorado em 2012 pelo INRIA e ENS. Em 2014, Armand Joulin ingressou na Meta e atuou sucessivamente como cientista pesquisador, gerente sênior de pesquisa e diretor de pesquisa. Antes de ingressar na Meta, Armand foi pesquisador de pós-doutorado na Universidade de Stanford, trabalhando com Daphne Koller e Feifei Li. Em maio de 2023, Armand Joulin renunciou ao Meta.
Guillaume Lample
Guillaume Lample é agora o cofundador e cientista-chefe da Mistral AI. Ele deixou a Meta em março deste ano, onde trabalhou por mais de 6 anos, e seu cargo anterior na Meta era como Cientista Pesquisador.
Guillaume Lample possui mestrado pela Universidade Carnegie Mellon e doutorado pela Universidade de Paris VI.
Por fim, apresentamos a startup Mistral AI, criada em maio deste ano. A organização concentra-se principalmente na pesquisa e desenvolvimento de modelos generativos de IA e compete com a OpenAI. Os cofundadores incluem Arthur MENSCH (e CEO), Guillaume Lample (e cientista-chefe) e Timothee Lacroix é o diretor de tecnologia.
De acordo com o Techcrunch, eles planejam lançar o primeiro modelo de inteligência artificial generativa baseado em texto em 2024. Em Junho deste ano, a Mistral AI, que tinha apenas 4 semanas, recebeu 113 milhões de dólares em financiamento inicial.
Guillaume Lample e Timothee Lacroix foram apresentados anteriormente. Arthur MENSCH, como CEO, trabalhou na DeepMind (agora incorporada ao Google DeepMind) por mais de 2 anos e participou da pesquisa do Flamingo, um modelo de linguagem visual.
referências:
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Meta foi exposta a ferozes lutas internas devido ao roubo de recursos de computação, e muitos autores de Llama deixaram
Editores: Xiaozhou, Chen Ping
Em fevereiro deste ano, a Meta "abriu o código-fonte" de uma nova grande série de modelos - Llama (Large Language Model Meta AI), com parâmetros que variam de 7 bilhões a 65 bilhões. Alguns meses depois, o lançamento do Llama 2 abriu a comercialização de modelos grandes. Muitas pessoas descreveram o código aberto do Llama 2 como o "momento Android" dos modelos grandes.
Devido ao excelente desempenho dos modelos Llama e Llama série 2, muitos os veem como alternativas gratuitas e de código aberto para modelos maiores, como o ChatGPT. Todos elogiam o Meta por suas contribuições à comunidade de código aberto, mas para alguns cientistas e engenheiros envolvidos no projeto Llama, esse elogio é muito pequeno e tarde demais.
De acordo com a The Information, pessoas familiarizadas com a situação interna disseram que muitas pessoas envolvidas no projeto Llama renunciaram devido a uma luta interna entre outra equipe de pesquisa da Meta e a equipe Llama por recursos computacionais. A equipe estava trabalhando em um modelo concorrente, mas por algum motivo desconhecido acabou abandonando-o.
Embora estas tenham sido revelações internas, as suas saídas são um lembrete de que as grandes e pequenas empresas tecnológicas estão a lidar com tensões devido à escassez de recursos informáticos à medida que desenvolvem modelos generativos de IA que requerem chips dedicados, e esses chips não são fornecidos gratuitamente. As grandes empresas de tecnologia têm mais recursos computacionais do que a maioria, fato que algumas empresas como a Meta enfatizam ao contratar pesquisadores de IA.
Vemos que mesmo as grandes empresas têm recursos limitados que podem fornecer. À medida que aumenta a procura de talentos em IA, o êxodo também destaca os desafios enfrentados pelas grandes empresas tecnológicas na retenção de talentos em IA.
O artigo de Llama "LLaMA: Open and Efficient Foundation Language Models" foi publicado em fevereiro deste ano. Há 14 autores, e agora vários deles deixaram seus empregos. Alguns deles foram para novas empresas iniciantes e alguns iniciaram negócios.
Vamos dar uma olhada em quem está saindo.
Gautier Izacard
A Inflection AI tem uma longa história: seus três cofundadores são o ex-cofundador da DeepMind, Mustafa Suleyman, o cofundador do Linkedln, Reid Hoffman, e a ex-cientista-chefe da DeepMind, Karen Simonyan. Em junho deste ano, a Inflection AI também anunciou que a empresa havia levantado US$ 1,3 bilhão em uma nova rodada de financiamento, liderada pela Microsoft, NVIDIA, Reid Hoffman, Bill Gates e o ex-CEO do Google, Eric Schmidt.
Timothée Lacroix
Arman Joulin
Guillaume Lample
Guillaume Lample possui mestrado pela Universidade Carnegie Mellon e doutorado pela Universidade de Paris VI.
Por fim, apresentamos a startup Mistral AI, criada em maio deste ano. A organização concentra-se principalmente na pesquisa e desenvolvimento de modelos generativos de IA e compete com a OpenAI. Os cofundadores incluem Arthur MENSCH (e CEO), Guillaume Lample (e cientista-chefe) e Timothee Lacroix é o diretor de tecnologia.
Guillaume Lample e Timothee Lacroix foram apresentados anteriormente. Arthur MENSCH, como CEO, trabalhou na DeepMind (agora incorporada ao Google DeepMind) por mais de 2 anos e participou da pesquisa do Flamingo, um modelo de linguagem visual.