La mayoría de los principales autores originales de LLaMA han dimitido y la historia interna de Meta AI ha quedado al descubierto. La competencia por la potencia informática fue feroz y los miembros del gran equipo modelo cambiaron durante tres rondas consecutivas.
En los últimos seis meses, la popularidad de ChatGPT ha hecho que Meta no pueda quedarse quieto.
Desde el lanzamiento de la serie de modelos a gran escala de código abierto LLaMA en febrero, hasta la actualización de Llama 2 y luego el modelo de codificación Code Llama, se puede decir que Meta apuesta todo por TODO EN IA.
En la comunidad de código abierto, la investigación gratuita y el uso comercial de los modelos de la serie Llama encendieron directamente la fisión de modelos alternativos.
Sin embargo, mientras Meta está en la gloria, el equipo de IA se enfrenta a una ola de dimisiones.
The Information informó en exclusiva que debido a disputas internas sobre la potencia informática, la mayoría de los miembros del equipo de los proyectos LLaMA y OPT han dimitido.
De hecho, Meta abandonó directamente el modelo que estaban desarrollando para rivalizar con PaLM y reorganizó los dos equipos de laboratorio de Meta AI para centrarse en el desarrollo de Llama 2.
La partida de la mayoría de los investigadores de Meta simplemente expuso que la escasez de potencia informática es el problema central de la IA generativa de diseño.
14 autores del artículo de LLaMA, la mitad dimitieron
Desde el exterior, los gigantes tecnológicos tienen más recursos informáticos que la mayoría de las empresas. Algunas empresas, incluida Meta, enfatizan unánimemente que son "RICAS en GPU" al contratar investigadores de IA.
Pero, de hecho, sé muy bien que el suministro de recursos informáticos de Meta también es limitado.
Como resultado, comenzó una disputa por el poder de computación en el equipo interno, lo que provocó que muchas personas abandonaran Meta.
En concreto, más de la mitad de los 14 autores del modelo LLaMA de primera generación lanzado en febrero de este año han dimitido.
Algunos recurrieron a nuevas empresas de inteligencia artificial, mientras que otros se unieron a gigantes tecnológicos.
Dirección del papel:
Los investigadores e ingenieros que abandonan Meta incluyen a Timothée Lacroix, Guillaume Lample y Marie-Anne Lachaux, coautores del artículo original de LLaMA.
Ahora trabajan en la startup francesa Mistral AI, que Lacroix y Lample cofundaron en junio.
Uno de los autores, Armand Joulin, director de investigación de Meta AI, dejó Meta en mayo y ahora se unió a Apple.
Joelle Pineau, jefa de "Investigación básica de IA" en el Laboratorio de Investigación de Inteligencia Artificial Meta, dijo en una entrevista:
Retener y atraer gente buena es probablemente donde dedico más tiempo, porque sin buenos investigadores no puedo hacer nada.
La ola de salidas que enfrenta Meta simplemente resalta los desafíos que enfrentan las grandes empresas de tecnología en respuesta al aumento de la demanda de talentos en inteligencia artificial.
En la actual ola de grandes modelos, las grandes empresas tecnológicas están ansiosas por integrar la IA en sus propios productos y servicios por miedo a quedarse atrás.
Kyle Langworthy, ejecutivo de Riviera Partners, dijo que las empresas que están "hambrientas de talento" están haciendo cola para cazar furtivamente a los investigadores de inteligencia artificial de Meta.
En febrero, después de que el lanzamiento de LLaMA encendiera el entusiasmo de la comunidad, Xiao Zha anunció una vez el gran movimiento de la compañía al mundo exterior de la noche a la mañana: el establecimiento de un equipo de producto superior, centrado en AIGC.
En resumen, Xiao Zha pone el foco central del futuro de Meta en la inteligencia artificial generativa en un intento de alcanzar competidores como Google, Microsoft y OpenAI.
El "Metaverso" que alguna vez fue All In en 2021 también ha quedado colocado en una posición secundaria.
Inmediatamente después, Meta publicó y abrió de vez en cuando las últimas investigaciones en el campo de la inteligencia artificial, incluido el modelo visual general SAM "Segment Everything", el modelo de IA multimodal ImageBind, Llama2, Code Llama, etc.
Una vez que estos estudios fueron publicados, generaron una gran respuesta en la comunidad de código abierto y recibieron elogios unánimes.
Ahora, con la pérdida de investigadores experimentados, Meta tiene otro obstáculo para alcanzar a sus competidores.
Entonces, ¿qué pasó exactamente para que estos investigadores de alto nivel se fueran enojados?
LLaMA y OPT compitiendo por poder competitivo
En 2013, después de que Yann LeCun se uniera a Meta, estableció el laboratorio de investigación de inteligencia artificial Meta AI (anteriormente FAIR) cuando se desempeñaba como director de investigación de IA.
Además de sus laboratorios principales en Menlo Park, California y Nueva York (donde se encuentra LeCun), Meta AI tiene oficinas en Montreal (donde se encuentra Pineau), París, Londres y Seattle.
El establecimiento del laboratorio Meta AI se dedica principalmente a la investigación de la IA, aplicando la inteligencia artificial a diversos escenarios, como la traducción y el escaneo por resonancia magnética.
Sin embargo, después del surgimiento de ChatGPT, los ejecutivos de la empresa se mostraron más ansiosos por integrar más profundamente la IA en los productos.
De hecho, Meta había estado desarrollando su propio LLM antes del lanzamiento de ChatGPT.
En mayo de 2022, un equipo norteamericano de Meta AI anunció y abrió el modelo grande OPT-175B.
Meta afirma que este modelo consume menos energía que GPT-3, aunque los dos modelos aprenden la misma cantidad durante el entrenamiento.
Unos meses más tarde, el equipo comenzó a trabajar en un segundo modelo más grande diseñado para competir con PaLM de Google.
Al mismo tiempo, otro equipo de Meta AI en París ha comenzado a desarrollar un modelo de lenguaje independiente a gran escala, también conocido como LLaMA.
Personas familiarizadas con el asunto dijeron que este modelo es más pequeño que OPT. El equipo de investigación cree que los modelos más pequeños serán más eficientes en la inferencia.
Entonces surgió un problema: equipos de dos laboratorios de Norteamérica y París comenzaron a competir por el acceso a los recursos informáticos, lo que a su vez intensificó las disputas entre los equipos internos.
En particular, el equipo de LLaMA se sintió abandonado y sus modelos eran pequeños, pero recibieron muchos menos recursos informáticos que el equipo de OPT en Norteamérica.
Joelle Pineau, directora de "Investigación básica de IA", dijo:
Las decisiones sobre cómo asignar los recursos informáticos en Meta las toman aproximadamente mensualmente un pequeño grupo de líderes de diferentes partes del negocio.
Cuánto se asigna en última instancia y a quién está determinado por las prioridades de la organización y lo cerca que está el proyecto de su lanzamiento.
Si hay una disputa sobre la asignación de empleados de Meta AI, se presentará al superior, que es el nivel de Pineau para su procesamiento.
En la entrevista, Pineau admitió que existe cierta tensión entre los equipos de LLaMA y OPT sobre la distribución de la potencia informática, y añadió: "Tratamos de encontrar una manera de escuchar la voz de todos, incluso si no podemos satisfacer las necesidades de todos".
Para algunos investigadores, esto parece una competencia.
Algunos ejecutivos de Meta AI también se preguntan por qué ambos equipos están trabajando en proyectos similares pero compitiendo entre sí por recursos limitados.
Grandes cambios en febrero
Las tensiones entre los dos equipos alcanzaron un punto álgido en febrero de este año.
Este mismo mes, para ponerse al día con sus competidores, Meta AI lanzó LLaMA como modelo de código abierto por primera vez, otorgándole una licencia con fines de investigación.
De hecho, Antoine Bordes, codirector de Meta AI y jefe de la sucursal de París, dejó Meta una semana antes del lanzamiento, y el motivo de su salida fue que las horas de trabajo eran tan agotadoras como en California.
Ahora, Bordes se ha unido a la empresa de inteligencia artificial Helsing.
Su partida aísla aún más al equipo de LLaMA de los ejecutivos norteamericanos, dijeron personas familiarizadas con el asunto. Además, Pineau también admitió que la salida de Bordes "trajo cierta incertidumbre" al equipo.
No es sólo una cuestión de moral de investigación en el equipo LLaMA; mientras tanto, el equipo OPT se ha enfrentado a un desgaste en los últimos meses.
Se dice que Meta abandonó directamente el modelo más grande que estaba desarrollando el equipo OPT. No es difícil comprender que la pérdida de personal de la OPT está directamente relacionada con esta decisión.
La mitad de los 19 autores de artículos de OPT también abandonaron Meta, según el perfil de Linkedin del autor del estudio.
Dirección del papel:
Pineau, el jefe de "Investigación básica de IA", dijo impotente: "Cuando todos los equipos quieran actualizar sus modelos en este momento, puedes elegir uno de ellos o dejar que cooperen".
Reorganización del equipo, posicionamiento poco claro
Mientras todo esto sucedía, Meta AI también se vio abrumada por los frecuentes cambios de empresa.
Desde noviembre del año pasado, Xiao Zha ha llevado a cabo varios despidos en toda la empresa. Entre ellos, Meta AI no es inmune.
En febrero de este año, los líderes de Meta AI decidieron reunir a algunos miembros de los equipos competidores LLaMA y OPT para establecer formalmente el equipo "Generative AI" (el ex ejecutivo de Apple Ahmad Al-Dahle está a cargo), y también recurrir a Meta AI. AI Un gran número de personas.
De hecho, podemos ver muchos autores de LLaMA y OPT en el artículo de Llama 2.
Por ejemplo, en el equipo OPT, Moya Chen, Todor Mihaylov y Punit Singh Koura se unieron al equipo de “IA generativa”.
En la primera generación del equipo LLaMA, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal y Aurelien Rodriguez se unieron al equipo "Generative AI".
Curiosamente, en los agradecimientos de Llama 2, tres de los cuatro equipos mencionados que iniciaron por primera vez esta investigación han dimitido, y sólo Edouard Grave sigue allí.
A pesar del éxito del aclamado modelo de código abierto LLaMA, las tensiones entre los investigadores continúan aumentando a medida que continúa el cambio de actitud de Meta hacia la investigación de la IA.
Tradicionalmente, Meta AI ha tenido una cultura ascendente dirigida por investigadores, lo que ha permitido al equipo centrarse en el campo de la IA y lograr grandes avances.
Pero a medida que Xiao Zha se inclinaba cada vez más a integrar la IA en las aplicaciones de Meta, el enfoque de Meta AI también se redujo: disolviendo la investigación que no estaba orientada a productos, como el plegamiento de proteínas.
Al mismo tiempo, nuevos proyectos también van y vienen entre el equipo de IA generativa y Meta AI.
Por ejemplo, Llama 2, lanzado por Meta en julio, y Code Llama, que se especializa en generación de código, lanzado en agosto, son respectivamente responsables de dos equipos.
En este sentido, Pineau dijo: "Este campo se está desarrollando tan rápido que todavía estamos explorando, ¿qué proyecto debería ser responsable de Meta AI? ¿Qué proyecto debería ser responsable del equipo de IA generativa?"
Delante del escenario, el modelo de código abierto es brillante y hermoso, pero detrás de escena, la ola de renuncias de investigadores de IA, las disputas sobre el poder de cómputo y la reorganización del equipo han traído muchas incertidumbres a los esfuerzos de Meta por alcanzar a sus oponentes en AI.
Referencias:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
La mayoría de los principales autores originales de LLaMA han dimitido y la historia interna de Meta AI ha quedado al descubierto. La competencia por la potencia informática fue feroz y los miembros del gran equipo modelo cambiaron durante tres rondas consecutivas.
Fuente original: Xinzhiyuan
En los últimos seis meses, la popularidad de ChatGPT ha hecho que Meta no pueda quedarse quieto.
Desde el lanzamiento de la serie de modelos a gran escala de código abierto LLaMA en febrero, hasta la actualización de Llama 2 y luego el modelo de codificación Code Llama, se puede decir que Meta apuesta todo por TODO EN IA.
En la comunidad de código abierto, la investigación gratuita y el uso comercial de los modelos de la serie Llama encendieron directamente la fisión de modelos alternativos.
Sin embargo, mientras Meta está en la gloria, el equipo de IA se enfrenta a una ola de dimisiones.
The Information informó en exclusiva que debido a disputas internas sobre la potencia informática, la mayoría de los miembros del equipo de los proyectos LLaMA y OPT han dimitido.
La partida de la mayoría de los investigadores de Meta simplemente expuso que la escasez de potencia informática es el problema central de la IA generativa de diseño.
14 autores del artículo de LLaMA, la mitad dimitieron
Desde el exterior, los gigantes tecnológicos tienen más recursos informáticos que la mayoría de las empresas. Algunas empresas, incluida Meta, enfatizan unánimemente que son "RICAS en GPU" al contratar investigadores de IA.
Pero, de hecho, sé muy bien que el suministro de recursos informáticos de Meta también es limitado.
Como resultado, comenzó una disputa por el poder de computación en el equipo interno, lo que provocó que muchas personas abandonaran Meta.
En concreto, más de la mitad de los 14 autores del modelo LLaMA de primera generación lanzado en febrero de este año han dimitido.
Algunos recurrieron a nuevas empresas de inteligencia artificial, mientras que otros se unieron a gigantes tecnológicos.
Los investigadores e ingenieros que abandonan Meta incluyen a Timothée Lacroix, Guillaume Lample y Marie-Anne Lachaux, coautores del artículo original de LLaMA.
Ahora trabajan en la startup francesa Mistral AI, que Lacroix y Lample cofundaron en junio.
La ola de salidas que enfrenta Meta simplemente resalta los desafíos que enfrentan las grandes empresas de tecnología en respuesta al aumento de la demanda de talentos en inteligencia artificial.
En la actual ola de grandes modelos, las grandes empresas tecnológicas están ansiosas por integrar la IA en sus propios productos y servicios por miedo a quedarse atrás.
Kyle Langworthy, ejecutivo de Riviera Partners, dijo que las empresas que están "hambrientas de talento" están haciendo cola para cazar furtivamente a los investigadores de inteligencia artificial de Meta.
En febrero, después de que el lanzamiento de LLaMA encendiera el entusiasmo de la comunidad, Xiao Zha anunció una vez el gran movimiento de la compañía al mundo exterior de la noche a la mañana: el establecimiento de un equipo de producto superior, centrado en AIGC.
En resumen, Xiao Zha pone el foco central del futuro de Meta en la inteligencia artificial generativa en un intento de alcanzar competidores como Google, Microsoft y OpenAI.
El "Metaverso" que alguna vez fue All In en 2021 también ha quedado colocado en una posición secundaria.
Una vez que estos estudios fueron publicados, generaron una gran respuesta en la comunidad de código abierto y recibieron elogios unánimes.
Ahora, con la pérdida de investigadores experimentados, Meta tiene otro obstáculo para alcanzar a sus competidores.
LLaMA y OPT compitiendo por poder competitivo
En 2013, después de que Yann LeCun se uniera a Meta, estableció el laboratorio de investigación de inteligencia artificial Meta AI (anteriormente FAIR) cuando se desempeñaba como director de investigación de IA.
Además de sus laboratorios principales en Menlo Park, California y Nueva York (donde se encuentra LeCun), Meta AI tiene oficinas en Montreal (donde se encuentra Pineau), París, Londres y Seattle.
Sin embargo, después del surgimiento de ChatGPT, los ejecutivos de la empresa se mostraron más ansiosos por integrar más profundamente la IA en los productos.
De hecho, Meta había estado desarrollando su propio LLM antes del lanzamiento de ChatGPT.
En mayo de 2022, un equipo norteamericano de Meta AI anunció y abrió el modelo grande OPT-175B.
Meta afirma que este modelo consume menos energía que GPT-3, aunque los dos modelos aprenden la misma cantidad durante el entrenamiento.
Al mismo tiempo, otro equipo de Meta AI en París ha comenzado a desarrollar un modelo de lenguaje independiente a gran escala, también conocido como LLaMA.
Personas familiarizadas con el asunto dijeron que este modelo es más pequeño que OPT. El equipo de investigación cree que los modelos más pequeños serán más eficientes en la inferencia.
Entonces surgió un problema: equipos de dos laboratorios de Norteamérica y París comenzaron a competir por el acceso a los recursos informáticos, lo que a su vez intensificó las disputas entre los equipos internos.
En particular, el equipo de LLaMA se sintió abandonado y sus modelos eran pequeños, pero recibieron muchos menos recursos informáticos que el equipo de OPT en Norteamérica.
Joelle Pineau, directora de "Investigación básica de IA", dijo:
Si hay una disputa sobre la asignación de empleados de Meta AI, se presentará al superior, que es el nivel de Pineau para su procesamiento.
En la entrevista, Pineau admitió que existe cierta tensión entre los equipos de LLaMA y OPT sobre la distribución de la potencia informática, y añadió: "Tratamos de encontrar una manera de escuchar la voz de todos, incluso si no podemos satisfacer las necesidades de todos".
Para algunos investigadores, esto parece una competencia.
Algunos ejecutivos de Meta AI también se preguntan por qué ambos equipos están trabajando en proyectos similares pero compitiendo entre sí por recursos limitados.
Grandes cambios en febrero
Las tensiones entre los dos equipos alcanzaron un punto álgido en febrero de este año.
Este mismo mes, para ponerse al día con sus competidores, Meta AI lanzó LLaMA como modelo de código abierto por primera vez, otorgándole una licencia con fines de investigación.
De hecho, Antoine Bordes, codirector de Meta AI y jefe de la sucursal de París, dejó Meta una semana antes del lanzamiento, y el motivo de su salida fue que las horas de trabajo eran tan agotadoras como en California.
Ahora, Bordes se ha unido a la empresa de inteligencia artificial Helsing.
No es sólo una cuestión de moral de investigación en el equipo LLaMA; mientras tanto, el equipo OPT se ha enfrentado a un desgaste en los últimos meses.
Se dice que Meta abandonó directamente el modelo más grande que estaba desarrollando el equipo OPT. No es difícil comprender que la pérdida de personal de la OPT está directamente relacionada con esta decisión.
La mitad de los 19 autores de artículos de OPT también abandonaron Meta, según el perfil de Linkedin del autor del estudio.
Pineau, el jefe de "Investigación básica de IA", dijo impotente: "Cuando todos los equipos quieran actualizar sus modelos en este momento, puedes elegir uno de ellos o dejar que cooperen".
Reorganización del equipo, posicionamiento poco claro
Mientras todo esto sucedía, Meta AI también se vio abrumada por los frecuentes cambios de empresa.
Desde noviembre del año pasado, Xiao Zha ha llevado a cabo varios despidos en toda la empresa. Entre ellos, Meta AI no es inmune.
En febrero de este año, los líderes de Meta AI decidieron reunir a algunos miembros de los equipos competidores LLaMA y OPT para establecer formalmente el equipo "Generative AI" (el ex ejecutivo de Apple Ahmad Al-Dahle está a cargo), y también recurrir a Meta AI. AI Un gran número de personas.
De hecho, podemos ver muchos autores de LLaMA y OPT en el artículo de Llama 2.
Por ejemplo, en el equipo OPT, Moya Chen, Todor Mihaylov y Punit Singh Koura se unieron al equipo de “IA generativa”.
En la primera generación del equipo LLaMA, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal y Aurelien Rodriguez se unieron al equipo "Generative AI".
Curiosamente, en los agradecimientos de Llama 2, tres de los cuatro equipos mencionados que iniciaron por primera vez esta investigación han dimitido, y sólo Edouard Grave sigue allí.
Tradicionalmente, Meta AI ha tenido una cultura ascendente dirigida por investigadores, lo que ha permitido al equipo centrarse en el campo de la IA y lograr grandes avances.
Pero a medida que Xiao Zha se inclinaba cada vez más a integrar la IA en las aplicaciones de Meta, el enfoque de Meta AI también se redujo: disolviendo la investigación que no estaba orientada a productos, como el plegamiento de proteínas.
Por ejemplo, Llama 2, lanzado por Meta en julio, y Code Llama, que se especializa en generación de código, lanzado en agosto, son respectivamente responsables de dos equipos.
Delante del escenario, el modelo de código abierto es brillante y hermoso, pero detrás de escena, la ola de renuncias de investigadores de IA, las disputas sobre el poder de cómputo y la reorganización del equipo han traído muchas incertidumbres a los esfuerzos de Meta por alcanzar a sus oponentes en AI.
Referencias: