Більшість основних оригінальних робіт LLaMA зникли, і внутрішня історія Meta AI була розкрита! Змагаючись за обчислювальну потужність, розриваючи обличчя, великі члени модельної команди змінили три раунди поспіль
За останні шість місяців популярність ChatGPT повністю зробила Meta нездатною сидіти на місці.
Від випуску великомасштабної серії моделей LLaMA з відкритим кодом у лютому до оновлення Llama 2, а потім і до моделі кодування Code Llama, можна сказати, що Meta зробила ставку на ALL IN AI.
У співтоваристві з відкритим кодом безкоштовне дослідження та комерційне використання моделей серії Llama безпосередньо викликало поділ альтернативних моделей.
Однак, хоча у Meta все добре, команда AI стикається з хвилею звільнень.
Видання ексклюзивно повідомляло, що через внутрішні суперечки щодо обчислювальної потужності більшість членів команди проектів LLaMA та OPT звільнилися.
Навіть Meta відмовилася від моделі, яку вони розробляли, щоб конкурувати з PaLM, і реорганізувала дві лабораторні команди Meta AI, щоб зосередитися на розробці Llama 2.
Відставка більшості дослідників Meta виявила, що дефіцит обчислювальної потужності є основною проблемою в макеті генеративного ШІ.
14 авторів статті LLaMA, половина звільнених
З зовнішнього світу технічні гіганти мають більше обчислювальних ресурсів, ніж більшість компаній. Деякі компанії, включно з Meta, в один голос підкреслюють, що вони «БАГАТІ GPU», коли наймають дослідників ШІ.
Але насправді я дуже добре знаю, що пропозиція обчислювальних ресурсів Meta також обмежена.
У результаті у внутрішній команді почалася суперечка щодо обчислювальної потужності, що змусило багатьох людей відмовитися від Meta.
Зокрема, більше половини з 14 авторів моделі LLaMA першого покоління, випущеної в лютому цього року, звільнилися.
Деякі звернулися до стартапів зі штучним інтелектом, а інші приєдналися до технологічних гігантів.
Адреса паперу:
Вчені-дослідники та інженери, які залишають Meta, включають Тімоті Лакруа, Гійома Лампла та Марі-Анн Лашо, співавторів оригінальної статті LLaMA.
Зараз вони працюють у французькому стартапі Mistral AI, який Лакруа та Лампл заснували в червні.
Один з авторів, Арман Жулен, директор з досліджень Meta AI, залишив Meta в травні і тепер приєднався до Apple.
Джоель Піно, керівник «Основних досліджень штучного інтелекту» дослідницької лабораторії штучного інтелекту Meta, сказала в інтерв’ю:
Ймовірно, я витрачаю найбільше часу на утримання та залучення хороших людей, тому що без хороших дослідників я нічого не можу зробити.
Хвиля відходів, з якою стикається Meta, лише підкреслює виклики, з якими стикаються великі технологічні компанії у відповідь на різке зростання попиту на таланти в галузі штучного інтелекту.
У нинішній хвилі великих моделей великі технологічні компанії прагнуть інтегрувати ШІ у власні продукти та послуги, боячись відстати.
Кайл Ленгворті, виконавчий директор Riviera Partners, сказав, що компанії, які «жадають талантів», шикуються в чергу, щоб перехопити дослідників штучного інтелекту Meta.
У лютому, після того, як реліз LLaMA викликав ентузіазм спільноти, Сяо Чжа одного разу оголосив про великий крок компанії вночі: створення команди найкращих продуктів, яка зосередиться на AIGC.
Коротше кажучи, Сяо Чжа робить основну увагу Meta в майбутньому на генеративному штучному інтелекті, намагаючись наздогнати таких конкурентів, як Google, Microsoft і OpenAI.
«Метавсесвіт», який колись був ва-банком у 2021 році, також перейшов на другу позицію.
Одразу після цього Meta час від часу оприлюднила та відкривала вихідні коди останніх досліджень у галузі штучного інтелекту, включаючи загальну візуальну модель SAM «Segment Everything», мультимодальну модель AI ImageBind, Llama2, Code Llama тощо.
Після публікації ці дослідження викликали великий резонанс у спільноті відкритих джерел і отримали одностайну похвалу.
Тепер, із втратою досвідчених дослідників, Meta має ще одну перешкоду, щоб наздогнати своїх конкурентів.
Отже, що саме сталося, що змусило цих старших наукових співробітників піти в гніві?
Битва за обчислювальну потужність між LLaMA та OPT
У 2013 році, після того як Янн ЛеКун приєднався до Meta, він створив дослідницьку лабораторію штучного інтелекту Meta AI (раніше FAIR), коли працював директором з досліджень ШІ.
Окрім основних лабораторій у Менло-Парку, Каліфорнія, та Нью-Йорку (де базується LeCun), Meta AI також має офіси в Монреалі (де базується Піно), Парижі, Лондоні та Сіетлі.
Створення лабораторії Meta AI здебільшого присвячено дослідженню штучного інтелекту, застосуванню штучного інтелекту до різних сценаріїв, таких як переклад і МРТ-сканування.
Однак після появи ChatGPT керівники компанії почали більше прагнути інтегрувати ШІ в продукти на глибшому рівні.
Насправді, до випуску ChatGPT Meta розробляла власний LLM.
У травні 2022 року північноамериканська команда Meta AI анонсувала та відкрила вихідний код великої моделі OPT-175B.
Meta стверджує, що ця модель споживає менше енергії, ніж GPT-3, навіть незважаючи на те, що дві моделі кількісно навчаються однаково під час навчання.
Через кілька місяців команда почала працювати над другою, більшою моделлю, розробленою, щоб конкурувати з Google PaLM.
У той же час інша команда Meta AI в Парижі почала розробляти окрему великомасштабну модель мови, також відому як LLaMA.
Обізнані кажуть, що ця модель менша за OPT. Дослідницька група вважає, що менші моделі будуть більш ефективними для висновків.
Тоді виникла проблема: команди двох лабораторій у Північній Америці та Парижі почали змагатися за доступ до обчислювальних ресурсів, що, у свою чергу, посилило суперечки між внутрішніми командами.
Зокрема, команда LLaMA вважає, що її проігнорували. Її модель невелика, але вона отримує набагато менше обчислювальних ресурсів, ніж північноамериканська команда OPT.
Джоель Піно, директор «Основних досліджень ШІ», сказала:
Рішення про те, як розподілити обчислювальні ресурси в Meta, приймаються приблизно раз на місяць групою лідерів з різних частин бізнесу.
Скільки в кінцевому підсумку буде виділено і кому, залежить від організаційних пріоритетів і того, наскільки далекий проект від випуску.
Якщо у співробітників Meta AI виникне суперечка щодо розподілу, вона буде передана на розгляд вищестоящому керівнику, яким є Піно.
В інтерв’ю Піно визнав, що існує певна напруга щодо розподілу обчислювальної потужності між командами LLaMA та OPT, додавши: «Ми намагаємося знайти спосіб прислухатися до кожного, навіть якщо ми не можемо задовольнити потреби кожного».
Деяким дослідникам це здається змаганням.
Деякі керівники Meta AI також сумніваються, чому обидві команди працюють над однаковими проектами, але конкурують одна з одною за обмежені ресурси.
Велика зміна лютого
Напруга між двома командами досягла апогею в лютому цього року.
Лише цього місяця, щоб наздогнати конкурентів, Meta AI вперше випустила LLaMA як модель з відкритим кодом, ліцензувавши її для дослідницьких цілей.
Насправді за тиждень до релізу Антуан Бордес, співдиректор Meta AI і керівник паризького відділення, покинув Meta.Зовнішньою причиною відходу з Meta було те, що робочі години були такими ж виснажливими, як і в Каліфорнії.
Тепер Бордес приєднався до компанії штучного інтелекту Helsing.
За словами людей, його відхід ще більше ізолює команду LLaMA від керівників у Північній Америці. Крім того, Піно визнав, що відхід Бордеса "створив певну невизначеність" для команди.
Це не лише питання дослідницької моралі команди LLaMA; тим часом команда OPT зіткнулася з виснаженням протягом останніх кількох місяців.
Кажуть, що більша модель, яку розробляла команда OPT, була безпосередньо залишена Meta. Неважко зрозуміти, що втрата особового складу ОПТ безпосередньо пов'язана з цим рішенням.
Відповідно до профілю Linkedin автора дослідження, половина з 19 авторів статей OPT покинули Meta.
Адреса паперу:
Піно, керівник «Основних досліджень ШІ», безпорадно сказав: «Коли всі команди хочуть оновити свої моделі в цей час, ви можете вибрати одну з них або дозволити їм співпрацювати».
Реорганізація команди, нечітке позиціонування
Поки все це відбувалося, Meta AI також була приголомшена частими змінами компанії.
З листопада минулого року Сяо Чжа провів кілька звільнень по всій компанії. Серед них Meta AI не застрахований.
У лютому цього року керівники Meta AI вирішили об’єднати деяких членів конкуруючих команд LLaMA та OPT, щоб формально створити команду «Generative AI» (на чолі з колишнім виконавчим директором Apple Ахмадом Аль-Дале), а також перейшли з Meta AI A велика кількість людей.
Насправді ми можемо побачити багатьох авторів LlaMA та OPT у статті Llama 2.
Наприклад, у команді OPT Моя Чен, Тодор Михайлов і Пуніт Сінгх Коура приєдналися до команди «generative AI».
У команді LLaMA першого покоління Уго Туврон, Тібо Лавріль, Ксав’є Мартіне, Марі-Анн Лашо, Наман Гоял і Орельєн Родрігес приєдналися до команди «генеративного ШІ».
Цікаво, що за визнанням Llama 2, три з чотирьох команд, які першими розпочали це дослідження, покинули територію, і лише Едуард Грейв залишився там.
Незважаючи на скромний успіх відомої моделі LLaMA з відкритим вихідним кодом, серед дослідників усе ще з’являється напруженість через зміну ставлення Meta до досліджень ШІ.
Meta AI традиційно мала культуру «знизу вгору», очолювану дослідниками, що дозволяло команді зосередитися на цьому та зробити прорив у галузі AI.
Але оскільки Сяо Чжа ставав все більш і більш схильним до інтеграції штучного інтелекту в додатки Meta, фокус Meta AI також звужувався – припинення досліджень, які не були орієнтовані на продукт, наприклад згортання білка.
У той же час нові проекти також «неодноразово стрибають» між командою generative AI і Meta AI.
Наприклад, Llama 2, випущена Meta в липні, і Code Llama, яка спеціалізується на генерації коду, випущена в серпні, відповідають відповідно за дві команди.
З цього приводу Піно сказав: «Ця галузь розвивається настільки швидко, що ми все ще досліджуємо, який проект має відповідати за Meta AI? Який проект має відповідати за команду генеративного AI?»
На сцені модель з відкритим вихідним кодом гламурна та красива, але за лаштунками сплеск дослідників штучного інтелекту, які відходять, суперечки щодо обчислювальної потужності та реорганізація команди привнесли багато невизначених факторів у спроби Meta наздогнати своїх опонентів.
Література:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Більшість основних оригінальних робіт LLaMA зникли, і внутрішня історія Meta AI була розкрита! Змагаючись за обчислювальну потужність, розриваючи обличчя, великі члени модельної команди змінили три раунди поспіль
Перше джерело: Xinzhiyuan
За останні шість місяців популярність ChatGPT повністю зробила Meta нездатною сидіти на місці.
Від випуску великомасштабної серії моделей LLaMA з відкритим кодом у лютому до оновлення Llama 2, а потім і до моделі кодування Code Llama, можна сказати, що Meta зробила ставку на ALL IN AI.
У співтоваристві з відкритим кодом безкоштовне дослідження та комерційне використання моделей серії Llama безпосередньо викликало поділ альтернативних моделей.
Однак, хоча у Meta все добре, команда AI стикається з хвилею звільнень.
Видання ексклюзивно повідомляло, що через внутрішні суперечки щодо обчислювальної потужності більшість членів команди проектів LLaMA та OPT звільнилися.
Відставка більшості дослідників Meta виявила, що дефіцит обчислювальної потужності є основною проблемою в макеті генеративного ШІ.
14 авторів статті LLaMA, половина звільнених
З зовнішнього світу технічні гіганти мають більше обчислювальних ресурсів, ніж більшість компаній. Деякі компанії, включно з Meta, в один голос підкреслюють, що вони «БАГАТІ GPU», коли наймають дослідників ШІ.
Але насправді я дуже добре знаю, що пропозиція обчислювальних ресурсів Meta також обмежена.
У результаті у внутрішній команді почалася суперечка щодо обчислювальної потужності, що змусило багатьох людей відмовитися від Meta.
Зокрема, більше половини з 14 авторів моделі LLaMA першого покоління, випущеної в лютому цього року, звільнилися.
Деякі звернулися до стартапів зі штучним інтелектом, а інші приєдналися до технологічних гігантів.
Вчені-дослідники та інженери, які залишають Meta, включають Тімоті Лакруа, Гійома Лампла та Марі-Анн Лашо, співавторів оригінальної статті LLaMA.
Зараз вони працюють у французькому стартапі Mistral AI, який Лакруа та Лампл заснували в червні.
Хвиля відходів, з якою стикається Meta, лише підкреслює виклики, з якими стикаються великі технологічні компанії у відповідь на різке зростання попиту на таланти в галузі штучного інтелекту.
У нинішній хвилі великих моделей великі технологічні компанії прагнуть інтегрувати ШІ у власні продукти та послуги, боячись відстати.
Кайл Ленгворті, виконавчий директор Riviera Partners, сказав, що компанії, які «жадають талантів», шикуються в чергу, щоб перехопити дослідників штучного інтелекту Meta.
У лютому, після того, як реліз LLaMA викликав ентузіазм спільноти, Сяо Чжа одного разу оголосив про великий крок компанії вночі: створення команди найкращих продуктів, яка зосередиться на AIGC.
Коротше кажучи, Сяо Чжа робить основну увагу Meta в майбутньому на генеративному штучному інтелекті, намагаючись наздогнати таких конкурентів, як Google, Microsoft і OpenAI.
«Метавсесвіт», який колись був ва-банком у 2021 році, також перейшов на другу позицію.
Після публікації ці дослідження викликали великий резонанс у спільноті відкритих джерел і отримали одностайну похвалу.
Тепер, із втратою досвідчених дослідників, Meta має ще одну перешкоду, щоб наздогнати своїх конкурентів.
Битва за обчислювальну потужність між LLaMA та OPT
У 2013 році, після того як Янн ЛеКун приєднався до Meta, він створив дослідницьку лабораторію штучного інтелекту Meta AI (раніше FAIR), коли працював директором з досліджень ШІ.
Окрім основних лабораторій у Менло-Парку, Каліфорнія, та Нью-Йорку (де базується LeCun), Meta AI також має офіси в Монреалі (де базується Піно), Парижі, Лондоні та Сіетлі.
Однак після появи ChatGPT керівники компанії почали більше прагнути інтегрувати ШІ в продукти на глибшому рівні.
Насправді, до випуску ChatGPT Meta розробляла власний LLM.
У травні 2022 року північноамериканська команда Meta AI анонсувала та відкрила вихідний код великої моделі OPT-175B.
Meta стверджує, що ця модель споживає менше енергії, ніж GPT-3, навіть незважаючи на те, що дві моделі кількісно навчаються однаково під час навчання.
У той же час інша команда Meta AI в Парижі почала розробляти окрему великомасштабну модель мови, також відому як LLaMA.
Обізнані кажуть, що ця модель менша за OPT. Дослідницька група вважає, що менші моделі будуть більш ефективними для висновків.
Тоді виникла проблема: команди двох лабораторій у Північній Америці та Парижі почали змагатися за доступ до обчислювальних ресурсів, що, у свою чергу, посилило суперечки між внутрішніми командами.
Зокрема, команда LLaMA вважає, що її проігнорували. Її модель невелика, але вона отримує набагато менше обчислювальних ресурсів, ніж північноамериканська команда OPT.
Джоель Піно, директор «Основних досліджень ШІ», сказала:
Якщо у співробітників Meta AI виникне суперечка щодо розподілу, вона буде передана на розгляд вищестоящому керівнику, яким є Піно.
В інтерв’ю Піно визнав, що існує певна напруга щодо розподілу обчислювальної потужності між командами LLaMA та OPT, додавши: «Ми намагаємося знайти спосіб прислухатися до кожного, навіть якщо ми не можемо задовольнити потреби кожного».
Деяким дослідникам це здається змаганням.
Деякі керівники Meta AI також сумніваються, чому обидві команди працюють над однаковими проектами, але конкурують одна з одною за обмежені ресурси.
Велика зміна лютого
Напруга між двома командами досягла апогею в лютому цього року.
Лише цього місяця, щоб наздогнати конкурентів, Meta AI вперше випустила LLaMA як модель з відкритим кодом, ліцензувавши її для дослідницьких цілей.
Насправді за тиждень до релізу Антуан Бордес, співдиректор Meta AI і керівник паризького відділення, покинув Meta.Зовнішньою причиною відходу з Meta було те, що робочі години були такими ж виснажливими, як і в Каліфорнії.
Тепер Бордес приєднався до компанії штучного інтелекту Helsing.
Це не лише питання дослідницької моралі команди LLaMA; тим часом команда OPT зіткнулася з виснаженням протягом останніх кількох місяців.
Кажуть, що більша модель, яку розробляла команда OPT, була безпосередньо залишена Meta. Неважко зрозуміти, що втрата особового складу ОПТ безпосередньо пов'язана з цим рішенням.
Відповідно до профілю Linkedin автора дослідження, половина з 19 авторів статей OPT покинули Meta.
Піно, керівник «Основних досліджень ШІ», безпорадно сказав: «Коли всі команди хочуть оновити свої моделі в цей час, ви можете вибрати одну з них або дозволити їм співпрацювати».
Реорганізація команди, нечітке позиціонування
Поки все це відбувалося, Meta AI також була приголомшена частими змінами компанії.
З листопада минулого року Сяо Чжа провів кілька звільнень по всій компанії. Серед них Meta AI не застрахований.
У лютому цього року керівники Meta AI вирішили об’єднати деяких членів конкуруючих команд LLaMA та OPT, щоб формально створити команду «Generative AI» (на чолі з колишнім виконавчим директором Apple Ахмадом Аль-Дале), а також перейшли з Meta AI A велика кількість людей.
Насправді ми можемо побачити багатьох авторів LlaMA та OPT у статті Llama 2.
Наприклад, у команді OPT Моя Чен, Тодор Михайлов і Пуніт Сінгх Коура приєдналися до команди «generative AI».
У команді LLaMA першого покоління Уго Туврон, Тібо Лавріль, Ксав’є Мартіне, Марі-Анн Лашо, Наман Гоял і Орельєн Родрігес приєдналися до команди «генеративного ШІ».
Цікаво, що за визнанням Llama 2, три з чотирьох команд, які першими розпочали це дослідження, покинули територію, і лише Едуард Грейв залишився там.
Meta AI традиційно мала культуру «знизу вгору», очолювану дослідниками, що дозволяло команді зосередитися на цьому та зробити прорив у галузі AI.
Але оскільки Сяо Чжа ставав все більш і більш схильним до інтеграції штучного інтелекту в додатки Meta, фокус Meta AI також звужувався – припинення досліджень, які не були орієнтовані на продукт, наприклад згортання білка.
Наприклад, Llama 2, випущена Meta в липні, і Code Llama, яка спеціалізується на генерації коду, випущена в серпні, відповідають відповідно за дві команди.
На сцені модель з відкритим вихідним кодом гламурна та красива, але за лаштунками сплеск дослідників штучного інтелекту, які відходять, суперечки щодо обчислювальної потужності та реорганізація команди привнесли багато невизначених факторів у спроби Meta наздогнати своїх опонентів.
Література: