Большинство основных оригинальных работ LLaMA ушли, а внутренняя история Meta AI раскрыта! Соревнуясь за вычислительную мощность, разрывая лица, члены команды крупных моделей меняли три раунда подряд
За последние шесть месяцев популярность ChatGPT полностью лишила Meta возможности сидеть на месте.
От выпуска крупномасштабной серии моделей LLaMA с открытым исходным кодом в феврале до обновления Llama 2, а затем и до модели кодирования Code Llama, можно сказать, что Meta делает ставку на ВСЕ В ИИ.
В сообществе открытого исходного кода бесплатное исследование и коммерческое использование моделей серии Llama напрямую спровоцировали раскол моделей на замену.
Однако, хотя у Meta дела идут хорошо, команду AI ожидает волна отставок.
Эксклюзивно «Информация» сообщила, что большинство членов команд проектов LLaMA и OPT ушли в отставку из-за внутренних споров о вычислительных мощностях.
Даже Meta напрямую отказалась от модели, которую они разрабатывали, чтобы конкурировать с PaLM, и реорганизовала две лабораторные группы Meta AI, чтобы сосредоточиться на разработке Llama 2.
Уход большинства исследователей Meta только что показал, что нехватка вычислительной мощности является основной проблемой генеративного ИИ.
14 авторов статьи LLaMA, половина ушла в отставку
Для внешнего мира технологические гиганты имеют больше вычислительных ресурсов, чем большинство компаний. Некоторые компании, в том числе Meta, постоянно подчеркивают, что они «богаты графическими процессорами» при найме исследователей ИИ.
Но на самом деле я прекрасно знаю, что запас вычислительных ресурсов Меты также ограничен.
В результате внутри внутренней команды начались споры о вычислительной мощности, в результате чего многие люди покинули Meta.
В частности, более половины из 14 авторов модели LLaMA первого поколения, выпущенной в феврале этого года, ушли в отставку.
Некоторые обратились к стартапам в области искусственного интеллекта, а другие присоединились к технологическим гигантам.
Бумажный адрес:
В число ученых-исследователей и инженеров, покинувших Meta, входят Тимоти Лакруа, Гийом Лампле и Мари-Анн Лашо, соавторы оригинальной статьи LLaMA.
Сейчас они работают во французском стартапе Mistral AI, который Лакруа и Лэмпл основали в июне.
Один из авторов, Арман Жулен, директор по исследованиям Meta AI, покинул Meta в мае и теперь присоединился к Apple.
Жоэль Пино, руководитель отдела фундаментальных исследований искусственного интеллекта в исследовательской лаборатории метаискусственного интеллекта, сказала в интервью:
Удержание и привлечение выдающихся людей — это, пожалуй, то, чему я провожу больше всего времени, потому что без выдающихся исследователей я ничего не могу сделать.
Волна увольнений, с которой сталкивается Meta, лишь подчеркивает проблемы, с которыми сталкиваются крупные технологические компании в ответ на резкий рост спроса на таланты в области искусственного интеллекта.
В условиях нынешней волны крупных моделей крупные технологические компании стремятся интегрировать ИИ в свои продукты и услуги, опасаясь отставания.
По словам Кайла Лэнгуорси, руководителя Riviera Partners, компании, которые «жаждут талантов», выстраиваются в очередь, чтобы переманить исследователей искусственного интеллекта Meta.
В феврале, после того как выпуск LLaMA вызвал энтузиазм сообщества, Сяо Чжа однажды за одну ночь объявил о большом шаге компании: создании ведущей команды по разработке продуктов, которая сосредоточится на AIGC.
Короче говоря, Сяо Чжа в будущем сосредоточит основное внимание Meta на генеративном искусственном интеллекте в попытке догнать таких конкурентов, как Google, Microsoft и OpenAI.
И «метавселенная», которой был All In в 2021 году, тоже отодвинута на второстепенную позицию.
Сразу после этого Meta время от времени выпускала и открывала исходный код новейших исследований в области искусственного интеллекта, включая общую визуальную модель SAM «Segment Everything», мультимодальную модель ИИ ImageBind, Llama2, Code Llama и т. д.
Как только эти исследования были опубликованы, они вызвали большой отклик в сообществе разработчиков программного обеспечения с открытым исходным кодом и получили единодушную похвалу.
Теперь, с потерей опытных исследователей, у Meta появилось еще одно препятствие на пути к догону конкурентов.
Итак, что же именно заставило этих старших исследователей уйти в гневе?
Битва за вычислительную мощность между LLaMA и OPT
В 2013 году, после того как Ян ЛеКун присоединился к Meta, он основал исследовательскую лабораторию искусственного интеллекта Meta AI (ранее FAIR), когда был директором по исследованиям искусственного интеллекта.
Помимо основных лабораторий в Менло-Парке, Калифорния, и Нью-Йорке (где находится LeCun), у Meta AI есть офисы в Монреале (где находится Пино), Париже, Лондоне и Сиэтле.
Создание лаборатории Meta AI в основном посвящено исследованиям искусственного интеллекта, применению искусственного интеллекта в различных сценариях, таких как перевод и сканирование МРТ.
Однако после появления ChatGPT руководители компаний стали более активно интегрировать ИИ в продукты.
Фактически, Meta разрабатывала собственный LLM еще до выпуска ChatGPT.
В мае 2022 года североамериканская команда Meta AI анонсировала и открыла исходный код большой модели OPT-175B.
Мета утверждает, что эта модель потребляет меньше энергии, чем GPT-3, хотя обе модели обучаются количественно одинаково во время обучения.
Несколько месяцев спустя команда начала работать над второй, более крупной моделью, призванной составить конкуренцию PaLM от Google.
В то же время другая команда Meta AI в Париже приступила к разработке отдельной крупномасштабной языковой модели, также известной как LLaMA.
Знакомые с ситуацией люди сказали, что эта модель меньше ОПТ. Исследовательская группа считает, что модели меньшего размера будут более эффективными при выводе.
Затем возникла проблема: команды из двух лабораторий в Северной Америке и Париже начали битву за ресурсы вычислительной мощности, что усилило споры между внутренними командами.
В частности, команда LLaMA считает, что ее проигнорировали: ее модель небольшая, но она получает гораздо меньше вычислительных ресурсов, чем североамериканская команда OPT.
Жоэль Пино, руководитель отдела фундаментальных исследований искусственного интеллекта, сказала:
Решения о распределении вычислительных ресурсов в «Мете» принимаются примерно раз в месяц группой лидеров из разных подразделений бизнеса.
Сколько в конечном итоге будет выделено и кому, зависит от организационных приоритетов и того, насколько далек проект от релиза.
Если у сотрудников Meta AI возникнет спор по поводу распределения, он будет передан на рассмотрение руководителю, то есть Пино.
В интервью Пино признал, что между командами LLaMA и OPT существует некоторая напряженность по поводу распределения вычислительной мощности, добавив: «Мы пытаемся найти способ прислушаться к голосу каждого, даже если мы не можем удовлетворить потребности каждого».
Некоторым исследователям это кажется соревнованием.
Некоторые руководители Meta AI также задавались вопросом, почему обе команды работали над схожими проектами, но конкурировали друг с другом за ограниченные ресурсы.
Большие изменения в феврале
Напряженность между двумя командами достигла апогея в феврале.
Буквально в этом месяце, стремясь догнать конкурентов, Meta AI впервые выпустила LLaMA как модель с открытым исходным кодом, лицензированную для исследовательских целей.
Фактически, за неделю до релиза Антуан Бордес, содиректор Meta AI и глава парижского филиала, покинул Meta. Внешней причиной ухода из Meta было то, что рабочее время было таким же утомительным, как и в Калифорнии.
Теперь Бордес присоединился к компании Helsing, занимающейся искусственным интеллектом.
По словам людей, его уход еще больше изолирует команду LLaMA от руководителей в Северной Америке. Кроме того, Пино признал, что уход Бордеса «создал некоторую неопределенность» для команды.
Это не просто проблема упадка исследовательского духа в команде LLaMA. В то же время команда OPT в последние несколько месяцев также столкнулась с проблемой текучести кадров.
Говорят, что от более крупной модели, разрабатываемой командой OPT, Meta отказалась. Нетрудно понять, что потеря личного состава ОПТ напрямую связана с этим решением.
Согласно профилю автора исследования в Linkedin, половина из 19 авторов статей OPT покинули Meta.
Бумажный адрес:
Пино, руководитель отдела фундаментальных исследований искусственного интеллекта, беспомощно сказал: «Когда все команды сейчас захотят обновить свои модели, вы можете либо выбрать одну из них, либо позволить им сотрудничать».
Реорганизация команды, неясное позиционирование
Пока все это происходило, Meta AI также была перегружена частыми сменами компаний.
С ноября прошлого года Сяо Чжа провел несколько увольнений в масштабах всей компании. Среди них Meta AI не застрахован.
В феврале этого года лидеры Meta AI решили собрать вместе некоторых членов конкурирующих команд LLaMA и OPT, чтобы официально создать команду «Генеративный ИИ» (возглавляемую бывшим руководителем Apple Ахмадом Аль-Дале), а также переведенную из Meta AI A. большое количество людей.
Фактически, в статье Llama 2 мы видим многих авторов LLaMA и OPT.
Например, в команде OPT к команде «Генеративный ИИ» присоединились Моя Чен, Тодор Михайлов и Пунит Сингх Кура.
В команде LLaMA первого поколения к команде «генеративного ИИ» присоединились Уго Туврон, Тибо Лавриль, Ксавье Мартине, Мари-Анн Лашо, Наман Гоял и Орельен Родригес.
Интересно, что, по признанию Llama 2, три из четырех команд, которые первыми инициировали упомянутое исследование, ушли, и только Эдуард Грейв все еще там.
Несмотря на успех известной модели с открытым исходным кодом LLaMA, напряженность между исследователями продолжает нарастать, поскольку отношение Меты к исследованиям в области ИИ продолжает меняться.
Meta AI традиционно имеет восходящую культуру, возглавляемую исследователями, что позволяет команде сосредоточиться и совершить прорыв в области ИИ.
Но по мере того, как Сяо Чжа становился все более и более склонным к интеграции ИИ в приложения Meta, фокус Meta AI также сузился, расформировав исследования, которые не были ориентированы на продукт, такие как сворачивание белков.
В то же время новые проекты также «многократно перескакивают» между командой генеративного ИИ и Meta AI.
Например, над Llama 2, выпущенной Meta в июле, и Code Llama, специализирующейся на генерации кода, выпущенной в августе, отвечают по две команды каждая.
В связи с этим Пино сказал: «Эта область развивается слишком быстро. Мы все еще изучаем, за какой проект должен отвечать Meta AI? За какой проект должна отвечать команда генеративного ИИ?»
На переднем плане модель с открытым исходным кодом ярка и красива, но за кулисами волна отставок исследователей ИИ, споры о вычислительной мощности и реорганизация команды привнесли много неопределенностей в усилия Meta по догнать своих оппонентов в ИИ.
Использованная литература:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Большинство основных оригинальных работ LLaMA ушли, а внутренняя история Meta AI раскрыта! Соревнуясь за вычислительную мощность, разрывая лица, члены команды крупных моделей меняли три раунда подряд
Первоисточник: Синьчжиюань
За последние шесть месяцев популярность ChatGPT полностью лишила Meta возможности сидеть на месте.
От выпуска крупномасштабной серии моделей LLaMA с открытым исходным кодом в феврале до обновления Llama 2, а затем и до модели кодирования Code Llama, можно сказать, что Meta делает ставку на ВСЕ В ИИ.
В сообществе открытого исходного кода бесплатное исследование и коммерческое использование моделей серии Llama напрямую спровоцировали раскол моделей на замену.
Однако, хотя у Meta дела идут хорошо, команду AI ожидает волна отставок.
Эксклюзивно «Информация» сообщила, что большинство членов команд проектов LLaMA и OPT ушли в отставку из-за внутренних споров о вычислительных мощностях.
Уход большинства исследователей Meta только что показал, что нехватка вычислительной мощности является основной проблемой генеративного ИИ.
14 авторов статьи LLaMA, половина ушла в отставку
Для внешнего мира технологические гиганты имеют больше вычислительных ресурсов, чем большинство компаний. Некоторые компании, в том числе Meta, постоянно подчеркивают, что они «богаты графическими процессорами» при найме исследователей ИИ.
Но на самом деле я прекрасно знаю, что запас вычислительных ресурсов Меты также ограничен.
В результате внутри внутренней команды начались споры о вычислительной мощности, в результате чего многие люди покинули Meta.
В частности, более половины из 14 авторов модели LLaMA первого поколения, выпущенной в феврале этого года, ушли в отставку.
Некоторые обратились к стартапам в области искусственного интеллекта, а другие присоединились к технологическим гигантам.
В число ученых-исследователей и инженеров, покинувших Meta, входят Тимоти Лакруа, Гийом Лампле и Мари-Анн Лашо, соавторы оригинальной статьи LLaMA.
Сейчас они работают во французском стартапе Mistral AI, который Лакруа и Лэмпл основали в июне.
Волна увольнений, с которой сталкивается Meta, лишь подчеркивает проблемы, с которыми сталкиваются крупные технологические компании в ответ на резкий рост спроса на таланты в области искусственного интеллекта.
В условиях нынешней волны крупных моделей крупные технологические компании стремятся интегрировать ИИ в свои продукты и услуги, опасаясь отставания.
По словам Кайла Лэнгуорси, руководителя Riviera Partners, компании, которые «жаждут талантов», выстраиваются в очередь, чтобы переманить исследователей искусственного интеллекта Meta.
В феврале, после того как выпуск LLaMA вызвал энтузиазм сообщества, Сяо Чжа однажды за одну ночь объявил о большом шаге компании: создании ведущей команды по разработке продуктов, которая сосредоточится на AIGC.
Короче говоря, Сяо Чжа в будущем сосредоточит основное внимание Meta на генеративном искусственном интеллекте в попытке догнать таких конкурентов, как Google, Microsoft и OpenAI.
И «метавселенная», которой был All In в 2021 году, тоже отодвинута на второстепенную позицию.
Как только эти исследования были опубликованы, они вызвали большой отклик в сообществе разработчиков программного обеспечения с открытым исходным кодом и получили единодушную похвалу.
Теперь, с потерей опытных исследователей, у Meta появилось еще одно препятствие на пути к догону конкурентов.
Битва за вычислительную мощность между LLaMA и OPT
В 2013 году, после того как Ян ЛеКун присоединился к Meta, он основал исследовательскую лабораторию искусственного интеллекта Meta AI (ранее FAIR), когда был директором по исследованиям искусственного интеллекта.
Помимо основных лабораторий в Менло-Парке, Калифорния, и Нью-Йорке (где находится LeCun), у Meta AI есть офисы в Монреале (где находится Пино), Париже, Лондоне и Сиэтле.
Однако после появления ChatGPT руководители компаний стали более активно интегрировать ИИ в продукты.
Фактически, Meta разрабатывала собственный LLM еще до выпуска ChatGPT.
В мае 2022 года североамериканская команда Meta AI анонсировала и открыла исходный код большой модели OPT-175B.
Мета утверждает, что эта модель потребляет меньше энергии, чем GPT-3, хотя обе модели обучаются количественно одинаково во время обучения.
В то же время другая команда Meta AI в Париже приступила к разработке отдельной крупномасштабной языковой модели, также известной как LLaMA.
Знакомые с ситуацией люди сказали, что эта модель меньше ОПТ. Исследовательская группа считает, что модели меньшего размера будут более эффективными при выводе.
Затем возникла проблема: команды из двух лабораторий в Северной Америке и Париже начали битву за ресурсы вычислительной мощности, что усилило споры между внутренними командами.
В частности, команда LLaMA считает, что ее проигнорировали: ее модель небольшая, но она получает гораздо меньше вычислительных ресурсов, чем североамериканская команда OPT.
Жоэль Пино, руководитель отдела фундаментальных исследований искусственного интеллекта, сказала:
Если у сотрудников Meta AI возникнет спор по поводу распределения, он будет передан на рассмотрение руководителю, то есть Пино.
В интервью Пино признал, что между командами LLaMA и OPT существует некоторая напряженность по поводу распределения вычислительной мощности, добавив: «Мы пытаемся найти способ прислушаться к голосу каждого, даже если мы не можем удовлетворить потребности каждого».
Некоторым исследователям это кажется соревнованием.
Некоторые руководители Meta AI также задавались вопросом, почему обе команды работали над схожими проектами, но конкурировали друг с другом за ограниченные ресурсы.
Большие изменения в феврале
Напряженность между двумя командами достигла апогея в феврале.
Буквально в этом месяце, стремясь догнать конкурентов, Meta AI впервые выпустила LLaMA как модель с открытым исходным кодом, лицензированную для исследовательских целей.
Фактически, за неделю до релиза Антуан Бордес, содиректор Meta AI и глава парижского филиала, покинул Meta. Внешней причиной ухода из Meta было то, что рабочее время было таким же утомительным, как и в Калифорнии.
Теперь Бордес присоединился к компании Helsing, занимающейся искусственным интеллектом.
Это не просто проблема упадка исследовательского духа в команде LLaMA. В то же время команда OPT в последние несколько месяцев также столкнулась с проблемой текучести кадров.
Говорят, что от более крупной модели, разрабатываемой командой OPT, Meta отказалась. Нетрудно понять, что потеря личного состава ОПТ напрямую связана с этим решением.
Согласно профилю автора исследования в Linkedin, половина из 19 авторов статей OPT покинули Meta.
Пино, руководитель отдела фундаментальных исследований искусственного интеллекта, беспомощно сказал: «Когда все команды сейчас захотят обновить свои модели, вы можете либо выбрать одну из них, либо позволить им сотрудничать».
Реорганизация команды, неясное позиционирование
Пока все это происходило, Meta AI также была перегружена частыми сменами компаний.
С ноября прошлого года Сяо Чжа провел несколько увольнений в масштабах всей компании. Среди них Meta AI не застрахован.
В феврале этого года лидеры Meta AI решили собрать вместе некоторых членов конкурирующих команд LLaMA и OPT, чтобы официально создать команду «Генеративный ИИ» (возглавляемую бывшим руководителем Apple Ахмадом Аль-Дале), а также переведенную из Meta AI A. большое количество людей.
Фактически, в статье Llama 2 мы видим многих авторов LLaMA и OPT.
Например, в команде OPT к команде «Генеративный ИИ» присоединились Моя Чен, Тодор Михайлов и Пунит Сингх Кура.
В команде LLaMA первого поколения к команде «генеративного ИИ» присоединились Уго Туврон, Тибо Лавриль, Ксавье Мартине, Мари-Анн Лашо, Наман Гоял и Орельен Родригес.
Интересно, что, по признанию Llama 2, три из четырех команд, которые первыми инициировали упомянутое исследование, ушли, и только Эдуард Грейв все еще там.
Meta AI традиционно имеет восходящую культуру, возглавляемую исследователями, что позволяет команде сосредоточиться и совершить прорыв в области ИИ.
Но по мере того, как Сяо Чжа становился все более и более склонным к интеграции ИИ в приложения Meta, фокус Meta AI также сузился, расформировав исследования, которые не были ориентированы на продукт, такие как сворачивание белков.
Например, над Llama 2, выпущенной Meta в июле, и Code Llama, специализирующейся на генерации кода, выпущенной в августе, отвечают по две команды каждая.
На переднем плане модель с открытым исходным кодом ярка и красива, но за кулисами волна отставок исследователей ИИ, споры о вычислительной мощности и реорганизация команды привнесли много неопределенностей в усилия Meta по догнать своих оппонентов в ИИ.
Использованная литература: