Багато з 14 авторів, які брали участь у дослідженні Llama, залишили.
У лютому цього року Meta «відкрила» нову велику серію моделей — Llama (Large Language Model Meta AI) з параметрами від 7 до 65 мільярдів. Через кілька місяців випуск Llama 2 відкрив початок комерціалізації великих моделей.Багато людей описували відкритий вихідний код Llama 2 як «момент Android» великих моделей.
Завдяки чудовій продуктивності моделей серії Llama та Llama 2 багато людей вважають їх безкоштовними альтернативами з відкритим вихідним кодом більшим моделям, таким як ChatGPT. Усі хвалять Meta за її внесок у спільноту з відкритим кодом, але для деяких науковців та інженерів, які беруть участь у проекті Llama, ця похвала надто мала, занадто пізно.
Згідно з The Information, люди, знайомі з внутрішньою ситуацією, сказали, що багато людей, залучених до проекту Llama, звільнилися через внутрішню боротьбу між іншою дослідницькою командою Meta та командою Llama за обчислювальні ресурси.Команда працювала над конкуруючою моделлю, але з якоїсь невідомої причини покинув його.
Хоча це лише відкриття від інсайдера, їхній відхід є нагадуванням про те, що великі та малі технологічні компанії борються з напругою, спричиненою дефіцитом обчислювальних ресурсів, оскільки вони розробляють моделі генеративного штучного інтелекту, для якого потрібні спеціальні чіпи, а ці чіпи не є надається безкоштовно. Великі технологічні компанії мають більше обчислювальних ресурсів, ніж більшість, і деякі компанії, такі як Meta, наголошують на цьому факті, наймаючи дослідників ШІ.
Ми бачимо, що навіть великі компанії мають обмежені ресурси. Відплив також підкреслює проблеми, з якими стикаються великі технологічні компанії, намагаючись утримати таланти в області штучного інтелекту, оскільки попит на таланти в галузі штучного інтелекту стрімко зростає.
Llama Ця стаття "LLaMA: відкриті та ефективні базові мовні моделі" була опублікована в лютому цього року. Є 14 авторів. Тепер кілька з них звільнилися. Деякі з них пішли в нові компанії-початківці, а деякі почали підприємницьку діяльність.
Адреса паперу:
Давайте подивимося на тих, хто звільнився.
Готьє Ізакар
Готьє Ізакар почав працювати в Meta в 2020 році і залишив Meta в квітні 2023 року, щоб приєднатися до стартапу Inflection AI, заснованого в 2022 році.
Inflection AI має довгу історію. Його три співзасновники: колишній співзасновник DeepMind Мустафа Сулейман, співзасновник Linkedln Рейд Хоффман і колишній головний науковий співробітник DeepMind Карен Симонян. У червні цього року Inflection AI також оголосила, що компанія залучила 1,3 мільярда доларів США в рамках нового раунду фінансування під керівництвом Microsoft, NVIDIA, Рейда Хоффмана, Білла Гейтса та колишнього генерального директора Google Еріка Шмідта.
*Три співзасновники Inflection AI. *
Тімоті Лакруа
Тімоті Лакруа приєднався до Facebook AI Research Lab у 2015 році як інженер-дослідник. У червні 2023 року він залишить Meta (Facebook) і приєднається до французького стартапу Mistral AI на посаді головного технічного директора (CTO).
Арман Жулен
Арман Жулен отримав ступінь доктора філософії в 2012 році в INRIA та Ecole Normale Supérieure (ENS). Арманд Жулен приєднався до компанії Meta в 2014 році як науковий співробітник, старший менеджер з досліджень, директор з досліджень. Перед тим, як приєднатися до Meta, Арманд був доктором наук у Стенфордському університеті, працюючи з Дафною Коллер і Фей-Фей Лі. У травні 2023 року Арман Жулен пішов з Meta.
Гійом Лампл
Зараз Гійом Лампл є співзасновником і головним науковим співробітником Mistral AI. Він залишив Meta в березні цього року, пропрацювавши там понад 6 років, і його попередня посада в Meta була науковим співробітником.
Гійом Лампл закінчив Університет Карнегі-Меллона зі ступенем магістра та ступенем доктора філософії в Університеті Париж VI.
Нарешті, ми представляємо стартап Mistral AI, який був створений у травні цього року. Організація в основному зосереджена на дослідженні та розробці генеративних моделей ШІ та конкурує з OpenAI. Серед співзасновників — Артур МЕНШ (і генеральний директор), Гійом Лампл (і головний науковий співробітник), а Тімоті Лакруа — головний технічний директор.
За даними Techcrunch, вони планують випустити першу текстову модель генеративного штучного інтелекту в 2024 році. У червні цього року Mistral AI, якому було всього 4 тижні, отримав 113 мільйонів доларів США в якості початкового фінансування.
Раніше ми вже представляли Гійома Лампла та Тімоті Лакруа. Артур МЕНШ, будучи генеральним директором, працював у DeepMind (тепер об’єднаний із Google DeepMind) більше 2 років і брав участь у дослідженні Flamingo, моделі візуальної мови.
посилання:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Мета була піддана жорсткій внутрішній боротьбі за обчислювальні ресурси, і багато авторів Llama пішли у відставку
Редактори: Сяочжоу, Чень Пін
У лютому цього року Meta «відкрила» нову велику серію моделей — Llama (Large Language Model Meta AI) з параметрами від 7 до 65 мільярдів. Через кілька місяців випуск Llama 2 відкрив початок комерціалізації великих моделей.Багато людей описували відкритий вихідний код Llama 2 як «момент Android» великих моделей.
Завдяки чудовій продуктивності моделей серії Llama та Llama 2 багато людей вважають їх безкоштовними альтернативами з відкритим вихідним кодом більшим моделям, таким як ChatGPT. Усі хвалять Meta за її внесок у спільноту з відкритим кодом, але для деяких науковців та інженерів, які беруть участь у проекті Llama, ця похвала надто мала, занадто пізно.
Згідно з The Information, люди, знайомі з внутрішньою ситуацією, сказали, що багато людей, залучених до проекту Llama, звільнилися через внутрішню боротьбу між іншою дослідницькою командою Meta та командою Llama за обчислювальні ресурси.Команда працювала над конкуруючою моделлю, але з якоїсь невідомої причини покинув його.
Хоча це лише відкриття від інсайдера, їхній відхід є нагадуванням про те, що великі та малі технологічні компанії борються з напругою, спричиненою дефіцитом обчислювальних ресурсів, оскільки вони розробляють моделі генеративного штучного інтелекту, для якого потрібні спеціальні чіпи, а ці чіпи не є надається безкоштовно. Великі технологічні компанії мають більше обчислювальних ресурсів, ніж більшість, і деякі компанії, такі як Meta, наголошують на цьому факті, наймаючи дослідників ШІ.
Ми бачимо, що навіть великі компанії мають обмежені ресурси. Відплив також підкреслює проблеми, з якими стикаються великі технологічні компанії, намагаючись утримати таланти в області штучного інтелекту, оскільки попит на таланти в галузі штучного інтелекту стрімко зростає.
Llama Ця стаття "LLaMA: відкриті та ефективні базові мовні моделі" була опублікована в лютому цього року. Є 14 авторів. Тепер кілька з них звільнилися. Деякі з них пішли в нові компанії-початківці, а деякі почали підприємницьку діяльність.
Давайте подивимося на тих, хто звільнився.
Готьє Ізакар
Inflection AI має довгу історію. Його три співзасновники: колишній співзасновник DeepMind Мустафа Сулейман, співзасновник Linkedln Рейд Хоффман і колишній головний науковий співробітник DeepMind Карен Симонян. У червні цього року Inflection AI також оголосила, що компанія залучила 1,3 мільярда доларів США в рамках нового раунду фінансування під керівництвом Microsoft, NVIDIA, Рейда Хоффмана, Білла Гейтса та колишнього генерального директора Google Еріка Шмідта.
Тімоті Лакруа
Арман Жулен
Гійом Лампл
Гійом Лампл закінчив Університет Карнегі-Меллона зі ступенем магістра та ступенем доктора філософії в Університеті Париж VI.
Нарешті, ми представляємо стартап Mistral AI, який був створений у травні цього року. Організація в основному зосереджена на дослідженні та розробці генеративних моделей ШІ та конкурує з OpenAI. Серед співзасновників — Артур МЕНШ (і генеральний директор), Гійом Лампл (і головний науковий співробітник), а Тімоті Лакруа — головний технічний директор.
Раніше ми вже представляли Гійома Лампла та Тімоті Лакруа. Артур МЕНШ, будучи генеральним директором, працював у DeepMind (тепер об’єднаний із Google DeepMind) більше 2 років і брав участь у дослідженні Flamingo, моделі візуальної мови.