Nhiều người trong số 14 tác giả tham gia nghiên cứu về Llama đã rời đi.
Vào tháng 2 năm nay, Meta “mở nguồn” một loạt mô hình lớn mới - Llama (Large Language Model Meta AI), với số lượng tham số dao động từ 7 tỷ đến 65 tỷ. Vài tháng sau, việc phát hành Llama 2 đã mở ra việc thương mại hóa các mô hình lớn, nhiều người đã mô tả mã nguồn mở của Llama 2 là "khoảnh khắc Android" của các mô hình lớn.
Do hiệu suất tuyệt vời của các mô hình 2-series Llama và Llama, nhiều người coi chúng là những lựa chọn thay thế nguồn mở và miễn phí cho các mô hình lớn hơn như ChatGPT. Mọi người đều ca ngợi Meta vì những đóng góp của nó cho cộng đồng nguồn mở, nhưng đối với một số nhà khoa học và kỹ sư tham gia dự án Llama, lời khen đó là quá ít, quá muộn.
Theo The Information, những người nắm rõ tình hình nội bộ cho biết, nhiều người tham gia dự án Llama đã từ chức do mâu thuẫn nội bộ giữa một nhóm nghiên cứu khác tại Meta và nhóm Llama về tài nguyên máy tính. vì lý do nào đó không rõ cuối cùng đã từ bỏ nó.
Mặc dù đây chỉ là tiết lộ của người trong cuộc, nhưng sự ra đi của họ là lời nhắc nhở rằng các công ty công nghệ lớn và nhỏ đang phải vật lộn với những căng thẳng do thiếu tài nguyên máy tính khi họ phát triển các mô hình cho AI tổng hợp, vốn đòi hỏi chip chuyên dụng, còn những con chip này thì không. được cung cấp miễn phí. Các công ty công nghệ lớn có nhiều tài nguyên máy tính hơn hầu hết các công ty khác, thực tế là một số công ty như Meta nhấn mạnh khi tuyển dụng các nhà nghiên cứu AI.
Chúng tôi thấy rằng ngay cả những công ty lớn cũng có nguồn lực hạn chế mà họ có thể cung cấp. Khi nhu cầu về nhân tài AI tăng cao, cuộc di cư cũng nêu bật những thách thức mà các công ty công nghệ lớn phải đối mặt trong việc giữ chân nhân tài AI.
Bài báo "LLaMA: Mô hình ngôn ngữ nền tảng mở và hiệu quả" của Llama được xuất bản vào tháng 2 năm nay. Có 14 tác giả và hiện một số người trong số họ đã nghỉ việc, một số đã đến các công ty mới khởi nghiệp và một số đã bắt đầu kinh doanh.
Địa chỉ giấy:
Chúng ta hãy xem ai sẽ rời đi.
Gautier Izacard
Gautier Izacard bắt đầu làm việc tại Meta vào năm 2020 và rời Meta vào tháng 4 năm 2023 để gia nhập Inflection AI, một công ty khởi nghiệp được thành lập vào năm 2022.
Inflection AI có lịch sử lâu đời với ba nhà đồng sáng lập là cựu đồng sáng lập DeepMind Mustafa Suleyman, đồng sáng lập Linkedln Reid Hoffman và cựu nhà khoa học trưởng DeepMind Karen Simonyan. Vào tháng 6 năm nay, Inflection AI cũng thông báo rằng công ty đã huy động được 1,3 tỷ USD trong vòng tài trợ mới, dẫn đầu là Microsoft, Nvidia, Reid Hoffman, Bill Gates và cựu Giám đốc điều hành Google Eric Schmidt.
*Ba người đồng sáng lập Inflection AI. *
Timohee Lacroix
Timothee Lacroix gia nhập Phòng thí nghiệm nghiên cứu AI của Facebook vào năm 2015 với tư cách là kỹ sư nghiên cứu. Vào tháng 6 năm 2023, anh sẽ rời Meta (Facebook) và gia nhập công ty khởi nghiệp Mistral AI của Pháp với tư cách là Giám đốc Công nghệ (CTO).
Armand Joulin
Armand Joulin nhận bằng Tiến sĩ năm 2012 từ INRIA và Ecole Normale Supérieure (ENS). Armand Joulin gia nhập Meta vào năm 2014 với tư cách là Nhà khoa học nghiên cứu, Giám đốc nghiên cứu cấp cao, Giám đốc nghiên cứu. Trước khi gia nhập Meta, Armand là nhà nghiên cứu sau tiến sĩ tại Đại học Stanford, làm việc với Daphne Koller và Fei-Fei Li. Armand Joulin sẽ rời Meta vào tháng 5 năm 2023.
Đèn Guillaume
Guillaume Lample hiện là đồng sáng lập và nhà khoa học trưởng của Mistral AI. Anh rời Meta vào tháng 3 năm nay sau khi làm việc ở đây hơn 6 năm. Vị trí trước đây của anh tại Meta là nhà khoa học nghiên cứu.
Guillaume Lample có bằng thạc sĩ của Đại học Carnegie Mellon và bằng tiến sĩ của Đại học Paris VI.
Cuối cùng, chúng tôi xin giới thiệu công ty khởi nghiệp Mistral AI, được thành lập vào tháng 5 năm nay. Tổ chức này chủ yếu tập trung vào nghiên cứu và phát triển các mô hình AI tổng quát và cạnh tranh với OpenAI. Những người đồng sáng lập bao gồm Arthur MENSCH (và Giám đốc điều hành), Guillaume Lample (và nhà khoa học trưởng) và Timothee Lacroix là giám đốc công nghệ.
Theo Techcrunch, họ có kế hoạch phát hành mô hình trí tuệ nhân tạo tổng hợp dựa trên văn bản đầu tiên vào năm 2024. Vào tháng 6 năm nay, Mistral AI, mới thành lập được 4 tuần, đã nhận được 113 triệu USD trong vòng tài trợ hạt giống.
Guillaume Lample và Timothee Lacroix đã được giới thiệu trước đó. Arthur MENSCH với tư cách là CEO, đã làm việc tại DeepMind (hiện đã sáp nhập vào Google DeepMind) hơn 2 năm và tham gia nghiên cứu về Flamingo, một mô hình ngôn ngữ hình ảnh.
người giới thiệu:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Meta phải đối mặt với cuộc đấu đá nội bộ khốc liệt để giành lấy tài nguyên máy tính và nhiều tác giả Llama đã từ chức
Biên tập viên: Tiêu Châu, Trần Bình
Vào tháng 2 năm nay, Meta “mở nguồn” một loạt mô hình lớn mới - Llama (Large Language Model Meta AI), với số lượng tham số dao động từ 7 tỷ đến 65 tỷ. Vài tháng sau, việc phát hành Llama 2 đã mở ra việc thương mại hóa các mô hình lớn, nhiều người đã mô tả mã nguồn mở của Llama 2 là "khoảnh khắc Android" của các mô hình lớn.
Do hiệu suất tuyệt vời của các mô hình 2-series Llama và Llama, nhiều người coi chúng là những lựa chọn thay thế nguồn mở và miễn phí cho các mô hình lớn hơn như ChatGPT. Mọi người đều ca ngợi Meta vì những đóng góp của nó cho cộng đồng nguồn mở, nhưng đối với một số nhà khoa học và kỹ sư tham gia dự án Llama, lời khen đó là quá ít, quá muộn.
Theo The Information, những người nắm rõ tình hình nội bộ cho biết, nhiều người tham gia dự án Llama đã từ chức do mâu thuẫn nội bộ giữa một nhóm nghiên cứu khác tại Meta và nhóm Llama về tài nguyên máy tính. vì lý do nào đó không rõ cuối cùng đã từ bỏ nó.
Mặc dù đây chỉ là tiết lộ của người trong cuộc, nhưng sự ra đi của họ là lời nhắc nhở rằng các công ty công nghệ lớn và nhỏ đang phải vật lộn với những căng thẳng do thiếu tài nguyên máy tính khi họ phát triển các mô hình cho AI tổng hợp, vốn đòi hỏi chip chuyên dụng, còn những con chip này thì không. được cung cấp miễn phí. Các công ty công nghệ lớn có nhiều tài nguyên máy tính hơn hầu hết các công ty khác, thực tế là một số công ty như Meta nhấn mạnh khi tuyển dụng các nhà nghiên cứu AI.
Chúng tôi thấy rằng ngay cả những công ty lớn cũng có nguồn lực hạn chế mà họ có thể cung cấp. Khi nhu cầu về nhân tài AI tăng cao, cuộc di cư cũng nêu bật những thách thức mà các công ty công nghệ lớn phải đối mặt trong việc giữ chân nhân tài AI.
Bài báo "LLaMA: Mô hình ngôn ngữ nền tảng mở và hiệu quả" của Llama được xuất bản vào tháng 2 năm nay. Có 14 tác giả và hiện một số người trong số họ đã nghỉ việc, một số đã đến các công ty mới khởi nghiệp và một số đã bắt đầu kinh doanh.
Chúng ta hãy xem ai sẽ rời đi.
Gautier Izacard
Inflection AI có lịch sử lâu đời với ba nhà đồng sáng lập là cựu đồng sáng lập DeepMind Mustafa Suleyman, đồng sáng lập Linkedln Reid Hoffman và cựu nhà khoa học trưởng DeepMind Karen Simonyan. Vào tháng 6 năm nay, Inflection AI cũng thông báo rằng công ty đã huy động được 1,3 tỷ USD trong vòng tài trợ mới, dẫn đầu là Microsoft, Nvidia, Reid Hoffman, Bill Gates và cựu Giám đốc điều hành Google Eric Schmidt.
Timohee Lacroix
Armand Joulin
Đèn Guillaume
Guillaume Lample có bằng thạc sĩ của Đại học Carnegie Mellon và bằng tiến sĩ của Đại học Paris VI.
Cuối cùng, chúng tôi xin giới thiệu công ty khởi nghiệp Mistral AI, được thành lập vào tháng 5 năm nay. Tổ chức này chủ yếu tập trung vào nghiên cứu và phát triển các mô hình AI tổng quát và cạnh tranh với OpenAI. Những người đồng sáng lập bao gồm Arthur MENSCH (và Giám đốc điều hành), Guillaume Lample (và nhà khoa học trưởng) và Timothee Lacroix là giám đốc công nghệ.
Guillaume Lample và Timothee Lacroix đã được giới thiệu trước đó. Arthur MENSCH với tư cách là CEO, đã làm việc tại DeepMind (hiện đã sáp nhập vào Google DeepMind) hơn 2 năm và tham gia nghiên cứu về Flamingo, một mô hình ngôn ngữ hình ảnh.