Hầu hết các tác giả cốt lõi của LLaMA đã từ chức và câu chuyện bên trong của Meta AI đã bị bại lộ! Cuộc cạnh tranh về sức mạnh tính toán rất khốc liệt, thành viên của đội người mẫu lớn thay đổi 3 vòng liên tiếp
Trong sáu tháng qua, sự phổ biến của ChatGPT đã hoàn toàn khiến Meta không thể ngồi yên.
Từ việc phát hành loạt mô hình lớn mã nguồn mở LLaMA vào tháng 2, đến bản nâng cấp của Llama 2 và sau đó là mô hình mã hóa Code Llama, Meta đang đặt cược mọi thứ vào TẤT CẢ TRONG AI.
Trong cộng đồng nguồn mở, việc nghiên cứu miễn phí và sử dụng thương mại các mô hình dòng Llama đã trực tiếp châm ngòi cho sự phân hạch của các mô hình thay thế.
Tuy nhiên, trong khi Meta đang hoạt động tốt thì đội ngũ AI lại phải đối mặt với làn sóng từ chức.
The Information đưa tin độc quyền rằng do tranh chấp nội bộ về sức mạnh tính toán, hầu hết các thành viên trong nhóm dự án LLaMA và OPT đã từ chức.
Trên thực tế, Meta đã trực tiếp từ bỏ mô hình mà họ đang phát triển để cạnh tranh với PaLM và tổ chức lại hai nhóm phòng thí nghiệm của Meta AI để tập trung vào phát triển Llama 2.
Sự từ chức của hầu hết các nhà nghiên cứu của Meta đã tiết lộ rằng sự thiếu hụt sức mạnh tính toán là vấn đề cốt lõi trong cách bố trí AI tổng hợp.
Bài báo LLaMA có 14 tác giả, một nửa trong số đó đã rời khỏi
Đối với thế giới bên ngoài, những gã khổng lồ công nghệ có nhiều tài nguyên máy tính hơn hầu hết các công ty. Một số công ty, bao gồm cả Meta, luôn nhấn mạnh rằng họ "GIÀU GPU" khi tuyển dụng các nhà nghiên cứu AI.
Nhưng trên thực tế, tôi biết rất rõ rằng nguồn cung cấp tài nguyên máy tính của Meta cũng có hạn.
Kết quả là, tranh chấp về sức mạnh tính toán bắt đầu xảy ra trong nội bộ nhóm, khiến nhiều người từ bỏ Meta.
Cụ thể, hơn một nửa trong số 14 tác giả trong mô hình LLaMA thế hệ đầu tiên ra mắt vào tháng 2 năm nay đều đã từ chức.
Một số chuyển sang khởi nghiệp AI, trong khi những người khác tham gia vào các gã khổng lồ công nghệ.
Địa chỉ giấy:
Các nhà khoa học và kỹ sư nghiên cứu rời Meta bao gồm Timothée Lacroix, Guillaume Lample và Marie-Anne Lachaux, đồng tác giả của bài báo LLaMA ban đầu.
Hiện họ làm việc tại công ty khởi nghiệp Mistral AI của Pháp, do Lacroix và Lample đồng sáng lập vào tháng 6.
Một trong những tác giả, Armand Joulin, giám đốc nghiên cứu của Meta AI, đã rời Meta vào tháng 5 và hiện đã gia nhập Apple.
Joelle Pineau, người đứng đầu "Nghiên cứu AI cơ bản" tại Phòng thí nghiệm nghiên cứu trí tuệ nhân tạo Meta, cho biết trong một cuộc phỏng vấn:
Giữ chân và thu hút người giỏi có lẽ là nơi tôi dành nhiều thời gian nhất, vì nếu không có nhà nghiên cứu giỏi thì tôi không thể làm được gì.
Làn sóng ra đi mà Meta đang phải đối mặt chỉ làm nổi bật thách thức của các công ty công nghệ lớn trong việc đối phó với nhu cầu ngày càng tăng về nhân tài trí tuệ nhân tạo.
Trong làn sóng mô hình lớn hiện nay, các hãng công nghệ lớn đều mong muốn tích hợp AI vào sản phẩm, dịch vụ của mình vì sợ bị tụt hậu.
Theo Kyle Langworthy, giám đốc điều hành tại Riviera Partners, các công ty “đói nhân tài” đang xếp hàng để chiêu mộ các nhà nghiên cứu trí tuệ nhân tạo của Meta.
Vào tháng 2, sau khi LLaMA phát hành khơi dậy sự nhiệt tình của cộng đồng, Xiao Zha từng tuyên bố bước tiến lớn của công ty ra thế giới bên ngoài chỉ sau một đêm: thành lập nhóm sản phẩm hàng đầu, tập trung vào AIGC.
Nói tóm lại, Xiao Zha đặt trọng tâm cốt lõi của Meta trong tương lai vào trí tuệ nhân tạo tổng hợp nhằm cố gắng bắt kịp các đối thủ như Google, Microsoft và OpenAI.
Và “metaverse” All In năm 2021 cũng đã bị xếp ở vị trí thứ yếu.
Ngay sau đó, Meta thỉnh thoảng phát hành và mã nguồn mở các nghiên cứu mới nhất trong lĩnh vực trí tuệ nhân tạo, bao gồm mô hình trực quan tổng hợp SAM “Split Everything”, các mô hình AI đa phương thức ImageBind, Llama2, Code Llama, v.v.
Sau khi được công bố, những nghiên cứu này đã gây được tiếng vang lớn trong cộng đồng nguồn mở và nhận được nhiều lời khen ngợi nhất trí.
Giờ đây, với việc mất đi các nhà nghiên cứu giàu kinh nghiệm, Meta lại gặp phải một trở ngại khác trong việc bắt kịp các đối thủ.
Vậy chính xác thì điều gì đã xảy ra khiến những nhà nghiên cứu cấp cao này tức giận bỏ đi?
LLaMA và OPT Cạnh tranh để giành quyền lực cạnh tranh
Năm 2013, sau khi Yann LeCun gia nhập Meta, ông đã thành lập phòng thí nghiệm nghiên cứu trí tuệ nhân tạo Meta AI (trước đây là FAIR) khi ông giữ chức vụ giám đốc nghiên cứu AI.
Ngoài các phòng thí nghiệm chính ở Menlo Park, California và New York (nơi LeCun đặt trụ sở), Meta AI còn có văn phòng tại Montreal (nơi Pineau đặt trụ sở), Paris, London và Seattle.
Việc thành lập Phòng thí nghiệm Meta AI chủ yếu dành riêng cho nghiên cứu AI, áp dụng trí tuệ nhân tạo vào các tình huống khác nhau như dịch thuật và quét MRI.
Tuy nhiên, sau sự xuất hiện của ChatGPT, các giám đốc điều hành của công ty càng mong muốn tích hợp AI vào các sản phẩm ở mức độ sâu hơn.
Trên thực tế, trước khi phát hành ChatGPT, Meta đã phát triển LLM của riêng mình.
Vào tháng 5 năm 2022, một nhóm Meta AI ở Bắc Mỹ đã công bố và cung cấp nguồn mở cho mẫu OPT-175B lớn.
Meta tuyên bố rằng mô hình này tiêu thụ ít năng lượng hơn GPT-3, mặc dù hai mô hình học về lượng như nhau trong quá trình đào tạo.
Vài tháng sau, nhóm bắt đầu làm việc trên mô hình thứ hai, lớn hơn được thiết kế để cạnh tranh với PaLM của Google.
Đồng thời, một nhóm Meta AI khác ở Paris đã bắt đầu phát triển một mô hình ngôn ngữ quy mô lớn riêng biệt, còn được gọi là LLaMA.
Những người quen thuộc với vấn đề này cho biết mô hình này nhỏ hơn OPT. Nhóm nghiên cứu tin rằng các mô hình nhỏ hơn sẽ suy luận hiệu quả hơn.
Sau đó, vấn đề ập đến, các đội từ hai phòng thí nghiệm ở Bắc Mỹ và Paris bắt đầu cuộc chiến giành tài nguyên sức mạnh tính toán, điều này càng làm gia tăng tranh chấp giữa các đội nội bộ.
Đặc biệt, nhóm LLaMA cảm thấy rằng họ đã bị bỏ qua, mô hình của nó nhỏ nhưng nhận được ít tài nguyên máy tính hơn nhiều so với nhóm OPT Bắc Mỹ.
Joelle Pineau, giám đốc "Nghiên cứu AI cơ bản", cho biết,
Các quyết định về cách phân bổ tài nguyên máy tính tại Meta được đưa ra gần như hàng tháng bởi một nhóm nhỏ lãnh đạo từ các bộ phận khác nhau của doanh nghiệp.
Cuối cùng số tiền được phân bổ và cho ai được xác định theo mức độ ưu tiên của tổ chức và mức độ hoàn thành của dự án.
Nếu có tranh chấp về việc phân bổ nhân viên Meta AI sẽ trình lên cấp trên là cấp Pineau để xử lý.
Trong cuộc phỏng vấn, Pineau thừa nhận rằng có một số căng thẳng trong việc phân bổ sức mạnh tính toán giữa nhóm LLaMA và OPT, đồng thời nói thêm: “Chúng tôi cố gắng tìm cách lắng nghe mọi người, ngay cả khi chúng tôi không thể đáp ứng nhu cầu của mọi người”.
Đối với một số nhà nghiên cứu, nó giống như một cuộc cạnh tranh.
Một số giám đốc điều hành của Meta AI cũng đặt câu hỏi tại sao cả hai nhóm đều làm việc trong các dự án giống nhau nhưng lại cạnh tranh với nhau vì nguồn lực hạn chế.
Những thay đổi lớn trong tháng 2
Căng thẳng giữa hai đội lên đến đỉnh điểm vào tháng Hai.
Chỉ trong tháng này, để bắt kịp các đối thủ, Meta AI lần đầu tiên đã phát hành LLaMA dưới dạng mô hình nguồn mở, cấp phép cho nó cho mục đích nghiên cứu.
Trên thực tế, Antoine Bordes, đồng giám đốc của Meta AI và người đứng đầu chi nhánh Paris, đã rời Meta một tuần trước khi phát hành, và lý do rời đi của ông là vì giờ làm việc cũng mệt mỏi như ở California.
Giờ đây, Bordes đã gia nhập công ty trí tuệ nhân tạo Helsing.
Những người quen thuộc với vấn đề này cho biết, sự ra đi của ông càng cô lập nhóm LLaMA với các giám đốc điều hành Bắc Mỹ. Ngoài ra, Pineau cũng thừa nhận sự ra đi của Bordes "mang đến một số bất ổn" cho đội.
Đây không chỉ là vấn đề làm nản lòng tinh thần nghiên cứu của nhóm LLaMA, đồng thời, nhóm OPT cũng đang phải đối mặt với vấn đề luân chuyển nhân sự trong vài tháng qua.
Người ta nói rằng mô hình lớn hơn đang được nhóm OPT phát triển đã bị Meta trực tiếp từ bỏ. Không khó hiểu khi việc mất đi nhân sự OPT có liên quan trực tiếp đến quyết định này.
Một nửa trong số 19 tác giả của bài báo OPT cũng đã rời khỏi Meta, theo hồ sơ Linkedin của tác giả nghiên cứu.
Địa chỉ giấy:
Pineau, người đứng đầu "Nghiên cứu AI cơ bản" bất lực nói: "Khi tất cả các đội muốn nâng cấp mô hình của mình vào lúc này, bạn có thể chọn một trong số họ hoặc để họ hợp tác."
Sắp xếp lại đội, định vị không rõ ràng
Trong khi tất cả những điều này đang diễn ra, Meta AI cũng bị choáng ngợp trước những thay đổi thường xuyên của công ty.
Kể từ tháng 11 năm ngoái, Tiêu Zha đã thực hiện nhiều đợt sa thải toàn công ty. Trong số đó, Meta AI cũng không tha.
Vào tháng 2 năm nay, lãnh đạo Meta AI đã quyết định tập hợp một số thành viên của nhóm LLaMA và OPT cạnh tranh để chính thức thành lập nhóm “Generative AI” (do cựu giám đốc điều hành Apple Ahmad Al-Dahle lãnh đạo), đồng thời cũng được chuyển từ Meta AI A Rất nhiều người.
Trên thực tế, chúng ta có thể thấy nhiều tác giả LLaMA và OPT trong bài báo Llama 2.
Ví dụ: trong nhóm OPT, Moya Chen, Todor Mihaylov và Punit Singh Koura đã tham gia nhóm "Generative AI".
Trong nhóm LLaMA thế hệ đầu tiên, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal và Aurelien Rodriguez đã tham gia nhóm “generative AI”.
Điều thú vị là, theo sự thừa nhận của Llama 2, ba trong số bốn đội đầu tiên thực hiện nghiên cứu được đề cập này đã rời đi, và chỉ còn Edouard Grave là vẫn ở đó.
Bất chấp thành công khiêm tốn của mô hình nguồn mở LLaMA được hoan nghênh, căng thẳng vẫn đang gia tăng giữa các nhà nghiên cứu trong bối cảnh Meta đang thay đổi thái độ đối với nghiên cứu AI.
Theo truyền thống, Meta AI có văn hóa từ dưới lên do các nhà nghiên cứu lãnh đạo, cho phép nhóm tập trung vào lĩnh vực AI và đạt được những tiến bộ đột phá.
Nhưng khi Xiao Zha ngày càng có xu hướng tích hợp AI vào các ứng dụng của Meta, trọng tâm của Meta AI cũng bị thu hẹp - giải tán các nghiên cứu không hướng đến sản phẩm, chẳng hạn như việc gấp protein.
Đồng thời, các dự án mới cũng đang qua lại giữa nhóm Generative AI và Meta AI.
Ví dụ: Llama 2, được Meta phát hành vào tháng 7 và Code Llama, chuyên tạo mã, được phát hành vào tháng 8, lần lượt chịu trách nhiệm cho hai nhóm.
Về vấn đề này, Pineau cho biết: "Lĩnh vực này đang phát triển quá nhanh, chúng tôi vẫn đang tìm hiểu xem dự án nào sẽ chịu trách nhiệm về Meta AI? Dự án nào sẽ chịu trách nhiệm cho nhóm Generative AI?"
Trước sân khấu, mô hình nguồn mở hào nhoáng và đẹp đẽ, nhưng đằng sau hậu trường, sự ra đi đột ngột của các nhà nghiên cứu AI, tranh chấp quyền lực máy tính và việc tổ chức lại đội ngũ đã mang đến nhiều yếu tố bất ổn cho nỗ lực bắt kịp đối thủ của Meta.
Người giới thiệu:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Hầu hết các tác giả cốt lõi của LLaMA đã từ chức và câu chuyện bên trong của Meta AI đã bị bại lộ! Cuộc cạnh tranh về sức mạnh tính toán rất khốc liệt, thành viên của đội người mẫu lớn thay đổi 3 vòng liên tiếp
Nguồn gốc: Xinzhiyuan
Trong sáu tháng qua, sự phổ biến của ChatGPT đã hoàn toàn khiến Meta không thể ngồi yên.
Từ việc phát hành loạt mô hình lớn mã nguồn mở LLaMA vào tháng 2, đến bản nâng cấp của Llama 2 và sau đó là mô hình mã hóa Code Llama, Meta đang đặt cược mọi thứ vào TẤT CẢ TRONG AI.
Trong cộng đồng nguồn mở, việc nghiên cứu miễn phí và sử dụng thương mại các mô hình dòng Llama đã trực tiếp châm ngòi cho sự phân hạch của các mô hình thay thế.
Tuy nhiên, trong khi Meta đang hoạt động tốt thì đội ngũ AI lại phải đối mặt với làn sóng từ chức.
The Information đưa tin độc quyền rằng do tranh chấp nội bộ về sức mạnh tính toán, hầu hết các thành viên trong nhóm dự án LLaMA và OPT đã từ chức.
Sự từ chức của hầu hết các nhà nghiên cứu của Meta đã tiết lộ rằng sự thiếu hụt sức mạnh tính toán là vấn đề cốt lõi trong cách bố trí AI tổng hợp.
Bài báo LLaMA có 14 tác giả, một nửa trong số đó đã rời khỏi
Đối với thế giới bên ngoài, những gã khổng lồ công nghệ có nhiều tài nguyên máy tính hơn hầu hết các công ty. Một số công ty, bao gồm cả Meta, luôn nhấn mạnh rằng họ "GIÀU GPU" khi tuyển dụng các nhà nghiên cứu AI.
Nhưng trên thực tế, tôi biết rất rõ rằng nguồn cung cấp tài nguyên máy tính của Meta cũng có hạn.
Kết quả là, tranh chấp về sức mạnh tính toán bắt đầu xảy ra trong nội bộ nhóm, khiến nhiều người từ bỏ Meta.
Cụ thể, hơn một nửa trong số 14 tác giả trong mô hình LLaMA thế hệ đầu tiên ra mắt vào tháng 2 năm nay đều đã từ chức.
Một số chuyển sang khởi nghiệp AI, trong khi những người khác tham gia vào các gã khổng lồ công nghệ.
Các nhà khoa học và kỹ sư nghiên cứu rời Meta bao gồm Timothée Lacroix, Guillaume Lample và Marie-Anne Lachaux, đồng tác giả của bài báo LLaMA ban đầu.
Hiện họ làm việc tại công ty khởi nghiệp Mistral AI của Pháp, do Lacroix và Lample đồng sáng lập vào tháng 6.
Làn sóng ra đi mà Meta đang phải đối mặt chỉ làm nổi bật thách thức của các công ty công nghệ lớn trong việc đối phó với nhu cầu ngày càng tăng về nhân tài trí tuệ nhân tạo.
Trong làn sóng mô hình lớn hiện nay, các hãng công nghệ lớn đều mong muốn tích hợp AI vào sản phẩm, dịch vụ của mình vì sợ bị tụt hậu.
Theo Kyle Langworthy, giám đốc điều hành tại Riviera Partners, các công ty “đói nhân tài” đang xếp hàng để chiêu mộ các nhà nghiên cứu trí tuệ nhân tạo của Meta.
Vào tháng 2, sau khi LLaMA phát hành khơi dậy sự nhiệt tình của cộng đồng, Xiao Zha từng tuyên bố bước tiến lớn của công ty ra thế giới bên ngoài chỉ sau một đêm: thành lập nhóm sản phẩm hàng đầu, tập trung vào AIGC.
Nói tóm lại, Xiao Zha đặt trọng tâm cốt lõi của Meta trong tương lai vào trí tuệ nhân tạo tổng hợp nhằm cố gắng bắt kịp các đối thủ như Google, Microsoft và OpenAI.
Và “metaverse” All In năm 2021 cũng đã bị xếp ở vị trí thứ yếu.
Sau khi được công bố, những nghiên cứu này đã gây được tiếng vang lớn trong cộng đồng nguồn mở và nhận được nhiều lời khen ngợi nhất trí.
Giờ đây, với việc mất đi các nhà nghiên cứu giàu kinh nghiệm, Meta lại gặp phải một trở ngại khác trong việc bắt kịp các đối thủ.
LLaMA và OPT Cạnh tranh để giành quyền lực cạnh tranh
Năm 2013, sau khi Yann LeCun gia nhập Meta, ông đã thành lập phòng thí nghiệm nghiên cứu trí tuệ nhân tạo Meta AI (trước đây là FAIR) khi ông giữ chức vụ giám đốc nghiên cứu AI.
Ngoài các phòng thí nghiệm chính ở Menlo Park, California và New York (nơi LeCun đặt trụ sở), Meta AI còn có văn phòng tại Montreal (nơi Pineau đặt trụ sở), Paris, London và Seattle.
Tuy nhiên, sau sự xuất hiện của ChatGPT, các giám đốc điều hành của công ty càng mong muốn tích hợp AI vào các sản phẩm ở mức độ sâu hơn.
Trên thực tế, trước khi phát hành ChatGPT, Meta đã phát triển LLM của riêng mình.
Vào tháng 5 năm 2022, một nhóm Meta AI ở Bắc Mỹ đã công bố và cung cấp nguồn mở cho mẫu OPT-175B lớn.
Meta tuyên bố rằng mô hình này tiêu thụ ít năng lượng hơn GPT-3, mặc dù hai mô hình học về lượng như nhau trong quá trình đào tạo.
Đồng thời, một nhóm Meta AI khác ở Paris đã bắt đầu phát triển một mô hình ngôn ngữ quy mô lớn riêng biệt, còn được gọi là LLaMA.
Những người quen thuộc với vấn đề này cho biết mô hình này nhỏ hơn OPT. Nhóm nghiên cứu tin rằng các mô hình nhỏ hơn sẽ suy luận hiệu quả hơn.
Sau đó, vấn đề ập đến, các đội từ hai phòng thí nghiệm ở Bắc Mỹ và Paris bắt đầu cuộc chiến giành tài nguyên sức mạnh tính toán, điều này càng làm gia tăng tranh chấp giữa các đội nội bộ.
Đặc biệt, nhóm LLaMA cảm thấy rằng họ đã bị bỏ qua, mô hình của nó nhỏ nhưng nhận được ít tài nguyên máy tính hơn nhiều so với nhóm OPT Bắc Mỹ.
Joelle Pineau, giám đốc "Nghiên cứu AI cơ bản", cho biết,
Nếu có tranh chấp về việc phân bổ nhân viên Meta AI sẽ trình lên cấp trên là cấp Pineau để xử lý.
Trong cuộc phỏng vấn, Pineau thừa nhận rằng có một số căng thẳng trong việc phân bổ sức mạnh tính toán giữa nhóm LLaMA và OPT, đồng thời nói thêm: “Chúng tôi cố gắng tìm cách lắng nghe mọi người, ngay cả khi chúng tôi không thể đáp ứng nhu cầu của mọi người”.
Đối với một số nhà nghiên cứu, nó giống như một cuộc cạnh tranh.
Một số giám đốc điều hành của Meta AI cũng đặt câu hỏi tại sao cả hai nhóm đều làm việc trong các dự án giống nhau nhưng lại cạnh tranh với nhau vì nguồn lực hạn chế.
Những thay đổi lớn trong tháng 2
Căng thẳng giữa hai đội lên đến đỉnh điểm vào tháng Hai.
Chỉ trong tháng này, để bắt kịp các đối thủ, Meta AI lần đầu tiên đã phát hành LLaMA dưới dạng mô hình nguồn mở, cấp phép cho nó cho mục đích nghiên cứu.
Trên thực tế, Antoine Bordes, đồng giám đốc của Meta AI và người đứng đầu chi nhánh Paris, đã rời Meta một tuần trước khi phát hành, và lý do rời đi của ông là vì giờ làm việc cũng mệt mỏi như ở California.
Giờ đây, Bordes đã gia nhập công ty trí tuệ nhân tạo Helsing.
Đây không chỉ là vấn đề làm nản lòng tinh thần nghiên cứu của nhóm LLaMA, đồng thời, nhóm OPT cũng đang phải đối mặt với vấn đề luân chuyển nhân sự trong vài tháng qua.
Người ta nói rằng mô hình lớn hơn đang được nhóm OPT phát triển đã bị Meta trực tiếp từ bỏ. Không khó hiểu khi việc mất đi nhân sự OPT có liên quan trực tiếp đến quyết định này.
Một nửa trong số 19 tác giả của bài báo OPT cũng đã rời khỏi Meta, theo hồ sơ Linkedin của tác giả nghiên cứu.
Pineau, người đứng đầu "Nghiên cứu AI cơ bản" bất lực nói: "Khi tất cả các đội muốn nâng cấp mô hình của mình vào lúc này, bạn có thể chọn một trong số họ hoặc để họ hợp tác."
Sắp xếp lại đội, định vị không rõ ràng
Trong khi tất cả những điều này đang diễn ra, Meta AI cũng bị choáng ngợp trước những thay đổi thường xuyên của công ty.
Kể từ tháng 11 năm ngoái, Tiêu Zha đã thực hiện nhiều đợt sa thải toàn công ty. Trong số đó, Meta AI cũng không tha.
Vào tháng 2 năm nay, lãnh đạo Meta AI đã quyết định tập hợp một số thành viên của nhóm LLaMA và OPT cạnh tranh để chính thức thành lập nhóm “Generative AI” (do cựu giám đốc điều hành Apple Ahmad Al-Dahle lãnh đạo), đồng thời cũng được chuyển từ Meta AI A Rất nhiều người.
Trên thực tế, chúng ta có thể thấy nhiều tác giả LLaMA và OPT trong bài báo Llama 2.
Ví dụ: trong nhóm OPT, Moya Chen, Todor Mihaylov và Punit Singh Koura đã tham gia nhóm "Generative AI".
Trong nhóm LLaMA thế hệ đầu tiên, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal và Aurelien Rodriguez đã tham gia nhóm “generative AI”.
Điều thú vị là, theo sự thừa nhận của Llama 2, ba trong số bốn đội đầu tiên thực hiện nghiên cứu được đề cập này đã rời đi, và chỉ còn Edouard Grave là vẫn ở đó.
Theo truyền thống, Meta AI có văn hóa từ dưới lên do các nhà nghiên cứu lãnh đạo, cho phép nhóm tập trung vào lĩnh vực AI và đạt được những tiến bộ đột phá.
Nhưng khi Xiao Zha ngày càng có xu hướng tích hợp AI vào các ứng dụng của Meta, trọng tâm của Meta AI cũng bị thu hẹp - giải tán các nghiên cứu không hướng đến sản phẩm, chẳng hạn như việc gấp protein.
Ví dụ: Llama 2, được Meta phát hành vào tháng 7 và Code Llama, chuyên tạo mã, được phát hành vào tháng 8, lần lượt chịu trách nhiệm cho hai nhóm.
Trước sân khấu, mô hình nguồn mở hào nhoáng và đẹp đẽ, nhưng đằng sau hậu trường, sự ra đi đột ngột của các nhà nghiên cứu AI, tranh chấp quyền lực máy tính và việc tổ chức lại đội ngũ đã mang đến nhiều yếu tố bất ổn cho nỗ lực bắt kịp đối thủ của Meta.
Người giới thiệu: