LLaMA'nın temel orijinal yazarlarının çoğu istifa etti ve Meta AI'nın iç hikayesi ortaya çıktı! Bilgi işlem gücü için rekabet şiddetliydi ve büyük model ekibinin üyeleri art arda üç tur boyunca değişti

Orijinal kaynak: Xinzhiyuan

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

Son 6 ayda ChatGPT'deki patlama Meta'nın tamamen hareketsiz durmasına neden oldu.

Şubat ayında açık kaynaklı büyük model serisi LLaMA'nın piyasaya sürülmesinden, Llama 2'nin yükseltilmesine ve ardından Code Llama kodlama modeline kadar Meta, her şeyi ALL IN AI'ya yatırıyor.

Açık kaynak topluluğunda, Llama serisi modellerinin ücretsiz araştırılması ve ticari kullanımı, yerine geçecek modellerin bölünmesini doğrudan ateşledi.

Ancak Meta zafere ulaşırken AI ekibi bir istifa dalgasıyla karşı karşıya.

Bilgiler özel olarak, LLaMA ve OPT projelerindeki ekip üyelerinin çoğunun dahili bilgi işlem gücü anlaşmazlıkları nedeniyle istifa ettiğini bildirdi.

Aslında Meta, PaLM'e rakip olmak için geliştirmekte oldukları modeli doğrudan terk etti ve Meta AI'nın iki laboratuvar ekibini Llama 2'nin geliştirilmesine odaklanacak şekilde yeniden düzenledi.

Meta araştırmacılarının çoğunun istifası, bilgi işlem gücü eksikliğinin üretken yapay zeka düzenindeki temel sorun olduğunu ortaya çıkardı.

LLaMA makalelerinde 14 yazar var ve bunların yarısı ayrılıyor

Dış dünyaya bakıldığında teknoloji devleri çoğu şirketten daha fazla bilgi işlem kaynağına sahip. Meta dahil bazı şirketler, yapay zeka araştırmacılarını işe alırken sürekli olarak "GPU ZENGİN" olduklarını vurguluyor.

Ama aslında Meta'nın bilgi işlem kaynağı arzının da sınırlı olduğunu çok iyi biliyorum.

Sonuç olarak, dahili ekip içinde bilgi işlem gücü anlaşmazlıkları başladı ve birçok kişinin Meta'yı terk etmesine neden oldu.

Spesifik olarak, bu yıl Şubat ayında piyasaya sürülen birinci nesil LLaMA modelindeki 14 yazarın yarısından fazlası istifa etti.

Bazıları yapay zeka girişimlerine yönelirken, diğerleri teknoloji devlerine katıldı.

Kağıt adresi:

Meta'dan ayrılan araştırmacı bilim adamları ve mühendisler arasında orijinal LLaMA makalesinin ortak yazarları Timothée Lacroix, Guillaume Lample ve Marie-Anne Lachaux yer alıyor.

Şu anda Lacroix ve Lample'ın haziran ayında kurduğu Fransız startup Mistral AI'da çalışıyorlar.

Yazarlardan biri olan Meta AI araştırma direktörü Armand Joulin, Mayıs ayında Meta'dan ayrıldı ve şimdi Apple'a katıldı.

Meta Yapay Zeka Araştırma Laboratuvarı'nda "Temel Yapay Zeka Araştırması" başkanı Joelle Pineau bir röportajda şunları söyledi:

Harika insanları elde tutmak ve çekmek muhtemelen en çok zaman harcadığım alan çünkü harika araştırmacılar olmadan hiçbir şey yapamam.

Meta'nın karşı karşıya olduğu ayrılma dalgası, büyük teknoloji şirketlerinin yapay zeka yeteneklerine yönelik artan talep karşısında karşılaştığı zorlukları vurguluyor.

Büyük modellerin mevcut dalgasında, büyük teknoloji şirketleri geride kalma korkusuyla yapay zekayı kendi ürün ve hizmetlerine entegre etmeye istekli.

Riviera Partners'ın yöneticilerinden Kyle Langworthy, "yeteneklere aç" şirketlerin Meta'nın yapay zeka araştırmacılarını kaçırmak için sıraya girdiğini söyledi.

Şubat ayında, LLaMA'nın piyasaya sürülmesinin topluluk coşkusunu tetiklemesinin ardından, Xiao Zha bir keresinde şirketin bir gecede büyük hamlesini duyurdu: AIGC'ye odaklanmak için üst düzey bir ürün ekibi kurmak.

Kısacası Xiao Zha, Google, Microsoft ve OpenAI gibi rakiplere yetişmek amacıyla Meta'nın geleceğe yönelik temel odağını üretken yapay zekaya yerleştiriyor.

Bir zamanlar 2021'de All In olan "Metaverse" de ikincil bir konuma yerleştirildi.

Hemen ardından Meta, zaman zaman genel görsel model SAM "Split Everything", çok modlu AI modelleri ImageBind, Llama2, Code Llama vb. dahil olmak üzere yapay zeka alanındaki en son araştırmaları yayınladı ve açık kaynaklı hale getirdi.

Bu çalışmalar yayınlandıktan sonra açık kaynak camiasında büyük tepki uyandırdı ve oybirliğiyle övgü aldı.

Artık deneyimli araştırmacılarının kaybıyla birlikte Meta'nın rakiplerine yetişmesinde bir engel daha var.

Peki bu kıdemli araştırmacıların öfkeyle ayrılmalarına neden olan tam olarak ne oldu?

LLaMA ve OPT Rekabet Gücü İçin Rekabet Ediyor

Yann LeCun, 2013 yılında Meta'ya katıldıktan sonra, yapay zeka araştırmalarının direktörlüğünü yaptığı sırada yapay zeka araştırma laboratuvarı Meta AI'yı (eski adıyla FAIR) kurdu.

Menlo Park, California ve New York'taki (LeCun'un bulunduğu yer) ana laboratuvarlarına ek olarak Meta AI'nın Montreal (Pineau'nun bulunduğu yer), Paris, Londra ve Seattle'da ofisleri vardır.

Meta Yapay Zeka Laboratuvarı'nın kurulması, yapay zekanın çeviri ve MRI taraması gibi çeşitli senaryolara uygulanmasını sağlayan yapay zeka araştırmalarına adanmıştır.

Ancak ChatGPT'nin ortaya çıkmasından sonra şirketin yöneticileri yapay zekayı ürünlere daha derin bir düzeyde entegre etme konusunda daha istekli hale geldi.

Aslında ChatGPT'nin yayınlanmasından önce Meta kendi LLM'sini geliştiriyordu.

Mayıs 2022'de, Kuzey Amerika'daki bir Meta AI ekibi, büyük model OPT-175B'yi duyurdu ve açık kaynaklı hale getirdi.

Meta, iki modelin eğitim sırasında niceliksel olarak aynı miktarda öğrenmesine rağmen bu modelin GPT-3'ten daha az enerji tükettiğini iddia ediyor.

Birkaç ay sonra ekip, Google'ın PaLM'siyle rekabet edecek şekilde tasarlanmış ikinci, daha büyük bir model üzerinde çalışmaya başladı.

Aynı zamanda Paris'teki başka bir Meta AI ekibi, LLaMA olarak da bilinen ayrı bir büyük ölçekli dil modeli geliştirmeye başladı.

İnsanlar, modelin OPT'den daha küçük olduğunu söyledi. Araştırma ekibi, daha küçük modellerin çıkarımda daha verimli olacağına inanıyor.

Sonra bir sorun ortaya çıktı: Kuzey Amerika ve Paris'teki iki laboratuvardan gelen ekipler, bilgi işlem kaynaklarına erişim için rekabet etmeye başladı ve bu da iç ekipler arasındaki anlaşmazlıkları yoğunlaştırdı.

Özellikle LLaMA ekibi bunun göz ardı edildiğini düşünüyor, modeli küçük ama Kuzey Amerika OPT ekibinden çok daha az bilgi işlem kaynağı alıyor.

"Temel Yapay Zeka Araştırması" başkanı Joelle Pineau şunları söyledi:

Meta'da bilgi işlem kaynaklarının nasıl tahsis edileceğine ilişkin kararlar, işin farklı bölümlerinden bir grup lider tarafından kabaca ayda bir kez alınır. Nihai olarak ne kadar tahsis edileceği ve kime tahsis edileceği, organizasyonel önceliklere ve projenin piyasaya sürülmeye ne kadar yakın olduğuna göre belirlenir.

Meta AI çalışanlarının tahsis konusunda bir anlaşmazlığı varsa, bu durum işlenmek üzere Pineau olan amirine sunulacaktır.

Röportajda Pineau, LLaMA ve OPT ekipleri arasında bilgi işlem gücünün dağıtımı konusunda bir miktar gerginlik olduğunu kabul ederek şunları ekledi: "Herkesin ihtiyaçlarını karşılayamasak bile herkesin sesini dinlemenin bir yolunu bulmaya çalışıyoruz."

Bazı araştırmacılara göre bu bir rekabet gibi geliyor.

Bazı Meta AI yöneticileri, her iki ekibin de neden benzer projeler üzerinde çalıştığını ancak sınırlı kaynaklar için birbirleriyle rekabet ettiğini sorguluyor.

Şubat ayında büyük değişiklikler

İki takım arasındaki gerilim bu yılın şubat ayında had safhaya ulaştı.

Meta AI, rakiplerine yetişmek amacıyla bu ay ilk kez LLaMA'yı açık kaynaklı bir model olarak piyasaya sürdü ve araştırma amaçlı olarak lisansladı.

Aslında, yayınlanmadan bir hafta önce, Meta AI'nin eş direktörü ve Paris şubesinin başkanı Antoine Bordes, Meta'dan ayrıldı.Meta'dan ayrılmanın dış nedeni, çalışma saatlerinin Kaliforniya'daki kadar yorucu olmasıydı.

Bordes şimdi yapay zeka şirketi Helsing'e katıldı.

Kaynaklar, onun ayrılışının LLaMA ekibini Kuzey Amerika'daki yöneticilerden daha da izole ettiğini söyledi. Ayrıca Pineau, Bordes'in ayrılışının takım için "bir miktar belirsizlik yarattığını" kabul etti.

Bu sadece LLaMA ekibinin araştırma moralinin bozulmasından kaynaklanmıyor, aynı zamanda OPT ekibi son birkaç aydır personel değişimi sorunuyla da karşı karşıya.

OPT ekibi tarafından geliştirilen daha büyük modelin Meta tarafından doğrudan terk edildiği söyleniyor. OPT personelinin kaybının doğrudan bu kararla ilgili olduğunu anlamak zor değil.

Çalışma yazarının Linkedin profiline göre OPT makalelerinin 19 yazarının yarısı da Meta'dan ayrıldı.

Kağıt adresi:

"Temel Yapay Zeka Araştırması" başkanı Pineau çaresizce şunları söyledi: "Şu anda tüm ekipler modellerini yükseltmek istediğinde, ya onlardan birini seçebilirsiniz ya da işbirliği yapmalarına izin verebilirsiniz."

Takımın yeniden düzenlenmesi, belirsiz konumlandırma

Tüm bunlar yaşanırken Meta AI da şirketin sık sık yaptığı değişikliklerden bunalıyordu.

Geçen yılın Kasım ayından bu yana Xiaozha, şirket çapında birçok işten çıkarma gerçekleştirdi. Bunların arasında Meta AI da bağışlanmadı.

Bu yılın Şubat ayında Meta AI liderleri, rakip LLaMA ve OPT ekiplerinin bazı üyelerini resmi olarak "Jeneratif AI" ekibini (eski Apple yöneticisi Ahmad Al-Dahle liderliğindeki) kurmak için bir araya getirmeye karar verdi ve ayrıca Meta AI A'dan transfer edildi. çok sayıda insan.

Aslında Llama 2 makalesinde birçok LLaMA ve OPT yazarını görebiliriz.

Örneğin OPT ekibinde Moya Chen, Todor Mihaylov ve Punit Singh Koura "Generatif Yapay Zeka" ekibine katıldı.

Birinci nesil LLaMA ekibinde Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal ve Aurelien Rodriguez “üretken yapay zeka” ekibine katıldı.

İlginç bir şekilde Llama 2'nin kabulünde adı geçen araştırmayı ilk başlatan dört ekipten üçü ayrıldı ve yalnızca Edouard Grave hala orada.

Beğenilen açık kaynak modeli LLaMA'nın mütevazı başarısına rağmen, Meta'nın yapay zeka araştırmalarına yönelik değişen tutumu nedeniyle araştırmacılar arasında gerilimler hâlâ artıyor.

Geleneksel olarak Meta AI, araştırmacılar tarafından yönetilen aşağıdan yukarıya bir kültüre sahiptir ve bu, ekibin AI alanına odaklanmasına ve çığır açıcı ilerleme kaydetmesine olanak tanır.

Ancak Xiao Zha, yapay zekayı Meta'nın uygulamalarına entegre etmeye giderek daha fazla yöneldikçe, Meta Yapay Zeka'nın odak noktası da daraldı ve protein katlama gibi ürün odaklı olmayan araştırmaları dağıttı.

Aynı zamanda, üretken yapay zeka ekibi ile Meta yapay zeka arasında yeni projeler de gidip geliyor.

Örneğin Meta'nın temmuz ayında çıkardığı Llama 2 ile ağustos ayında yayınlanan kod oluşturma konusunda uzmanlaşmış Code Llama'nın her biri iki takımdan sorumlu.

Bu konuda Pineau, "Bu alan çok hızlı gelişiyor. Halen Meta AI'nın hangi projeden sorumlu olması gerektiğini araştırıyoruz? Üretken AI ekibi hangi projeden sorumlu olmalı?"

Sahne önü açık kaynak modeli parlak ve güzel, ancak perde arkasında yapay zeka araştırmacılarının istifa dalgası, bilgi işlem gücü konusundaki anlaşmazlıklar ve ekibin yeniden düzenlenmesi, Meta'nın rakiplerine yetişme çabalarına birçok belirsizlik getirdi. AI.

Referanslar:

View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Reward
  • Comment
  • Share
Comment
0/400
No comments
Trade Crypto Anywhere Anytime
qrCode
Scan to download Gate app
Community
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)