Sebagian besar penulis asli inti LLaMA telah mengundurkan diri, dan kisah dalam Meta AI telah terungkap! Persaingan untuk mendapatkan daya komputasi sangat ketat, dan anggota tim model besar berganti selama tiga putaran berturut-turut
Dalam enam bulan terakhir, popularitas ChatGPT benar-benar membuat Meta tidak bisa duduk diam.
Dari rilis seri model LLaMA skala besar open source pada bulan Februari, hingga peningkatan Llama 2, dan kemudian ke model pengkodean Kode Llama, Meta dapat dikatakan mempertaruhkan segalanya pada ALL IN AI.
Dalam komunitas open source, penelitian gratis dan komersialisasi model seri Llama secara langsung memicu perpecahan model pengganti.
Namun, saat Meta sedang berjaya, tim AI menghadapi gelombang pengunduran diri.
Informasi secara eksklusif melaporkan bahwa sebagian besar anggota tim proyek LLaMA dan OPT telah mengundurkan diri karena perselisihan daya komputasi internal.
Faktanya, Meta langsung meninggalkan model yang mereka kembangkan untuk menyaingi PaLM dan mengatur ulang dua tim laboratorium Meta AI untuk fokus pada pengembangan Llama 2.
Kepergian sebagian besar peneliti Meta baru saja mengungkap bahwa kekurangan daya komputasi adalah masalah inti tata letak AI generatif.
14 penulis makalah LLaMA, setengahnya mengundurkan diri
Dari dunia luar, raksasa teknologi memiliki lebih banyak sumber daya komputasi dibandingkan kebanyakan perusahaan. Beberapa perusahaan, termasuk Meta, dengan suara bulat menekankan bahwa mereka "KAYA GPU" ketika merekrut peneliti AI.
Namun nyatanya saya tahu betul bahwa persediaan sumber daya komputasi Meta juga terbatas.
Akibatnya, perselisihan kekuatan komputasi dimulai di tim internal, menyebabkan banyak orang meninggalkan Meta.
Secara khusus, lebih dari separuh dari 14 pembuat model LLaMA generasi pertama yang dirilis pada Februari tahun ini telah mengundurkan diri.
Ada yang beralih ke startup AI, ada pula yang bergabung dengan raksasa teknologi.
Alamat kertas:
Ilmuwan penelitian dan insinyur yang meninggalkan Meta termasuk Timothée Lacroix, Guillaume Lample dan Marie-Anne Lachaux, rekan penulis makalah asli LLaMA.
Mereka sekarang bekerja di startup Perancis Mistral AI, yang didirikan bersama oleh Lacroix dan Lample pada bulan Juni.
Salah satu penulisnya, Armand Joulin, direktur riset di Meta AI, meninggalkan Meta pada bulan Mei dan kini bergabung dengan Apple.
Joelle Pineau, kepala "Penelitian AI Dasar" di Laboratorium Penelitian Kecerdasan Buatan Meta, mengatakan dalam sebuah wawancara:
Mempertahankan dan menarik orang-orang hebat mungkin merupakan hal yang paling banyak saya habiskan karena saya tidak dapat melakukan apa pun tanpa peneliti hebat.
Gelombang kepergian yang dihadapi Meta menyoroti tantangan perusahaan teknologi besar untuk mengatasi lonjakan permintaan akan talenta kecerdasan buatan.
Dalam gelombang model besar saat ini, perusahaan-perusahaan teknologi besar sangat ingin mengintegrasikan AI ke dalam produk dan layanan mereka karena takut ketinggalan.
Kyle Langworthy, seorang eksekutif di Riviera Partners, mengatakan perusahaan-perusahaan yang "haus akan bakat" bersiap untuk merekrut peneliti kecerdasan buatan Meta.
Pada bulan Februari, setelah peluncuran LLaMA yang menyulut antusiasme komunitas, Xiao Zha pernah mengumumkan langkah besar perusahaannya ke dunia luar dalam semalam: pembentukan tim produk unggulan, dengan fokus pada AIGC.
Singkatnya, Xiao Zha menempatkan fokus inti masa depan Meta pada kecerdasan buatan generatif dalam upaya mengejar pesaing seperti Google, Microsoft, dan OpenAI.
Dan "metaverse" yang All In pada tahun 2021 juga ditempatkan di posisi sekunder.
Segera setelah itu, Meta merilis dan membuka sumber penelitian terbaru di bidang kecerdasan buatan dari waktu ke waktu, termasuk model visual umum SAM "Segment Everything", model AI multi-modal ImageBind, Llama2, Code Llama, dll.
Setelah penelitian ini dirilis, penelitian ini mendapat tanggapan yang luar biasa di komunitas open source dan menerima pujian dengan suara bulat.
Kini, dengan hilangnya peneliti berpengalaman, Meta kembali menghadapi kendala dalam mengejar ketertinggalan para pesaingnya.
Lantas, apa sebenarnya yang membuat para peneliti senior ini pergi dengan marah?
Pertarungan kekuatan komputasi antara LLaMA dan OPT
Pada tahun 2013, setelah Yann LeCun bergabung dengan Meta, ia mendirikan laboratorium penelitian kecerdasan buatan Meta AI (sebelumnya FAIR) saat ia menjabat sebagai direktur penelitian AI.
Selain laboratorium utamanya di Menlo Park, California, dan New York (tempat LeCun berada), Meta AI memiliki kantor di Montreal (tempat Pineau berada), Paris, London, dan Seattle.
Pendirian laboratorium Meta AI terutama didedikasikan untuk penelitian AI, menerapkan kecerdasan buatan untuk berbagai skenario seperti penerjemahan dan pemindaian MRI.
Namun, setelah munculnya ChatGPT, para eksekutif perusahaan menjadi lebih bersemangat untuk mengintegrasikan AI ke dalam produk pada tingkat yang lebih dalam.
Faktanya, Meta telah mengembangkan LLM sendiri sebelum ChatGPT dirilis.
Pada Mei 2022, tim Meta AI Amerika Utara mengumumkan dan membuka sumber model besar OPT-175B.
Meta mengklaim bahwa model ini mengonsumsi lebih sedikit energi dibandingkan GPT-3, meskipun kedua model tersebut belajar dalam jumlah yang sama secara kuantitatif selama pelatihan.
Beberapa bulan kemudian, tim mulai mengerjakan model kedua yang lebih besar, yang dirancang untuk bersaing dengan PaLM Google.
Pada saat yang sama, tim Meta AI lainnya di Paris telah mulai mengembangkan model bahasa berskala besar yang terpisah, yang juga dikenal sebagai LLaMA.
Modelnya lebih kecil dari OPT, kata masyarakat. Tim peneliti percaya bahwa model yang lebih kecil akan lebih efisien dalam inferensi.
Kemudian muncul masalah. Tim dari dua laboratorium di Amerika Utara dan Paris mulai bersaing untuk mendapatkan akses sumber daya komputasi, yang pada akhirnya memperparah perselisihan antar tim internal.
Secara khusus, tim LLaMA merasa diabaikan karena modelnya kecil, tetapi menerima sumber daya komputasi yang jauh lebih sedikit dibandingkan tim OPT Amerika Utara.
Joelle Pineau, kepala "Penelitian AI Dasar" mengatakan,
Keputusan tentang cara mengalokasikan sumber daya komputasi di Meta dibuat kira-kira sebulan sekali oleh sekelompok pemimpin dari berbagai bagian bisnis.
Berapa banyak dana yang akhirnya dialokasikan, dan kepada siapa, bergantung pada prioritas organisasi dan seberapa jauh proyek tersebut akan dirilis.
Jika pegawai Meta AI berselisih soal alokasi, maka akan diserahkan kepada atasannya yaitu Pineau untuk diproses.
Dalam wawancara tersebut, Pineau mengakui bahwa ada ketegangan antara tim LLaMA dan OPT mengenai distribusi daya komputasi, dan menambahkan, "Kami mencoba menemukan cara untuk mendengarkan suara semua orang, meskipun kami tidak dapat memenuhi kebutuhan semua orang."
Bagi sebagian peneliti, ini terasa seperti sebuah perlombaan.
Beberapa eksekutif Meta AI juga mempertanyakan mengapa kedua tim mengerjakan proyek serupa tetapi bersaing satu sama lain untuk mendapatkan sumber daya yang terbatas.
Perubahan Besar Februari
Ketegangan antara kedua tim mencapai puncaknya pada bulan Februari tahun ini.
Baru bulan ini, dalam upaya mengejar pesaing, Meta AI merilis LLaMA sebagai model sumber terbuka untuk pertama kalinya, yang dilisensikan untuk tujuan penelitian.
Faktanya, satu minggu sebelum rilis, Antoine Bordes, salah satu direktur Meta AI dan kepala cabang Paris, meninggalkan Meta.Alasan eksternal meninggalkan Meta adalah karena jam kerja yang sama melelahkannya dengan di California.
Kini, Bordes telah bergabung dengan perusahaan kecerdasan buatan Helsing.
Kepergiannya semakin mengisolasi tim LLaMA dari para eksekutif Amerika Utara, kata orang-orang yang mengetahui masalah tersebut. Selain itu, Pineau juga mengakui kepergian Bordes “membawa ketidakpastian” pada tim.
Hal ini bukan hanya masalah frustrasinya semangat penelitian di tim LLaMA, di saat yang sama, tim OPT juga menghadapi masalah pergantian staf dalam beberapa bulan terakhir.
Dikatakan bahwa model lebih besar yang dikembangkan oleh tim OPT langsung ditinggalkan oleh Meta. Tidak sulit untuk memahami bahwa hilangnya personel OPT berhubungan langsung dengan keputusan ini.
Menurut profil Linkedin penulis penelitian, setengah dari 19 penulis makalah OPT telah meninggalkan Meta.
Alamat kertas:
Pineau, kepala "Penelitian AI Dasar", berkata tanpa daya, "Ketika semua tim ingin meningkatkan model saat ini, maka Anda dapat memilih salah satu dari mereka, atau membiarkan mereka bekerja sama."
Reorganisasi tim, posisi tidak jelas
Saat semua ini terjadi, Meta AI juga kewalahan dengan seringnya perubahan yang dilakukan perusahaan.
Sejak November tahun lalu, Xiao Zha telah beberapa kali melakukan PHK di seluruh perusahaan. Diantaranya, Meta AI pun tak luput.
Pada bulan Februari tahun ini, para pemimpin Meta AI memutuskan untuk mengumpulkan beberapa anggota tim LLaMA dan OPT yang bersaing untuk secara resmi membentuk tim "AI Generatif" (dipimpin oleh mantan eksekutif Apple Ahmad Al-Dahle), dan juga ditransfer dari Meta AI A sejumlah besar orang.
Faktanya, kita bisa melihat banyak penulis LLaMA dan OPT di makalah Llama 2.
Misalnya di tim OPT, Moya Chen, Todor Mihaylov, dan Punit Singh Koura bergabung dengan tim "Generative AI".
Pada tim LLaMA generasi pertama, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal, Aurelien Rodriguez bergabung dengan tim "Generative AI".
Menariknya, dalam ucapan terima kasih kepada Llama 2, tiga dari empat tim yang pertama kali menggagas penelitian ini telah mengundurkan diri, dan hanya Edouard Grave yang masih bertahan.
Terlepas dari kesuksesan model open source LLaMA yang terkenal, ketegangan antar peneliti terus meningkat seiring dengan terus berubahnya sikap Meta terhadap penelitian AI.
Secara tradisional, Meta AI memiliki budaya bottom-up yang dipimpin oleh para peneliti, memungkinkan tim untuk fokus pada bidang AI dan membuat kemajuan terobosan.
Namun ketika Xiao Zha semakin cenderung untuk mengintegrasikan AI ke dalam aplikasi Meta, fokus Meta AI juga menyempit - membubarkan penelitian yang tidak berorientasi pada produk, seperti pelipatan protein.
Pada saat yang sama, proyek-proyek baru juga "berulang kali melompat" antara tim AI generatif dan Meta AI.
Misalnya, Llama 2, dirilis oleh Meta pada bulan Juli, dan Code Llama, yang berspesialisasi dalam pembuatan kode, dirilis pada bulan Agustus, masing-masing bertanggung jawab atas dua tim.
Dalam hal ini, Pineau berkata, "Bidang ini berkembang terlalu cepat. Kami masih menjajaki, proyek mana yang harus menjadi tanggung jawab Meta AI? Proyek mana yang harus menjadi tanggung jawab tim AI generatif?"
Di depan panggung, model open source cemerlang dan indah, namun di balik layar, gelombang pengunduran diri peneliti AI, perselisihan mengenai kekuatan komputasi, dan reorganisasi tim telah membawa banyak ketidakpastian pada upaya Meta untuk mengejar lawan-lawannya di bidang teknologi. AI.
Referensi:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Sebagian besar penulis asli inti LLaMA telah mengundurkan diri, dan kisah dalam Meta AI telah terungkap! Persaingan untuk mendapatkan daya komputasi sangat ketat, dan anggota tim model besar berganti selama tiga putaran berturut-turut
Sumber asli: Xinzhiyuan
Dalam enam bulan terakhir, popularitas ChatGPT benar-benar membuat Meta tidak bisa duduk diam.
Dari rilis seri model LLaMA skala besar open source pada bulan Februari, hingga peningkatan Llama 2, dan kemudian ke model pengkodean Kode Llama, Meta dapat dikatakan mempertaruhkan segalanya pada ALL IN AI.
Dalam komunitas open source, penelitian gratis dan komersialisasi model seri Llama secara langsung memicu perpecahan model pengganti.
Namun, saat Meta sedang berjaya, tim AI menghadapi gelombang pengunduran diri.
Informasi secara eksklusif melaporkan bahwa sebagian besar anggota tim proyek LLaMA dan OPT telah mengundurkan diri karena perselisihan daya komputasi internal.
Kepergian sebagian besar peneliti Meta baru saja mengungkap bahwa kekurangan daya komputasi adalah masalah inti tata letak AI generatif.
14 penulis makalah LLaMA, setengahnya mengundurkan diri
Dari dunia luar, raksasa teknologi memiliki lebih banyak sumber daya komputasi dibandingkan kebanyakan perusahaan. Beberapa perusahaan, termasuk Meta, dengan suara bulat menekankan bahwa mereka "KAYA GPU" ketika merekrut peneliti AI.
Namun nyatanya saya tahu betul bahwa persediaan sumber daya komputasi Meta juga terbatas.
Akibatnya, perselisihan kekuatan komputasi dimulai di tim internal, menyebabkan banyak orang meninggalkan Meta.
Secara khusus, lebih dari separuh dari 14 pembuat model LLaMA generasi pertama yang dirilis pada Februari tahun ini telah mengundurkan diri.
Ada yang beralih ke startup AI, ada pula yang bergabung dengan raksasa teknologi.
Ilmuwan penelitian dan insinyur yang meninggalkan Meta termasuk Timothée Lacroix, Guillaume Lample dan Marie-Anne Lachaux, rekan penulis makalah asli LLaMA.
Mereka sekarang bekerja di startup Perancis Mistral AI, yang didirikan bersama oleh Lacroix dan Lample pada bulan Juni.
Gelombang kepergian yang dihadapi Meta menyoroti tantangan perusahaan teknologi besar untuk mengatasi lonjakan permintaan akan talenta kecerdasan buatan.
Dalam gelombang model besar saat ini, perusahaan-perusahaan teknologi besar sangat ingin mengintegrasikan AI ke dalam produk dan layanan mereka karena takut ketinggalan.
Kyle Langworthy, seorang eksekutif di Riviera Partners, mengatakan perusahaan-perusahaan yang "haus akan bakat" bersiap untuk merekrut peneliti kecerdasan buatan Meta.
Pada bulan Februari, setelah peluncuran LLaMA yang menyulut antusiasme komunitas, Xiao Zha pernah mengumumkan langkah besar perusahaannya ke dunia luar dalam semalam: pembentukan tim produk unggulan, dengan fokus pada AIGC.
Singkatnya, Xiao Zha menempatkan fokus inti masa depan Meta pada kecerdasan buatan generatif dalam upaya mengejar pesaing seperti Google, Microsoft, dan OpenAI.
Dan "metaverse" yang All In pada tahun 2021 juga ditempatkan di posisi sekunder.
Setelah penelitian ini dirilis, penelitian ini mendapat tanggapan yang luar biasa di komunitas open source dan menerima pujian dengan suara bulat.
Kini, dengan hilangnya peneliti berpengalaman, Meta kembali menghadapi kendala dalam mengejar ketertinggalan para pesaingnya.
Pertarungan kekuatan komputasi antara LLaMA dan OPT
Pada tahun 2013, setelah Yann LeCun bergabung dengan Meta, ia mendirikan laboratorium penelitian kecerdasan buatan Meta AI (sebelumnya FAIR) saat ia menjabat sebagai direktur penelitian AI.
Selain laboratorium utamanya di Menlo Park, California, dan New York (tempat LeCun berada), Meta AI memiliki kantor di Montreal (tempat Pineau berada), Paris, London, dan Seattle.
Namun, setelah munculnya ChatGPT, para eksekutif perusahaan menjadi lebih bersemangat untuk mengintegrasikan AI ke dalam produk pada tingkat yang lebih dalam.
Faktanya, Meta telah mengembangkan LLM sendiri sebelum ChatGPT dirilis.
Pada Mei 2022, tim Meta AI Amerika Utara mengumumkan dan membuka sumber model besar OPT-175B.
Meta mengklaim bahwa model ini mengonsumsi lebih sedikit energi dibandingkan GPT-3, meskipun kedua model tersebut belajar dalam jumlah yang sama secara kuantitatif selama pelatihan.
Pada saat yang sama, tim Meta AI lainnya di Paris telah mulai mengembangkan model bahasa berskala besar yang terpisah, yang juga dikenal sebagai LLaMA.
Modelnya lebih kecil dari OPT, kata masyarakat. Tim peneliti percaya bahwa model yang lebih kecil akan lebih efisien dalam inferensi.
Kemudian muncul masalah. Tim dari dua laboratorium di Amerika Utara dan Paris mulai bersaing untuk mendapatkan akses sumber daya komputasi, yang pada akhirnya memperparah perselisihan antar tim internal.
Secara khusus, tim LLaMA merasa diabaikan karena modelnya kecil, tetapi menerima sumber daya komputasi yang jauh lebih sedikit dibandingkan tim OPT Amerika Utara.
Joelle Pineau, kepala "Penelitian AI Dasar" mengatakan,
Jika pegawai Meta AI berselisih soal alokasi, maka akan diserahkan kepada atasannya yaitu Pineau untuk diproses.
Dalam wawancara tersebut, Pineau mengakui bahwa ada ketegangan antara tim LLaMA dan OPT mengenai distribusi daya komputasi, dan menambahkan, "Kami mencoba menemukan cara untuk mendengarkan suara semua orang, meskipun kami tidak dapat memenuhi kebutuhan semua orang."
Bagi sebagian peneliti, ini terasa seperti sebuah perlombaan.
Beberapa eksekutif Meta AI juga mempertanyakan mengapa kedua tim mengerjakan proyek serupa tetapi bersaing satu sama lain untuk mendapatkan sumber daya yang terbatas.
Perubahan Besar Februari
Ketegangan antara kedua tim mencapai puncaknya pada bulan Februari tahun ini.
Baru bulan ini, dalam upaya mengejar pesaing, Meta AI merilis LLaMA sebagai model sumber terbuka untuk pertama kalinya, yang dilisensikan untuk tujuan penelitian.
Faktanya, satu minggu sebelum rilis, Antoine Bordes, salah satu direktur Meta AI dan kepala cabang Paris, meninggalkan Meta.Alasan eksternal meninggalkan Meta adalah karena jam kerja yang sama melelahkannya dengan di California.
Kini, Bordes telah bergabung dengan perusahaan kecerdasan buatan Helsing.
Hal ini bukan hanya masalah frustrasinya semangat penelitian di tim LLaMA, di saat yang sama, tim OPT juga menghadapi masalah pergantian staf dalam beberapa bulan terakhir.
Dikatakan bahwa model lebih besar yang dikembangkan oleh tim OPT langsung ditinggalkan oleh Meta. Tidak sulit untuk memahami bahwa hilangnya personel OPT berhubungan langsung dengan keputusan ini.
Menurut profil Linkedin penulis penelitian, setengah dari 19 penulis makalah OPT telah meninggalkan Meta.
Pineau, kepala "Penelitian AI Dasar", berkata tanpa daya, "Ketika semua tim ingin meningkatkan model saat ini, maka Anda dapat memilih salah satu dari mereka, atau membiarkan mereka bekerja sama."
Reorganisasi tim, posisi tidak jelas
Saat semua ini terjadi, Meta AI juga kewalahan dengan seringnya perubahan yang dilakukan perusahaan.
Sejak November tahun lalu, Xiao Zha telah beberapa kali melakukan PHK di seluruh perusahaan. Diantaranya, Meta AI pun tak luput.
Pada bulan Februari tahun ini, para pemimpin Meta AI memutuskan untuk mengumpulkan beberapa anggota tim LLaMA dan OPT yang bersaing untuk secara resmi membentuk tim "AI Generatif" (dipimpin oleh mantan eksekutif Apple Ahmad Al-Dahle), dan juga ditransfer dari Meta AI A sejumlah besar orang.
Faktanya, kita bisa melihat banyak penulis LLaMA dan OPT di makalah Llama 2.
Misalnya di tim OPT, Moya Chen, Todor Mihaylov, dan Punit Singh Koura bergabung dengan tim "Generative AI".
Pada tim LLaMA generasi pertama, Hugo Touvron, Thibaut Lavril, Xavier Martinet, Marie-Anne Lachaux, Naman Goyal, Aurelien Rodriguez bergabung dengan tim "Generative AI".
Menariknya, dalam ucapan terima kasih kepada Llama 2, tiga dari empat tim yang pertama kali menggagas penelitian ini telah mengundurkan diri, dan hanya Edouard Grave yang masih bertahan.
Secara tradisional, Meta AI memiliki budaya bottom-up yang dipimpin oleh para peneliti, memungkinkan tim untuk fokus pada bidang AI dan membuat kemajuan terobosan.
Namun ketika Xiao Zha semakin cenderung untuk mengintegrasikan AI ke dalam aplikasi Meta, fokus Meta AI juga menyempit - membubarkan penelitian yang tidak berorientasi pada produk, seperti pelipatan protein.
Misalnya, Llama 2, dirilis oleh Meta pada bulan Juli, dan Code Llama, yang berspesialisasi dalam pembuatan kode, dirilis pada bulan Agustus, masing-masing bertanggung jawab atas dua tim.
Di depan panggung, model open source cemerlang dan indah, namun di balik layar, gelombang pengunduran diri peneliti AI, perselisihan mengenai kekuatan komputasi, dan reorganisasi tim telah membawa banyak ketidakpastian pada upaya Meta untuk mengejar lawan-lawannya di bidang teknologi. AI.
Referensi: