Banyak dari 14 penulis yang terlibat dalam penelitian Llama telah keluar.
Pada bulan Februari tahun ini, Meta "membuka sumber" seri model besar baru - Llama (Large Language Model Meta AI), dengan jumlah parameter berkisar antara 7 miliar hingga 65 miliar. Beberapa bulan kemudian, peluncuran Llama 2 mengantarkan komersialisasi model besar Banyak orang menggambarkan open source Llama 2 sebagai "momen Android" dari model besar.
Karena performa luar biasa dari model Llama dan Llama 2-series, banyak yang melihatnya sebagai alternatif sumber terbuka dan gratis dibandingkan model yang lebih besar seperti ChatGPT. Semua orang memuji Meta atas kontribusinya pada komunitas open source, namun bagi beberapa ilmuwan dan insinyur yang terlibat dalam proyek Llama, pujian itu terlalu sedikit dan sudah terlambat.
Menurut The Information, orang-orang yang mengetahui situasi internal mengatakan bahwa banyak orang yang terlibat dalam proyek Llama mengundurkan diri karena perselisihan internal antara tim peneliti lain di Meta dan tim Llama mengenai sumber daya komputasi. Tim tersebut sedang mengerjakan model yang bersaing, tetapi untuk beberapa alasan yang tidak diketahui akhirnya meninggalkannya.
Meskipun hal ini merupakan informasi orang dalam, kepergian mereka merupakan pengingat bahwa perusahaan teknologi besar dan kecil sedang bergulat dengan ketegangan karena kekurangan sumber daya komputasi saat mereka mengembangkan model AI generatif yang memerlukan chip khusus, dan chip tersebut tidak tersedia secara gratis. Perusahaan-perusahaan teknologi besar memiliki lebih banyak sumber daya komputasi dibandingkan kebanyakan perusahaan lainnya, sebuah fakta yang ditekankan oleh beberapa perusahaan, seperti Meta, ketika merekrut peneliti AI.
Kami melihat bahwa perusahaan besar sekalipun mempunyai sumber daya terbatas yang dapat mereka sediakan. Seiring dengan meningkatnya permintaan akan talenta AI, eksodus ini juga menyoroti tantangan yang dihadapi oleh perusahaan teknologi besar dalam mempertahankan talenta AI.
Makalah Llama "LLaMA: Open and Efficient Foundation Language Models" diterbitkan pada bulan Februari tahun ini. Penulisnya berjumlah 14 orang, dan kini beberapa di antaranya telah meninggalkan pekerjaannya. Ada yang pindah ke perusahaan start-up baru, dan ada pula yang memulai bisnis.
Alamat kertas:
Mari kita lihat siapa yang pergi.
Izacard Gautier
Gautier Izacard mulai bekerja di Meta pada tahun 2020 dan akan meninggalkan Meta pada bulan April 2023 untuk bergabung dengan start-up Inflection AI pada tahun 2022.
Infleksi AI memiliki banyak latar belakang. Tiga pendirinya adalah salah satu pendiri asli DeepMind Mustafa Suleyman, salah satu pendiri Linkedln Reid Hoffman, dan mantan kepala ilmuwan DeepMind Karen Simonyan. Pada bulan Juni tahun ini, Inflection AI juga mengumumkan bahwa perusahaan telah mengumpulkan $1,3 miliar dalam putaran pembiayaan baru, yang dipimpin oleh Microsoft, Nvidia, dan Reid Hoffman, Bill Gates, dan mantan CEO Google Eric Schmidt.
*Tiga salah satu pendiri Infleksi AI. *
Timothee Lacroix
Timothee Lacroix bergabung dengan Facebook AI Research Lab pada tahun 2015 sebagai insinyur penelitian. Pada Juni 2023, ia meninggalkan Meta (Facebook) dan bergabung dengan startup Prancis Mistral AI sebagai chief technology officer (CTO).
Armand Joulin
Armand Joulin menerima gelar PhD pada tahun 2012 dari INRIA dan ENS. Pada tahun 2014, Armand Joulin bergabung dengan Meta dan berturut-turut menjabat sebagai ilmuwan riset, manajer riset senior, dan direktur riset. Sebelum bergabung dengan Meta, Armand adalah peneliti postdoctoral di Universitas Stanford, bekerja dengan Daphne Koller dan Feifei Li. Pada Mei 2023, Armand Joulin mengundurkan diri dari Meta.
Guillaume Lample
Guillaume Lample kini menjadi salah satu pendiri dan kepala ilmuwan Mistral AI. Dia meninggalkan Meta pada bulan Maret tahun ini, setelah bekerja di sini selama lebih dari enam tahun. Posisi sebelumnya di Meta adalah sebagai ilmuwan riset.
Guillaume Lample lulus dari Universitas Carnegie Mellon dengan gelar master dan gelar Ph.D.dari Universitas Paris VI.
Terakhir, kami memperkenalkan startup Mistral AI yang didirikan pada Mei tahun ini. Organisasi ini terutama berfokus pada penelitian dan pengembangan model AI generatif dan bersaing dengan OpenAI. Para pendirinya termasuk Arthur MENSCH (dan CEO), Guillaume Lample (dan kepala ilmuwan), dan Timothee Lacroix adalah chief technology officer.
Menurut Techcrunch, mereka berencana merilis model kecerdasan buatan generatif berbasis teks pertama pada tahun 2024. Pada bulan Juni tahun ini, Mistral AI, yang baru berusia 4 minggu, menerima pendanaan putaran awal sebesar US$113 juta.
Guillaume Lample dan Timothee Lacroix telah diperkenalkan sebelumnya. Arthur MENSCH, sebagai CEO, telah bekerja di DeepMind (sekarang bergabung dengan Google DeepMind) selama lebih dari 2 tahun dan berpartisipasi dalam penelitian Flamingo, model bahasa visual.
referensi:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Meta terkena pertikaian internal yang sengit karena perampokan sumber daya komputasi, dan banyak penulis Llama keluar
Editor: Xiaozhou, Chen Ping
Pada bulan Februari tahun ini, Meta "membuka sumber" seri model besar baru - Llama (Large Language Model Meta AI), dengan jumlah parameter berkisar antara 7 miliar hingga 65 miliar. Beberapa bulan kemudian, peluncuran Llama 2 mengantarkan komersialisasi model besar Banyak orang menggambarkan open source Llama 2 sebagai "momen Android" dari model besar.
Karena performa luar biasa dari model Llama dan Llama 2-series, banyak yang melihatnya sebagai alternatif sumber terbuka dan gratis dibandingkan model yang lebih besar seperti ChatGPT. Semua orang memuji Meta atas kontribusinya pada komunitas open source, namun bagi beberapa ilmuwan dan insinyur yang terlibat dalam proyek Llama, pujian itu terlalu sedikit dan sudah terlambat.
Menurut The Information, orang-orang yang mengetahui situasi internal mengatakan bahwa banyak orang yang terlibat dalam proyek Llama mengundurkan diri karena perselisihan internal antara tim peneliti lain di Meta dan tim Llama mengenai sumber daya komputasi. Tim tersebut sedang mengerjakan model yang bersaing, tetapi untuk beberapa alasan yang tidak diketahui akhirnya meninggalkannya.
Meskipun hal ini merupakan informasi orang dalam, kepergian mereka merupakan pengingat bahwa perusahaan teknologi besar dan kecil sedang bergulat dengan ketegangan karena kekurangan sumber daya komputasi saat mereka mengembangkan model AI generatif yang memerlukan chip khusus, dan chip tersebut tidak tersedia secara gratis. Perusahaan-perusahaan teknologi besar memiliki lebih banyak sumber daya komputasi dibandingkan kebanyakan perusahaan lainnya, sebuah fakta yang ditekankan oleh beberapa perusahaan, seperti Meta, ketika merekrut peneliti AI.
Kami melihat bahwa perusahaan besar sekalipun mempunyai sumber daya terbatas yang dapat mereka sediakan. Seiring dengan meningkatnya permintaan akan talenta AI, eksodus ini juga menyoroti tantangan yang dihadapi oleh perusahaan teknologi besar dalam mempertahankan talenta AI.
Makalah Llama "LLaMA: Open and Efficient Foundation Language Models" diterbitkan pada bulan Februari tahun ini. Penulisnya berjumlah 14 orang, dan kini beberapa di antaranya telah meninggalkan pekerjaannya. Ada yang pindah ke perusahaan start-up baru, dan ada pula yang memulai bisnis.
Mari kita lihat siapa yang pergi.
Izacard Gautier
Infleksi AI memiliki banyak latar belakang. Tiga pendirinya adalah salah satu pendiri asli DeepMind Mustafa Suleyman, salah satu pendiri Linkedln Reid Hoffman, dan mantan kepala ilmuwan DeepMind Karen Simonyan. Pada bulan Juni tahun ini, Inflection AI juga mengumumkan bahwa perusahaan telah mengumpulkan $1,3 miliar dalam putaran pembiayaan baru, yang dipimpin oleh Microsoft, Nvidia, dan Reid Hoffman, Bill Gates, dan mantan CEO Google Eric Schmidt.
Timothee Lacroix
Armand Joulin
Guillaume Lample
Guillaume Lample lulus dari Universitas Carnegie Mellon dengan gelar master dan gelar Ph.D.dari Universitas Paris VI.
Terakhir, kami memperkenalkan startup Mistral AI yang didirikan pada Mei tahun ini. Organisasi ini terutama berfokus pada penelitian dan pengembangan model AI generatif dan bersaing dengan OpenAI. Para pendirinya termasuk Arthur MENSCH (dan CEO), Guillaume Lample (dan kepala ilmuwan), dan Timothee Lacroix adalah chief technology officer.
Guillaume Lample dan Timothee Lacroix telah diperkenalkan sebelumnya. Arthur MENSCH, sebagai CEO, telah bekerja di DeepMind (sekarang bergabung dengan Google DeepMind) selama lebih dari 2 tahun dan berpartisipasi dalam penelitian Flamingo, model bahasa visual.