Kode Resmi Llama open source: gratis untuk penggunaan komersial, versi misteriusnya mendekati GPT-4

Sumber: Jantung Mesin

Editor: Du Wei, Chen Ping

Saat ini, keluarga model Llama open source Meta menghadirkan anggota baru - Code Llama, model dasar yang berspesialisasi dalam pembuatan kode.

Sebagai versi Llama 2 yang spesifik kode, Code Llama disempurnakan dan dilatih lebih lanjut pada kumpulan data kode tertentu.

Meta mengatakan perjanjian open source Code Llama, seperti Llama 2, gratis untuk tujuan penelitian dan komersial.

Makalah terkait "Code Llama: Open Foundation Models for Code" telah diterbitkan, dengan 47 halaman dan 25 penulis.

Alamat kertas:

Alamat GitHub:

Ada tiga versi model rangkaian Code Llama dengan jumlah parameter 7B, 13B dan 34B. Dan mendukung berbagai bahasa pemrograman, termasuk Python, C++, Java, PHP, Type (Java), C#, dan Bash.

Code Llama secara stabil mendukung pembuatan konteks hingga 100.000 token. Gambar 2 di bawah menunjukkan proses penyempurnaan Code Llama.

Dalam hal dampaknya, tingkat kelulusan (pass@1) berbagai versi Kode Llama pada kumpulan data Manusia dan MBPP dapat melampaui GPT-3.5.

Selain itu, pass@1 versi 34B "Tidak Wajar" Kode Llama pada kumpulan data Manusia mendekati GPT-4 (62,2% vs 67,0%). Meta tidak merilis versi ini, tetapi mencapai peningkatan kinerja yang signifikan dengan melatih sejumlah kecil data yang dikodekan berkualitas tinggi.

Edisi khusus ini menarik perhatian banyak orang, termasuk Andrej Karpathy, mantan direktur AI di Tesla dan kembali ke OpenAI.

Meskipun disebutkan dalam artikel bahwa ini adalah "Kode Llama-Python versi 34B yang disempurnakan pada 15.000 instruksi yang tidak wajar", Karpathy masih penasaran dengan "nama misterius, deskripsi yang tidak jelas, dan menghancurkan model kerahasiaan lainnya".

Cara Kerja Kode Llama

Kode Llama memiliki kemampuan pengkodean yang sangat kuat. Ia dapat menghasilkan kode berdasarkan kode dan perintah bahasa alami (misalnya, perintah masukan pengguna "Bantu saya menulis fungsi yang mengeluarkan deret Fibonacci.") Ini juga dapat membantu pengguna dengan penyelesaian kode dan debugging kode.

Tiga versi parameter model Code Llama dilatih menggunakan token kode 500B dan data terkait kode. Model dasar dan instruksi 7B dan 13B juga dilatih FIM (fill-in-the-middle), memungkinkan kode untuk dimasukkan ke dalam kode yang sudah ada, yang berarti mereka dapat mendukung tugas-tugas seperti penyelesaian kode secara langsung.

Tabel berikut adalah kumpulan data pelatihan Code Llama.

Dengan ketiga model tersebut, persyaratan layanan dan latensi yang berbeda dapat dipenuhi. Misalnya, model 7B dapat berjalan pada satu GPU; model 34B memberikan hasil terbaik dan memberikan bantuan pengkodean yang lebih baik, namun dalam hal kecepatan, model 7B dan 13B yang lebih kecil lebih cepat dan lebih cocok untuk tugas-tugas latensi rendah seperti Penyelesaian kode langsung.

Code Llama tidak hanya menyediakan pembuatan stabil hingga 100.000 token konteks, tetapi juga hingga 16.000 rangkaian token pelatihan untuk semua model. **

Selain menjadi prasyarat untuk menghasilkan program yang lebih panjang, memiliki urutan masukan yang lebih panjang juga membawa kemampuan baru pada Code Llama. Misalnya, pengguna dapat memberikan model dengan lebih banyak konteks dari basis kode mereka untuk membuat kode yang dihasilkan lebih relevan.

Perlu disebutkan bahwa Meta telah menyempurnakan Kode Llama dengan dua varian tambahan: **Code Llama - Python dan Code Llama - Instruct. **

Kode Llama-Python adalah varian dari Kode Llama, yang selanjutnya disempurnakan pada token 100B kode Python. Tabel berikut adalah kumpulan data pelatihan Code Llama-Python.

Code Llama - Instruct adalah varian Kode Llama yang didorong dan diselaraskan dengan instruksi untuk pemahaman yang lebih baik tentang perintah masukan. Meta merekomendasikan penggunaan varian Code Llama - Instruct saat menggunakan Code Llama untuk pembuatan kode, karena Code Llama - Instruct telah disempurnakan untuk menghasilkan jawaban yang berguna dan aman dalam bahasa alami.

Meta menyatakan bahwa mereka tidak merekomendasikan penggunaan Code Llama atau Code Llama - Python untuk tugas bahasa alami umum karena tidak ada model yang dirancang untuk mengikuti instruksi bahasa alami. Code Llama dirancang untuk tugas khusus kode dan tidak cocok sebagai model dasar untuk tugas lainnya.

Saat menggunakan model Code Llama, pengguna harus mematuhi Kebijakan Lisensi dan Penggunaan.

Bagaimana kinerja Kode Llama

Meta menggunakan dua tolok ukur pengkodean Manusia dan MBPP (Kebanyakan Pemrograman Python Dasar) untuk pengujian. Diantaranya, model pengujian Manusia didasarkan pada kemampuan string dokumen (docstrings) untuk melengkapi kode, dan model pengujian MBPP didasarkan pada kemampuan mendeskripsikan kode.

Hasilnya menunjukkan bahwa Code Llama mengungguli LLM sumber terbuka, LLM khusus tugas kode, dan mengungguli Llama2 miliknya sendiri. Misalnya, Code Llama 34B mendapat skor 53,7% pada Manusia dan 56,2% pada MBPP, yang merupakan yang terbaik dibandingkan dengan solusi sumber terbuka canggih lainnya dan sebanding dengan ChatGPT.

Namun, Code Llama juga memiliki risiko. Meta mengatakan bahwa membangun model AI yang bertanggung jawab sangatlah penting, dan mereka mengambil banyak langkah keselamatan sebelum merilis Code Llama. Sebagai bagian dari upaya pengujian tim merah, Meta melakukan penilaian kuantitatif terhadap risiko Code Llama menghasilkan kode berbahaya. Mereka membuat petunjuk dalam upaya membuat model menghasilkan kode berbahaya, dan membandingkan respons Code Llama terhadap petunjuk ini dengan ChatGPT (GPT3.5 Turbo). Ternyata jawaban Code Llama lebih aman.

Dari sudut pandang ini, Llama 2 yang kemampuan codingnya kurang kuat, telah diisi oleh Code Llama. Meta berharap kemunculan Code Llama dapat menginspirasi peneliti lain untuk menciptakan alat baru dan inovatif untuk penelitian dan produk komersial berbasis Llama 2.

Tautan referensi: