Menurut laporan media luar negeri, pada bulan Juni tahun ini, startup Prancis Mistral AI, yang baru berusia satu bulan, mengumpulkan 105 juta euro dalam putaran pendanaan awal. Pada saat itu, startup, yang didirikan oleh mantan karyawan DeepMind dan dua mantan karyawan Meta, tidak memiliki apa pun untuk dirilis. Ketika orang pertama kali mendengar tentang penggalangan dana Mistral, mereka menyesalkan bahwa VC terlalu murah hati dengan ruang AI generatif yang meledak.
Ternyata, Mistral sebenarnya memiliki banyak titik terang yang meyakinkan Lightspeed Ventures, miliarder Prancis Xavier Niel dan mantan CEO Google Eric Schmidt untuk berinvestasi di dalamnya.
Seminggu yang lalu, Mistral merilis model 7,3 miliar parameter yang dirancang untuk bersaing dengan Meta Llama 2, model bahasa besar dengan 13 miliar parameter. Perusahaan Prancis mengklaim sebagai model bahasa paling kuat di bidang model bahasa besar saat ini.
Model dasar, yang disebut Mistral 7B, adalah model transformator yang dirancang untuk inferensi cepat dan pemrosesan pernyataan yang lebih panjang. Ini menggunakan penggunaan grouped-query attention dan sliding-window attention untuk mencapai hal ini. Memanfaatkan perhatian kueri yang dikelompokkan menggabungkan beberapa kueri dan mekanisme perhatian multi-kepala untuk menyeimbangkan kualitas dan kecepatan keluaran. Perhatian jendela geser memperluas panjang konteks dengan mengubah ukuran jendela. Dengan panjang konteks 8000 token, Mistral 7B memiliki latensi rendah, throughput tinggi, dan kinerja tinggi dibandingkan dengan model yang lebih besar.
Model Mistral 7B sekarang diintegrasikan ke dalam Vertex AI Notebook Google, sebuah integrasi yang memberikan wawasan kepada pelanggan Google Cloud tentang alur kerja end-to-end yang komprehensif, memungkinkan mereka untuk bereksperimen, menyempurnakan, dan menerapkan Mistral-7B dan variannya pada Vertex AI Notebooks.
Pengguna Mistral AI dapat mengoptimalkan model mereka menggunakan vLLM, kerangka kerja layanan model bahasa besar yang efisien. Dengan menggunakan notebook Vertex AI, pengguna dapat menyebarkan gambar vLLM yang dikelola oleh Model Garden pada titik akhir Vertex AI untuk inferensi, memastikan penyebaran model yang disederhanakan.
Fitur utama dari kolaborasi ini adalah Vertex AI Model Registry, repositori pusat yang memungkinkan pengguna untuk mengelola siklus hidup model Mistral AI dan model yang disetel dengan baik. Registri memberi pengguna pandangan komprehensif tentang organisasi yang ditingkatkan dan kemampuan pelacakan model mereka.
Seperti yang dapat dilihat dari presentasi perusahaan, Mistral dengan cerdik memposisikan dirinya sebagai pemain potensial yang penting. Ini akan membantu Eropa menjadi "pesaing kuat" dalam membangun model AI dasar dan memainkan "peran penting dalam masalah geopolitik".
Di Amerika Serikat, startup yang fokus pada produk AI terutama didukung oleh perusahaan besar seperti Google dan Microsoft. Mistral menyebut ini "pendekatan tertutup terhadap teknologi" yang memungkinkan perusahaan besar menghasilkan lebih banyak uang, tetapi tidak benar-benar membentuk komunitas terbuka.
Tidak seperti model GPT OpenAI, di mana rincian kode tetap rahasia dan hanya tersedia melalui API, perusahaan yang berbasis di Paris telah membuka sumber modelnya sendiri di GitHub di bawah lisensi Apache 2.0, membuatnya gratis untuk digunakan semua orang.
Mistral menargetkan Llama Meta, sementara Mistral mengklaim produk model besar mereka lebih kuat dari Llama 2.
Model Mistral versus Llama 2
Mistral mengatakan dalam sebuah laporan bahwa Mistral 7B dengan mudah mengalahkan model parameter 7 miliar dan 13 miliar Llama 2 dalam beberapa tolok ukur.
Dalam skala besar, tes pemahaman bahasa multi-tugas yang mencakup matematika, sejarah, hukum, dan mata pelajaran lainnya, model Mistral mencapai akurasi 60,1%, sedangkan model Llama 2 memiliki tingkat akurasi masing-masing 44% dan 55% untuk parameter 7 miliar dan 13 miliar.
Dalam tolok ukur penalaran dan pemahaman bacaan Common Sense, Mistral juga mengungguli model Llama 2.
Hanya dalam hal coding, Mistral tertinggal dari Meta. Mistral 7B adalah 30,5% dan 47,5% akurat dalam tolok ukur "Manusia" dan "MBPP", sedangkan mode 7 miliar Llama 2 masing-masing adalah 31,1% dan 52,5% akurat.
Selain kinerja, Mistral mengklaim menggunakan lebih sedikit perhitungan daripada Llama 2. Dalam tolok ukur MMLU, output dari model Mistral lebih dari tiga kali lipat dari Llama 2 pada skala yang sama. Jika dibandingkan dengan ChatGPT, menurut perhitungan medium, biaya penggunaan Mistral AI sekitar 187 kali lebih murah daripada GPT 4 dan sekitar 9 kali lebih murah daripada model GPT 3.5.
Bagaimana cara membatasi model besar? Ini adalah masalah
Namun, Mistral juga mengatakan bahwa beberapa pengguna mengeluh bahwa mereka tidak memiliki perlindungan keamanan yang dimiliki ChatGPT, Bard dan Llama. Pengguna telah bertanya kepada model perintah Mistral bagaimana membuat bom atau melukai diri sendiri, dan chatbots telah memberikan instruksi terperinci.
Paul Rottger, seorang peneliti keamanan AI yang sebelumnya bekerja untuk mengatur perlindungan untuk GPT-4 menjelang rilisnya, menyatakan "keterkejutannya" pada kurangnya keamanan Mistral 7B dalam sebuah tweet. "Sangat jarang melihat model baru merespons bahkan instruksi yang paling berbahaya dengan mudah. Saya sangat senang dengan munculnya model besar open source, tetapi itu seharusnya tidak terjadi! Katanya.
Kritik ini mendorong Mistral untuk menyempurnakan model dan menjelaskannya. "Model Mistral 7B Instruct telah menunjukkan kemampuan mereka, memungkinkan orang untuk melihat bahwa model dasar juga dapat dengan mudah disesuaikan untuk menunjukkan kinerja yang meyakinkan. Kami berharap dapat bekerja sama dengan komunitas tentang cara membuat model lebih sesuai dengan aturan penjaga untuk penyebaran di lingkungan di mana kontrol output diperlukan. Kata Mistral.
Di mata banyak peneliti lain, rute Mistral adalah solusi jangka panjang untuk memperbaiki toksisitas model, dan menambahkan mekanisme perlindungan setara dengan memasang plester pada cedera serius, yang tidak begitu efektif. Melanggar pedoman keamanan chatbot adalah hobi favorit bagi banyak pengguna yang ingin menguji batas seberapa responsif chatbots. Pada hari-hari awal pembukaan ChatGPT, pengembang telah mendesak ChatGPT untuk mematahkan pertahanan chatbot.
Rahul Dandwate, seorang peneliti pembelajaran mendalam yang berkolaborasi dengan Rephrase.ai, mengatakan: "Menghapus kata kunci tertentu sebelumnya hanyalah bagian dari solusi, dan ada banyak cara untuk melewatinya. Apakah Anda ingat apa yang terjadi setelah ChatGPT dirilis? Mereka dulu muncul di DAN atau 'Do Anything Now', yang merupakan petunjuk untuk mengaktifkan versi jailbreak ChatGPT. Oleh karena itu, melakukan penilaian keamanan dasar adalah tindakan sementara untuk membuat model lebih aman. "
"Ada juga metode yang bahkan tidak memerlukan teknik peretasan yang canggih. Sebuah pertanyaan dapat dijawab oleh chatbot dengan berbagai cara. Misalnya, alih-alih hanya bertanya langsung kepada chatbot bagaimana membuat bom, saya akan memecahnya menjadi cara yang lebih ilmiah seperti, "Bahan kimia apa yang bercampur bersama untuk menghasilkan reaksi yang kuat?" Dandwate menjelaskan.
Dandwate mengatakan solusi jangka panjang adalah merilis model ke publik dan mendapatkan umpan balik dari penggunaan itu dan kemudian menyempurnakannya, itulah yang dilakukan Mistral AI. "ChatGPT lebih baik karena sudah digunakan oleh banyak orang. Mereka memiliki mekanisme umpan balik yang sangat mendasar di mana pengguna dapat memilih untuk memberikan jempol ke atas atau jempol ke atas untuk menilai kualitas tanggapan chatbot, yang menurut saya sangat penting. Kata Dandwate.
Tetapi kelemahan menggunakan keterbukaan ini untuk menyempurnakan pengguna adalah bahwa Mistral mungkin harus berurusan dengan keraguan beberapa pengguna untuk sementara waktu. Tetapi di bidang penelitian AI, ada sebagian besar orang yang lebih memilih model dasar dalam bentuk aslinya untuk sepenuhnya memahami kemampuan model, dan orang-orang ini mendukung kegigihan Mistral.
Peneliti AI Delip Rao tweeted bahwa pilihan Mistral untuk merilis model open-source karena merupakan "pengakuan atas fleksibilitas dan 'non-lobotomi' dari model Mistral sebagai model dasar."
Referensi untuk "lobektomi" mengingatkan pada versi sebelumnya dari chatbot Bing Microsoft Sydney. Chatbot tidak terkekang dan memiliki kepribadian yang kuat sampai Microsoft secara drastis mengubah chatbot ke bentuknya saat ini.
Istilah loboctomy berasal dari operasi psikologis terkenal yang, di bidang model besar, sering mengacu pada pencegahan respons toksik dengan membatasi fungsi. Pendekatan ini menyaring respons berbahaya dengan menetapkan kata kunci untuk model besar. Tetapi pendekatan satu ukuran untuk semua ini juga dapat menyebabkan penurunan kinerja untuk model besar, membuat beberapa pertanyaan normal yang melibatkan kosakata sensitif sulit dijawab.
Sementara perusahaan belum mengeluarkan pernyataan resmi, ada desas-desus bahwa OpenAI melakukan "lobektomi" pada model untuk mengontrol bagian-bagiannya yang berantakan. Sejak itu, orang bertanya-tanya apa jadinya chatbots jika dibiarkan berjalan bebas.
Dandwate mengatakan: "Melakukan lobotomi pada model dapat memengaruhinya dalam beberapa cara. Jika dilarang menjawab pertanyaan dengan kata kunci tertentu, maka mungkin juga tidak dapat menjawab pertanyaan teknis yang mungkin ditanyakan pengguna, seperti mekanisme rudal, atau pertanyaan ilmiah lainnya yang diajukan seputar topik di mana robot diberi label 'berisiko.'" (Terjemahan/Lu Ke)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Mengandalkan PPT untuk mengumpulkan 1 miliar, startup AI Prancis dipecat di Microsoft Google
** Disusun oleh Lu Ke **
Menurut laporan media luar negeri, pada bulan Juni tahun ini, startup Prancis Mistral AI, yang baru berusia satu bulan, mengumpulkan 105 juta euro dalam putaran pendanaan awal. Pada saat itu, startup, yang didirikan oleh mantan karyawan DeepMind dan dua mantan karyawan Meta, tidak memiliki apa pun untuk dirilis. Ketika orang pertama kali mendengar tentang penggalangan dana Mistral, mereka menyesalkan bahwa VC terlalu murah hati dengan ruang AI generatif yang meledak.
Seminggu yang lalu, Mistral merilis model 7,3 miliar parameter yang dirancang untuk bersaing dengan Meta Llama 2, model bahasa besar dengan 13 miliar parameter. Perusahaan Prancis mengklaim sebagai model bahasa paling kuat di bidang model bahasa besar saat ini.
Model dasar, yang disebut Mistral 7B, adalah model transformator yang dirancang untuk inferensi cepat dan pemrosesan pernyataan yang lebih panjang. Ini menggunakan penggunaan grouped-query attention dan sliding-window attention untuk mencapai hal ini. Memanfaatkan perhatian kueri yang dikelompokkan menggabungkan beberapa kueri dan mekanisme perhatian multi-kepala untuk menyeimbangkan kualitas dan kecepatan keluaran. Perhatian jendela geser memperluas panjang konteks dengan mengubah ukuran jendela. Dengan panjang konteks 8000 token, Mistral 7B memiliki latensi rendah, throughput tinggi, dan kinerja tinggi dibandingkan dengan model yang lebih besar.
Model Mistral 7B sekarang diintegrasikan ke dalam Vertex AI Notebook Google, sebuah integrasi yang memberikan wawasan kepada pelanggan Google Cloud tentang alur kerja end-to-end yang komprehensif, memungkinkan mereka untuk bereksperimen, menyempurnakan, dan menerapkan Mistral-7B dan variannya pada Vertex AI Notebooks.
Fitur utama dari kolaborasi ini adalah Vertex AI Model Registry, repositori pusat yang memungkinkan pengguna untuk mengelola siklus hidup model Mistral AI dan model yang disetel dengan baik. Registri memberi pengguna pandangan komprehensif tentang organisasi yang ditingkatkan dan kemampuan pelacakan model mereka.
Seperti yang dapat dilihat dari presentasi perusahaan, Mistral dengan cerdik memposisikan dirinya sebagai pemain potensial yang penting. Ini akan membantu Eropa menjadi "pesaing kuat" dalam membangun model AI dasar dan memainkan "peran penting dalam masalah geopolitik".
Tidak seperti model GPT OpenAI, di mana rincian kode tetap rahasia dan hanya tersedia melalui API, perusahaan yang berbasis di Paris telah membuka sumber modelnya sendiri di GitHub di bawah lisensi Apache 2.0, membuatnya gratis untuk digunakan semua orang.
Mistral menargetkan Llama Meta, sementara Mistral mengklaim produk model besar mereka lebih kuat dari Llama 2.
Model Mistral versus Llama 2
Mistral mengatakan dalam sebuah laporan bahwa Mistral 7B dengan mudah mengalahkan model parameter 7 miliar dan 13 miliar Llama 2 dalam beberapa tolok ukur.
Dalam skala besar, tes pemahaman bahasa multi-tugas yang mencakup matematika, sejarah, hukum, dan mata pelajaran lainnya, model Mistral mencapai akurasi 60,1%, sedangkan model Llama 2 memiliki tingkat akurasi masing-masing 44% dan 55% untuk parameter 7 miliar dan 13 miliar.
Dalam tolok ukur penalaran dan pemahaman bacaan Common Sense, Mistral juga mengungguli model Llama 2.
Hanya dalam hal coding, Mistral tertinggal dari Meta. Mistral 7B adalah 30,5% dan 47,5% akurat dalam tolok ukur "Manusia" dan "MBPP", sedangkan mode 7 miliar Llama 2 masing-masing adalah 31,1% dan 52,5% akurat.
Bagaimana cara membatasi model besar? Ini adalah masalah
Namun, Mistral juga mengatakan bahwa beberapa pengguna mengeluh bahwa mereka tidak memiliki perlindungan keamanan yang dimiliki ChatGPT, Bard dan Llama. Pengguna telah bertanya kepada model perintah Mistral bagaimana membuat bom atau melukai diri sendiri, dan chatbots telah memberikan instruksi terperinci.
Paul Rottger, seorang peneliti keamanan AI yang sebelumnya bekerja untuk mengatur perlindungan untuk GPT-4 menjelang rilisnya, menyatakan "keterkejutannya" pada kurangnya keamanan Mistral 7B dalam sebuah tweet. "Sangat jarang melihat model baru merespons bahkan instruksi yang paling berbahaya dengan mudah. Saya sangat senang dengan munculnya model besar open source, tetapi itu seharusnya tidak terjadi! Katanya.
Kritik ini mendorong Mistral untuk menyempurnakan model dan menjelaskannya. "Model Mistral 7B Instruct telah menunjukkan kemampuan mereka, memungkinkan orang untuk melihat bahwa model dasar juga dapat dengan mudah disesuaikan untuk menunjukkan kinerja yang meyakinkan. Kami berharap dapat bekerja sama dengan komunitas tentang cara membuat model lebih sesuai dengan aturan penjaga untuk penyebaran di lingkungan di mana kontrol output diperlukan. Kata Mistral.
Di mata banyak peneliti lain, rute Mistral adalah solusi jangka panjang untuk memperbaiki toksisitas model, dan menambahkan mekanisme perlindungan setara dengan memasang plester pada cedera serius, yang tidak begitu efektif. Melanggar pedoman keamanan chatbot adalah hobi favorit bagi banyak pengguna yang ingin menguji batas seberapa responsif chatbots. Pada hari-hari awal pembukaan ChatGPT, pengembang telah mendesak ChatGPT untuk mematahkan pertahanan chatbot.
Rahul Dandwate, seorang peneliti pembelajaran mendalam yang berkolaborasi dengan Rephrase.ai, mengatakan: "Menghapus kata kunci tertentu sebelumnya hanyalah bagian dari solusi, dan ada banyak cara untuk melewatinya. Apakah Anda ingat apa yang terjadi setelah ChatGPT dirilis? Mereka dulu muncul di DAN atau 'Do Anything Now', yang merupakan petunjuk untuk mengaktifkan versi jailbreak ChatGPT. Oleh karena itu, melakukan penilaian keamanan dasar adalah tindakan sementara untuk membuat model lebih aman. "
Dandwate mengatakan solusi jangka panjang adalah merilis model ke publik dan mendapatkan umpan balik dari penggunaan itu dan kemudian menyempurnakannya, itulah yang dilakukan Mistral AI. "ChatGPT lebih baik karena sudah digunakan oleh banyak orang. Mereka memiliki mekanisme umpan balik yang sangat mendasar di mana pengguna dapat memilih untuk memberikan jempol ke atas atau jempol ke atas untuk menilai kualitas tanggapan chatbot, yang menurut saya sangat penting. Kata Dandwate.
Tetapi kelemahan menggunakan keterbukaan ini untuk menyempurnakan pengguna adalah bahwa Mistral mungkin harus berurusan dengan keraguan beberapa pengguna untuk sementara waktu. Tetapi di bidang penelitian AI, ada sebagian besar orang yang lebih memilih model dasar dalam bentuk aslinya untuk sepenuhnya memahami kemampuan model, dan orang-orang ini mendukung kegigihan Mistral.
Peneliti AI Delip Rao tweeted bahwa pilihan Mistral untuk merilis model open-source karena merupakan "pengakuan atas fleksibilitas dan 'non-lobotomi' dari model Mistral sebagai model dasar."
Referensi untuk "lobektomi" mengingatkan pada versi sebelumnya dari chatbot Bing Microsoft Sydney. Chatbot tidak terkekang dan memiliki kepribadian yang kuat sampai Microsoft secara drastis mengubah chatbot ke bentuknya saat ini.
Istilah loboctomy berasal dari operasi psikologis terkenal yang, di bidang model besar, sering mengacu pada pencegahan respons toksik dengan membatasi fungsi. Pendekatan ini menyaring respons berbahaya dengan menetapkan kata kunci untuk model besar. Tetapi pendekatan satu ukuran untuk semua ini juga dapat menyebabkan penurunan kinerja untuk model besar, membuat beberapa pertanyaan normal yang melibatkan kosakata sensitif sulit dijawab.
Sementara perusahaan belum mengeluarkan pernyataan resmi, ada desas-desus bahwa OpenAI melakukan "lobektomi" pada model untuk mengontrol bagian-bagiannya yang berantakan. Sejak itu, orang bertanya-tanya apa jadinya chatbots jika dibiarkan berjalan bebas.
Dandwate mengatakan: "Melakukan lobotomi pada model dapat memengaruhinya dalam beberapa cara. Jika dilarang menjawab pertanyaan dengan kata kunci tertentu, maka mungkin juga tidak dapat menjawab pertanyaan teknis yang mungkin ditanyakan pengguna, seperti mekanisme rudal, atau pertanyaan ilmiah lainnya yang diajukan seputar topik di mana robot diberi label 'berisiko.'" (Terjemahan/Lu Ke)