Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Sebuah tim yang baru terbentuk beberapa minggu telah menyelesaikan pembiayaan sebesar 105 juta euro tanpa produk, tanpa pengguna, dan tanpa pengalaman operasional. Memo (memo) ini membantunya meyakinkan Light Speed, mantan CEO Google Eric Schmidt dan lainnya. Memo tersebut menekankan pasar Eropa, keamanan AI, kepatuhan, dan aspek lainnya.Mistral percaya bahwa penggunaan rute sumber terbuka yang sama sekali berbeda dari OpenAI pada akhirnya akan memungkinkannya membangun keunggulan dan mencapai keunggulan. Dari apa yang saya baca, memo ini jelas ditulis dengan sangat terampil, dan juga mengandung beberapa unsur gertakan. Itu memanfaatkan mentalitas FOMO masyarakat Eropa saat ini dengan model bahasa besar untuk menyelesaikan pembiayaan.
Mistral bersedia merujuk pada angin dingin barat laut yang kering dan kuat di Prancis selatan, dan itu juga merupakan nama kapal serbu amfibi buatan Prancis. Ini adalah kapal serbu amfibi terkemuka di dunia. Nama itu mewujudkan kebanggaan Prancis. Keenam anggota tim pendiri semuanya dari Prancis.Daripada memahaminya sebagai model bahasa Eropa yang besar, menurut saya ini lebih seperti perusahaan model bahasa Prancis yang besar. Dia menceritakan kisah Eropa yang bagus, tetapi itu bukan satu-satunya di Eropa.
Saya melihat Memo di grup diskusi Setelah mengonfirmasi bahwa konten Memo tidak perlu lagi dirahasiakan, saya menggunakan ChatGPT untuk menerjemahkan teks lengkapnya, lalu mengoreksi dan menerjemahkan ulang sebagian konten.
Memo Strategis mistral.ai
Pengarang: mistral.ai
Terjemahan: ChatGPT, Wang Chao
AI Generatif adalah teknologi transformatif
Pada tahun lalu, kami telah melihat akselerasi fenomenal dalam AI generatif (sistem yang mampu menghasilkan teks/gambar dari teks dan gambar). Sistem ini dapat membantu manusia:
● Menghasilkan konten yang unggul dan inovatif (teks, kode, grafik)
● Membaca, memproses, dan meringkas aliran konten yang tidak terstruktur ribuan kali lebih cepat daripada manusia
● Berinteraksi dengan dunia melalui bahasa alami atau API untuk mengeksekusi alur kerja lebih cepat dari sebelumnya.
Kemampuan canggih AI generatif tiba-tiba terungkap ke publik setelah ChatGPT dirilis. Produk semacam itu hanya diproduksi oleh beberapa tim kecil di seluruh dunia, dan jumlah peneliti yang terbatas dalam tim ini telah menjadi hambatan yang mencegah terciptanya ekonomi baru di bidang ini.
AI generatif akan meningkatkan produktivitas di semua industri dan menciptakan industri baru dengan menambah kemampuan mesin pikiran manusia secara mulus ($10 miliar pasar pada tahun 2022, diproyeksikan mencapai $110 miliar pada tahun 2030, memproyeksikan tingkat pertumbuhan tahunan sebesar 35%). Ini adalah teknologi transformatif untuk ekonomi dunia yang akan mengubah sifat pekerjaan dan membawa perubahan sosial yang positif.
Oligopoli dalam pembuatan
Teknik AI generatif didasarkan pada penelitian bertahun-tahun di industri dan akademisi. Dengan meningkatkan pelatihan ke data skala internet dan mengoreksi model dengan umpan balik manusia, terobosan yang membuat teknologi dapat diakses oleh massa dicapai oleh segelintir pemain industri, yang terbesar (OpenAI) tampaknya memiliki niat hegemonik pada pasar.
Beberapa pemain ini melatih model generatif dan menggunakannya sebagai aset; mereka melayani ribuan pihak ketiga yang membuat produk untuk peningkatan produktivitas, serta masyarakat umum melalui produk mereka sendiri seperti chatbot. Sejumlah besar startup pihak ketiga masih dibentuk untuk membangun berbagai layanan berdasarkan model generatif ini.
**Kami percaya bahwa sebagian besar nilai di pasar AI generatif yang muncul berasal dari teknologi yang sulit dibuat, model generatif itu sendiri. **Model ini perlu dilatih pada ribuan mesin canggih, yang memproses triliunan data dari sumber berkualitas tinggi, yang merupakan standar tinggi pertama. Penghalang penting kedua adalah sulitnya membangun tim yang berpengalaman, dan mistral.ai berada dalam posisi yang baik untuk melakukannya.
Saat ini (GLM) semua pemain utama berlokasi di AS, belum ada pesaing serius di Eropa. Mengingat betapa kuat (dan berbahayanya) teknologi baru ini, ini adalah pertanyaan geopolitik utama. mistral.ai akan menjadi pemimpin Eropa dalam AI yang meningkatkan produktivitas dan kreativitas serta memandu revolusi industri baru yang akan datang.
AI generatif saat ini tidak memenuhi kebutuhan pasar
OpenAI dan pesaingnya saat ini telah memilih jalur teknologi tertutup, yang secara signifikan akan membatasi jangkauan pasar mereka. Dalam pendekatan ini, model dirahasiakan dan hanya disajikan melalui API text-to-text. Ini menimbulkan pertanyaan penting berikut untuk bisnis:
● Organisasi yang ingin menggunakan teknik AI generatif terpaksa menyediakan data bisnis mereka yang berharga dan data sensitif pengguna ke model kotak hitam, yang sering diterapkan di cloud publik. Ini menimbulkan masalah keamanan: model yang dirahasiakan tidak dapat diperiksa untuk memastikan bahwa keluarannya aman, dan model seperti itu tidak dapat digunakan dalam aplikasi yang kritis terhadap keamanan. Situasi ini juga menimbulkan masalah hukum, terutama ketika sebuah perusahaan mentransfer data pribadi di luar batas hukumnya dan dapat tunduk pada undang-undang ekstrateritorial.
● Mengekspos hanya keluaran model, bukan model lengkap, mempersulit antarmuka dengan komponen lain (pengambilan basis data, masukan terstruktur, gambar dan suara). Saat ini ada ratusan produk yang menciptakan kapabilitas gabungan (misalnya, memori, visi, dll.) dengan menghubungkan output dan input model. Produk ini akan bekerja lebih baik dan lebih cepat jika model dapat diberikan sebagai kotak putih (model transparan) (seperti The Flamingo mengintegrasikan model visual dan teks dari kotak putih ke dalam model teks+visual).
● Data yang digunakan untuk melatih model bersifat rahasia, yang berarti kami mengandalkan sistem yang asalnya tidak pasti dan dapat menghasilkan keluaran yang tidak dapat dikontrol. Upaya pemfilteran untuk mengatasi masalah ini hanya memberikan jaminan yang lemah dan rapuh bahwa model tidak akan menampilkan konten sensitif yang mungkin telah dilatih untuk melakukannya. Masalah ini menyebabkan ChatGPT dilarang di Italia pada April 2023.
Mendobrak pola pasar dari Eropa
Dengan mendirikan mistral.ai, kami berencana untuk mengambil sikap yang benar-benar berlawanan dari model tertutup saat ini untuk melatih model tingkat lanjut. **Visi kami adalah untuk menjadi pemain terkemuka di lapangan sambil mengintegrasikan model ini di Eropa dan industri yang lebih luas untuk mengembangkan bisnis bernilai tinggi. **
**mistral.ai akan menjadi pemimpin penelitian dalam AI generatif dan dalam empat tahun menjadi penyedia teknologi AI terkemuka di pasar. **Untuk mencapai tujuan ini, pertama-tama kami akan fokus pada beberapa karakteristik pembeda utama, dan kemudian melakukan upaya R&D komprehensif untuk memilih strategi yang paling efektif untuk bergerak menuju kecerdasan buatan yang bernilai praktis bagi manusia.
Berfokus pada pasar Eropa terlebih dahulu akan memberi kami keuntungan defensif, dan sikap terbuka kami pada jalur teknologi akan semakin meningkatkan daya tarik kami. Banyak pemikir paling cemerlang di bidang Pemodelan Bahasa Besar (LLM) adalah orang Eropa; pengalaman kami yang luas menunjukkan bahwa banyak dari mereka ingin bergabung dengan proyek kami.
Pemosisian Teknis Berlawanan
Pembeda awal kami, titik buta dalam strategi pesaing kami, adalah sebagai berikut:
● **Ambil pendekatan yang lebih terbuka untuk pengembangan model. **Kami akan merilis model di bawah lisensi permisif perangkat lunak sumber terbuka, yang secara substansial akan mengungguli kompetisi. Kami akan merilis alat untuk memanfaatkan kekuatan model kotak putih ini dan membuat komunitas pengembang seputar merek kami. Pendekatan ini secara ideologis sangat berbeda dari OpenAI, ini akan lebih menarik peneliti top, dan ini akan menjadi percepatan yang kuat untuk pengembangan proyek, karena akan memberikan banyak pengembang hilir yang Antusias untuk membuka pintu. Ini akan meningkatkan ruang lingkup pengembangan bisnis kami. Kami akan menyeimbangkan strategi open source kami dengan kepentingan finansial, mencadangkan model yang paling kuat dan profesional untuk pengguna yang membayar.
○ Kami akan mendedikasikan 1% dana untuk yayasan nirlaba yang bertanggung jawab atas pengembangan komunitas sumber terbuka.
● Apakah open source atau berlisensi, internal (arsitektur dan bobot terlatih) model kami selalu terbuka untuk pelanggan kami. **Ini akan memungkinkan integrasi yang lebih erat dengan alur kerja klien, konten mereka dapat dimasukkan ke bagian yang berbeda dari model yang dalam, alih-alih semuanya diserialisasikan sebagai teks masukan, dimasukkan ke API kotak hitam. **
● **Peningkatan fokus pada sumber data dan kontrol data. **Model kami akan dilatih tentang konten data berkualitas tinggi (selain konten tergores) yang akan kami negosiasikan perjanjian lisensinya. Ini akan memungkinkan kami untuk melatih model yang lebih baik daripada model yang tersedia saat ini seperti Llama. Dengan menggunakan teknik keterlibatan mendalam (pakar hybrid dan model yang ditambah pengambilan), kami akan menyediakan model dengan akses sumber data opsional: untuk pengguna premium berbayar, model tertentu dapat didedikasikan untuk keuangan/hukum/dll (ini memberikan peningkatan kinerja yang cukup besar). Dengan menggunakan teknik serupa, model kami akan dapat memberikan akses data instan yang berbeda untuk karyawan dengan hak kekayaan intelektual perusahaan yang berbeda.
● **Memberikan jaminan keamanan dan privasi yang tak tertandingi. **Model kami akan dapat diterapkan di cloud pribadi dan secara opsional langsung di perangkat, secara efektif meminimalkan masalah privasi dengan menghilangkan proses yang berpotensi bermasalah. Untuk tujuan ini, kami akan mengarahkan upaya Litbang kami untuk melatih model kecil namun super efisien, secara efektif mengusulkan model dengan rasio kualitas/biaya tertinggi di pasar. Strategi sumber terbuka kami juga akan memastikan kemampuan audit model kami saat diterapkan ke industri utama, terutama ganda dan kesehatan.
Pengembangan Bisnis
Dalam hal bisnis, kami akan menyediakan modul teknis paling berharga untuk industri AI-as-a-service yang baru muncul, dan menggunakan AI generatif untuk sepenuhnya mengubah alur kerja bisnis. Kami akan bersama-sama membangun solusi terintegrasi dengan integrator Eropa dan pelanggan industri dan mendapatkan umpan balik yang sangat berharga untuk menjadi alat utama bagi semua perusahaan yang ingin memanfaatkan AI di Eropa.
Integrasi dengan vertikal dapat mengambil bentuk pasar yang berbeda, termasuk lisensi akses penuh ke model (termasuk anak timbangan terlatih), spesialisasi model berdasarkan permintaan, kontrak komersial dengan perusahaan integrator/konsultan untuk membangun solusi terintegrasi sepenuhnya . Sebagaimana dirinci dalam peta jalan kami, kami akan mengeksplorasi dan mengidentifikasi pendekatan terbaik seiring perkembangan teknologi.
Cara menjadi pemimpin di bidang AI
Tim terbaik
Tim pendiri terdiri dari peneliti top di lapangan yang telah bekerja di DeepMind dan Meta, serta pengusaha serial Prancis yang berpengalaman dan pemimpin publik yang berpengaruh.
● Arthur Mensch — CEO — Mantan Chief Research Scientist di DeepMind, penulis utama beberapa kontribusi besar untuk LLM: Chinchilla, Retro, Flamingo
● Guillaume Lample — Kepala Ilmuwan — Mantan Ilmuwan Riset Senior Meta. Memimpin proyek Llama, kontribusi besar Meta pada bidang model bahasa besar
● Timothée Lacroix — CTO — Mantan insinyur perangkat lunak di Meta, pimpinan teknis di Llama
● Jean-Charles Samuelian ，Alan CEO
● Charles Gorintin，Alan CTO
● Cédric O, mantan Sekretaris Negara Prancis untuk Urusan Digital
Lima karyawan pertama yang sudah diidentifikasi akan menjadi peneliti berpengalaman dari perusahaan teknologi besar. Antusiasme mereka terhadap Eropa dan konsep open source, serta restrukturisasi organisasi berkelanjutan dari beberapa perusahaan karena perkembangan pesat AI generatif, juga merupakan waktu yang tepat bagi mereka untuk meninggalkan perusahaan tersebut.
Infrastruktur dan Sumber Data
Untuk melatih model kompetitif, klaster skala exa perlu digunakan setidaknya selama beberapa bulan. Kami bermaksud untuk menyewa sumber daya komputasi tersebut selama setahun penuh, sehingga mengembangkan model open source dan komersial dengan berbagai kemampuan.
Kami sudah melakukan negosiasi kompetitif dengan penyedia layanan cloud teratas untuk menyewa sumber daya komputasi (kami berencana untuk memulai di musim panas dan membentuk cadangan komputasi 1536 H100 pada bulan September). Karena mistral.ai memiliki basis Eropa yang kuat, kami juga akan bekerja sama dengan penyedia layanan cloud Eropa baru yang secara aktif memperluas layanan komputasi pembelajaran mendalam.
Kami telah melatih model skala besar sebelumnya, yang memberi kami keahlian untuk melatih 10-100x lebih cepat daripada metode yang tersedia untuk umum - pendiri dan karyawan awal kami jelas mengetahui cara Melatih model terkuat dengan anggaran komputasi tertentu.
Investor awal kami juga merupakan penyedia konten di Eropa, dan akan membuka semua pintu yang diperlukan bagi kami untuk memperoleh kumpulan data berkualitas tinggi yang dapat kami latih dan sesuaikan dengan model kami.
Jelajahi skenario bersama dengan pelanggan utama
Tim pendiri sudah mengorganisir eksplorasi komersial dengan institusi komersial utama Perancis dan Eropa. Tim kecil yang berorientasi pada produk (6 orang pada akhir tahun) akan mulai mengembangkan bisnis sementara tim teknis melatih modul teknis yang berharga.
Tim pemodelan akan tetap 100% fokus pada pengembangan teknologi untuk menghindari gangguan.
Pengembangan bisnis akan dimulai bersamaan dengan pengembangan keluarga model generasi pertama, dengan menggunakan strategi sebagai berikut:
● Eksplorasi terfokus pada kebutuhan pemain industri besar, difasilitasi oleh integrator pihak ketiga yang akan diberikan akses penuh ke model terbaik kami (non-open source)
● Desain bersama produk dengan beberapa mitra kecil baru yang berfokus pada produk AI generatif.
Eksplorasi berbasis bisnis akan digunakan untuk menggerakkan desain model generasi kedua.
peta rute
tahun pertama
Kami akan melatih dua generasi model, dan pengembangan model serta integrasi komersial akan maju secara bersamaan. Generasi pertama akan sebagian open source, mengandalkan teknologi yang telah dikuasai tim. Ini akan memvalidasi kemampuan kami untuk memenuhi kebutuhan klien, investor, dan institusi kami. Model generasi kedua akan mengatasi kekurangan yang signifikan dari model saat ini, memungkinkannya untuk digunakan secara aman dan ekonomis oleh bisnis.
Latih model standar sumber terbuka terbaik
Pada akhir tahun 2023, kami akan melatih serangkaian model pembuatan teks yang dapat secara signifikan mengungguli ChatGPT 3.5 dan Bard versi Maret 2023, serta semua solusi sumber terbuka.
Seri ini akan menjadi open source; kami akan berpartisipasi dalam komunitas untuk membangunnya, menjadikannya standar terbuka.
Kami akan menyediakan antarmuka layanan yang sama dengan pesaing kami dan mengenakan biaya untuk mengumpulkan data penggunaan pihak ketiga, dan kami akan membuat beberapa aplikasi konsumen gratis untuk memperluas pengaruh merek dan menangkap data pengguna pihak pertama.
Disesuaikan dan dibedakan untuk kebutuhan bisnis
Selama enam bulan ke depan, model ini akan dilengkapi dengan model penyematan semantik untuk pencarian konten, dan plugin multimodal untuk menangani input visual. Model ad hoc yang dilatih ulang menggunakan sumber data berkualitas tinggi yang tersedia secara komersial juga akan disiapkan.
Pengembangan komersial akan dimulai bersamaan dengan pengembangan seri model generasi pertama: kami bermaksud untuk memiliki integrasi proof-of-concept pada akhir kuartal pertama tahun 2024.
Dalam hal teknologi, pada kuartal pertama dan kedua tahun 2024, kami akan fokus pada dua bidang utama yang dinilai terlalu rendah oleh perusahaan lama:
● Latih model yang cukup kecil untuk berjalan di laptop 16 GB sekaligus berfungsi sebagai asisten AI yang berguna
● Latih model dengan konteks ekstra hot-swappable**, memungkinkan hingga jutaan konteks tambahan, menggabungkan model bahasa dan sistem pengambilan secara efektif.
Pada saat yang sama, pelatihan dan penyempurnaan dataset akan terus diperkaya melalui kemitraan dan akuisisi data.
Pada akhir Q2 2024, kami bermaksud untuk:
● Mendistribusikan model generatif teks open source terbaik, dengan output teks dan visual
● Memiliki model umum dan pakar dengan salah satu rasio nilai/biaya tertinggi
● Menyediakan kemampuan model untuk integrator pihak ketiga melalui API yang tersedia beragam dan dapat diskalakan
● Membangun hubungan komersial berlisensi dengan satu atau dua pemain industri besar yang telah berkomitmen untuk menggunakan teknologi kami
Tahap Berikutnya
Bersaing dengan dan mengungguli pemain seperti OpenAI akan membutuhkan investasi besar di tahap selanjutnya (GPT-4 menelan biaya beberapa ratus juta dolar). Tujuan kami untuk tahun pertama adalah untuk menunjukkan bahwa kami adalah salah satu tim terkuat dalam kompetisi AI global, mampu mengembangkan dan meluncurkan model yang dapat bersaing dengan pemain terbesar. Pengalaman kami sebagai peneliti model bahasa skala besar (LLM) akan memungkinkan kami menjadi lebih hemat modal pada tahap awal daripada perusahaan yang menemukan atau pindah ke bidang ini.
Salah satu keunggulan mistral.ai adalah keamanan: kami akan merilis model dengan cara yang baik, memastikan model kami hanya digunakan untuk tujuan yang sesuai dengan nilai kami, dan untuk ini kami akan memberikan akses beta "tim merah" ke menemukan perilaku yang tidak pantas dan memperbaikinya.
Dengan melakukan itu, kami akan meyakinkan lembaga publik dan swasta utama bahwa kami dapat membangun teknologi yang aman, terkendali, dan efisien yang memungkinkan umat manusia memperoleh manfaat dari terobosan ilmiah ini. Dan ini akan menarik institusi dan negara untuk berpartisipasi dalam pembiayaan Seri A kami. Di Seri A (Q3 2024), kami memperkirakan perlu mengumpulkan $200 juta untuk melatih model di luar kemampuan GPT-4.
Dukungan finansial yang kuat akan memungkinkan kami untuk melatih model pada infrastruktur yang jauh lebih besar, memperkuat posisi kami sebagai pemimpin dalam penelitian AI dan pemasok pilihan di sektor industri Eropa.
(teks lengkap)
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Empat minggu setelah didirikan, ia mengumpulkan 105 juta euro, dan teks lengkap dari memorandum pembiayaan model bahasa Eropa mistral.ai
Sumber: Memberdayakan Labs
Sebuah tim yang baru terbentuk beberapa minggu telah menyelesaikan pembiayaan sebesar 105 juta euro tanpa produk, tanpa pengguna, dan tanpa pengalaman operasional. Memo (memo) ini membantunya meyakinkan Light Speed, mantan CEO Google Eric Schmidt dan lainnya. Memo tersebut menekankan pasar Eropa, keamanan AI, kepatuhan, dan aspek lainnya.Mistral percaya bahwa penggunaan rute sumber terbuka yang sama sekali berbeda dari OpenAI pada akhirnya akan memungkinkannya membangun keunggulan dan mencapai keunggulan. Dari apa yang saya baca, memo ini jelas ditulis dengan sangat terampil, dan juga mengandung beberapa unsur gertakan. Itu memanfaatkan mentalitas FOMO masyarakat Eropa saat ini dengan model bahasa besar untuk menyelesaikan pembiayaan.
Mistral bersedia merujuk pada angin dingin barat laut yang kering dan kuat di Prancis selatan, dan itu juga merupakan nama kapal serbu amfibi buatan Prancis. Ini adalah kapal serbu amfibi terkemuka di dunia. Nama itu mewujudkan kebanggaan Prancis. Keenam anggota tim pendiri semuanya dari Prancis.Daripada memahaminya sebagai model bahasa Eropa yang besar, menurut saya ini lebih seperti perusahaan model bahasa Prancis yang besar. Dia menceritakan kisah Eropa yang bagus, tetapi itu bukan satu-satunya di Eropa.
Memo Strategis mistral.ai
Pengarang: mistral.ai
Terjemahan: ChatGPT, Wang Chao
AI Generatif adalah teknologi transformatif
Pada tahun lalu, kami telah melihat akselerasi fenomenal dalam AI generatif (sistem yang mampu menghasilkan teks/gambar dari teks dan gambar). Sistem ini dapat membantu manusia:
● Menghasilkan konten yang unggul dan inovatif (teks, kode, grafik)
● Membaca, memproses, dan meringkas aliran konten yang tidak terstruktur ribuan kali lebih cepat daripada manusia
● Berinteraksi dengan dunia melalui bahasa alami atau API untuk mengeksekusi alur kerja lebih cepat dari sebelumnya.
Kemampuan canggih AI generatif tiba-tiba terungkap ke publik setelah ChatGPT dirilis. Produk semacam itu hanya diproduksi oleh beberapa tim kecil di seluruh dunia, dan jumlah peneliti yang terbatas dalam tim ini telah menjadi hambatan yang mencegah terciptanya ekonomi baru di bidang ini.
AI generatif akan meningkatkan produktivitas di semua industri dan menciptakan industri baru dengan menambah kemampuan mesin pikiran manusia secara mulus ($10 miliar pasar pada tahun 2022, diproyeksikan mencapai $110 miliar pada tahun 2030, memproyeksikan tingkat pertumbuhan tahunan sebesar 35%). Ini adalah teknologi transformatif untuk ekonomi dunia yang akan mengubah sifat pekerjaan dan membawa perubahan sosial yang positif.
Oligopoli dalam pembuatan
Teknik AI generatif didasarkan pada penelitian bertahun-tahun di industri dan akademisi. Dengan meningkatkan pelatihan ke data skala internet dan mengoreksi model dengan umpan balik manusia, terobosan yang membuat teknologi dapat diakses oleh massa dicapai oleh segelintir pemain industri, yang terbesar (OpenAI) tampaknya memiliki niat hegemonik pada pasar.
Beberapa pemain ini melatih model generatif dan menggunakannya sebagai aset; mereka melayani ribuan pihak ketiga yang membuat produk untuk peningkatan produktivitas, serta masyarakat umum melalui produk mereka sendiri seperti chatbot. Sejumlah besar startup pihak ketiga masih dibentuk untuk membangun berbagai layanan berdasarkan model generatif ini.
**Kami percaya bahwa sebagian besar nilai di pasar AI generatif yang muncul berasal dari teknologi yang sulit dibuat, model generatif itu sendiri. **Model ini perlu dilatih pada ribuan mesin canggih, yang memproses triliunan data dari sumber berkualitas tinggi, yang merupakan standar tinggi pertama. Penghalang penting kedua adalah sulitnya membangun tim yang berpengalaman, dan mistral.ai berada dalam posisi yang baik untuk melakukannya.
Saat ini (GLM) semua pemain utama berlokasi di AS, belum ada pesaing serius di Eropa. Mengingat betapa kuat (dan berbahayanya) teknologi baru ini, ini adalah pertanyaan geopolitik utama. mistral.ai akan menjadi pemimpin Eropa dalam AI yang meningkatkan produktivitas dan kreativitas serta memandu revolusi industri baru yang akan datang.
AI generatif saat ini tidak memenuhi kebutuhan pasar
OpenAI dan pesaingnya saat ini telah memilih jalur teknologi tertutup, yang secara signifikan akan membatasi jangkauan pasar mereka. Dalam pendekatan ini, model dirahasiakan dan hanya disajikan melalui API text-to-text. Ini menimbulkan pertanyaan penting berikut untuk bisnis:
● Organisasi yang ingin menggunakan teknik AI generatif terpaksa menyediakan data bisnis mereka yang berharga dan data sensitif pengguna ke model kotak hitam, yang sering diterapkan di cloud publik. Ini menimbulkan masalah keamanan: model yang dirahasiakan tidak dapat diperiksa untuk memastikan bahwa keluarannya aman, dan model seperti itu tidak dapat digunakan dalam aplikasi yang kritis terhadap keamanan. Situasi ini juga menimbulkan masalah hukum, terutama ketika sebuah perusahaan mentransfer data pribadi di luar batas hukumnya dan dapat tunduk pada undang-undang ekstrateritorial.
● Mengekspos hanya keluaran model, bukan model lengkap, mempersulit antarmuka dengan komponen lain (pengambilan basis data, masukan terstruktur, gambar dan suara). Saat ini ada ratusan produk yang menciptakan kapabilitas gabungan (misalnya, memori, visi, dll.) dengan menghubungkan output dan input model. Produk ini akan bekerja lebih baik dan lebih cepat jika model dapat diberikan sebagai kotak putih (model transparan) (seperti The Flamingo mengintegrasikan model visual dan teks dari kotak putih ke dalam model teks+visual).
● Data yang digunakan untuk melatih model bersifat rahasia, yang berarti kami mengandalkan sistem yang asalnya tidak pasti dan dapat menghasilkan keluaran yang tidak dapat dikontrol. Upaya pemfilteran untuk mengatasi masalah ini hanya memberikan jaminan yang lemah dan rapuh bahwa model tidak akan menampilkan konten sensitif yang mungkin telah dilatih untuk melakukannya. Masalah ini menyebabkan ChatGPT dilarang di Italia pada April 2023.
Mendobrak pola pasar dari Eropa
Dengan mendirikan mistral.ai, kami berencana untuk mengambil sikap yang benar-benar berlawanan dari model tertutup saat ini untuk melatih model tingkat lanjut. **Visi kami adalah untuk menjadi pemain terkemuka di lapangan sambil mengintegrasikan model ini di Eropa dan industri yang lebih luas untuk mengembangkan bisnis bernilai tinggi. **
**mistral.ai akan menjadi pemimpin penelitian dalam AI generatif dan dalam empat tahun menjadi penyedia teknologi AI terkemuka di pasar. **Untuk mencapai tujuan ini, pertama-tama kami akan fokus pada beberapa karakteristik pembeda utama, dan kemudian melakukan upaya R&D komprehensif untuk memilih strategi yang paling efektif untuk bergerak menuju kecerdasan buatan yang bernilai praktis bagi manusia.
Berfokus pada pasar Eropa terlebih dahulu akan memberi kami keuntungan defensif, dan sikap terbuka kami pada jalur teknologi akan semakin meningkatkan daya tarik kami. Banyak pemikir paling cemerlang di bidang Pemodelan Bahasa Besar (LLM) adalah orang Eropa; pengalaman kami yang luas menunjukkan bahwa banyak dari mereka ingin bergabung dengan proyek kami.
Pemosisian Teknis Berlawanan
Pembeda awal kami, titik buta dalam strategi pesaing kami, adalah sebagai berikut:
● **Ambil pendekatan yang lebih terbuka untuk pengembangan model. **Kami akan merilis model di bawah lisensi permisif perangkat lunak sumber terbuka, yang secara substansial akan mengungguli kompetisi. Kami akan merilis alat untuk memanfaatkan kekuatan model kotak putih ini dan membuat komunitas pengembang seputar merek kami. Pendekatan ini secara ideologis sangat berbeda dari OpenAI, ini akan lebih menarik peneliti top, dan ini akan menjadi percepatan yang kuat untuk pengembangan proyek, karena akan memberikan banyak pengembang hilir yang Antusias untuk membuka pintu. Ini akan meningkatkan ruang lingkup pengembangan bisnis kami. Kami akan menyeimbangkan strategi open source kami dengan kepentingan finansial, mencadangkan model yang paling kuat dan profesional untuk pengguna yang membayar.
○ Kami akan mendedikasikan 1% dana untuk yayasan nirlaba yang bertanggung jawab atas pengembangan komunitas sumber terbuka.
● Apakah open source atau berlisensi, internal (arsitektur dan bobot terlatih) model kami selalu terbuka untuk pelanggan kami. **Ini akan memungkinkan integrasi yang lebih erat dengan alur kerja klien, konten mereka dapat dimasukkan ke bagian yang berbeda dari model yang dalam, alih-alih semuanya diserialisasikan sebagai teks masukan, dimasukkan ke API kotak hitam. **
● **Peningkatan fokus pada sumber data dan kontrol data. **Model kami akan dilatih tentang konten data berkualitas tinggi (selain konten tergores) yang akan kami negosiasikan perjanjian lisensinya. Ini akan memungkinkan kami untuk melatih model yang lebih baik daripada model yang tersedia saat ini seperti Llama. Dengan menggunakan teknik keterlibatan mendalam (pakar hybrid dan model yang ditambah pengambilan), kami akan menyediakan model dengan akses sumber data opsional: untuk pengguna premium berbayar, model tertentu dapat didedikasikan untuk keuangan/hukum/dll (ini memberikan peningkatan kinerja yang cukup besar). Dengan menggunakan teknik serupa, model kami akan dapat memberikan akses data instan yang berbeda untuk karyawan dengan hak kekayaan intelektual perusahaan yang berbeda.
● **Memberikan jaminan keamanan dan privasi yang tak tertandingi. **Model kami akan dapat diterapkan di cloud pribadi dan secara opsional langsung di perangkat, secara efektif meminimalkan masalah privasi dengan menghilangkan proses yang berpotensi bermasalah. Untuk tujuan ini, kami akan mengarahkan upaya Litbang kami untuk melatih model kecil namun super efisien, secara efektif mengusulkan model dengan rasio kualitas/biaya tertinggi di pasar. Strategi sumber terbuka kami juga akan memastikan kemampuan audit model kami saat diterapkan ke industri utama, terutama ganda dan kesehatan.
Pengembangan Bisnis
Dalam hal bisnis, kami akan menyediakan modul teknis paling berharga untuk industri AI-as-a-service yang baru muncul, dan menggunakan AI generatif untuk sepenuhnya mengubah alur kerja bisnis. Kami akan bersama-sama membangun solusi terintegrasi dengan integrator Eropa dan pelanggan industri dan mendapatkan umpan balik yang sangat berharga untuk menjadi alat utama bagi semua perusahaan yang ingin memanfaatkan AI di Eropa.
Integrasi dengan vertikal dapat mengambil bentuk pasar yang berbeda, termasuk lisensi akses penuh ke model (termasuk anak timbangan terlatih), spesialisasi model berdasarkan permintaan, kontrak komersial dengan perusahaan integrator/konsultan untuk membangun solusi terintegrasi sepenuhnya . Sebagaimana dirinci dalam peta jalan kami, kami akan mengeksplorasi dan mengidentifikasi pendekatan terbaik seiring perkembangan teknologi.
Cara menjadi pemimpin di bidang AI
Tim terbaik
Tim pendiri terdiri dari peneliti top di lapangan yang telah bekerja di DeepMind dan Meta, serta pengusaha serial Prancis yang berpengalaman dan pemimpin publik yang berpengaruh.
● Arthur Mensch — CEO — Mantan Chief Research Scientist di DeepMind, penulis utama beberapa kontribusi besar untuk LLM: Chinchilla, Retro, Flamingo
● Guillaume Lample — Kepala Ilmuwan — Mantan Ilmuwan Riset Senior Meta. Memimpin proyek Llama, kontribusi besar Meta pada bidang model bahasa besar
● Timothée Lacroix — CTO — Mantan insinyur perangkat lunak di Meta, pimpinan teknis di Llama
● Jean-Charles Samuelian ，Alan CEO
● Charles Gorintin，Alan CTO
● Cédric O, mantan Sekretaris Negara Prancis untuk Urusan Digital
Lima karyawan pertama yang sudah diidentifikasi akan menjadi peneliti berpengalaman dari perusahaan teknologi besar. Antusiasme mereka terhadap Eropa dan konsep open source, serta restrukturisasi organisasi berkelanjutan dari beberapa perusahaan karena perkembangan pesat AI generatif, juga merupakan waktu yang tepat bagi mereka untuk meninggalkan perusahaan tersebut.
Infrastruktur dan Sumber Data
Untuk melatih model kompetitif, klaster skala exa perlu digunakan setidaknya selama beberapa bulan. Kami bermaksud untuk menyewa sumber daya komputasi tersebut selama setahun penuh, sehingga mengembangkan model open source dan komersial dengan berbagai kemampuan.
Kami sudah melakukan negosiasi kompetitif dengan penyedia layanan cloud teratas untuk menyewa sumber daya komputasi (kami berencana untuk memulai di musim panas dan membentuk cadangan komputasi 1536 H100 pada bulan September). Karena mistral.ai memiliki basis Eropa yang kuat, kami juga akan bekerja sama dengan penyedia layanan cloud Eropa baru yang secara aktif memperluas layanan komputasi pembelajaran mendalam.
Kami telah melatih model skala besar sebelumnya, yang memberi kami keahlian untuk melatih 10-100x lebih cepat daripada metode yang tersedia untuk umum - pendiri dan karyawan awal kami jelas mengetahui cara Melatih model terkuat dengan anggaran komputasi tertentu.
Investor awal kami juga merupakan penyedia konten di Eropa, dan akan membuka semua pintu yang diperlukan bagi kami untuk memperoleh kumpulan data berkualitas tinggi yang dapat kami latih dan sesuaikan dengan model kami.
Jelajahi skenario bersama dengan pelanggan utama
Tim pendiri sudah mengorganisir eksplorasi komersial dengan institusi komersial utama Perancis dan Eropa. Tim kecil yang berorientasi pada produk (6 orang pada akhir tahun) akan mulai mengembangkan bisnis sementara tim teknis melatih modul teknis yang berharga.
Tim pemodelan akan tetap 100% fokus pada pengembangan teknologi untuk menghindari gangguan.
Pengembangan bisnis akan dimulai bersamaan dengan pengembangan keluarga model generasi pertama, dengan menggunakan strategi sebagai berikut:
● Eksplorasi terfokus pada kebutuhan pemain industri besar, difasilitasi oleh integrator pihak ketiga yang akan diberikan akses penuh ke model terbaik kami (non-open source)
● Desain bersama produk dengan beberapa mitra kecil baru yang berfokus pada produk AI generatif.
Eksplorasi berbasis bisnis akan digunakan untuk menggerakkan desain model generasi kedua.
peta rute
tahun pertama
Kami akan melatih dua generasi model, dan pengembangan model serta integrasi komersial akan maju secara bersamaan. Generasi pertama akan sebagian open source, mengandalkan teknologi yang telah dikuasai tim. Ini akan memvalidasi kemampuan kami untuk memenuhi kebutuhan klien, investor, dan institusi kami. Model generasi kedua akan mengatasi kekurangan yang signifikan dari model saat ini, memungkinkannya untuk digunakan secara aman dan ekonomis oleh bisnis.
Latih model standar sumber terbuka terbaik
Pada akhir tahun 2023, kami akan melatih serangkaian model pembuatan teks yang dapat secara signifikan mengungguli ChatGPT 3.5 dan Bard versi Maret 2023, serta semua solusi sumber terbuka.
Seri ini akan menjadi open source; kami akan berpartisipasi dalam komunitas untuk membangunnya, menjadikannya standar terbuka.
Kami akan menyediakan antarmuka layanan yang sama dengan pesaing kami dan mengenakan biaya untuk mengumpulkan data penggunaan pihak ketiga, dan kami akan membuat beberapa aplikasi konsumen gratis untuk memperluas pengaruh merek dan menangkap data pengguna pihak pertama.
Disesuaikan dan dibedakan untuk kebutuhan bisnis
Selama enam bulan ke depan, model ini akan dilengkapi dengan model penyematan semantik untuk pencarian konten, dan plugin multimodal untuk menangani input visual. Model ad hoc yang dilatih ulang menggunakan sumber data berkualitas tinggi yang tersedia secara komersial juga akan disiapkan.
Pengembangan komersial akan dimulai bersamaan dengan pengembangan seri model generasi pertama: kami bermaksud untuk memiliki integrasi proof-of-concept pada akhir kuartal pertama tahun 2024.
Dalam hal teknologi, pada kuartal pertama dan kedua tahun 2024, kami akan fokus pada dua bidang utama yang dinilai terlalu rendah oleh perusahaan lama:
● Latih model yang cukup kecil untuk berjalan di laptop 16 GB sekaligus berfungsi sebagai asisten AI yang berguna
● Latih model dengan konteks ekstra hot-swappable**, memungkinkan hingga jutaan konteks tambahan, menggabungkan model bahasa dan sistem pengambilan secara efektif.
Pada saat yang sama, pelatihan dan penyempurnaan dataset akan terus diperkaya melalui kemitraan dan akuisisi data.
Pada akhir Q2 2024, kami bermaksud untuk:
● Mendistribusikan model generatif teks open source terbaik, dengan output teks dan visual
● Memiliki model umum dan pakar dengan salah satu rasio nilai/biaya tertinggi
● Menyediakan kemampuan model untuk integrator pihak ketiga melalui API yang tersedia beragam dan dapat diskalakan
● Membangun hubungan komersial berlisensi dengan satu atau dua pemain industri besar yang telah berkomitmen untuk menggunakan teknologi kami
Tahap Berikutnya
Bersaing dengan dan mengungguli pemain seperti OpenAI akan membutuhkan investasi besar di tahap selanjutnya (GPT-4 menelan biaya beberapa ratus juta dolar). Tujuan kami untuk tahun pertama adalah untuk menunjukkan bahwa kami adalah salah satu tim terkuat dalam kompetisi AI global, mampu mengembangkan dan meluncurkan model yang dapat bersaing dengan pemain terbesar. Pengalaman kami sebagai peneliti model bahasa skala besar (LLM) akan memungkinkan kami menjadi lebih hemat modal pada tahap awal daripada perusahaan yang menemukan atau pindah ke bidang ini.
Salah satu keunggulan mistral.ai adalah keamanan: kami akan merilis model dengan cara yang baik, memastikan model kami hanya digunakan untuk tujuan yang sesuai dengan nilai kami, dan untuk ini kami akan memberikan akses beta "tim merah" ke menemukan perilaku yang tidak pantas dan memperbaikinya.
Dengan melakukan itu, kami akan meyakinkan lembaga publik dan swasta utama bahwa kami dapat membangun teknologi yang aman, terkendali, dan efisien yang memungkinkan umat manusia memperoleh manfaat dari terobosan ilmiah ini. Dan ini akan menarik institusi dan negara untuk berpartisipasi dalam pembiayaan Seri A kami. Di Seri A (Q3 2024), kami memperkirakan perlu mengumpulkan $200 juta untuk melatih model di luar kemampuan GPT-4.
Dukungan finansial yang kuat akan memungkinkan kami untuk melatih model pada infrastruktur yang jauh lebih besar, memperkuat posisi kami sebagai pemimpin dalam penelitian AI dan pemasok pilihan di sektor industri Eropa.
(teks lengkap)