Model besar, sumber terbuka tidak dapat mematikan sumber tertutup

Sumber: Badan Cerebropolar

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Dampak model besar sumber terbuka pada model besar sumber tertutup telah menjadi sangat ganas.

Pada bulan Maret tahun ini, Meta merilis Llama (alpaca), yang dengan cepat menjadi model besar open source terkuat di komunitas AI dan model dasar untuk banyak model. Beberapa orang bercanda bahwa cluster model skala besar saat ini hanyalah kumpulan "alpacas" dengan berbagai warna.

Dan hanya beberapa hari yang lalu, Meta meluncurkan versi komersial gratis "Alpaca 2" - Llama2, yang konon kinerjanya sebanding dengan GPT-3.5.

Ini sangat eksplosif di seluruh lingkaran model berskala besar.

Kita tahu bahwa berbagai perusahaan Internet dan teknologi bersaing untuk melatih dan meluncurkan model skala besar mereka sendiri, menginvestasikan banyak sumber daya dan biaya komputasi. Jika mereka tidak dapat dikomersialkan secara efektif, akan sulit untuk memulihkan biaya model skala besar ini. Iterasi, pembaruan, dan peningkatan berikutnya akan menjadi masalah. Perusahaan R&D tidak hanya akan kehilangan uang, tetapi pengguna yang "membuang semua upaya sebelumnya" mungkin akan lebih tertekan.

Tapi sekarang ada model open source gratis, terbuka, dan kuat, siapa yang mau memberikan uang untuk model closed source?

Benar-benar ada.

Open source adalah tren umum, tetapi model besar closed source masih memiliki signifikansi keberadaan dan nilai komersial. Menurut pengalaman industri AI saat ini, untuk memanfaatkan model besar dengan baik, Anda masih harus mengandalkan sumber tertutup.

Hari ini kita akan membicarakan masalah ini Siapa yang butuh model besar sumber tertutup?

Pergi ke industri, pergi ke industri

Titik akhir komersialisasi model besar adalah industri, dan itu harus menjadi konsensus yang tidak memerlukan terlalu banyak penjelasan.

Belum lama ini, saya berpartisipasi dalam pertemuan komunikasi internal model skala besar domestik, dan eksekutif tingkat tinggi dari pihak lain dengan jelas menyatakan bahwa mereka semua menggunakan kode sumber tertutup dan bersikeras pada rute sumber tertutup, karena mereka mempertimbangkan pelatihan model skala besar dan bekerja sama dengan mitra industri, dan banyak data pribadi tidak nyaman untuk open source.

Anda bisa melihat gambaran keseluruhannya, setidaknya dalam jangka pendek, model skala besar akan masuk ke industri, dan implementasinya masih bergantung pada sumber tertutup.

** Dalam hal model, kualitas model besar sumber tertutup lebih tinggi. **

Ambil Llama 2, yang saat ini paling mampu, sebagai contoh Meta membandingkan hasil Llama 2 70B dengan model sumber tertutup Hasilnya mendekati GPT-3.5 pada MMLU dan GSM8K, tetapi masih ada kesenjangan yang signifikan dalam tolok ukur pengkodean, dan banyak data yang kurang dalam keragaman dan kualitas.

Tentu saja, kecepatan iterasi pengoptimalan model besar open source sangat cepat. Tetapi esensi dari open source sangat mirip dengan "reproduksi seksual", yaitu, melalui reproduksi massal dan mutasi, seperti "cluster alpaka" di awal, dalam menghadapi masa depan yang tidak pasti, dengan bantuan "survival of the fittest" evolusi, keturunan dengan kualitas terbaik akan terus muncul. Oleh karena itu, ada banyak cabang perangkat lunak open source. Bagi pengguna, biaya pilihan ini sangat tinggi. Selain jumlah pengembang yang banyak, kontrol versi menjadi masalah.

**Dalam hal keamanan, model besar sumber tertutup lebih andal. **

Model besar sumber terbuka harus mematuhi perjanjian sumber terbuka, dan penggunaan komersial harus disahkan. Model besar sumber terbuka luar negeri juga harus tunduk pada yurisdiksi teritorial. GitHub pernah melarang akun pengembang Rusia. Menggunakan model besar open source luar negeri untuk mengembangkan produk dan risiko rantai pasokan ada secara objektif.

Jadi, bagaimana dengan menggunakan model besar open source domestik? Keamanan dijamin, tetapi dari sudut pandang komersial, banyak pelanggan, seperti perusahaan pemerintah besar, juga sangat mementingkan keandalan model besar dalam bisnis, dan seringkali memerlukan dukungan merek dari perusahaan besar saat membeli. Di satu sisi, investasi dalam R&D lebih besar dan dari mulut ke mulut lebih tinggi; di sisi lain, jika model besar dihasilkan secara tidak benar, mengakibatkan kerugian komersial atau masalah niat baik, penggunaan model besar sumber tertutup dapat meminta pertanggungjawaban penyedia layanan, dan penggunaan model besar sumber terbuka tidak dapat menyelesaikan akun dengan pengembang global, bukan?

Misalnya, Huging Face, sebuah perusahaan rintisan model berskala besar, menyediakan konsultasi AI untuk pelanggan dan merupakan pilar komunitas sumber terbuka. Dikatakan bahwa sejumlah besar pelanggan ingin menggunakan data pribadi/data profesional mereka untuk model pelatihan, dan tidak ingin memberikan data tersebut ke OpenAl.

** Dalam hal industrialisasi, kemampuan layanan jangka panjang model besar sumber tertutup lebih kuat dan lebih bermanfaat. **

Mendapatkan model besar tidak berakhir dengan mengakses API, memasukkan data, dan menyetel parameter. Sebagai teknologi baru, masih banyak tantangan dalam integrasi model besar dan skenario bisnis. Misalnya, model besar perlu dikompresi dengan distilasi untuk mengurangi ukuran model sebelum dapat digunakan di sisi perangkat Banyak perusahaan tidak memiliki profesional seperti itu.

Sebagai contoh lain, kombinasi model besar dan bisnis memerlukan partisipasi berbagai peran seperti insinyur produk, operasi, dan pengujian.Kemampuan layanan ini sulit disediakan untuk tim sumber terbuka yang sebagian besar adalah pembuat kode. Selain itu, aplikasi jangka panjang dari model besar, fasilitas pendukung seperti daya komputasi, penyimpanan, dan jaringan harus tetap terjaga.Komunitas open source tidak dapat membantu pengguna menyelesaikan masalah terperinci ini secara "satu atap".

Ada juga masalah privasi data.Model besar tidak dapat langsung digunakan oleh industri, tetapi harus dioptimalkan melalui data pemandangan berpemilik, dan model yang dilatih pada data ini akan bersumber terbuka dan dirilis, yang membuat perusahaan sangat khawatir.

Kami pernah mewawancarai tim penelitian dan pengembangan medis yang cerdas. Pihak lain mengatakan bahwa sejumlah besar data medis didistribusikan di rumah sakit besar dan lembaga penelitian, dan itu juga melibatkan privasi pasien. Setiap orang khawatir tentang penggunaan data untuk melatih model industri bersama. Di satu sisi, keamanan tidak dapat dijamin, dan di sisi lain, kualitas data mereka sendiri tinggi, tetapi mereka tidak dapat memperoleh hasil yang layak darinya, seperti organisasi lain dengan data berkualitas rendah, sulit untuk dikoordinasikan. Dalam ko-konstruksi model besar open source, masih banyak kesulitan dalam cara mendapatkan data, memahami formula, dan menentukan kontribusi semua pihak.

Model besar sumber terbuka perlu menyeimbangkan konflik antara kebebasan inovasi teknologi dan manfaat hak cipta, sementara model besar sumber tertutup tidak mengalami masalah ini. Kepemilikan dan hak penggunaan data dan model sangat jelas, dan mereka berada di tangan perusahaan itu sendiri.

Dapat dikatakan bahwa model besar open source saat ini tidak dapat memenuhi kebutuhan bisnis yang sebenarnya. Namun, pengguna model besar open source dan integrator ISV perlu mendapatkan pengembalian komersial.Jika model open source besar tidak tersedia secara komersial, efeknya tidak baik, dan sulit menghasilkan uang, bahkan jika gratis, perusahaan akan mempertimbangkan dengan hati-hati apakah akan berinvestasi pada orang untuk mengembangkannya.

Oleh karena itu, untuk beberapa waktu mendatang, closed source masih akan menjadi pilihan populer bagi industri pendaratan model berskala besar.

Pergi ke massa, pergi ke massa

Beberapa orang mungkin tidak mengerti, open source gratis untuk penggunaan komersial, dan semua orang dapat menggunakan model besar dengan harga kubis Sangat ramah untuk pengembang dan pengguna perusahaan, mengapa Anda masih mengatakan bahwa sumber tertutup lebih baik? Apakah ini platform pabrik besar yang berfokus pada menghasilkan uang?

TIDAK.

Siapa pun yang memahami open source akan mendukung open source. Siapa pun yang mendukung open source akan memperhatikan komersialisasi open source.

Akademisi Mei Hong dari Chinese Academy of Sciences pernah mengatakan bahwa open source berasal dari idealisme dan didorong oleh komersialisasi, yang merupakan model inovasi terbuka. Tanpa komersialisasi, tidak akan ada open source.

Oleh karena itu, baik open source maupun closed source, siapa pun yang bisa "komersial" lebih awal akan memiliki masa depan yang lebih baik. Dalam hal ini, model skala besar sumber tertutup mungkin memiliki keunggulan, lagipula, pabrikan dengan kepercayaan diri untuk menutup sumber masih memiliki dua kuas dan latar belakang R&D.

Jadi, apa keuntungan dari model besar open source? Jika model skala besar sumber tertutup mengarah ke industri, maka model skala besar sumber terbuka harus menjangkau massa, dengan fokus pada kekuatan satu orang.

(LeCun percaya bahwa Llama-v2 akan mengubah struktur pasar LLM)

Model besar open source berbeda dari perangkat lunak open source tradisional, di mana kode sumber diletakkan di atasnya, dan kemudian pengembang dari seluruh dunia menyumbangkan kodenya dan hanya itu. Kolaborasi dan konstruksi bersama model besar lebih tercermin dalam kemakmuran komunitas. Setiap orang bekerja sama untuk mengoptimalkan model, memperkaya data, meningkatkan alat, dan membuat aplikasi menjadi komprehensif...

Saat ini, model open source dapat membawa beberapa keuntungan:

1. Inovasi teknologi. Komunitas open source dapat menyatukan sejumlah besar perusahaan teknologi, lembaga penelitian, dan pengembang untuk mengoptimalkan, meningkatkan, dan mempercepat iterasi model, menjadikan teknologi model dan kumpulan data pendukung, alat aplikasi, dll. kaya dan berkualitas tinggi, agar tetap terdepan.

2. Kompetisi bakat. Sebagai teknologi yang sedang berkembang, model-model besar kekurangan pasokan talenta. Kesenjangan dapat diperbesar dengan menarik talenta luar biasa dari seluruh dunia untuk berkontribusi melalui komunitas open source dan mempercepat peningkatan model-model besar. Ada tekanan saat ada persaingan, jadi setelah rilis LLama 2, segera dilaporkan bahwa OpenAI juga mulai mempertimbangkan open-sourcing GPT-3.5 dalam waktu setengah tahun.

3. Penutupan ekologis. Saat ini, solusi IT dan transformasi digital di semua lapisan masyarakat menggunakan sejumlah besar teknologi dan aplikasi open source untuk membangun ekosistem open source berskala besar, memungkinkan talenta IT dan perusahaan menggunakan teknologi terkait, yang sangat membantu untuk komersialisasi selanjutnya. Misalnya, Microsoft, mitra / investor OpenAI, kali ini juga memilih untuk menjadi mitra utama Llama 2, mendukung pengembang individu dan perusahaan kecil dan menengah untuk memanggil Llama 2 dengan biaya terendah, yang tidak diragukan lagi merupakan keuntungan besar bagi Azure.

Tidak semua model open source besar bisa berhasil, dan ekologi adalah parit kuncinya.

**Biskuit sandwich, mau kemana? **

Sama seperti iOS dan Android, sistem operasi seluler, persaingan antara open source dan closed source bukanlah pertarungan "hidup dan mati" di bidang tertentu, tetapi masing-masing menempuh jalur yang berbeda dan mengantar ke dunianya sendiri. Hal yang sama berlaku untuk model besar.

Model skala besar sumber tertutup terbuka untuk menyambut pelanggan, model skala besar sumber terbuka sedang booming, dan setiap orang memiliki masa depan yang cerah.

Karena itu, mengapa beberapa ahli percaya bahwa open source Llama 2 adalah lompatan besar untuk open source, tetapi merupakan pukulan besar bagi perusahaan model besar closed source?

Siapa yang dipukul?

Jawabannya seharusnya adalah pabrikan model skala besar dasar yang tidak mau hanya menjadi lapisan aplikasi, tetapi juga tidak mampu membanjiri pabrikan besar.

Peneliti Google pernah menulis bahwa karena komunitas open source, kami (Google dan OpenAI) tidak memiliki parit. Namun, OpenAI juga memiliki model besar sumber tertutup seperti GPT-4 sebagai fitur pembunuhnya, hanya ketika dipaksa untuk membuka sumber, ia mempertimbangkan GPT-3.5 sumber terbuka, ada celah teknis di dalamnya. Selain itu, sumber terbuka GPT-3.5 hanya mengungkapkan dari mulut ke mulut, dan perkembangan spesifiknya masih belum diketahui.

Oleh karena itu, produsen teknologi dan raksasa cloud terkemuka seperti Google di luar negeri, OpenAI, dan BATH domestik, memiliki keunggulan dalam kartu, uang, talenta, data, kesadaran pasar, dan basis pelanggan. Mengambil rute sumber tertutup untuk menyelesaikan komersialisasi dan industrialisasi model besar memiliki keuntungan dan hambatan penggerak pertama tertentu.

Ini adalah rasa sakit bagi pabrikan lapis kedua dan ketiga yang ingin melatih model besar tujuan umum dasar.

Sebelumnya, perusahaan teknologi besar dan kecil serta berbagai lembaga penelitian ilmiah di seluruh dunia berbondong-bondong untuk melatih model dasar besar, seperti beberapa unicorn AI visi mesin, yang secara tidak sengaja menjadi "biskuit sandwich" di antara lapisan dasar dan lapisan aplikasi.

Itu tidak bisa mengalahkan GPT dalam hal kekuatan, dan tidak bisa mengalahkan Llama dalam hal biaya Model besar tujuan umum dasar yang dilatih sudah usang sebelum secara resmi dibuka untuk penggunaan komersial, dan ditakdirkan untuk menjadi masa lalu. Pasar tidak dapat bersaing dengan raksasa, dan tingkat keterbukaannya tidak sebaik komunitas open source, hampir tidak mungkin untuk memulihkan biaya pengembangan yang tinggi.

Mungkin merupakan pilihan bijak untuk melepaskan model besar sesegera mungkin.

Misalnya, model skala besar dari perusahaan AI domestik sebelumnya diprivatisasi dengan harga 300.000 yuan setahun, dan kemudian diumumkan bahwa itu sepenuhnya terbuka untuk penelitian akademik, dan diizinkan untuk penggunaan komersial gratis. Ada juga kemungkinan komersialisasi (seperti Linux/Android/Red Hat) dalam komunitas open source model skala besar, dan pada saat yang sama, dapat menghindari "head-to-head" dengan model kepala skala besar umum.

Untuk pengembang lapisan aplikasi dan integrator ISV, memanfaatkan model besar sumber tertutup dengan penerimaan industri yang tinggi dapat memungkinkan pelanggan untuk menerimanya lebih cepat, lebih cocok untuk kebutuhan bisnis penyebaran khusus yang diprivatisasi, dan menyelesaikan pendaratan komersial dan pertumbuhan pendapatan lebih cepat.

Untuk start-up AI, sumber terbuka dapat digunakan secara langsung dan menghindari pembuatan roda berulang. Ini mungkin merupakan metode komersialisasi coba-coba yang lebih ideal dan berbiaya rendah. "Melaporkan ke grup untuk kehangatan" berkontribusi pada proyek sumber terbuka berskala besar, mempromosikan pengembangan komunitas sumber terbuka berskala besar, dan juga akan menerima umpan balik komunitas dan umpan balik bisnis.

Pengembangan model skala besar China ke tingkat tinggi tidak hanya membutuhkan model skala besar sumber tertutup terkemuka di dunia untuk memimpin, tetapi juga komunitas model skala besar sumber terbuka dengan pengaruh dunia.

Jalannya terhalang dan panjang, tetapi perjalanan semakin dekat. Mungkin ingin menggunakan sikap konstruktif untuk melihat perselisihan open source dan closed source, memberikan kepercayaan kepada model besar closed source domestik, dan juga memberikan dorongan dan dukungan kepada komunitas open source domestik.