- Topik
10k Popularitas
12k Popularitas
41k Popularitas
29k Popularitas
676 Popularitas
98k Popularitas
27k Popularitas
26k Popularitas
7k Popularitas
15k Popularitas
- Sematkan
10k Popularitas
12k Popularitas
41k Popularitas
29k Popularitas
676 Popularitas
98k Popularitas
27k Popularitas
26k Popularitas
7k Popularitas
15k Popularitas
OpenAI dalam bahaya
Diproduksi | Grup Teknologi Pengendus Harimau Pengarang | Qi Jian Editor | Liao Ying
Pada tanggal 7 Agustus, perusahaan rintisan AI domestik lainnya merilis model AI komersial open source dan gratisnya sendiri: XVERSE-13B. Perusahaan bernama Yuanxiang XVERSE didirikan oleh Yao Xing, mantan wakil presiden Tencent dan pendiri lab AI Tencent.
Sejak Meta merilis model besar seri LLaMA 2 sumber terbuka untuk penggunaan komersial gratis pada bulan Juli, gelombang baru "sumber terbuka" sedang berkembang di pasar model skala besar AI.
Pada tanggal 2 Agustus, Wenxin Qianfan, platform model skala besar AI di bawah Baidu, mengumumkan akses ke seri lengkap model sumber terbuka LLaMA2. Jumlah model skala besar yang dapat dipanggil di platform telah meningkat menjadi 33 . Kecuali untuk 3 model Wenxin, 30 model lainnya semuanya open-source. Model, termasuk ChatGLM2, RWKV, MPT, Dolly, OpenLLaMA, Falcon, dll.
Sehari setelah itu, Alibaba Cloud juga mengumumkan untuk bergabung dengan jajaran model open source. Model parameter open source Tongyi Qianwen 7 miliar termasuk model umum Qwen-7B dan model dialog Qwen-7B-Chat. Kedua model tersebut telah diluncurkan di komunitas Mota. Keduanya open source, gratis, dan tersedia secara komersial.
Menariknya, sikap positif terhadap sumber terbuka dan keterbukaan ini dimulai dari Microsoft, pemilik besar model sumber tertutup ChatGPT. ** Pada tanggal 18 Juli, Microsoft mengumumkan bahwa mereka akan bekerja sama dengan Meta untuk merilis versi komersial open-source dari model LLaMA 2, memberikan perusahaan alternatif untuk model OpenAI dan Google. **Posisi monopoli OpenAI di pasar model skala besar AI tampaknya sedang "ditargetkan" oleh seluruh industri, bahkan mitra terdekatnya.
Sebagai model bahasa besar nomor satu yang diakui secara global, GPT-4 OpenAI saat ini merupakan satu-satunya model bahasa besar dengan sejumlah besar pengguna yang bersedia membayarnya.
Siswa terbaik di kelas biasanya tidak termotivasi untuk bergabung dengan kelompok belajar. Demikian pula, **OpenAI tidak memiliki alasan atau motivasi untuk membuka sumber. **
Namun, dengan sumber terbuka penuh LLaMA 2, semakin banyak pengembang yang berinvestasi di Meta dan berbagai model sumber terbuka. Sama seperti Android menggunakan open source untuk melawan iOS, sejumlah besar model AI open source secara aktif melewati hambatan teknis GPT-4 dan OpenAI sekitarnya dengan ekosistem open source. **
Mengapa open source?
Saat OpenAI pertama kali meluncurkan fungsi plug-in, banyak orang membandingkan model AI dengan Windows, iOS, dan Android di masa mendatang. Sekarang, dengan dirilisnya LLaMA 2, model besar AI tidak hanya berfungsi, tetapi bahkan struktur pasar berkembang ke arah sistem operasi.
Diprakarsai oleh LMSYS Org, sebuah organisasi yang dipimpin oleh UC Berkeley, ini adalah kompetisi peringkat untuk model bahasa besar (LLM); per 20 Juli, versi peringkat terbaru telah menghitung 40 model AI besar, dan lima teratas masih ditutup sumber Model (Proprietary), yaitu tiga model GPT-4, GPT-3.5-turbo dan Claude. Namun, 34 model berikut, kecuali Google PaLM-Chat-Bison-001, semuanya adalah model open source, 15 di antaranya non-komersial.
Meskipun dalam hal kemampuan model, melihat keseluruhan pasar, tidak ada model terlepas dari open source atau closed source yang berani bersaing secara langsung dengan GPT-4. Namun, Macan tidak dapat melawan serigala, dan mereka tidak dapat mengalahkan model besar GPT-4. Mereka memilih untuk "berganti jalur dan menyalip" dan menggunakan sumber terbuka untuk memanfaatkan ekologi aplikasi. Ini tampaknya menjadi agak mirip dengan pertarungan Android melawan iOS.
"Saat ini, semua model besar open source memiliki satu tujuan, yaitu pemasaran."
Pendiri perusahaan riset dan pengembangan model skala besar open-source domestik mengakui kepada Tiger Sniff bahwa alasan utama mempromosikan model open-source skala besar dan sistem Android open-source adalah untuk merebut pasar secara gratis. "Banyak perusahaan besar telah merilis model AI besar, atau bahkan hanya membuat aplikasi berdasarkan model yang ada, dan kemudian mulai mempromosikannya dengan gembar-gembor. Faktanya, bagi pengguna model besar dasar, menghabiskan lebih banyak uang untuk iklan lebih mahal daripada Ini benar-benar bukan open source untuk modelnya.” Ini juga merupakan cara terbaik bagi perusahaan AI untuk membuktikan kekuatan mereka.
Pertama, model sumber terbuka lebih mudah dievaluasi daripada model tertutup. Karena kode dan kumpulan data model sumber terbuka tersedia untuk umum, peneliti dapat langsung memeriksa arsitektur model, data pelatihan, dan proses pelatihan untuk melakukan analisis model yang lebih mendalam guna memahami kekuatan dan kelemahannya.
"Beberapa model besar AI tampaknya sangat mumpuni, tetapi tidak open source, dan Anda hanya dapat melihat hasil keluarannya."
Dibandingkan dengan model open source, model closed source hanya dapat memahami kelebihan dan kekurangan model melalui evaluasi kinerja model. Ini mengarah pada fakta bahwa kinerja model sumber tertutup dapat dibesar-besarkan secara artifisial, atau kekurangannya disembunyikan. Transparansi model sumber terbuka dapat membantu pengembang mendapatkan pemahaman yang lebih dalam tentang model dan mengevaluasinya secara lebih adil.
Untuk pendatang baru, ada masalah lain dengan model sumber tertutup: mudah mempertanyakan orisinalitas teknologi. Banyak pengembang model besar pernah memberi tahu Huxiu, "Untuk model yang bukan open source, terus terang, bahkan jika itu adalah shell LLaMA, atau cukup memanggil antarmuka ChatGPT di latar belakang, siapa tahu?"
Ketika gelombang pertama model besar AI domestik keluar, suara keraguan seperti itu beredar luas di Internet. Untuk model AI besar yang bukan open source, sulit untuk membuktikan bahwa mereka tidak bersalah.Untuk membuktikan bahwa mereka tidak memanggil API ChatGPT, beberapa perusahaan bahkan memindahkan server penalaran dan mengeluarkan kabel jaringan untuk didemonstrasikan di titik.
Sumber terbuka tidak diragukan lagi merupakan salah satu cara terbaik untuk mensertifikasi sendiri model AI besar. Tetapi nilai sebenarnya dari **open source bukanlah kemampuan sertifikasi diri, tetapi untuk merebut ekologi. **
"Setelah rilis LLaMA 2, itu pasti akan merebut ekosistem OpenAI dengan cepat." Seorang pengembang model besar memberi tahu Huxiu bahwa meskipun GPT-4 hampir diakui oleh industri memiliki kemampuan terkuat, model setelah GPT-3 bukanlah open source Selain itu, keterbukaan antarmuka API GPT-4 juga sangat rendah, sehingga banyak pembatasan pengembangan model GPT. Akibatnya, banyak pengembang memilih model open source seperti LLaMA, yang tidak hanya dapat menyempurnakan instruksi, tetapi juga melakukan penelitian pada model yang mendasarinya.
"LLaMA jelas lebih populer di kalangan pengembang daripada OpenAI."
Saat LLaMA 2 pertama kali dirilis pada 19 Juli, ada lebih dari 5.600 proyek di GitHub dengan kata kunci termasuk "LLaMA", dan lebih dari 4.100 proyek termasuk "GPT-4". Dua minggu setelah dirilis, tingkat pertumbuhan LLaMA lebih cepat.Pada waktu pers, ada lebih dari 6.200 "LLaMA" dan lebih dari 4.400 "GPT-4".
Di sisi lain, model sumber terbuka dapat diunduh secara lokal untuk penerapan privatisasi, yang memfasilitasi pelatihan AI untuk perusahaan komersial. Aplikasi AI dari perusahaan semacam itu perlu dilatih berdasarkan data bisnis mereka sendiri, dan model AI skala besar yang digunakan secara pribadi dapat melindungi keamanan data secara maksimal. Pada saat yang sama, ada lebih banyak pilihan daya komputasi untuk penerapan yang diprivatisasi, apakah itu layanan cloud, penerapan lokal, atau bahkan daya komputasi terdistribusi dari beberapa IDC, yang sangat mengurangi biaya pelatihan dan penalaran model.
Meskipun ChatGPT telah memanen 100 juta pengguna aktif bulanan hanya dalam dua bulan, dalam ekosistem pengembang, kecepatan model open source merebut pikiran pengguna tampaknya lebih cepat.
Saat ini, banyak perusahaan AI domestik telah memilih untuk merilis model open source. Ini termasuk model open source ChatGLM-6B yang dirilis oleh Zhipu AI, MOSS yang dirilis oleh Universitas Fudan, Wudao Tianying Aquila yang dirilis oleh Zhiyuan Research Institute, dan Baichuan-7B (13B) yang dirilis oleh Baichuan Intelligent. Diantaranya, ChatGLM-6B, model besar open source yang dirilis oleh **Zhipu AI, telah diunduh lebih dari 4 juta kali di seluruh dunia, dan telah menerima 32.000 bintang di GitHub, 3.000 lebih banyak bintang daripada LLaMA. **
“Jika kita tidak membuat model open source, pasar akan segera penuh dengan LLaMA.” Seorang eksekutif perusahaan AI yang telah meluncurkan model open source memberi tahu Huxiu bahwa open source merupakan langkah penting dalam pengembangan AI China model besar.
Faktanya, sebelum tren LLM dimulai, AI generatif telah berjuang melawan open source dan closed source.
**Dengan sejumlah besar pengembang dan aplikasi produk, model grafik Wensheng sumber terbuka Difusi Stabil hampir mendorong model sumber tertutup pertama OpenAI Dall-E 2 ke sudut. Meskipun pengguna umumnya percaya bahwa kemampuan model Stable Diffusion tidak sebagus MidJourney produk sumber tertutup lainnya, Stable Diffusion telah merebut sejumlah besar pasar grafik Vincent berkat atribut open source dan gratisnya, dan telah menjadi model grafik Vincent paling utama Perusahaan pengembangannya RunwayML And Stability AI juga telah menerima banyak perhatian dan pembiayaan. **
Model open source LLaMA 2 tampaknya berniat untuk memaksa OpenAI di bidang LLM.
Sumber terbuka dengan barang
LLaMA 2 saat ini open source, ketiga model dalam seri: 7 miliar, 13 miliar, dan 70 miliar versi parameter. Namun, ada juga desas-desus di pasar bahwa "Meta sebenarnya memiliki versi dengan parameter lebih besar yang belum dirilis. Versi berikutnya mungkin memiliki versi dengan parameter lebih besar, tetapi mungkin bukan open source."
Perlu dicatat bahwa saat ini, banyak model open source tidak semuanya open source. Dalam model Enlightenment 3.0 yang dirilis oleh Zhiyuan Research Institute, hanya model bahasa dasar "Tianying" yang merupakan sumber terbuka; ChatGLM yang dirilis oleh Zhipu AI hanya membuka sebagian dari rangkaian model, dan model parameter 130 miliar yang lebih besar masih closed.source. **
Terlepas dari apakah LLaMA 2 "dicadangkan" untuk model yang lebih besar, bentuk "bebas" tidak diragukan lagi akan mempercepat pembentukan Meta di pasar model besar dan mendorongnya ke "jalan lama" Android.
Melalui ekosistem open source, sistem Android telah mengumpulkan banyak pengembang dan pengguna di seluruh dunia. Dalam hal ekologi teknologi, ia telah sangat memeriksa dan menyeimbangkan iOS sistem sumber tertutup terkemuka, dan bahkan membentuk monopolinya sendiri di beberapa pasar. Sejak 2018, Uni Eropa telah mengenakan denda lebih dari 4 miliar euro kepada Google karena mekanisme monopoli sistem Android. Dari denda setinggi langit ini, kita juga bisa melihat betapa menguntungkannya sistem Android open source.
Menurut sebuah laporan dari firma riset Sensor Tower, pengeluaran pengguna di Google Play akan menjadi sekitar US$53 miliar pada tahun 2022, dan angka ini akan meningkat menjadi US$60 miliar pada tahun 2023. Menurut laporan yang dirilis lembaga riset lain, Statista, per Januari 2022, ada sekitar 140.000 aplikasi di Google Play Store.
Pada tahap ini, model AI open source jelas belum sepopuler ponsel. Namun, meski AI benar-benar sepopuler ponsel, raksasa seperti Meta tidak akan dengan mudah melepaskan perusahaan yang telah menghasilkan banyak uang dengan LLaMA 2.
Dalam perjanjian open source LLaMA 2, ada ketentuan seperti itu: **Jika pengguna aktif bulanan melebihi 700 juta, Anda harus mengajukan lisensi dari Meta. Meta dapat, atas kebijakannya sendiri, melisensikan kepada Anda, dan Anda tidak berhak menggunakan salah satu dari hak-hak ini. **
Pada saat yang sama, selain versi sumber tertutup dari model sumber terbuka dan penerapan model besar AI, ini juga dapat membantu daya komputasi untuk "membawa barang".
Dua pabrikan pertama di China yang mempromosikan model skala besar AI, Baidu dan Ali, keduanya adalah pabrikan cloud. Dua vendor cloud lainnya, Tencent Cloud dan Huawei Cloud, meski tidak memiliki produk LLM seperti Wenxin Yiyan dan Tongyi Qianwen, mereka juga terus meneriakkan model AI. Alasan utama di balik ini adalah "efek pembawa" dari model besar di cloud.
"Mengumumkan beberapa tindakan pada model skala besar AI juga dipromosikan bersama oleh pasar dan pelanggan. Dalam beberapa bulan terakhir, ada terlalu banyak pelanggan yang datang untuk bertanya tentang model skala besar," kata seorang pemimpin bisnis cloud Tencent kepada Huxiu bahwa daya komputasi antri , yang merupakan bukti terbaik dari kemampuan model besar AI untuk membawa barang.
**Model tidak perlu menghasilkan uang, tetapi daya komputasi harus menguntungkan. **Alibaba membuka Tongyi Qianwen, dan Baidu memperkenalkan 30 model sumber terbuka pada platform model skala besar Wenxin Qianfan. Kedua tindakan ini untuk memberikan kemampuan AI "gratis" kepada pengguna. Pengguna yang menggunakan model open source tidak lagi membayar AI, tetapi selama AI mereka berjalan di Alibaba Cloud dan Baidu Smart Cloud, mereka harus membayar daya komputasi.
"AI juga harus kembali ke ide cloud dan menghasilkan uang dari cloud." Xin Zhou, manajer umum Baidu Smart Cloud AI dan Big Data Platform, mengatakan niat awal untuk membuka platform model besar adalah untuk menciptakan nilai bagi bisnis pelanggan.Sementara menciptakan nilai, itu dapat meningkatkan keterikatan pelanggan lama dan memperluas lebih banyak pelanggan baru. Ini sangat membantu dalam memperluas efek skala vendor cloud.
Gratis lebih mahal
"10 juta, itu kira-kira sama dengan harga awal untuk menyesuaikan model besar."
Pendiri perusahaan model skala besar open source memberikan kutipan kepada perantara yang datang untuk berkonsultasi melalui telepon.
"Setelah model open source dikenali oleh pengguna, Anda dapat berbicara dengan orang lain tentang biaya layanan untuk pengembangan kustom." Setelah pendiri menutup telepon, dia menjelaskan kepada Huxiu bahwa untuk model seperti LLaMA 2, biaya pengembangannya adalah setidaknya berapa harganya Puluhan juta dolar. Karena itu, pasar yang dibidiknya pasti puluhan atau ratusan kali lipat dari biaya pengembangan.
Dari sudut pandang saat ini, cara terbaik bagi **perusahaan AI untuk menghasilkan uang dari model open source adalah memulai dengan layanan. **
Untungnya, sebagian besar pengguna AI model besar sangat membutuhkan layanan ini.
"Modelnya open source, gratis dan tersedia secara komersial. Itu artinya mulai dari mengunduh model, penyebaran model, pelatihan, penyetelan, dan pengembangan aplikasi dalam aplikasi aktual, semua pekerjaan harus dilakukan sendiri." mengatakan kepada Huxiu, sebagian besar pemasok model sumber tertutup akan menyediakan layanan pelatihan dan penyebaran, dan dapat menyesuaikan fungsi pengembangan sesuai dengan kebutuhan pengguna. Tetapi jika Anda menggunakan model open source, Anda harus melakukan semua tugas ini sendiri, tidak ada yang akan membantu Anda melatih, tidak ada yang akan menemukan kekuatan komputasi Anda, dan tidak ada yang akan membantu Anda menyesuaikan pengembangan.
"Sebenarnya, produsen model sumber tertutup menjual layanan." Penanggung jawab lembaga pendidikan online yang telah melakukan penelitian aplikasi AI berdasarkan model LLaMA mengatakan kepada Huxiu, "Model sumber terbuka tampaknya gratis , tetapi selama proses penerapan, masih banyak uang yang harus dikeluarkan.” Setelah menambahkan model AI, biaya tenaga kerja dan daya komputasi di departemen TI meningkat secara signifikan.
Meskipun pelatihan dan penyetelan berdasarkan model open source tidaklah sulit bagi sebagian besar personel TI. Namun, untuk melakukan penelitian dan pengembangan model yang mendalam, masih diperlukan beberapa cadangan teknis dalam hal algoritme dan AI. Seiring dengan semakin populernya konsep model AI skala besar, harga talenta di bidang ini juga meningkat.
"Kenaikan biaya tenaga kerja sebenarnya mengambang, tetapi biaya server dan perangkat keras adalah nyata. Dari berinvestasi pada model besar hingga sekarang, biaya kami meningkat sekitar 20%-30%." kata penanggung jawab dari lembaga pendidikan online tersebut Saat ini, organisasinya masih dalam tahap eksplorasi adegan AI, dan kesulitan terbesarnya adalah perlu bereksperimen dengan setiap adegan. "Jika satu gagal, ganti dengan yang lain. Dalam proses ini, setiap langkah memerlukan biaya."
Dalam hal ini, Huxiu bertanya kepada orang dalam Baidu Smart Cloud tentang layanan dan biaya Baidu Wenxin Qianfan dalam hal penerapan. Ini akan menghemat uang.**”
Faktanya, terlepas dari apakah itu model sumber terbuka atau model sumber tertutup, biaya penerapan model dihitung per orang/hari, dan tidak akan ada perbedaan penting dalam biaya daya komputasi untuk pelatihan berikutnya dan penalaran. “**Namun, menggunakan model open source untuk melatih, menerapkan, dan mengembangkan sendiri hanya akan membuat proses ini sangat merepotkan.” Orang dalam Baidu mengatakan bahwa biaya penerapan spesifik bergantung pada proyek tertentu, yang sangat bervariasi. Namun, sebenarnya tidak ada perbedaan mendasar antara open source dan closed source dalam hal biaya penerapan dan penggunaan. **Dan dari perspektif keamanan data, sebagian besar model sumber tertutup juga dapat diterapkan secara pribadi.
**Pada tahap ini, masih sulit bagi AI untuk mencapai inklusivitas. **
Untuk sebagian besar perusahaan yang bergerak di bisnis Internet, mereka memiliki tim R&D TI sendiri.Ketika model besar datang, mereka akan segera dapat membentuk tim yang "mapan" untuk mengembangkan aplikasi AI. Tetapi bagi banyak ritel, manufaktur tradisional, dan industri jasa, transformasi digital adalah masalah yang sulit, sangat sulit bagi mereka untuk mempelajari pelatihan, penerapan, dan penalaran model besar AI.
Untuk perusahaan-perusahaan ini, produk AI terbaik adalah plug-in AI tujuan umum. "Yang kami butuhkan hanyalah robot layanan pelanggan yang percakapannya tidak terlihat konyol. Saya meminta saya untuk mempelajari cara melatih model, yang sedikit mengasyikkan. "Manajer lini bisnis merek e-niaga memberi tahu Huxiu bahwa dalam enam bulan terakhir, dia hanya mendengarkan Dikatakan bahwa kemampuan dialog AI lebih kuat dari sebelumnya, tetapi ChatGPT belum dicoba. Meskipun dia juga bersedia merangkul teknologi baru, motivasinya tidak cukup untuk menghabiskan waktu belajar dan menginvestasikan uang di AI sekarang.
"Kecuali ada plug-in di platform atau perangkat lunak yang saya gunakan sekarang, saya dapat menggunakannya hanya dengan mengambilnya, jika tidak, saya tidak akan berpikir terlalu banyak untuk mengeluarkan uang untuk segera meningkatkan asisten AI. ." Rendah.
"** Pedagang membutuhkan AI untuk melakukannya, dan itu dapat diterapkan dan diberdayakan tanpa perasaan.**" Produsen SaaS Weimob telah membuat aplikasi semacam itu WAI dalam pemasaran digital, yang membantu pedagang menyebut kemampuan AI dalam bentuk menyematkan aplikasi yang ada. Berikan pedagang dialog AI dan kemampuan pembuatan teks dan gambar berdasarkan model bahasa besar.
Menghubungkan model besar secara terbuka ke alat layanan SaaS agak mirip dengan pemanggilan model Baidu Wenxin Qianfan. Meskipun hanya panggilan antarmuka dan Finetune yang dibuat, ini memberi pengguna kemampuan pendaratan AI yang lebih banyak, lebih cepat, dan lebih stabil.
"Model open-source dapat mempermudah pengguna untuk memulai, dan sekarang banyak model open-source diperbarui lebih cepat daripada pabrikan besar." COO Weimob COO Yin Shiming percaya bahwa open source dan keterbukaan dapat menghadirkan kemampuan AI dengan cepat untuk pengguna Di tangan Anda, yang benar-benar dibutuhkan pengguna adalah AI "plug and play". **
Untuk sebagian besar pengguna yang masih dalam tahap pengujian, percobaan, dan pengalaman model besar AI, ambang batas untuk model open source jelas lebih rendah, dan biaya awal hampir nol.
Banyak pengguna telah menggunakan model open source sejak awal, dan mereka akan terus menggunakannya di masa mendatang. Masalah penerapan dan pelatihan yang disebutkan di atas melahirkan rantai industri layanan untuk model sumber terbuka.
Chen Ran Dalam gelombang kebangkitan model besar ini, OpenCSG yang baru dibuat melakukan bisnis layanan seputar model besar open source.
Layanan model besar yang disediakan oleh OpenCSG terutama ditujukan untuk pelatihan dan penerapan model sumber terbuka untuk perusahaan. Dari pemilihan model open source, hingga daya komputasi terdistribusi hybrid, dikombinasikan dengan pelatihan model bisnis, dan pengembangan aplikasi back-end, dll., dapat memberikan layanan kepada perusahaan.
"** Model besar mirip dengan semua SaaS menurut saya. Industri hulu dan hilir akan diperkaya secara bertahap, dan pelanggan tidak hanya akan fokus pada kemampuan model. "Chen Ran percaya bahwa permintaan utama pelanggan bukanlah untuk menemukan yang paling model yang mumpuni, tetapi lebih baik, lebih mudah, dan lebih sederhana menggunakan AI model besar untuk melayani bisnisnya.
Ekologi sumber terbuka seputar AI
Di seluruh rantai industri AI, open source jauh melampaui model. Dari penelitian dan pengembangan hingga penerapan hingga aplikasi, hampir setiap tautan tidak dapat dipisahkan dari topik open source.
**Algoritma, daya komputasi, data, dan tiga elemen AI masing-masing memerlukan dukungan sumber terbuka. **
Pada tingkat algoritme, model besar AI open source berada pada tahap yang relatif terlambat. Dalam penelitian dan pengembangan AI awal, hampir semua model AI menggunakan kerangka kerja pembelajaran mesin, yang setara dengan membangun kotak peralatan AI. Framework pembelajaran mesin arus utama saat ini, termasuk TensorFlow, Pytorch, dan PaddlePaddle (dayung terbang), semuanya adalah framework open source.
Pada level data, kumpulan data sumber terbuka Commen Crowl merupakan sumber data penting dalam proses pelatihan model GPT. Saat ini, banyak institusi dan perusahaan data telah merilis produk open source pada kumpulan data pelatihan AI, termasuk kumpulan data COIG-PC dari Zhiyuan Research Institute, dan kumpulan data multimodal DOTS-MM-0526 dari Haiti AAC.
Untuk penerbit set data, open source tidak hanya dapat meningkatkan pengaruh dan nilai merek, tetapi set data open source juga dapat mengumpulkan umpan balik positif dari komunitas open source untuk menemukan dan memperbaiki kesalahan atau inkonsistensi dalam data. Tinjauan eksternal ini membantu meningkatkan kualitas data sekaligus memperkaya ekosistem produk penayang lebih lanjut.
"**Insinyur algoritme sering menghadapi masalah kurangnya data dalam penelitian dan pengembangan. Data berkualitas tinggi dapat memberikan peningkatan kualitatif pada evaluasi model. **negara saya saat ini menghadapi masalah kelangkaan kumpulan data berkualitas tinggi, yang juga menghalangi model besar China.Pengembangan teknologi.” Haitian AAC adalah salah satu penyedia data pelatihan model open source LLaMA 2, kata Li Ke, COO Haiti AAC.
** Dalam hal daya komputasi, hambatan terbesar dalam pengembangan AI, kerangka kerja chip sumber terbuka juga mendorong perkembangan industri. **
Pada 4 Agustus, Qualcomm mengumumkan pembentukan usaha patungan dengan empat perusahaan semikonduktor untuk mempercepat komersialisasi chip berdasarkan arsitektur RISC-V open source. Saat ini ada tiga kerangka kerja chip arus utama di pasaran: x86 digunakan oleh CPU Intel, Arm digunakan oleh GPU Nvidia, dan RISC-V, kerangka kerja chip sumber terbuka.
"RISC-V dapat menyediakan lingkungan yang dapat diprogram. Tim pengembangan chip dapat menggunakan RISC-V untuk melakukan banyak pekerjaan pra-pemrosesan dan pasca-pemrosesan, dan juga dapat menambahkan akselerator khusus atau modul fungsional yang memenuhi kebutuhan pengguna untuk memenuhi kebutuhan pengguna . "Gang Zhijian, wakil presiden senior pemasaran dan pengembangan bisnis di SiFive, mengatakan bahwa ekosistem RISC-V menyediakan banyak pilihan untuk penelitian dan pengembangan chip, yang sangat membantu permintaan chip AI yang berkembang pesat saat ini.
Arm dan x86 memiliki ekosistem yang relatif tertutup dibandingkan dengan RISC-V. **Dalam ekosistem Arm, pengguna hanya dapat memilih opsi terbatas yang disediakan oleh Arm, sedangkan ekosistem RISC-V memiliki banyak perusahaan yang berpartisipasi, dan akan ada lebih banyak jenis dan pilihan produk. **
Arsitektur open source juga merangsang industri chip untuk mempercepat persaingan. Gang Zhijian berkata: "** Sebagai penyedia layanan arsitektur chip open source, kami juga akan bersaing dengan perusahaan lain. Tetapi apakah kami menang atau perusahaan lain menang, ini jenis kompetisi Pada akhirnya, ini akan mendorong kemakmuran dan kemajuan ekosistem RISC-V.**”
Meskipun arsitektur set instruksi RISC-V gratis dan open source, IP inti yang dibentuk oleh produsen desain chip berdasarkan pengembangan sekunder arsitektur set instruksi RISC-V memiliki hak kekayaan intelektual independen dan dapat disahkan melalui biaya eksternal. Menurut data dari RISC-V International Foundation, jumlah anggota akan meningkat lebih dari 26% dari tahun ke tahun pada tahun 2022, dan jumlah unit anggota akan melebihi 3.180, mencakup 70 negara/wilayah, termasuk Qualcomm, Intel, Google, Alibaba, Huawei, dan UNISOC. Sharp dan banyak perusahaan chip terkemuka lainnya.
Sumber terbuka merupakan keuntungan bagi RISC-V, tetapi juga menimbulkan beberapa masalah. RISC-V hanya memiliki lebih dari 40 set instruksi dasar, ditambah lusinan instruksi ekstensi modul dasar.Setiap perusahaan dan pengembang dapat menggunakan RISC-V secara gratis untuk membuat chip dengan hak kekayaan intelektual independen.
Namun, fitur open source, sangat dapat disesuaikan, dan modular juga membuat ekosistem RISC-V lebih terfragmentasi dan kompleks.
"Setelah setiap perusahaan penelitian dan pengembangan chip memutakhirkan set instruksi RISC-V, itu benar-benar akan menghasilkan arsitektur baru. Ini disebut RISC-V, tetapi perusahaan yang berbeda tidak kompatibel dengan RISC-V, dan ekologi open source sebenarnya dibagi. .**" Lu Tao, Presiden Teknologi Weiwei dan Manajer Umum China Raya, percaya bahwa sumber terbuka arsitektur chip dan ekologi perangkat lunak sangat penting, tetapi sangat sulit bagi tim yang berbeda untuk menemukan keseimbangan antara keterbukaan, kustomisasi dan fragmentasi Uji kebijaksanaan dan kemampuan tim R&D.
Selain itu, arsitektur Arm telah menghasilkan GPU, IPU, dan chip lain yang cocok untuk pelatihan dan penalaran AI, dan ekologi teknisnya lebih lengkap dan matang. Niat asli RISC-V adalah untuk mendesain CPU, meskipun sangat terbuka, desain chip AI masih dalam tahap penjajakan.
Menurut firma riset Counterpoint Research, pada tahun 2025, pengiriman kumulatif prosesor RISC-V akan melebihi 80 miliar, dengan tingkat pertumbuhan tahunan sebesar 114,9%. Pada saat itu, RISC-V akan menempati 14% pasar CPU global, 28% pasar IoT, 12% pasar industri, dan 10% pasar otomotif.
Qualcomm telah mengimplementasikan RISC-V dalam mikrokontroler di Snapdragon 865 SoC pada tahun 2019, dan hingga saat ini telah mengirimkan lebih dari 650 juta chip RISC-V. Pada Forum KTT Perangkat Keras AI pada September 2022, Profesor Krste Asanovic, penemu RISC-V, mengungkapkan bahwa Google telah mulai menggunakan SiFive Intelligence X280 berbasis RISC-V untuk mengembangkan kerangka pembelajaran mesin chip TensorFlow.TPU. **Sebelumnya, Google telah melakukan penelitian mandiri pada arsitektur chip TPU selama lebih dari 10 tahun.
Meskipun sulit untuk mengembangkan chip RISC-V dari awal, sifat open source RISC-V telah memberikan chip China, yang juga dimulai dari awal, kesempatan untuk bertahan dalam blokade dan monopoli. perusahaan adalah yang paling cepat berkembang di dunia. Perusahaan chip China lebih agresif dan bersedia menghadapi tantangan." Gang Zhijian mengatakan bahwa pasar China adalah kunci untuk merangsang perkembangan industri chip. Pasar chip China sangat besar, misalnya, permintaan daya komputasi chip otomotif China jauh melebihi pasar Eropa dan Amerika. **Dengan meningkatnya permintaan perusahaan China untuk daya komputasi AI, industri chip AI China pasti akan memberikan lebih banyak peluang di masa depan.
Kesimpulan
Selain pertimbangan komersial, **sumber terbuka juga dapat membantu penayang teknis mengoptimalkan model. **
"ChatGPT sebenarnya adalah kemenangan teknik." Keberhasilan model bahasa besar saat ini sebenarnya didasarkan pada pelatihan berulang dan penyetelan model. Jika setelah model dasar ditetapkan, model tersebut dipromosikan ke komunitas open source, dan lebih banyak pengembang berpartisipasi dalam pekerjaan pengoptimalan model, niscaya akan sangat membantu kemajuan model besar AI.
Selain itu, "model besar sumber terbuka dapat menghindari penemuan kembali roda." Lin Yonghua, wakil presiden dan kepala teknisi Institut Penelitian Kecerdasan Buatan Zhiyuan Beijing, mengatakan dalam sebuah wawancara selama Konferensi Zhiyuan 2023, dengan asumsi bahwa semua orang di ** berasal dari The penelitian dan pengembangan model skala besar tujuan umum membutuhkan banyak daya komputasi, data, dan listrik.Ini adalah penemuan kembali roda yang lengkap, yang tidak kondusif untuk penggunaan sumber daya sosial yang rasional. **
Untuk organisasi nirlaba seperti Zhiyuan Research Institute, tidak peduli apakah modelnya open source atau closed source, mungkin tidak ada banyak pertimbangan komersial. Tetapi untuk perusahaan AI komersial, apakah itu Microsoft, Google, Meta, OpenAI, atau Zhipu AI domestik dan Baichuan Intelligent, model AI besar apa pun pasti tidak hanya untuk tujuan "penelitian ilmiah". **
Meskipun produk OpenAI memiliki keunggulan absolut dalam teknologi, ekosistem ChatGPT yang dibangun dalam bentuk plug-in lemah dalam konstruksi ekologis. Dalam sengketa open-source dan closed-source AI, kita mungkin melihat pola yang berbeda dari sistem operasi seluler di masa mendatang.