Seberapa sulit mendaratkan model vertikal?

Sumber asli: hal-hal itu di Internet

Sumber gambar: Dihasilkan oleh AI‌ Tak Terbatas

Status jalur model skala besar saat ini: *Di satu sisi, perusahaan pemula didasarkan pada model skala besar sumber terbuka, dan di sisi lain, pabrikan besar melibatkan berbagai parameter model skala besar *.

Menurut statistik organisasi yang tidak lengkap, saat ini ada 79 model skala besar dengan skala lebih dari 1 miliar parameter di China. Dalam proses involusi parameter besar, suara lain mulai muncul di pasar, "peningkatan parameter tanpa arah pengembangan tidak ada artinya."

Untuk itu, dalam hal arah pengembangan, beberapa model besar difokuskan pada penerapan bidang vertikal. Berdasarkan pengembangan ribuan model, basisnya bisa berubah, tetapi jika dipikir-pikir dengan hati-hati, akan selalu ada seseorang yang bisa kehabisan industri vertikal.

Pada saat yang sama, pada tahap awal pengembangan, meskipun model besar sumber tertutup lebih baik dalam kualitas dan relatif aman, ekologi model skala besar membutuhkan tingkat involusi tertentu, dan sumber terbuka benar-benar dapat mempromosikan kemakmuran model besar. Dari perspektif lain, berdasarkan open source, banyak perusahaan memiliki kualifikasi untuk berpartisipasi dalam trek, tetapi selalu ada beberapa orang yang mudah jatuh di tingkat pertama - kekurangan daya komputasi.

Lagi pula, jumlah model besar meningkat berlipat ganda, tetapi jika kita melihat peningkatan jumlah model besar secara sepihak, maka sampai batas tertentu, kita akan mengabaikan pilihan, perjuangan, dan bahkan masalah beberapa perusahaan di belakang perusahaan besar. model Kemungkinan menyerah setelah memilih.

Seperti yang kita ketahui bersama, tiga elemen kecerdasan buatan adalah: daya komputasi, algoritme, dan data. Sumber terbuka hanya dalam tahap algoritme, setelah itu perusahaan membutuhkan banyak dukungan daya komputasi dan pelatihan data, biaya di balik ini tinggi.

01 Model vertikal, apakah masih ada harapan bagi perusahaan start-up?

Dalam pemilihan model besar open source, berdasarkan alasan biaya dan pengembangan kustom, tidak sedikit perusahaan wirausaha yang memilih model parameter kecil, dan mereka bahkan menjadi pilihan pertama dari perusahaan semacam itu.

**Salah satunya adalah masalah biaya pra-pelatihan. **

Guosheng Securities pernah memperkirakan bahwa biaya pelatihan GPT-3 adalah sekitar 1,4 juta dolar AS, dan untuk beberapa model LLM yang lebih besar, biaya pelatihan antara 2 juta dolar AS dan 12 juta dolar AS.

Termasuk pada Januari tahun ini, rata-rata sekitar 13 juta pengunjung unik menggunakan ChatGPT setiap hari. Permintaan chip terkait lebih dari 30.000 GPU NVIDIA A100. Biaya investasi awal sekitar 800 juta dolar AS, dan biaya listrik harian sekitar 50.000 Dolar Amerika.

Terlebih lagi, sebelum banyak uang diinvestasikan, banyak sumber daya data diperlukan untuk mendukung pelatihan model. Alasan lain untuk ini adalah masalah persyaratan pra-pelatihan.

Beberapa orang di industri juga mengungkapkan pandangan mereka tentang hal ini: "Kemampuan generalisasi model besar itu sendiri masih dibatasi oleh data."

Karena begitu data berkualitas tinggi dari model besar disaring dan dilatih terlalu sedikit, masalah kualitas keluaran model besar akan terlihat jelas, dan pengalaman pengguna akan sangat berkurang dalam hal pengalaman.

Dapat dikatakan bahwa dalam proses pra-pelatihan, banyak uang dan waktu dihabiskan hanya untuk mengumpulkan data.

Terlebih lagi, di jalur model skala besar, sebagian besar startup berkembang di sekitar bidang vertikal industri, meskipun upayanya relatif kecil, tetapi itu pasti tidak mudah.

Secara khusus, jika model besar ingin mengubah model bisnis industri, maka kriteria paling sederhana untuk menilai ini adalah apakah model besar jenis ini memiliki cukup data industri, misalnya, perlu menganalisis produk hitam yang tersembunyi di gelap Hanya dengan pemahaman yang cukup kita tidak dapat digunakan oleh produk hitam dan berada dalam keadaan aman dan pasif.

** Kriteria lain untuk menilai adalah kualitas hasil akhir dari data yang diproses oleh model besar saat dijalankan. **

Lagi pula, jika Anda ingin mematahkan monopoli model berdasarkan model sumber terbuka, Anda perlu mengoptimalkan dan meningkatkan sejumlah besar data, dan berinvestasi dalam infrastruktur yang memadai.

Model open source saat ini sebenarnya lebih seperti Android di era Internet, tidak mudah bagi perusahaan pemula tanpa keunggulan skenario pendaratan pabrikan besar dan akumulasi data untuk berkembang, tetapi masih ada peluang.

Bahkan, Institut Bodhidharma pernah menganggap "pengembangan koperasi model besar dan kecil" sebagai salah satu tren masa depan.

Bahkan perusahaan rintisan Zhuiyi Technology percaya bahwa "model besar vertikal adalah peluang yang solid, sama seperti penemuan benua Amerika jauh lebih dari satu orang."

Jadi sekarang kita dapat melihat bahwa banyak startup mulai memilih untuk memasuki jalur model berskala besar, termasuk DriveGPT Xuehu Hairuo, Qizhi Kongming, dan ChatYuan Yuanyu diluncurkan oleh AI startup seperti Momo Zhixing, Innovation Qizhi, dan Yuanyu Intelligence, dan lainnya model besar.

Namun, meskipun tidak ada produk dalam negeri untuk C-end, berdasarkan B-end, pabrikan besar telah memulai proses penerapan awal.

Dilaporkan bahwa pabrikan besar saat ini berencana untuk mengekspor model besar melalui cloud. Cloud computing telah menjadi cara terbaik untuk mengimplementasikan model besar. Model sebagai layanan (MaaS) telah menarik lebih banyak perhatian, dan ini juga akan membawa biaya model besar menurun.

Jadi, apakah masih ada harapan untuk startup?

02 Apakah pengalaman produk sesuai dengan permintaan pasar?

Menurut prediksi majalah otoritatif "Fast Company", pendapatan OpenAI pada tahun 2023 akan mencapai 200 juta dolar AS, termasuk penyediaan layanan antarmuka data API, biaya layanan berlangganan robot obrolan, dll.

Jelas, ada permintaan untuk model besar di berbagai industri, tetapi berdasarkan pertimbangan keselamatan dan sikap B terhadap model besar, faktor keamanan model besar saat ini terbatas. Oleh karena itu, pada basis yang relatif mendasar, perusahaan Internet besar juga memprioritaskan dialog permintaan tinggi, pembuatan konten dokumen, dan skenario tanya jawab, termasuk dialog di kantor kolaboratif, pembuatan dokumen, dan banyak skenario lainnya.

Misalnya, sekarang manusia hanya perlu memberi tahu AI tentang informasi produk, biarkan AI secara otomatis menghasilkan berbagai gaya skrip dan gaya pengiriman produk, lalu menetapkan jangkar manusia digital untuk membantu perusahaan menjual barang. Menurut Baidu, dibandingkan dengan siaran langsung, siaran langsung digital dapat mencapai 7*24 jam siaran langsung tanpa gangguan, dan tingkat konversinya dua kali lipat dari ruang siaran langsung tanpa awak.

Dengan infrastruktur cloud sebagai basis yang diperlukan untuk kewirausahaan skala besar, raksasa internet dengan komputasi cloud memiliki keunggulan tertentu.

Menurut data pelacakan pasar IaaS komputasi awan global 2022 yang dirilis oleh IDC, 10 pemain pangsa pasar teratas semuanya adalah perusahaan besar di China dan Amerika Serikat, termasuk Amazon, Google, Microsoft, dan IBM di Amerika Serikat, dan Ali, Huawei, Tencent, dan Baidu di Tiongkok.

Meskipun perselisihan open source dan closed source dari model besar tidak akan berakhir dengan munculnya satu atau beberapa produk, diperlukan lebih banyak partisipasi talenta terbaik, iterasi teknis, dan dukungan finansial.

Namun dibandingkan secara horizontal, banyak perusahaan rintisan AI juga kurang beruntung dari perusahaan rintisan unicorn MiniMax. (Perbedaannya adalah MiniMax berfokus pada model besar umum)

Pada 20 Juli, Tencent Cloud mengungkapkan kemajuan terbaru dalam membantu MiniMax mengembangkan model besar. Saat ini, Tencent Cloud mendukung tugas tingkat kilokalori MiniMax untuk berjalan secara stabil di Tencent Cloud untuk waktu yang lama, dengan ketersediaan 99,9%.

Dilaporkan bahwa mulai Juni 2022, berdasarkan kemampuan produk seperti cluster daya komputasi, cloud native, big data, dan keamanan, Tencent Cloud telah membangun arsitektur cloud untuk MiniMax dari lapisan sumber daya, lapisan data, dan lapisan bisnis.

Kenyataan seolah membuktikan sekali lagi bahwa mendapatkan tiket masuk adalah langkah pertama, dan ujian selanjutnya adalah kemampuan pelaku pasar untuk mengeksplorasi komersialisasi dan peningkatan teknologi. Terus terang, perusahaan rintisan AI ingin berlari sampai akhir di jalurnya, dan mereka tidak boleh melewatkan setiap langkah.

Sampai batas tertentu, perusahaan pemula bukannya tanpa keuntungan dalam pengembangan model besar.

Meskipun beberapa perusahaan Internet besar telah menyadari skenario awal, atau mulai menjual layanan untuk mendapatkan penghasilan, mata perusahaan besar dan MiniMax lebih terfokus pada model besar dengan tujuan umum.

Maket vertikal masih vakum. Khususnya untuk kelompok perusahaan tradisional, mengingat rendahnya atribut IT dari bisnis mereka sendiri dan rendahnya rasio input-ke-produksi, kemungkinan untuk memilih model besar yang dikembangkan sendiri adalah rendah.

Misalnya, Chuangxin Qizhi berfokus pada produk model skala besar industri "Qizhi Kongming"; memiliki keunggulan data tertentu dan mengembangkan model bahasa skala besar di ChatYuan; model skala besar generatif self-driving utama DriveGPT Xuehu · Hairuo .

Namun, ada satu hal yang perlu dikatakan, data pelatihan dan arahnya berbeda, dan biayanya sangat bervariasi.

Pertama, biaya pelatihan model metabahasa besar dari awal bisa mencapai puluhan juta RMB. Di bidang mengemudi otonom generatif, perlu merancang bahasa baru selain ChatGPT, dan kemudian "menerjemahkan" semua data mengemudi di jalan raya yang sebenarnya ke dalam bahasa input biaya terpadu.

Sampai batas tertentu, perusahaan start-up AI dapat mewujudkan investasi dalam jumlah besar dalam model besar, dan lebih banyak manfaat dari keberhasilan ChatGPT dalam bisnis dan pemasaran, yang dapat langsung membuat orang menyaksikan kelayakan model besar, alih-alih melanjutkan. bersembunyi di Dalam iterasi teknis yang panjang.

Untuk alasan ini, langkah pertama untuk mewujudkan implementasi saat ini adalah biaya pelatihan dan biaya penalaran model besar harus lebih rendah daripada pencarian, dan kesegeraannya juga dapat dijamin.

03 Seberapa sulit dari konsep hingga implementasi?

Ada pandangan bahwa perusahaan rintisan berskala besar China yang bisa habis kemungkinan akan terintegrasi secara vertikal.

Sederhananya, saat membuat model besar yang mendasarinya, identifikasi skenario aplikasi utama akhir dari sebuah model, kumpulkan data pengguna, dan buat iterasi cepat.

Secara visual, kecerdasan metalinguistik lebih condong ke kategori ini. Singkatnya, untuk waktu yang lama, kecerdasan meta-bahasa berfokus pada bisnis model bahasa alami yang besar.

Yuanyu COO Zhu Lei juga berkata, "Kami tidak akan membabi buta memperluas bisnis gambar dan video hanya untuk mengikutinya. Fokus bisnis yang baik itu penting."

Namun, untuk perusahaan baru lainnya yang berkembang menjadi model vertikal skala besar seperti penggerak otonom dan produksi industri, mereka mungkin kurang memiliki pengetahuan tentang beberapa data industri khusus.

Lagi pula, dalam jalur model skala besar vertikal, faktor inti persaingan perusahaan di masa depan adalah data pribadi dan pengalaman pribadi.Ketika proses perusahaan individual tidak diketahui oleh pemodel skala besar, ia mungkin memiliki daya saing yang unik.

Selain itu, dalam proses fokus bisnis, akurasi data dari sumber hingga pra-pelatihan dan keluaran juga diperlukan.

AI generatif juga saat ini menerima lebih banyak perhatian regulasi. Baru-baru ini, China merilis "Ukuran Manajemen Layanan Kecerdasan Buatan Generatif (Draf untuk Komentar)", yang dengan jelas mensyaratkan bahwa tidak boleh ada diskriminasi, konten yang dihasilkan harus benar dan akurat, dan informasi palsu harus dicegah. Jika ada, di selain pemfilteran konten, pengoptimalan model, dan sebagainya untuk pengoptimalan.

Namun, jika itu adalah cacat bawaan dari kecerdasan buatan generatif, secara teknis sulit untuk menjamin dan menyelesaikannya sepenuhnya.

Selain itu, dengan munculnya model open source yang lebih baik, akan ada lebih banyak perusahaan yang ingin mencoba.Untuk perusahaan pemula, bukankah ini persaingan?

Misalnya, Llama 2 saat ini, pada 18 Juli, Meta merilis versi komersial Llama 2 dari model kecerdasan buatan open source pertama Llama. Beberapa perusahaan menilai, menurut berbagai dokumen evaluasi saat ini, selain kemampuan coding yang buruk, sebenarnya banyak tempat yang mulai mendekati ChatGPT.

Mungkin kegilaan komunitas open source di masa depan akan mempopulerkan model skala besar dengan kemampuan dasar, dan model skala besar yang diprivatisasi akan menjadi harga kubis di masa depan. Terus terang, perusahaan dapat menggunakan model privatisasi dengan sangat murah.

Lebih penting lagi, Tang Daosheng pernah berkata: "Model besar umum memiliki kemampuan yang kuat, tetapi tidak dapat menyelesaikan masalah spesifik banyak perusahaan. Model ini dapat menyelesaikan 70%-80% masalah dalam 100 skenario, tetapi mungkin tidak dapat memecahkan masalah spesifik banyak perusahaan. 100% memenuhi kebutuhan skenario tertentu perusahaan. Namun, jika perusahaan melakukan penyesuaian berdasarkan model besar industri dan datanya sendiri, ia dapat membangun model khusus dan menciptakan layanan cerdas yang tersedia."

Tentu saja, model privatisasi semacam ini belum datang, tetapi para pemula di jalurnya pasti memiliki peluang dan kesulitan.