Draf pertama artikel ini diselesaikan pada waktu senggang saya di akhir bulan Agustus, setelah buru-buru menerbitkannya, saya mendapat banyak nasehat, sehingga saya menambah, mengubah, dan menghapus beberapa konten agar tidak membuat orang tertawa.
Isi artikel ini terutama untuk mengevaluasi situasi industri AI saat ini dari perspektif investasi, untuk merefleksikan dan memperkirakan rute teknologi/produk dari berbagai perusahaan, dan untuk mengabstraksi strategi perusahaan di bidang AI. industri. Oleh karena itu, pasti ada beberapa kelalaian dalam hal teknologi tertentu, jadi mohon bersabar.
Namun pada analisa akhir, perusahaan-perusahaan besar yang bisa menerbitkan makalah masih berselisih satu sama lain, dan sepertinya belum ada yang bisa menilai keakuratan isi artikel ini. Sama seperti menggunakan GPT-4 untuk mencetak GPT-3.5, tampaknya masuk akal, namun agak abstrak jika dipikir-pikir.
Oleh karena itu, penulis merekomendasikan agar artikel ini dianggap sebagai "penilaian" yang dibentuk setelah mengumpulkan informasi mengenai industri yang tidak pasti. Karena ini adalah putusan, maka posisinya harus jelas dan pernyataannya harus bermakna. Benar atau tidaknya, biarkan waktu yang mengujinya.
Penulis selalu percaya bahwa: industri baru itu berisik, menggunakan otak Anda dan berani membuat penilaian adalah hal yang benar. Untuk pertanyaan benar-salah, tingkat tebakan buta yang benar adalah 50%, dan kemungkinan salah menebak tiga kali berturut-turut adalah 12,5%.Bahkan jika itu adalah tingkat penilaian melempar koin, itu tetap bermakna. Membuat penilaian bukanlah hal yang buruk, tetapi hal yang paling buruk adalah keakuratan penilaian lebih rendah dibandingkan dengan melempar koin.
Sebelum secara resmi memulai artikel ini, saya ingin mengucapkan terima kasih kepada orang-orang berikut atas kerja mereka, yang telah memberikan inspirasi dan sumber data berharga untuk artikel ini. Tentu saja, karena banyak kesimpulan dalam artikel ini didasarkan pada karya-karya tersebut, jika terdapat kesalahan atau penulis memiliki pemahaman yang salah, maka kesimpulan dalam artikel ini tidak lagi kuat, dan pembaca diminta untuk membuat penilaian sendiri. Artikel ini bukan merupakan nasihat investasi, dan bukan merupakan nasihat investasi.
Pusat Rantai Pemikiran: Upaya Berkelanjutan untuk Mengukur Kinerja Penalaran Model Bahasa Besar（
LIMA: Lebih Sedikit Lebih Baik untuk Penyelarasan（
Juni 2023, Tinjauan Tahap Penyetelan Instruksi（
Arsitektur GPT-4, Infrastruktur, Kumpulan Data Pelatihan, Biaya, Visi, KLH（
Oke, mari kita mulai artikel ini secara resmi.
Model Besar: Luncurkan Cyber Rocket
Langkah pertama dalam pembahasan AI pada tahun 2023 adalah membahas apakah kewirausahaan model besar masih bisa dilakukan.
Model besar (pra-pelatihan) kini menjelma menjadi masalah peluncuran roket, asalkan api dinyalakan dan arahnya tepat, siapa pun bisa melakukannya. Dapat dikatakan bahwa melatih model berukuran besar seperti meluncurkan roket dunia maya.
Hal yang kontra-intuitif adalah investor meremehkan kesulitan melatih model besar, namun melebih-lebihkan kesulitan meluncurkan roket sungguhan. Dengan biaya yang sama sebesar 60 juta dolar AS, investor akan merasa ada kesempatan kedua untuk peluncuran roket yang gagal, dan kegagalan melatih model besar dianggap membuang-buang uang.
GPT-4 masih menghabiskan $60 juta dalam efisiensi pemanfaatan GPU OpenAI (dilaporkan sekitar 30%). Ini adalah pertanyaan tentang {kinerja = efisiensi × biaya}, dan kinerja adalah penghalangnya. Jika startup lain tidak dapat mencapai efek kinerja yang lebih besar dari 30% × 60 juta = $18 juta, pengguna sebaiknya menggunakan GPT-4 secara langsung.
Saat ini, putaran pembiayaan banyak perusahaan yang mengaku melatih model besar berkisar antara 1 juta hingga 5 juta dolar AS. Meskipun demikian, bahkan perusahaan dengan pendanaan terbesar pun hanya memiliki amunisi yang cukup untuk satu peluncuran. Dan meskipun pemanfaatan GPU pada peluncuran ini mencapai 100%, sulit untuk melampaui GPT-4.
Dari sudut pandang ini, lebih baik meluncurkan roket, karena sebagian besar roket saat ini adalah kendaraan peluncuran, membawa satelit ke angkasa, dan kapasitas muatan tunggal terbatas, sehingga perusahaan roket kecil dapat menerima pesanan satelit yang belum sempat dilakukan oleh perusahaan lain. peluncuran.
Model besar berbeda.Biaya marjinal ekspansi horizontal model besar hanyalah biaya daya komputasi, dan biaya daya komputasi dapat diperluas secara elastis, yang berarti bagi perusahaan model besar, keuntungan dari setiap pesanan adalah keuntungan gratis. , hampir tidak ada biaya tambahan, dan kapasitas usahanya sangat besar. Bagi perusahaan model besar yang baru didirikan dengan kualitas buruk, sulit menerima permintaan yang melimpah.
Kecuali jika biaya pelatihan turun secara signifikan, meskipun seluruh arsitektur GPT-4 diketahui, akan sulit bagi banyak perusahaan untuk membuat model besar yang dapat dipasarkan dalam jangka pendek.
Kustomisasi: Menghadapi masalah “pemenang mengambil segalanya”.
Dalam industri perangkat keras, fenomena umum adalah mencapai keuntungan awal melalui kebutuhan yang disesuaikan, dan kemudian mencapai terobosan teknologi (atau pemerataan) melalui keuntungan awal. Namun, penyesuaian dalam industri model besar bukanlah jalan keluar bagi pendatang baru.
Mengenai penilaian ini, penjelasannya sangat sederhana: sebagian besar model yang disempurnakan tidak dapat mengejar GPT-4. Sekalipun bisa mengejar, penggunaan GPT-4 secara langsung untuk generalisasi lebih murah, memerlukan lebih sedikit personel, dan membutuhkan lebih sedikit keberuntungan. .Kebutuhan data lebih sedikit. Selama kesenjangan kinerja antara GPT-4 dan model lainnya masih ada, penyesuaian tidak dapat menjadi jalan keluar bagi perusahaan model besar.
Contoh yang paling umum adalah Jasper, yang menggunakan GPT-3 yang telah disempurnakan untuk melayani pelanggan perusahaan. Namun, setelah OpenAI merilis ChatGPT (GPT-3.5), penggunanya dengan cepat hilang. Karena keluaran Jasper dapat diperoleh hanya dengan memasukkan GPT-3.5, daripada menggunakan "versi terbelakang" yang memiliki kemampuan generalisasi yang buruk dan terbatas untuk penggunaan internal dalam perusahaan.
Dibandingkan dengan perusahaan baru, Jasper setidaknya memiliki window period dari GPT-3 hingga GPT-3.5 untuk pengembangan. Namun, perusahaan baru kini harus menghadapi tekanan GPT-3.5 yang berbiaya rendah dan berkecepatan tinggi serta GPT-4 yang berperforma tinggi pada saat yang bersamaan.
Oleh karena itu, kemungkinan bertahan hidup sangat rendah untuk jalur akumulasi keuntungan melalui penyesuaian guna mencapai terobosan teknologi.
Penyempurnaan: Perlu, jangan percaya takhayul
Industri AI saat ini memiliki ekspektasi yang tidak realistis terhadap penyempurnaan, yang terlalu dibesar-besarkan baik dalam hal penerapan teknis spesifik maupun ritme teknis tingkat makro.
Penyempurnaan yang saat ini dibahas di industri sebagian besar mengacu pada "berdasarkan model yang telah dilatih sebelumnya, sehingga dapat menghasilkan jawaban yang konsisten dengan niat manusia". Penyempurnaan semacam ini bisa disebut "penyelarasan", yaitu menyelaraskan jawaban dengan niat manusia, bukan menambahkan kecerdasan pada model besar.
Berdasarkan hasil penelitian beberapa makalah, pengetahuan tentang model besar sebaiknya berasal dari pra-pelatihan, sedangkan fine-tuning lebih banyak digunakan untuk penyelarasan.
Penjelasan sederhananya adalah bahwa pra-pelatihan menentukan kapasitas otak, dan penyesuaian menentukan bahasa ibu. Menyempurnakan model yang telah dilatih sebelumnya adalah sebuah proses “menghilangkan buta huruf”.
Namun saat ini, fine-tuning sering dianggap di industri sebagai metode "meningkatkan kecerdasan" model, yaitu melalui fine-tuning untuk meningkatkan performa model dan menambah pengetahuan model, diyakini dapat mencapai tujuan. "cawan suci kecerdasan buatan". Cara berpikir ini agak bias.
Pertama, performa model itu sendiri belum meningkat, namun bisa lebih selaras dengan niat manusia. Jika kompleksitas tugas melebihi performa model, penyesuaian tidak akan memberikan hasil yang diharapkan. Sama seperti membiarkan otak manusia melakukan operasi kuantum, kegagalan melakukan hal tersebut bukanlah masalah pendidikan.
Kedua, efek “suplementasi pengetahuan” pada bagian “penyelarasan niat” lebih mirip dengan “pembelajaran burung beo”. Artinya: model hanya menirukan ucapan ahli, tetapi tidak memahami maknanya. Meskipun banyak industri bisa mendapatkan solusi yang baik dengan "membeo" (sebagian besar industri tidak rumit...), ini jelas bukan hasil yang harus kita kejar dalam jangka panjang.
Terakhir, pelatihan "melengkapi kumpulan data tambahan, meningkatkan kinerja model, dan meningkatkan pengetahuan model" harus dianggap sebagai model yang memiliki kemampuan "pembelajaran tambahan/pembelajaran berkelanjutan", yaitu semua parameter model dapat diproses melalui optimasi kumpulan data tambahan. Ini bukan konsep yang sama dengan apa yang disebut "penyempurnaan instruksi".
Secara umum, fine-tuning sangatlah penting, namun memiliki sikap "takhayul" terhadap fine-tuning saat ini adalah salah, terutama keinginan untuk menyegel fine-tuning saat ini sebagai Holy Grail, yang cukup "di atas bangunan". fisika hari ini"Hanya ada dua awan gelap yang mengambang".
Mengambil langkah mundur, jika permintaan untuk "meningkatkan kecerdasan" benar-benar dapat diselesaikan melalui penyempurnaan instruksi, melakukan pencarian vektor sederhana, memasukkan pengetahuan secara langsung ke dalam konteksnya, dan kemudian cukup menulis beberapa templat, ada kemungkinan besar bahwa akan ada Efek yang sama atau bahkan lebih baik.
Semua orang suka fine-tuning, mungkin ini semacam kebangkitan keterampilan alkimia di zaman modern...
Prospek Model Besar: Empat Operasi Aritmatika
(Perhatikan bahwa bagian konten ini sepenuhnya didasarkan pada data yang diungkapkan oleh Dylan Patel, dan keandalannya belum dapat diverifikasi)
Pelatihan GPT-4 didasarkan pada kartu seri N. Efisiensi pelatihan 30%. Waktu pelatihan sekitar 2 bulan, biaya sekitar 60 juta, jumlah parameter total {1,7 triliun = 110 miliar × 16 model ahli}. Dapat menangani satu masalah. Parameternya sekitar 280 miliar.
Dengan kata lain, ada beberapa parameter utama yang akan menyebabkan perubahan pola pelatihan model besar.
Efisiensi pelatihan: meningkat dari 30% menjadi 60% dapat mempersingkat waktu satu kali secara langsung
Peningkatan intensitas daya komputasi: Setelah beralih dari seri A ke seri H dan kemudian ke kartu khusus AI, intensitas daya komputasi meningkat, dan banyak masalah arsitektur yang memengaruhi efisiensi dapat diselesaikan.
Biaya daya komputasi menurun: Lao Huang (pendiri Nvidia) mendiskon kartu grafis, sehingga menghasilkan pengurangan biaya yang signifikan
Peningkatan efisiensi parameter: Ada ruang untuk perbaikan dalam efisiensi parameter model. Mengacu pada model sebelumnya, efisiensi parameter model lama biasanya dapat ditingkatkan berkali-kali lipat. Dimungkinkan untuk menggunakan 30% dari parameter model GPT-4 untuk mencapai efek serupa
Singkatnya, biaya pelatihan model dengan performa tingkat GPT-4 dari nol mungkin memerlukan ruang pengoptimalan 10 hingga 20 kali lipat, yang berarti dapat dikompresi menjadi US$3 juta hingga US$6 juta. efektif untuk startup dan perusahaan besar.
Perubahan ini mungkin memerlukan waktu sekitar 2 tahun untuk diselesaikan.
Saat ini, teknologi model besar mainstream masih berbasis trafo, struktur dasarnya tidak berubah, dan ide membuat keajaiban dengan alkimia dan parameter belum habis. Pelatihan GPT-4 dilakukan atas dasar batas daya komputasi yang besar, dan waktu pelatihan yang tidak cukup lama.
Jika parameter bertambah secara linier seiring dengan waktu pelatihan, batas atas parameter model yang mirip dengan arsitektur GPT-4 mungkin sekitar 10 triliun, yaitu waktu pelatihan menjadi dua kali lipat (× 2), dan kartu grafis paralel menjadi dua kali lipat (× 2), efisiensi pelatihan menjadi setengah lebih cepat (× 1,5), efisiensi parameter menjadi setengah lebih tinggi (× 1,5), dan akhirnya diperoleh hasil sepuluh kali lipat. Menurut gaya selera risiko Silicon Valley, kemungkinan besar parameter ini akan tercapai dalam waktu satu tahun, terlepas dari apakah kinerjanya meningkat atau tidak.
Namun, setelah mencapai 10 triliun parameter, apakah LLM masih dapat menggunakan gagasan meningkatkan parameter untuk melakukan keajaiban adalah hal yang sama sekali tidak diketahui.
Jika peningkatan kinerja model berdasarkan jumlah parameter sedikit menurun, maka 10 triliun kemungkinan akan menjadi ambang batasnya. Namun, ada juga dugaan bahwa jumlah parameter meningkatkan performa model dengan sedikit peningkatan, serupa dengan "jika seseorang cukup pintar, dia dapat mempelajari segala sesuatu dengan cepat". Yang pertama baik-baik saja. Jika yang kedua benar, kinerja model dapat meningkat secara eksponensial, dan apa yang akan terjadi pada saat itu benar-benar tidak dapat diprediksi.
Sulit untuk memprediksi obat mujarab, namun mudah untuk memprediksi ritme strategis suatu perusahaan. Bagi sebagian besar perusahaan, apakah itu perusahaan raksasa seperti Google/MS/APPL atau OpenAI yang lebih kecil, model dengan total parameter 10 triliun adalah titik akhir tonggak sejarah, yang dapat digunakan untuk berhenti dan melakukan eksplorasi teknis.
Preferensi perusahaan/modal terhadap risiko dapat diubah menjadi “waktu ketahanan”, jika seluruh waktu ketahanan secara intensif menghabiskan biaya, akan sulit untuk melebihi 6 bulan. Keahlian manusia tidak berkembang cukup cepat, biasanya dalam siklus 5 tahun atau lebih. Oleh karena itu, dalam waktu 5 tahun, kuantitas parameter batas model dapat diperkirakan sebesar 20 triliun hingga 50 triliun. Kecuali jika terobosan besar dalam proses/arsitektur terjadi lagi, kemungkinan melampaui tingkat besaran ini sangat kecil.
Multimodalitas: Gajah di dalam ruangan
Multimodalitas adalah hal yang penting dan mungkin berdampak besar pada lanskap arena pacuan kuda.
Definisi sederhana dari multimodalitas adalah: mendukung masukan dan keluaran berbagai informasi modal. Definisi ini sangat longgar. Misalnya, beberapa produk di pasaran yang mengklaim mampu melakukan input multi-modal sebenarnya adalah lapisan OCR di luar ChatBot. Ada juga model yang sepenuhnya memenuhi definisi multimodalitas, namun kinerjanya mengecewakan. Bahkan kemampuan input gambar multimodal GPT-4 belum terbuka secara luas, terlihat bahwa fungsi ini kurang stabil.
Namun, peluncuran multimodal tidak lama lagi akan terjadi. Ada kemungkinan besar bahwa GPT-5 mendukung multi-modalitas, yang berarti strukturnya perlu didesain ulang dan dilatih ulang. Berdasarkan alasan sebelumnya, parameter model besar masih memiliki ruang pertumbuhan 10 hingga 50 kali lipat, dan seharusnya cukup untuk memasukkan kemampuan multimoda ke dalamnya. Oleh karena itu, model multimoda dengan ketersediaan tinggi dan kinerja tinggi diharapkan akan muncul dalam waktu 2 tahun. Kalau kita optimis, hampir 1 tahun.
Multimodalitas adalah gajah di dalam ruangan, semua orang tahu hal seperti itu pada akhirnya akan terjadi, namun begitu banyak produk/penelitian/strategi mengabaikan keberadaannya sehingga terjadi kesalahan perhitungan di bagian-bagian penting.
Misalnya, model gambar tunggal secara teoritis dapat sangat tertindas oleh model multimodal, namun sebagian besar penelitian/investasi saat ini mengabaikan masalah ini, sehingga menyebabkan penilaian berlebihan terhadap beberapa perusahaan yang berfokus pada gambar. Perusahaan-perusahaan ini kemungkinan besar akan kehilangan hambatan teknis dan bertransformasi menjadi penyedia layanan di masa depan. Sistem penilaian mereka harus mengacu pada penyedia layanan, bukan perusahaan teknologi.
Jika Anda ingin menceritakan kisah "investasi bergantung pada manusia, tim yang sama dapat mengubah bisnis", anggap saja saya tidak mengatakannya. Legenda selalu ada, tapi Anda tidak bisa mempercayainya saat melakukan penelitian.
Siapa yang bisa melatih GPT-4: bisa, tapi tidak perlu
Menyempurnakan ramuan tidak memakan waktu lama, dan perusahaan besar membeli kartu grafis. Satu hal yang sangat jelas adalah dalam setahun, perusahaan besar akan mampu melatih model level GPT-4. Tapi apakah akan berlatih atau tidak adalah pertanyaan lain.
Dalam bidang permainan terdapat dalil klasik yang disebut “Yuanshin bermain Yuanshen”, yaitu: ketika pemain dapat memilih untuk memainkan Yuanshen atau produk pesaing Yuanshen, jika produk pesaing tidak sebagus Yuanshen, maka mainkan Dewa Asli .
Pendekatan “pemenang mengambil segalanya” juga berlaku untuk industri model besar. Jika sebuah perusahaan mengikuti OpenAI, setelah setengah tahun penelitian dan pengembangan, perusahaan tersebut akan meluncurkan model besarnya sendiri dengan kinerja 90% sebanding dengan GPT-4, dengan harapan dapat membawanya ke pasar. Pada saat ini perusahaan akan menghadapi permasalahan sebagai berikut:
OpenAI memiliki keunggulan skala sumber daya cloud dan biaya lebih rendah
API OpenAI telah banyak digunakan dalam kode produk, dan sulit untuk digantikan
Performa produk perusahaan masih belum melebihi GPT-4
Produk OpenAI generasi berikutnya (mungkin GPT-5) akan segera dirilis
Terlihat bahwa perusahaan berada di bawah tekanan yang cukup besar. Daripada melatih GPT-4, lebih baik bertaruh langsung pada model generasi berikutnya (melawan GPT-5). Kemudian permasalahan tersebut akan diubah dari “masalah produk pesaing sejenis” menjadi “masalah inovasi teknologi”. Ini merupakan beban yang tidak tertahankan bagi perusahaan kecil.
Oleh karena itu, membahas “siapa yang bisa melatih GPT-4” adalah pertanyaan mati yang strategis, daripada memikirkan masalah ini, lebih baik mencari arah yang lebih pasti dan berpeluang.
Saran untuk startup AI: Utamakan kinerja, hindari bertahan
Penulis telah menulis banyak artikel yang mengeluhkan langchain, alasan mendasarnya adalah langchain tidak memberikan ruang bagi pengembang untuk meningkatkan kinerja. Hal ini secara halus disebut "kerangka universal". Untuk memastikan universalitas, banyak ruang untuk peningkatan kinerja model besar ditinggalkan, seperti dialog multi-putaran dan kontrol format yang diterapkan melalui penyesuaian. Yang serupa mencakup panduan/Auto-GPT/BabyAGI, dll., yang semuanya ingin membangun "kerangka kerja yang dapat bertahan seumur hidup".
Fakta obyektifnya adalah OpenAI merilis Pemanggilan Fungsi pada bulan Mei, dan banyak tempat bermasalah dalam kode memiliki solusi implementasi yang lebih baik, dan biaya penerapan solusi yang lebih baik adalah memfaktorkan ulang bagian-bagian penting dari kode produk. Pada bulan Agustus, OpenAI merilis izin untuk menyempurnakan GPT-3.5, dan banyak tautan yang memerlukan kontrol keluaran yang tepat memiliki solusi potensial baru.
Oleh karena itu, perusahaan start-up harus menghadapi pilihan utama: haruskah mereka memilih untuk ①meningkatkan kinerja dan terus melakukan refaktorisasi produk, atau ②mengurangi penggunaan fitur-fitur baru dan selalu menggunakan fitur-fitur lama untuk pengembangan?
Untuk kewirausahaan penerapan teknologi baru, "pengembangan" tidak hanya mewakili proses penulisan kode, tetapi juga mewakili "batas atas" fungsi/strategi produk. Semakin tinggi kinerja yang dapat dikontrol, semakin banyak fungsi teoritis produk tersebut dan semakin tinggi fleksibilitas strategisnya.
Perkembangan teknologi tidak dapat diprediksi, dan inovasi teknologi kecil-kecilan dapat membawa perubahan yang sangat sensitif dalam lanskap persaingan.Perusahaan start-up harus memiliki kemampuan anti-rapuh terhadap perkembangan teknologi.
——Dalam kata manusia: berikan prioritas pada kinerja dan hindari berhenti. Pada tingkat pengembangan, gunakan lebih banyak fitur baru; di sisi produk, pikirkan fungsi apa yang dapat dilakukan fitur baru; di sisi strategis, pertimbangkan dampak fitur baru terhadap strategi.
Dalam "Guo Qin Lun", disebutkan bahwa setelah berdirinya Dinasti Qin, senjata logam di dunia disita dan dilemparkan ke dalam dua belas patung perunggu untuk menghilangkan kemungkinan pemberontakan sipil. Namun Dinasti Qin terkenal berumur pendek. Lebih bermanfaat memperhatikan perubahan daripada mengabaikannya.
Saran untuk startup AI: Buatlah aplikasi dengan percaya diri
Ada bahaya tersembunyi yang sangat umum ketika startup mengembangkan aplikasi: masuknya perusahaan besar. Perusahaan besar di sini tidak hanya mencakup raksasa aplikasi, seperti Meta/Byte/Tencent, dll, tetapi juga industri hulu AI, seperti OpenAI.
Biasanya ada dua alasan mengapa perusahaan besar memasuki pasar: untuk mengembangkan peluang produk, dan untuk bergerak ke hulu dan hilir.
"Tata letak peluang produk" adalah arti harfiahnya Perusahaan besar merasa bahwa arah ini layak untuk dikejar, jadi mereka melakukannya.
"Pemotongan hulu ke hilir" sebagian besar merupakan langkah yang tidak berdaya. Mungkin karena saya telah mengembangkan model skala besar yang dibandingkan dengan OpenAI, tetapi karena masalah model skala besar yang menang-ambil-semua, ada tidak ada pengguna, yang mengakibatkan hilangnya biaya, tidak ada pendapatan, dan tidak ada data, yang pada gilirannya menyebabkan kinerja lambat laun tertinggal. Saat ini, beralih ke hilir, mengembangkan aplikasi spesifik, dan menggunakan teknologi sendiri adalah satu-satunya pilihan.
Berdasarkan pengalaman historis, karena masalah struktur organisasi, semakin dekat suatu perusahaan dengan hilir, semakin besar kemungkinan teknologinya akan tertinggal, dan semakin tertinggal teknologinya, semakin banyak pula perusahaan yang harus bekerja di hilir. Perusahaan-perusahaan yang disebut teknologi ini pada akhirnya akan bersaing untuk mendapatkan ceruk ekologis yang sama dengan perusahaan lapisan aplikasi.
Namun, di medan perang lapisan aplikasi, karena teknologi AI baru ada dalam waktu singkat, teknologi ini tidak memiliki keunggulan skala yang efektif dan dapat digunakan kembali. Titik awal bagi perusahaan besar dan startup serupa. Dibandingkan dengan perusahaan besar, perusahaan start-up lebih efisien dan berwawasan luas, serta lebih mudah memanfaatkannya.
Situasi yang perlu diperhatikan adalah hampir semua materi promosi MS Azure kini berkisar pada OpenAI, namun pabrik sebesar Microsoft sepenuhnya mengandalkan OpenAI sebagai platformnya, yang membuktikan dari sisi bahwa start-up memiliki keunggulan alami di bidang AI.
Tentu saja, beberapa vendor cloud mungkin tidak dapat menerima dipimpin oleh perusahaan rintisan dan ingin menguasai seluruh pasar sendirian. Ini mahal, lambat, dan bukan ancaman langsung.
Faktanya adalah memang ada beberapa jalur yang berumur pendek untuk aplikasi AI, namun masih banyak jalur yang berumur panjang yang belum ditemukan, dan aplikasi AI bukanlah pemenang dari segala hal. Memperluas dari aplikasi ke platform atau teknologi juga merupakan jalur yang lebih memungkinkan.
Oleh karena itu, kita harus rasional terhadap kemampuan perusahaan besar untuk menembus lapisan aplikasi. Saran kami adalah agar perusahaan rintisan AI dapat membuat aplikasi dengan percaya diri.
Saran untuk startup AI: Perhatikan lini produk
Seperti disebutkan sebelumnya, startup AI dapat dengan percaya diri mengembangkan aplikasi, namun mereka harus mempertimbangkan masalah kinerja model AI dan menghindari terhentinya proses. Situasi ini secara langsung tercermin dalam kenyataan bahwa produk-produk AI mungkin kehilangan basis permintaannya dan secara bertahap layu dalam beberapa bulan, dan situasi ini mungkin sering terjadi.
Aplikasi AI memerlukan layanan yang menggunakan model besar, dan performa model besar terus meningkat. Peningkatan ini bukanlah peningkatan satu dimensi seperti "kecepatan", tetapi perubahan keseluruhan dalam kualitas keluaran, panjang keluaran, dan kemampuan pengendalian keluaran. Setiap peningkatan teknologi yang signifikan akan menyebabkan teknologi produk lapisan aplikasi yang ada tertinggal dan menciptakan peluang dan pesaing baru.
**Kami menyebut masa ketika aplikasi AI mempertahankan keunggulan dan kebutuhan dalam strategi/produk/teknologi sebagai "jalur hidup". **
Berikut adalah beberapa contoh dengan garis hidup yang lebih pendek:
Ketika ChatGPT/Claude mendukung pengunggahan file, ChatPDF menjadi tidak diperlukan
Jika Office 365 mendukung Copilot, produk yang menggunakan AI untuk menggambar PPT akan kehilangan keunggulannya
Saat GPT-3.5 muncul, Jasper tidak diperlukan lagi
**Mengingat industri AI berkembang pesat, keterbatasan sumber daya manusia adalah hal yang biasa. Oleh karena itu, menerima kenyataan bahwa garis hidup terbatas dan mencoba memilih arah dengan garis hidup yang lebih panjang akan membantu mempertahankan keuntungan jangka panjang dan kebutuhan produk. **
Secara umum, garis hidup dapat dibagi menjadi tingkat 3/6/12 bulan.
3 bulan: Fungsi yang belum sempat dilakukan oleh perusahaan besar (seperti fungsi yang belum sempat dilakukan oleh Office/ChatGPT)
6 bulan: Sulit untuk diterapkan dan tidak dapat diintegrasikan ke dalam solusi yang ada, namun kelebihan/kebutuhan akan hilang seiring dengan peningkatan kinerja AI (seperti kerangka AI umum)
*12 bulan : Keunggulan/kebutuhan bisa bertahan lama, tidak mudah terpengaruh oleh perusahaan besar/perkembangan teknologi (seperti Hugging Face)
*Siklus hidup produk platform belum tentu panjang, karena toko juga merupakan platform
Ketika sebuah perusahaan start-up menentukan arahnya, ia hanya membutuhkan lifeline 6 bulan, sedangkan lifeline 12 bulan sulit didapat.
Ketika lini hidup produk berakhir, biasanya ada dua situasi. Situasi pertama adalah keunggulannya hilang, dan teknologi peningkatan produk perlu direkonstruksi, silakan lihat "kinerja terlebih dahulu" di atas; situasi kedua adalah kebutuhan akan hilang, dan produk akan diganti secara bertahap. Pada saat ini, produk tersebut masih memiliki "masa operasi" selama beberapa bulan, cukup bagi perusahaan baru untuk memilih arah selanjutnya.
Saran untuk startup AI: Web3+AI dapat melakukannya
Saat ini, terdapat banyak proyek kewirausahaan bertema Web3+AI, namun mengingat ketidakpastian perkembangan teknologi dan tahap awal pasar, topik Web3+AI masih akan memiliki banyak variabel di masa depan.
Artikel ini bertujuan untuk menemukan kepastian yang kemungkinan besar benar di antara ketidakpastian.Oleh karena itu, penulis tetap berharap dapat mengambil inspirasi dan mengusulkan beberapa topik dan arahan yang mungkin dapat dijadikan referensi oleh perusahaan start-up dan peneliti yang berminat.
De-kedaulatan/desentralisasi
Saat ini, para pemimpin di industri AI hanya menyediakan model sumber tertutup, dan stabilitas, transparansi, dan netralitas penyediaan layanan berkelanjutan mereka tidak dapat dikendalikan. De-kedaulatan/desentralisasi dapat menjadi tema penting dalam industri AI, yaitu: berdasarkan pada struktur dasar de-kedaulatan/desentralisasi, untuk menyediakan layanan AI yang stabil, transparan, dan netral.
De-kedaulatan/desentralisasi adalah sebuah "alternatif" dan "kejutan" yang dapat secara signifikan meningkatkan dampak tidak bermoral dari perusahaan AI yang terpusat/berdaulat dan mencegah mereka menggunakan model AI dalam bidang militer dan aliran sesat, politik, dan aspek lainnya.
Dalam kasus ekstrim, ketika layanan AI yang tersentralisasi/berdaulat tidak lagi tersedia/kredibel karena alasan tertentu, AI yang terdesentralisasi/terdesentralisasi dapat terus menyediakan layanan dengan ketersediaan tinggi untuk mencegah setiap negara/wilayah dan bahkan manusia kehilangan Layanan AI menjadi lumpuh.
Penggunaan daya komputasi secara praktis
Di balik peralihan ETH dari PoW ke PoS adalah dilema yang dikritik yaitu "penambangan tidak menghasilkan nilai". Kombinasi Web3 dan AI dapat memberikan skenario praktis untuk daya komputasi, sehingga mewujudkan pencernaan daya komputasi stok dan mendorong pertumbuhan total komputasi. kekuatan, dll. Efek.
Asetisasi virtual
AI adalah aset asli untuk daya komputasi dan penyimpanan. Kombinasi Web3 dan AI dapat menyediakan saluran untuk mengubah AI menjadi aset virtual. Selain memberi contoh nilai industri AI, AI juga dapat menciptakan aset virtual asli yang sebenarnya untuk Web3.
Variabel untuk aplikasi Web3
Kombinasi Web3 dan AI dapat menghadirkan poin fungsional baru dan peluang pertumbuhan pada aplikasi Web3, dan aplikasi Web3 yang ada dapat sepenuhnya dikerjakan ulang.
Ditulis di akhir: Ini bulan September, apakah AI masih layak untuk memulai bisnis sekarang?
Izinkan saya berbicara tentang kesimpulannya terlebih dahulu: ini bermanfaat, dan kesimpulan ini dapat digunakan hingga Tahun Baru Imlek dengan kemungkinan besar.
Persepsi orang terhadap suatu situasi sering kali bias, termasuk saya. Ada yang terlalu optimis dan ada pula yang terlalu pesimis. Penulis pernah berkomunikasi dengan dua tim, satu tim berpendapat akan mampu memproduksi Agen AI pada Q1 tahun depan, dan tim lainnya menganggap AI hanya cocok untuk manajemen basis pengetahuan.Tentunya yang pertama terlalu optimis, sedangkan tim yang terakhir terlalu pesimistis.
Saat membuat rencana jangka panjang, bersikap terlalu optimis atau terlalu pesimistis akan menimbulkan jebakan, dan pernyataan yang beredar luas sering kali merupakan pernyataan yang sangat bias, sehingga membuat pemikiran independen menjadi sangat berharga. Oleh karena itu, terlepas dari apakah pembaca dapat menerima pandangan artikel ini, selama pembaca memiliki pemikiran dan penilaian independen selama proses membaca, penulis akan sangat senang.
Terakhir, beriklan. Jika Anda memiliki ide startup AI yang bagus atau sudah memiliki proyek, silakan berkomunikasi dengan teman di NGC (seperti saya).
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
NGC Ventures: Sekarang bulan September, apakah AI masih layak untuk memulai bisnis sekarang?
Penulis asli: Cherry, NGC Ventures
Kata Pengantar
Draf pertama artikel ini diselesaikan pada waktu senggang saya di akhir bulan Agustus, setelah buru-buru menerbitkannya, saya mendapat banyak nasehat, sehingga saya menambah, mengubah, dan menghapus beberapa konten agar tidak membuat orang tertawa.
Isi artikel ini terutama untuk mengevaluasi situasi industri AI saat ini dari perspektif investasi, untuk merefleksikan dan memperkirakan rute teknologi/produk dari berbagai perusahaan, dan untuk mengabstraksi strategi perusahaan di bidang AI. industri. Oleh karena itu, pasti ada beberapa kelalaian dalam hal teknologi tertentu, jadi mohon bersabar.
Namun pada analisa akhir, perusahaan-perusahaan besar yang bisa menerbitkan makalah masih berselisih satu sama lain, dan sepertinya belum ada yang bisa menilai keakuratan isi artikel ini. Sama seperti menggunakan GPT-4 untuk mencetak GPT-3.5, tampaknya masuk akal, namun agak abstrak jika dipikir-pikir.
Oleh karena itu, penulis merekomendasikan agar artikel ini dianggap sebagai "penilaian" yang dibentuk setelah mengumpulkan informasi mengenai industri yang tidak pasti. Karena ini adalah putusan, maka posisinya harus jelas dan pernyataannya harus bermakna. Benar atau tidaknya, biarkan waktu yang mengujinya.
Penulis selalu percaya bahwa: industri baru itu berisik, menggunakan otak Anda dan berani membuat penilaian adalah hal yang benar. Untuk pertanyaan benar-salah, tingkat tebakan buta yang benar adalah 50%, dan kemungkinan salah menebak tiga kali berturut-turut adalah 12,5%.Bahkan jika itu adalah tingkat penilaian melempar koin, itu tetap bermakna. Membuat penilaian bukanlah hal yang buruk, tetapi hal yang paling buruk adalah keakuratan penilaian lebih rendah dibandingkan dengan melempar koin.
Sebelum secara resmi memulai artikel ini, saya ingin mengucapkan terima kasih kepada orang-orang berikut atas kerja mereka, yang telah memberikan inspirasi dan sumber data berharga untuk artikel ini. Tentu saja, karena banyak kesimpulan dalam artikel ini didasarkan pada karya-karya tersebut, jika terdapat kesalahan atau penulis memiliki pemahaman yang salah, maka kesimpulan dalam artikel ini tidak lagi kuat, dan pembaca diminta untuk membuat penilaian sendiri. Artikel ini bukan merupakan nasihat investasi, dan bukan merupakan nasihat investasi.
Oke, mari kita mulai artikel ini secara resmi.
Model Besar: Luncurkan Cyber Rocket
Langkah pertama dalam pembahasan AI pada tahun 2023 adalah membahas apakah kewirausahaan model besar masih bisa dilakukan.
Model besar (pra-pelatihan) kini menjelma menjadi masalah peluncuran roket, asalkan api dinyalakan dan arahnya tepat, siapa pun bisa melakukannya. Dapat dikatakan bahwa melatih model berukuran besar seperti meluncurkan roket dunia maya.
Hal yang kontra-intuitif adalah investor meremehkan kesulitan melatih model besar, namun melebih-lebihkan kesulitan meluncurkan roket sungguhan. Dengan biaya yang sama sebesar 60 juta dolar AS, investor akan merasa ada kesempatan kedua untuk peluncuran roket yang gagal, dan kegagalan melatih model besar dianggap membuang-buang uang.
GPT-4 masih menghabiskan $60 juta dalam efisiensi pemanfaatan GPU OpenAI (dilaporkan sekitar 30%). Ini adalah pertanyaan tentang {kinerja = efisiensi × biaya}, dan kinerja adalah penghalangnya. Jika startup lain tidak dapat mencapai efek kinerja yang lebih besar dari 30% × 60 juta = $18 juta, pengguna sebaiknya menggunakan GPT-4 secara langsung.
Saat ini, putaran pembiayaan banyak perusahaan yang mengaku melatih model besar berkisar antara 1 juta hingga 5 juta dolar AS. Meskipun demikian, bahkan perusahaan dengan pendanaan terbesar pun hanya memiliki amunisi yang cukup untuk satu peluncuran. Dan meskipun pemanfaatan GPU pada peluncuran ini mencapai 100%, sulit untuk melampaui GPT-4.
Dari sudut pandang ini, lebih baik meluncurkan roket, karena sebagian besar roket saat ini adalah kendaraan peluncuran, membawa satelit ke angkasa, dan kapasitas muatan tunggal terbatas, sehingga perusahaan roket kecil dapat menerima pesanan satelit yang belum sempat dilakukan oleh perusahaan lain. peluncuran.
Model besar berbeda.Biaya marjinal ekspansi horizontal model besar hanyalah biaya daya komputasi, dan biaya daya komputasi dapat diperluas secara elastis, yang berarti bagi perusahaan model besar, keuntungan dari setiap pesanan adalah keuntungan gratis. , hampir tidak ada biaya tambahan, dan kapasitas usahanya sangat besar. Bagi perusahaan model besar yang baru didirikan dengan kualitas buruk, sulit menerima permintaan yang melimpah.
Kecuali jika biaya pelatihan turun secara signifikan, meskipun seluruh arsitektur GPT-4 diketahui, akan sulit bagi banyak perusahaan untuk membuat model besar yang dapat dipasarkan dalam jangka pendek.
Kustomisasi: Menghadapi masalah “pemenang mengambil segalanya”.
Dalam industri perangkat keras, fenomena umum adalah mencapai keuntungan awal melalui kebutuhan yang disesuaikan, dan kemudian mencapai terobosan teknologi (atau pemerataan) melalui keuntungan awal. Namun, penyesuaian dalam industri model besar bukanlah jalan keluar bagi pendatang baru.
Mengenai penilaian ini, penjelasannya sangat sederhana: sebagian besar model yang disempurnakan tidak dapat mengejar GPT-4. Sekalipun bisa mengejar, penggunaan GPT-4 secara langsung untuk generalisasi lebih murah, memerlukan lebih sedikit personel, dan membutuhkan lebih sedikit keberuntungan. .Kebutuhan data lebih sedikit. Selama kesenjangan kinerja antara GPT-4 dan model lainnya masih ada, penyesuaian tidak dapat menjadi jalan keluar bagi perusahaan model besar.
Contoh yang paling umum adalah Jasper, yang menggunakan GPT-3 yang telah disempurnakan untuk melayani pelanggan perusahaan. Namun, setelah OpenAI merilis ChatGPT (GPT-3.5), penggunanya dengan cepat hilang. Karena keluaran Jasper dapat diperoleh hanya dengan memasukkan GPT-3.5, daripada menggunakan "versi terbelakang" yang memiliki kemampuan generalisasi yang buruk dan terbatas untuk penggunaan internal dalam perusahaan.
Dibandingkan dengan perusahaan baru, Jasper setidaknya memiliki window period dari GPT-3 hingga GPT-3.5 untuk pengembangan. Namun, perusahaan baru kini harus menghadapi tekanan GPT-3.5 yang berbiaya rendah dan berkecepatan tinggi serta GPT-4 yang berperforma tinggi pada saat yang bersamaan.
Oleh karena itu, kemungkinan bertahan hidup sangat rendah untuk jalur akumulasi keuntungan melalui penyesuaian guna mencapai terobosan teknologi.
Penyempurnaan: Perlu, jangan percaya takhayul
Industri AI saat ini memiliki ekspektasi yang tidak realistis terhadap penyempurnaan, yang terlalu dibesar-besarkan baik dalam hal penerapan teknis spesifik maupun ritme teknis tingkat makro.
Penyempurnaan yang saat ini dibahas di industri sebagian besar mengacu pada "berdasarkan model yang telah dilatih sebelumnya, sehingga dapat menghasilkan jawaban yang konsisten dengan niat manusia". Penyempurnaan semacam ini bisa disebut "penyelarasan", yaitu menyelaraskan jawaban dengan niat manusia, bukan menambahkan kecerdasan pada model besar.
Berdasarkan hasil penelitian beberapa makalah, pengetahuan tentang model besar sebaiknya berasal dari pra-pelatihan, sedangkan fine-tuning lebih banyak digunakan untuk penyelarasan.
Penjelasan sederhananya adalah bahwa pra-pelatihan menentukan kapasitas otak, dan penyesuaian menentukan bahasa ibu. Menyempurnakan model yang telah dilatih sebelumnya adalah sebuah proses “menghilangkan buta huruf”.
Namun saat ini, fine-tuning sering dianggap di industri sebagai metode "meningkatkan kecerdasan" model, yaitu melalui fine-tuning untuk meningkatkan performa model dan menambah pengetahuan model, diyakini dapat mencapai tujuan. "cawan suci kecerdasan buatan". Cara berpikir ini agak bias.
Pertama, performa model itu sendiri belum meningkat, namun bisa lebih selaras dengan niat manusia. Jika kompleksitas tugas melebihi performa model, penyesuaian tidak akan memberikan hasil yang diharapkan. Sama seperti membiarkan otak manusia melakukan operasi kuantum, kegagalan melakukan hal tersebut bukanlah masalah pendidikan.
Kedua, efek “suplementasi pengetahuan” pada bagian “penyelarasan niat” lebih mirip dengan “pembelajaran burung beo”. Artinya: model hanya menirukan ucapan ahli, tetapi tidak memahami maknanya. Meskipun banyak industri bisa mendapatkan solusi yang baik dengan "membeo" (sebagian besar industri tidak rumit...), ini jelas bukan hasil yang harus kita kejar dalam jangka panjang.
Terakhir, pelatihan "melengkapi kumpulan data tambahan, meningkatkan kinerja model, dan meningkatkan pengetahuan model" harus dianggap sebagai model yang memiliki kemampuan "pembelajaran tambahan/pembelajaran berkelanjutan", yaitu semua parameter model dapat diproses melalui optimasi kumpulan data tambahan. Ini bukan konsep yang sama dengan apa yang disebut "penyempurnaan instruksi".
Secara umum, fine-tuning sangatlah penting, namun memiliki sikap "takhayul" terhadap fine-tuning saat ini adalah salah, terutama keinginan untuk menyegel fine-tuning saat ini sebagai Holy Grail, yang cukup "di atas bangunan". fisika hari ini"Hanya ada dua awan gelap yang mengambang".
Mengambil langkah mundur, jika permintaan untuk "meningkatkan kecerdasan" benar-benar dapat diselesaikan melalui penyempurnaan instruksi, melakukan pencarian vektor sederhana, memasukkan pengetahuan secara langsung ke dalam konteksnya, dan kemudian cukup menulis beberapa templat, ada kemungkinan besar bahwa akan ada Efek yang sama atau bahkan lebih baik.
Semua orang suka fine-tuning, mungkin ini semacam kebangkitan keterampilan alkimia di zaman modern...
Prospek Model Besar: Empat Operasi Aritmatika
(Perhatikan bahwa bagian konten ini sepenuhnya didasarkan pada data yang diungkapkan oleh Dylan Patel, dan keandalannya belum dapat diverifikasi)
Pelatihan GPT-4 didasarkan pada kartu seri N. Efisiensi pelatihan 30%. Waktu pelatihan sekitar 2 bulan, biaya sekitar 60 juta, jumlah parameter total {1,7 triliun = 110 miliar × 16 model ahli}. Dapat menangani satu masalah. Parameternya sekitar 280 miliar.
Dengan kata lain, ada beberapa parameter utama yang akan menyebabkan perubahan pola pelatihan model besar.
Singkatnya, biaya pelatihan model dengan performa tingkat GPT-4 dari nol mungkin memerlukan ruang pengoptimalan 10 hingga 20 kali lipat, yang berarti dapat dikompresi menjadi US$3 juta hingga US$6 juta. efektif untuk startup dan perusahaan besar.
Perubahan ini mungkin memerlukan waktu sekitar 2 tahun untuk diselesaikan.
Saat ini, teknologi model besar mainstream masih berbasis trafo, struktur dasarnya tidak berubah, dan ide membuat keajaiban dengan alkimia dan parameter belum habis. Pelatihan GPT-4 dilakukan atas dasar batas daya komputasi yang besar, dan waktu pelatihan yang tidak cukup lama.
Jika parameter bertambah secara linier seiring dengan waktu pelatihan, batas atas parameter model yang mirip dengan arsitektur GPT-4 mungkin sekitar 10 triliun, yaitu waktu pelatihan menjadi dua kali lipat (× 2), dan kartu grafis paralel menjadi dua kali lipat (× 2), efisiensi pelatihan menjadi setengah lebih cepat (× 1,5), efisiensi parameter menjadi setengah lebih tinggi (× 1,5), dan akhirnya diperoleh hasil sepuluh kali lipat. Menurut gaya selera risiko Silicon Valley, kemungkinan besar parameter ini akan tercapai dalam waktu satu tahun, terlepas dari apakah kinerjanya meningkat atau tidak.
Namun, setelah mencapai 10 triliun parameter, apakah LLM masih dapat menggunakan gagasan meningkatkan parameter untuk melakukan keajaiban adalah hal yang sama sekali tidak diketahui.
Jika peningkatan kinerja model berdasarkan jumlah parameter sedikit menurun, maka 10 triliun kemungkinan akan menjadi ambang batasnya. Namun, ada juga dugaan bahwa jumlah parameter meningkatkan performa model dengan sedikit peningkatan, serupa dengan "jika seseorang cukup pintar, dia dapat mempelajari segala sesuatu dengan cepat". Yang pertama baik-baik saja. Jika yang kedua benar, kinerja model dapat meningkat secara eksponensial, dan apa yang akan terjadi pada saat itu benar-benar tidak dapat diprediksi.
Sulit untuk memprediksi obat mujarab, namun mudah untuk memprediksi ritme strategis suatu perusahaan. Bagi sebagian besar perusahaan, apakah itu perusahaan raksasa seperti Google/MS/APPL atau OpenAI yang lebih kecil, model dengan total parameter 10 triliun adalah titik akhir tonggak sejarah, yang dapat digunakan untuk berhenti dan melakukan eksplorasi teknis.
Preferensi perusahaan/modal terhadap risiko dapat diubah menjadi “waktu ketahanan”, jika seluruh waktu ketahanan secara intensif menghabiskan biaya, akan sulit untuk melebihi 6 bulan. Keahlian manusia tidak berkembang cukup cepat, biasanya dalam siklus 5 tahun atau lebih. Oleh karena itu, dalam waktu 5 tahun, kuantitas parameter batas model dapat diperkirakan sebesar 20 triliun hingga 50 triliun. Kecuali jika terobosan besar dalam proses/arsitektur terjadi lagi, kemungkinan melampaui tingkat besaran ini sangat kecil.
Multimodalitas: Gajah di dalam ruangan
Multimodalitas adalah hal yang penting dan mungkin berdampak besar pada lanskap arena pacuan kuda.
Definisi sederhana dari multimodalitas adalah: mendukung masukan dan keluaran berbagai informasi modal. Definisi ini sangat longgar. Misalnya, beberapa produk di pasaran yang mengklaim mampu melakukan input multi-modal sebenarnya adalah lapisan OCR di luar ChatBot. Ada juga model yang sepenuhnya memenuhi definisi multimodalitas, namun kinerjanya mengecewakan. Bahkan kemampuan input gambar multimodal GPT-4 belum terbuka secara luas, terlihat bahwa fungsi ini kurang stabil.
Namun, peluncuran multimodal tidak lama lagi akan terjadi. Ada kemungkinan besar bahwa GPT-5 mendukung multi-modalitas, yang berarti strukturnya perlu didesain ulang dan dilatih ulang. Berdasarkan alasan sebelumnya, parameter model besar masih memiliki ruang pertumbuhan 10 hingga 50 kali lipat, dan seharusnya cukup untuk memasukkan kemampuan multimoda ke dalamnya. Oleh karena itu, model multimoda dengan ketersediaan tinggi dan kinerja tinggi diharapkan akan muncul dalam waktu 2 tahun. Kalau kita optimis, hampir 1 tahun.
Multimodalitas adalah gajah di dalam ruangan, semua orang tahu hal seperti itu pada akhirnya akan terjadi, namun begitu banyak produk/penelitian/strategi mengabaikan keberadaannya sehingga terjadi kesalahan perhitungan di bagian-bagian penting.
Misalnya, model gambar tunggal secara teoritis dapat sangat tertindas oleh model multimodal, namun sebagian besar penelitian/investasi saat ini mengabaikan masalah ini, sehingga menyebabkan penilaian berlebihan terhadap beberapa perusahaan yang berfokus pada gambar. Perusahaan-perusahaan ini kemungkinan besar akan kehilangan hambatan teknis dan bertransformasi menjadi penyedia layanan di masa depan. Sistem penilaian mereka harus mengacu pada penyedia layanan, bukan perusahaan teknologi.
Jika Anda ingin menceritakan kisah "investasi bergantung pada manusia, tim yang sama dapat mengubah bisnis", anggap saja saya tidak mengatakannya. Legenda selalu ada, tapi Anda tidak bisa mempercayainya saat melakukan penelitian.
Siapa yang bisa melatih GPT-4: bisa, tapi tidak perlu
Menyempurnakan ramuan tidak memakan waktu lama, dan perusahaan besar membeli kartu grafis. Satu hal yang sangat jelas adalah dalam setahun, perusahaan besar akan mampu melatih model level GPT-4. Tapi apakah akan berlatih atau tidak adalah pertanyaan lain.
Dalam bidang permainan terdapat dalil klasik yang disebut “Yuanshin bermain Yuanshen”, yaitu: ketika pemain dapat memilih untuk memainkan Yuanshen atau produk pesaing Yuanshen, jika produk pesaing tidak sebagus Yuanshen, maka mainkan Dewa Asli .
Pendekatan “pemenang mengambil segalanya” juga berlaku untuk industri model besar. Jika sebuah perusahaan mengikuti OpenAI, setelah setengah tahun penelitian dan pengembangan, perusahaan tersebut akan meluncurkan model besarnya sendiri dengan kinerja 90% sebanding dengan GPT-4, dengan harapan dapat membawanya ke pasar. Pada saat ini perusahaan akan menghadapi permasalahan sebagai berikut:
Terlihat bahwa perusahaan berada di bawah tekanan yang cukup besar. Daripada melatih GPT-4, lebih baik bertaruh langsung pada model generasi berikutnya (melawan GPT-5). Kemudian permasalahan tersebut akan diubah dari “masalah produk pesaing sejenis” menjadi “masalah inovasi teknologi”. Ini merupakan beban yang tidak tertahankan bagi perusahaan kecil.
Oleh karena itu, membahas “siapa yang bisa melatih GPT-4” adalah pertanyaan mati yang strategis, daripada memikirkan masalah ini, lebih baik mencari arah yang lebih pasti dan berpeluang.
Saran untuk startup AI: Utamakan kinerja, hindari bertahan
Penulis telah menulis banyak artikel yang mengeluhkan langchain, alasan mendasarnya adalah langchain tidak memberikan ruang bagi pengembang untuk meningkatkan kinerja. Hal ini secara halus disebut "kerangka universal". Untuk memastikan universalitas, banyak ruang untuk peningkatan kinerja model besar ditinggalkan, seperti dialog multi-putaran dan kontrol format yang diterapkan melalui penyesuaian. Yang serupa mencakup panduan/Auto-GPT/BabyAGI, dll., yang semuanya ingin membangun "kerangka kerja yang dapat bertahan seumur hidup".
Fakta obyektifnya adalah OpenAI merilis Pemanggilan Fungsi pada bulan Mei, dan banyak tempat bermasalah dalam kode memiliki solusi implementasi yang lebih baik, dan biaya penerapan solusi yang lebih baik adalah memfaktorkan ulang bagian-bagian penting dari kode produk. Pada bulan Agustus, OpenAI merilis izin untuk menyempurnakan GPT-3.5, dan banyak tautan yang memerlukan kontrol keluaran yang tepat memiliki solusi potensial baru.
Oleh karena itu, perusahaan start-up harus menghadapi pilihan utama: haruskah mereka memilih untuk ①meningkatkan kinerja dan terus melakukan refaktorisasi produk, atau ②mengurangi penggunaan fitur-fitur baru dan selalu menggunakan fitur-fitur lama untuk pengembangan?
Untuk kewirausahaan penerapan teknologi baru, "pengembangan" tidak hanya mewakili proses penulisan kode, tetapi juga mewakili "batas atas" fungsi/strategi produk. Semakin tinggi kinerja yang dapat dikontrol, semakin banyak fungsi teoritis produk tersebut dan semakin tinggi fleksibilitas strategisnya.
Perkembangan teknologi tidak dapat diprediksi, dan inovasi teknologi kecil-kecilan dapat membawa perubahan yang sangat sensitif dalam lanskap persaingan.Perusahaan start-up harus memiliki kemampuan anti-rapuh terhadap perkembangan teknologi.
——Dalam kata manusia: berikan prioritas pada kinerja dan hindari berhenti. Pada tingkat pengembangan, gunakan lebih banyak fitur baru; di sisi produk, pikirkan fungsi apa yang dapat dilakukan fitur baru; di sisi strategis, pertimbangkan dampak fitur baru terhadap strategi.
Dalam "Guo Qin Lun", disebutkan bahwa setelah berdirinya Dinasti Qin, senjata logam di dunia disita dan dilemparkan ke dalam dua belas patung perunggu untuk menghilangkan kemungkinan pemberontakan sipil. Namun Dinasti Qin terkenal berumur pendek. Lebih bermanfaat memperhatikan perubahan daripada mengabaikannya.
Saran untuk startup AI: Buatlah aplikasi dengan percaya diri
Ada bahaya tersembunyi yang sangat umum ketika startup mengembangkan aplikasi: masuknya perusahaan besar. Perusahaan besar di sini tidak hanya mencakup raksasa aplikasi, seperti Meta/Byte/Tencent, dll, tetapi juga industri hulu AI, seperti OpenAI.
Biasanya ada dua alasan mengapa perusahaan besar memasuki pasar: untuk mengembangkan peluang produk, dan untuk bergerak ke hulu dan hilir.
"Tata letak peluang produk" adalah arti harfiahnya Perusahaan besar merasa bahwa arah ini layak untuk dikejar, jadi mereka melakukannya.
"Pemotongan hulu ke hilir" sebagian besar merupakan langkah yang tidak berdaya. Mungkin karena saya telah mengembangkan model skala besar yang dibandingkan dengan OpenAI, tetapi karena masalah model skala besar yang menang-ambil-semua, ada tidak ada pengguna, yang mengakibatkan hilangnya biaya, tidak ada pendapatan, dan tidak ada data, yang pada gilirannya menyebabkan kinerja lambat laun tertinggal. Saat ini, beralih ke hilir, mengembangkan aplikasi spesifik, dan menggunakan teknologi sendiri adalah satu-satunya pilihan.
Berdasarkan pengalaman historis, karena masalah struktur organisasi, semakin dekat suatu perusahaan dengan hilir, semakin besar kemungkinan teknologinya akan tertinggal, dan semakin tertinggal teknologinya, semakin banyak pula perusahaan yang harus bekerja di hilir. Perusahaan-perusahaan yang disebut teknologi ini pada akhirnya akan bersaing untuk mendapatkan ceruk ekologis yang sama dengan perusahaan lapisan aplikasi.
Namun, di medan perang lapisan aplikasi, karena teknologi AI baru ada dalam waktu singkat, teknologi ini tidak memiliki keunggulan skala yang efektif dan dapat digunakan kembali. Titik awal bagi perusahaan besar dan startup serupa. Dibandingkan dengan perusahaan besar, perusahaan start-up lebih efisien dan berwawasan luas, serta lebih mudah memanfaatkannya.
Situasi yang perlu diperhatikan adalah hampir semua materi promosi MS Azure kini berkisar pada OpenAI, namun pabrik sebesar Microsoft sepenuhnya mengandalkan OpenAI sebagai platformnya, yang membuktikan dari sisi bahwa start-up memiliki keunggulan alami di bidang AI.
Tentu saja, beberapa vendor cloud mungkin tidak dapat menerima dipimpin oleh perusahaan rintisan dan ingin menguasai seluruh pasar sendirian. Ini mahal, lambat, dan bukan ancaman langsung.
Faktanya adalah memang ada beberapa jalur yang berumur pendek untuk aplikasi AI, namun masih banyak jalur yang berumur panjang yang belum ditemukan, dan aplikasi AI bukanlah pemenang dari segala hal. Memperluas dari aplikasi ke platform atau teknologi juga merupakan jalur yang lebih memungkinkan.
Oleh karena itu, kita harus rasional terhadap kemampuan perusahaan besar untuk menembus lapisan aplikasi. Saran kami adalah agar perusahaan rintisan AI dapat membuat aplikasi dengan percaya diri.
Saran untuk startup AI: Perhatikan lini produk
Seperti disebutkan sebelumnya, startup AI dapat dengan percaya diri mengembangkan aplikasi, namun mereka harus mempertimbangkan masalah kinerja model AI dan menghindari terhentinya proses. Situasi ini secara langsung tercermin dalam kenyataan bahwa produk-produk AI mungkin kehilangan basis permintaannya dan secara bertahap layu dalam beberapa bulan, dan situasi ini mungkin sering terjadi.
Aplikasi AI memerlukan layanan yang menggunakan model besar, dan performa model besar terus meningkat. Peningkatan ini bukanlah peningkatan satu dimensi seperti "kecepatan", tetapi perubahan keseluruhan dalam kualitas keluaran, panjang keluaran, dan kemampuan pengendalian keluaran. Setiap peningkatan teknologi yang signifikan akan menyebabkan teknologi produk lapisan aplikasi yang ada tertinggal dan menciptakan peluang dan pesaing baru.
**Kami menyebut masa ketika aplikasi AI mempertahankan keunggulan dan kebutuhan dalam strategi/produk/teknologi sebagai "jalur hidup". **
Berikut adalah beberapa contoh dengan garis hidup yang lebih pendek:
**Mengingat industri AI berkembang pesat, keterbatasan sumber daya manusia adalah hal yang biasa. Oleh karena itu, menerima kenyataan bahwa garis hidup terbatas dan mencoba memilih arah dengan garis hidup yang lebih panjang akan membantu mempertahankan keuntungan jangka panjang dan kebutuhan produk. **
Secara umum, garis hidup dapat dibagi menjadi tingkat 3/6/12 bulan.
*Siklus hidup produk platform belum tentu panjang, karena toko juga merupakan platform
Ketika sebuah perusahaan start-up menentukan arahnya, ia hanya membutuhkan lifeline 6 bulan, sedangkan lifeline 12 bulan sulit didapat.
Ketika lini hidup produk berakhir, biasanya ada dua situasi. Situasi pertama adalah keunggulannya hilang, dan teknologi peningkatan produk perlu direkonstruksi, silakan lihat "kinerja terlebih dahulu" di atas; situasi kedua adalah kebutuhan akan hilang, dan produk akan diganti secara bertahap. Pada saat ini, produk tersebut masih memiliki "masa operasi" selama beberapa bulan, cukup bagi perusahaan baru untuk memilih arah selanjutnya.
Saran untuk startup AI: Web3+AI dapat melakukannya
Saat ini, terdapat banyak proyek kewirausahaan bertema Web3+AI, namun mengingat ketidakpastian perkembangan teknologi dan tahap awal pasar, topik Web3+AI masih akan memiliki banyak variabel di masa depan.
Artikel ini bertujuan untuk menemukan kepastian yang kemungkinan besar benar di antara ketidakpastian.Oleh karena itu, penulis tetap berharap dapat mengambil inspirasi dan mengusulkan beberapa topik dan arahan yang mungkin dapat dijadikan referensi oleh perusahaan start-up dan peneliti yang berminat.
Saat ini, para pemimpin di industri AI hanya menyediakan model sumber tertutup, dan stabilitas, transparansi, dan netralitas penyediaan layanan berkelanjutan mereka tidak dapat dikendalikan. De-kedaulatan/desentralisasi dapat menjadi tema penting dalam industri AI, yaitu: berdasarkan pada struktur dasar de-kedaulatan/desentralisasi, untuk menyediakan layanan AI yang stabil, transparan, dan netral.
De-kedaulatan/desentralisasi adalah sebuah "alternatif" dan "kejutan" yang dapat secara signifikan meningkatkan dampak tidak bermoral dari perusahaan AI yang terpusat/berdaulat dan mencegah mereka menggunakan model AI dalam bidang militer dan aliran sesat, politik, dan aspek lainnya.
Dalam kasus ekstrim, ketika layanan AI yang tersentralisasi/berdaulat tidak lagi tersedia/kredibel karena alasan tertentu, AI yang terdesentralisasi/terdesentralisasi dapat terus menyediakan layanan dengan ketersediaan tinggi untuk mencegah setiap negara/wilayah dan bahkan manusia kehilangan Layanan AI menjadi lumpuh.
Di balik peralihan ETH dari PoW ke PoS adalah dilema yang dikritik yaitu "penambangan tidak menghasilkan nilai". Kombinasi Web3 dan AI dapat memberikan skenario praktis untuk daya komputasi, sehingga mewujudkan pencernaan daya komputasi stok dan mendorong pertumbuhan total komputasi. kekuatan, dll. Efek.
AI adalah aset asli untuk daya komputasi dan penyimpanan. Kombinasi Web3 dan AI dapat menyediakan saluran untuk mengubah AI menjadi aset virtual. Selain memberi contoh nilai industri AI, AI juga dapat menciptakan aset virtual asli yang sebenarnya untuk Web3.
Kombinasi Web3 dan AI dapat menghadirkan poin fungsional baru dan peluang pertumbuhan pada aplikasi Web3, dan aplikasi Web3 yang ada dapat sepenuhnya dikerjakan ulang.
Ditulis di akhir: Ini bulan September, apakah AI masih layak untuk memulai bisnis sekarang?
Izinkan saya berbicara tentang kesimpulannya terlebih dahulu: ini bermanfaat, dan kesimpulan ini dapat digunakan hingga Tahun Baru Imlek dengan kemungkinan besar.
Persepsi orang terhadap suatu situasi sering kali bias, termasuk saya. Ada yang terlalu optimis dan ada pula yang terlalu pesimis. Penulis pernah berkomunikasi dengan dua tim, satu tim berpendapat akan mampu memproduksi Agen AI pada Q1 tahun depan, dan tim lainnya menganggap AI hanya cocok untuk manajemen basis pengetahuan.Tentunya yang pertama terlalu optimis, sedangkan tim yang terakhir terlalu pesimistis.
Saat membuat rencana jangka panjang, bersikap terlalu optimis atau terlalu pesimistis akan menimbulkan jebakan, dan pernyataan yang beredar luas sering kali merupakan pernyataan yang sangat bias, sehingga membuat pemikiran independen menjadi sangat berharga. Oleh karena itu, terlepas dari apakah pembaca dapat menerima pandangan artikel ini, selama pembaca memiliki pemikiran dan penilaian independen selama proses membaca, penulis akan sangat senang.
Terakhir, beriklan. Jika Anda memiliki ide startup AI yang bagus atau sudah memiliki proyek, silakan berkomunikasi dengan teman di NGC (seperti saya).