Draf pertama artikel ini selesai pada waktu senggang saya di akhir bulan Agustus, setelah buru-buru menerbitkannya, saya mendapat banyak nasehat, sehingga saya menambah, mengubah, dan menghapus beberapa konten agar tidak membuat orang tertawa.
Isi artikel ini terutama untuk mengevaluasi situasi industri AI saat ini dari perspektif investasi, untuk merefleksikan dan memperkirakan rute teknologi/produk dari berbagai perusahaan, dan untuk mengabstraksi strategi perusahaan di bidang AI. industri. Oleh karena itu, pasti ada kelalaian di bagian yang terkait dengan teknologi tertentu, mohon bersabar.
Namun pada analisa akhir, beberapa perusahaan besar yang bisa menerbitkan makalah masih terkoyak, dan sepertinya belum ada yang bisa menilai kebenaran isi artikel ini. Sama seperti penilaian GPT-3.5 dengan GPT-4, tampaknya masuk akal, namun agak abstrak jika Anda memikirkannya dengan cermat.
Oleh karena itu, penulis merekomendasikan agar artikel ini dianggap sebagai "penilaian" yang dibentuk setelah mengumpulkan informasi mengenai industri yang tidak pasti. Karena ini adalah putusan, maka posisinya harus jelas dan pernyataannya harus bermakna. Benar atau tidaknya, biarkan waktu yang mengujinya.
Penulis selalu percaya bahwa industri baru itu berisik, jadi sebaiknya gunakan otak Anda lebih banyak dan berani mengambil keputusan. Untuk pertanyaan benar-salah, tingkat tebakan buta yang benar adalah 50%, dan kemungkinan salah menebak tiga kali berturut-turut adalah 12,5%.Bahkan membuat penilaian pada tingkat melempar koin pun bermakna. Membuat penilaian tidaklah buruk, yang paling buruk adalah keakuratan penilaian lebih rendah dibandingkan dengan melempar koin.
Sebelum secara resmi memulai artikel ini, saya ingin mengucapkan terima kasih kepada orang-orang berikut atas kerja mereka, yang telah memberikan inspirasi dan sumber data berharga untuk artikel ini. Tentu saja, karena banyak kesimpulan dalam artikel ini didasarkan pada karya-karya tersebut, jika terdapat kesalahan atau penulis memiliki pemahaman yang salah, maka kesimpulan dalam artikel ini tidak lagi kuat, dan pembaca diminta untuk membuat penilaian sendiri. Artikel ini bukan merupakan nasihat investasi, dan bukan merupakan nasihat investasi.
•Pusat Rantai Pemikiran: Upaya Berkelanjutan untuk Mengukur Kinerja Penalaran Model Bahasa Besar（
•LIMA: Lebih Sedikit Lebih Baik untuk Penyelarasan（
Langkah awal pembahasan AI di tahun 2023 adalah membahas apakah kewirausahaan skala besar masih bisa dilakukan.
Model besar (pra-pelatihan) kini menjelma menjadi soal peluncuran roket, asalkan bisa terbakar dan arahnya tepat, siapa pun bisa melakukannya. Dapat dikatakan bahwa melatih model besar berarti meluncurkan roket siber.
Hal yang anti-akal sehat adalah investor meremehkan kesulitan melatih model besar, namun melebih-lebihkan kesulitan meluncurkan roket sungguhan. Dengan biaya yang sama sebesar 60 juta dolar AS, investor akan berpikir bahwa ada peluang kedua untuk kegagalan peluncuran roket, sedangkan kegagalan untuk melatih model besar dianggap membuang-buang uang.
GPT-4 masih menghabiskan US$60 juta dalam efisiensi pemanfaatan GPU OpenAI (dilaporkan sekitar 30%). Ini adalah {kinerja = efisiensi
Saat ini, putaran pembiayaan banyak perusahaan yang mengaku melatih model besar berkisar antara 1 juta hingga 5 juta dolar AS. Meskipun demikian, bahkan perusahaan dengan pendanaan terbesar pun hanya memiliki amunisi yang cukup untuk satu peluncuran. Dan meskipun tingkat pemanfaatan GPU pada peluncuran ini mencapai 100%, sulit untuk melampaui GPT-4.
Dari sudut pandang ini, lebih baik meluncurkan roket, karena sebagian besar roket saat ini adalah kendaraan peluncuran, membawa satelit ke angkasa, dan kapasitas muatan tunggal terbatas, sehingga perusahaan roket kecil dapat menerima pesanan satelit yang belum sempat dilakukan oleh perusahaan lain. peluncuran.
Model besar berbeda.Biaya marjinal ekspansi horizontal model besar hanyalah biaya daya komputasi, dan biaya daya komputasi dapat diperluas secara elastis, yang berarti bagi perusahaan model besar, keuntungan dari setiap pesanan adalah keuntungan gratis. , hampir tidak ada biaya tambahan, dan kapasitas usahanya sangat besar. Bagi perusahaan model besar yang baru didirikan dengan kualitas buruk, sulit menerima permintaan yang melimpah.
Kecuali jika biaya pelatihan dikurangi secara signifikan, banyak perusahaan akan kesulitan membuat model besar yang dapat dipasarkan dalam jangka pendek meskipun mereka mengetahui struktur lengkap GPT-4.
Penyesuaian: Menghadapi masalah "pemenang mengambil semua"
Dalam industri perangkat keras, fenomena umum adalah mencapai keuntungan awal melalui kebutuhan yang disesuaikan, dan kemudian mencapai terobosan teknologi (atau pemerataan) melalui keuntungan awal. Namun, penyesuaian dalam industri model besar bukanlah jalan keluar bagi pendatang baru.
Mengenai penilaian ini, penjelasannya sangat sederhana: sebagian besar model yang disempurnakan tidak dapat mengejar GPT-4, meskipun mereka bisa mengejar, biaya generalisasi langsung menggunakan GPT-4 lebih rendah, dan kebutuhan personel lebih sedikit. , dan kebutuhan akan keberuntungan lebih sedikit. Persyaratan data lebih sedikit. Selama kesenjangan kinerja antara GPT-4 dan model lainnya masih ada, penyesuaian tidak dapat menjadi jalan keluar bagi perusahaan model besar.
Contoh yang paling umum adalah Jasper, yang menggunakan GPT-3 yang telah disempurnakan untuk melayani pelanggan perusahaan. Namun, setelah OpenAI merilis ChatGPT (GPT-3.5), penggunanya dengan cepat hilang. Karena output Jasper dapat diperoleh hanya dengan memasukkan GPT-3.5, tanpa menggunakan "versi terbelakang" dengan kemampuan generalisasi yang buruk dan terbatas untuk penggunaan internal di perusahaan.
Dibandingkan dengan perusahaan baru, Jasper setidaknya memiliki window period dari GPT-3 hingga GPT-3.5 untuk pengembangan. Namun, perusahaan baru kini harus menghadapi tekanan GPT-3.5 yang berbiaya rendah dan berkecepatan tinggi serta GPT-4 yang berperforma tinggi pada saat yang bersamaan.
Oleh karena itu, kemungkinan bertahan hidup sangat rendah untuk jalur akumulasi keuntungan melalui penyesuaian guna mencapai terobosan teknologi.
Penyempurnaan: perlu, jangan percaya takhayul
Industri AI saat ini memiliki ekspektasi yang tidak realistis terhadap penyempurnaan, dan ekspektasi ini terlalu dilebih-lebihkan dalam hal penerapan teknis spesifik dan ritme teknis makro.
Penyempurnaan yang saat ini dibahas di industri sebagian besar mengacu pada "berdasarkan model yang telah dilatih sebelumnya, sehingga dapat menghasilkan jawaban yang konsisten dengan niat manusia". Penyempurnaan semacam ini bisa disebut "penyelarasan", yaitu menyelaraskan jawaban dengan niat manusia, bukan menambahkan kecerdasan pada model besar.
Berdasarkan hasil penelitian di banyak makalah, pengetahuan tentang model besar sebaiknya berasal dari pra-pelatihan, sedangkan fine-tuning lebih banyak digunakan untuk penyelarasan.
Penjelasan sederhananya adalah bahwa pra-pelatihan menentukan ukuran otak, dan penyesuaian menentukan bahasa ibu. Menyempurnakan model yang telah dilatih sebelumnya merupakan sebuah proses “menghilangkan buta huruf”.
Namun, penyesuaian sering kali dilihat di industri sebagai metode untuk "menambahkan kecerdasan" pada model, yaitu meningkatkan kinerja model dan meningkatkan pengetahuan model melalui penyesuaian. Hal ini diyakini bahwa dengan cara ini, "Cawan Suci kecerdasan buatan" dapat dicapai. Cara berpikir ini agak bias.
Pertama, performa model itu sendiri belum meningkat, namun bisa lebih selaras dengan niat manusia. Jika kompleksitas tugas melebihi performa model, penyesuaian tidak akan memberikan hasil yang diharapkan. Ibarat menyuruh otak manusia melakukan perhitungan kuantum, bukan masalah pendidikan jika tidak bisa dilakukan.
Kedua, "tambahan pengetahuan" dilakukan di bagian "penyelarasan niat", dan efeknya lebih mirip dengan "membeo". Artinya: model hanya meniru apa yang dikatakan para ahli tanpa memahami maknanya. Meskipun banyak industri bisa mendapatkan solusi yang baik dengan "membeo" (sebagian besar industri tidak rumit...), ini jelas bukan hasil yang harus kita kejar dalam jangka panjang.
Terakhir, untuk pelatihan "melengkapi kumpulan data tambahan, meningkatkan performa model, dan meningkatkan pengetahuan model", harus dipertimbangkan bahwa model tersebut memiliki kemampuan "pembelajaran tambahan/pembelajaran berkelanjutan", yaitu parameter lengkap model. dapat ditingkatkan melalui kumpulan data tambahan. Ini bukan konsep yang sama dengan apa yang disebut "penyempurnaan instruksi".
Secara umum, fine-tuning sangatlah penting, namun memiliki sikap "takhayul" terhadap fine-tuning saat ini adalah salah, terutama keinginan untuk menyegel fine-tuning saat ini sebagai Holy Grail, yang cukup "di atas bangunan". fisika hari ini" Hanya ada dua awan gelap yang mengambang."
Mengambil langkah mundur, jika permintaan untuk "meningkatkan kecerdasan" benar-benar dapat diselesaikan melalui penyempurnaan instruksi, melakukan pencarian vektor sederhana, memasukkan pengetahuan secara langsung ke dalam konteksnya, dan kemudian cukup menulis beberapa templat, ada kemungkinan besar bahwa akan ada Efek yang sama atau bahkan lebih baik.
Semua orang suka fine-tuning, mungkin itu juga semacam kebangkitan keterampilan alkimia di zaman modern...
Outlook Model Besar: Empat Operasi Aritmatika
(Perhatikan bahwa bagian konten ini sepenuhnya didasarkan pada data yang diungkapkan oleh Dylan Patel, dan keandalannya belum dapat diverifikasi)
Pelatihan GPT-4 didasarkan pada kartu N seri A, efisiensi pelatihan 30%, waktu pelatihan sekitar 2 bulan, biaya sekitar 60 juta, dan jumlah parameter {1,7 triliun=110 miliar×16 model ahli}. Parameternya sekitar 280 miliar.
Dengan kata lain, ada beberapa parameter utama yang akan menyebabkan perubahan pola pelatihan model besar.
•Efisiensi Pelatihan: Dari 30% menjadi 60% dapat langsung mempersingkat waktu sebanyak satu kali
• Peningkatan Intensitas Daya Komputasi: Setelah beralih dari seri A ke seri H dan kemudian ke kartu khusus AI, kepadatan daya komputasi ditingkatkan, dan banyak masalah yang memengaruhi efisiensi dalam arsitektur dapat diselesaikan.
• Biaya daya komputasi turun: Lao Huang (pendiri Nvidia) mendiskon kartu grafis, dan biayanya turun secara signifikan
•Peningkatan efisiensi parameter: Ada ruang untuk perbaikan dalam efisiensi parameter model. Mengacu pada masa lalu, model baru biasanya dapat meningkatkan efisiensi parameter model lama berkali-kali lipat. Dimungkinkan untuk menggunakan 30% dari efisiensi parameter parameter GPT-4 untuk mencapai efek serupa.
Singkatnya, biaya pelatihan model kinerja tingkat GPT-4 dari nol mungkin memerlukan ruang pengoptimalan 10-20 kali lipat, yang berarti dapat dikompresi menjadi 3 juta dolar AS hingga 6 juta dolar AS. hemat biaya untuk perusahaan start-up dan perusahaan besar.
Dan perubahan ini mungkin memerlukan waktu sekitar 2 tahun untuk diselesaikan.
Saat ini, teknologi model besar arus utama masih berbasis transformator, infrastrukturnya tidak berubah, dan gagasan untuk menyempurnakan alkimia dan menambahkan parameter untuk menciptakan keajaiban belum habis. Pelatihan GPT-4 dilakukan atas dasar keterbatasan daya komputasi yang tinggi, dan waktu pelatihan yang tidak cukup lama.
Jika parameter bertambah secara linier seiring dengan waktu pelatihan, batas atas parameter model dengan arsitektur yang mirip dengan GPT-4 mungkin sekitar 10 triliun, yaitu waktu pelatihan menjadi dua kali lipat (×2), dan kartu grafis paralel menjadi dua kali lipat (×2). dua kali lipat (×2), efisiensi pelatihan menjadi setengah lebih cepat (×1,5), efisiensi parameter menjadi setengah lebih tinggi (×1,5), dan akhirnya diperoleh hasil sepuluh kali lipat. Menurut gaya selera risiko Silicon Valley, kemungkinan besar parameter ini akan tercapai dalam waktu satu tahun, terlepas dari apakah kinerjanya meningkat atau tidak.
Namun, setelah mencapai 10 triliun parameter, apakah LLM masih dapat menggunakan gagasan meningkatkan parameter untuk melakukan keajaiban adalah hal yang sama sekali tidak diketahui.
Jika peningkatan performa model berdasarkan jumlah parameter sedikit menurun, maka 10 triliun kemungkinan akan menjadi kendala. Namun, ada juga dugaan bahwa peningkatan performa model berdasarkan jumlah parameter sedikit meningkat, mirip dengan "jika seseorang cukup pintar, dia dapat mempelajari semuanya dengan cepat". Yang pertama baik-baik saja. Jika yang kedua benar, kinerja model dapat meningkat secara eksponensial, dan apa yang akan terjadi pada saat itu benar-benar tidak dapat diprediksi.
Sulit untuk memprediksi alkimia, namun mudah untuk memprediksi ritme strategi perusahaan. Model dengan total parameter 10 triliun merupakan titik akhir tonggak sejarah bagi sebagian besar perusahaan, baik itu perusahaan raksasa seperti Google/MS/APPL atau OpenAI yang lebih kecil, dan ini adalah tempat di mana Anda dapat berhenti dan melakukan eksplorasi teknis. posisi.
Preferensi perusahaan/modal terhadap risiko dapat diubah menjadi "waktu ketahanan", jika seluruh waktu yang bertahan lama menghabiskan banyak biaya, sulit untuk melebihi 6 bulan. Teknologi manusia tidak berkembang cukup cepat, dan satu siklus biasanya memakan waktu 5 tahun atau lebih. Oleh karena itu, dalam waktu 5 tahun, jumlah parameter akhir model dapat diperkirakan sebesar 20 triliun hingga 50 triliun. Kecuali jika terobosan besar dalam teknologi/arsitektur terjadi lagi, kemungkinan melampaui tingkat besaran ini sangat kecil.
Multimodalitas: Gajah di dalam ruangan
Multimodalitas adalah hal yang penting dan mungkin berdampak besar pada lanskap arena pacuan kuda.
Definisi sederhana dari multimodalitas adalah: mendukung masukan dan keluaran berbagai informasi modal. Definisi ini sangat longgar. Misalnya, beberapa produk di pasaran yang mengklaim mampu melakukan input multi-modal sebenarnya adalah ChatBot dengan lapisan OCR di luarnya. Ada juga model yang sepenuhnya memenuhi definisi multimodalitas, namun kinerjanya mengecewakan. Bahkan kemampuan input gambar multimodal GPT-4 belum terbuka secara luas, terlihat bahwa fungsi ini kurang stabil.
Namun, peluncuran multimodal tidak lama lagi akan terjadi. Ada kemungkinan besar bahwa GPT-5 mendukung multi-modalitas, yang berarti strukturnya perlu didesain ulang dan dilatih ulang. Berdasarkan alasan sebelumnya, masih ada ruang untuk pertumbuhan 10 hingga 50 kali lipat pada parameter model besar, yang seharusnya cukup untuk memasukkan kemampuan multimoda ke dalamnya. Oleh karena itu, model multimoda dengan ketersediaan tinggi dan kinerja tinggi diharapkan akan muncul dalam waktu 2 tahun. Kalau kita optimis, hampir 1 tahun.
Multimodalitas adalah gajah di dalam ruangan, semua orang tahu hal seperti itu pada akhirnya akan terjadi, namun begitu banyak produk/penelitian/strategi mengabaikan keberadaannya sehingga terjadi kesalahan perhitungan di bagian-bagian penting.
Misalnya, model gambar tunggal secara teoritis dapat sangat tertindas oleh model multimodal, namun sebagian besar penelitian/investasi saat ini mengabaikan masalah ini, sehingga menyebabkan penilaian berlebihan terhadap beberapa perusahaan yang berfokus pada gambar. Perusahaan-perusahaan ini kemungkinan besar akan kehilangan hambatan teknis dan bertransformasi menjadi penyedia layanan di masa depan. Sistem penilaian mereka harus mengacu pada penyedia layanan, bukan perusahaan teknologi.
Kalau mau cerita "investasi tergantung orang, tim yang sama bisa melakukan transformasi bisnis", maka saya tidak mengatakannya. Legenda selalu ada, tapi Anda tidak bisa percaya pada legenda ketika Anda melakukan penelitian.
Siapa yang dapat melatih GPT-4: Ya, tapi tidak perlu
Menyempurnakan ramuan tidak memakan waktu lama, dan perusahaan besar membeli kartu grafis. Satu hal yang sangat jelas adalah dalam setahun, perusahaan besar akan dapat melatih model level GPT-4. Tapi apakah akan berlatih atau tidak adalah pertanyaan lain.
Dalam bidang permainan terdapat dalil klasik yang disebut “Yuanshin bermain Yuanshen”, yaitu: ketika pemain dapat memilih untuk memainkan Yuanshen atau produk pesaing Yuanshen, jika produk pesaing tidak sebagus Yuanshen, maka mainkan dewa asli .
Pendekatan “pemenang mengambil segalanya” juga berlaku untuk industri model besar. Jika sebuah perusahaan mengikuti OpenAI dan setelah setengah tahun melakukan penelitian dan pengembangan, perusahaan tersebut akan meluncurkan model besarnya sendiri dengan kinerja 90% sebanding dengan GPT-4, dengan harapan dapat membawanya ke pasar. Pada saat ini perusahaan akan menghadapi permasalahan sebagai berikut:
• OpenAI memiliki keunggulan skala sumber daya cloud dan biaya lebih rendah
•API OpenAI telah banyak digunakan dalam kode produk, dan sulit untuk menggantikannya.
• Produk perusahaan masih belum mengungguli GPT-4
• Produk generasi berikutnya OpenAI (mungkin GPT-5) akan segera dirilis
Terlihat bahwa tekanan terhadap perusahaan cukup besar. Daripada melatih GPT-4, lebih baik bertaruh langsung pada model generasi berikutnya (melawan GPT-5). Kemudian permasalahan tersebut akan diubah dari “masalah produk pesaing sejenis” menjadi “masalah inovasi teknologi”. Ini adalah beban yang tidak dapat ditanggung oleh perusahaan kecil.
Oleh karena itu, membahas “siapa yang bisa melatih GPT-4” adalah pertanyaan mati yang strategis, daripada memikirkan masalah ini, lebih baik mencari arah yang lebih pasti dan berpeluang.
Saran untuk startup AI: Utamakan kinerja, hindari bertahan
Penulis telah menulis banyak artikel yang mengeluhkan langchain, akar masalahnya adalah langchain tidak memberikan ruang bagi pengembang untuk meningkatkan kinerja. Hal ini secara halus disebut "kerangka universal". Untuk memastikan universalitas, banyak ruang untuk peningkatan kinerja model besar ditinggalkan, seperti dialog multi-putaran dan kontrol format yang diterapkan melalui penyesuaian. Begitu pula ada bimbingan/Auto-GPT/BabyAGI, dll, semua ingin menjadi "framework yang bisa digunakan seumur hidup".
Fakta obyektifnya adalah OpenAI merilis Panggilan Fungsi pada bulan Mei. Banyak area bermasalah dalam kode memiliki solusi implementasi yang lebih baik, dan biaya penerapan solusi yang lebih baik adalah merekonstruksi bagian-bagian penting dari kode produk. Pada bulan Agustus, OpenAI merilis izin untuk menyempurnakan GPT-3.5, dan banyak tautan yang memerlukan kontrol keluaran yang tepat memiliki solusi potensial baru.
Oleh karena itu, perusahaan start-up harus menghadapi pilihan utama: haruskah mereka memilih untuk ①meningkatkan kinerja dan terus melakukan refaktorisasi produk, atau ②mengurangi penggunaan fitur-fitur baru dan selalu menggunakan fitur-fitur lama untuk pengembangan?
Untuk kewirausahaan aplikasi teknologi baru, “pengembangan” tidak hanya mewakili proses penulisan kode, namun juga mewakili “batas atas” fungsionalitas/strategi produk. Semakin tinggi kinerja yang dapat dikontrol, semakin banyak fungsi teoretis yang dimiliki produk tersebut dan semakin tinggi fleksibilitas strategisnya.
Perkembangan teknologi tidak dapat diprediksi, dan inovasi teknologi kecil dapat membawa perubahan yang sangat sensitif dalam lanskap persaingan.Perusahaan baru harus memiliki kemampuan anti-rapuh dalam pengembangan teknologi.
——Dalam kata-kata manusia: Kinerja harus diprioritaskan dan hindari bertahan. Pada tingkat pengembangan, gunakan lebih banyak fitur baru; di sisi produk, pikirkan fungsi apa yang dapat dilakukan fitur baru; di sisi strategis, pertimbangkan dampak fitur baru terhadap strategi.
Dalam "On the Passage of Qin", disebutkan bahwa setelah berdirinya Dinasti Qin, senjata logam dari seluruh dunia disita dan dilemparkan ke dalam dua belas patung perunggu untuk menghilangkan kemungkinan pemberontakan sipil. Namun Dinasti Qin terkenal berumur pendek. Lebih bermanfaat memperhatikan perubahan daripada mengabaikannya.
Saran untuk startup AI: Buat aplikasi dengan percaya diri
Ada bahaya tersembunyi yang sangat umum ketika startup mengembangkan aplikasi: masuknya perusahaan besar. Perusahaan besar di sini tidak hanya mencakup raksasa aplikasi, seperti Meta/Byte/Tencent, dll, tetapi juga industri hulu AI, seperti OpenAI.
Biasanya ada dua alasan mengapa perusahaan besar memasuki pasar: untuk mengembangkan peluang produk, dan untuk bergerak ke hulu dan hilir.
"Tata letak peluang produk" adalah arti harfiahnya Perusahaan besar merasa bahwa arah ini layak untuk dikejar, jadi mereka melakukannya.
"Memotong hulu dan hilir" sebagian besar merupakan langkah yang tidak berdaya. Mungkin karena saya telah mengembangkan model besar yang sebanding dengan OpenAI. Namun, karena masalah pemenang-ambil-semua model besar, tidak ada pengguna, yang mengakibatkan dalam membakar biaya, tidak ada pendapatan, dan tidak ada data, yang pada gilirannya menyebabkan kinerja secara bertahap tertinggal. Saat ini, beralih ke sektor hilir, mengembangkan aplikasi spesifik, dan menggunakan teknologi Anda sendiri adalah satu-satunya pilihan.
Berdasarkan pengalaman sejarah, karena masalah struktur organisasi, semakin dekat perusahaan dengan hilir maka semakin mudah tertinggal dalam teknologi, dan semakin terbelakang teknologi maka harus semakin hilir. Perusahaan-perusahaan yang disebut teknologi ini pada akhirnya akan bersaing untuk mendapatkan ceruk ekologis yang sama dengan perusahaan lapisan aplikasi.
Namun, di medan perang lapisan aplikasi, karena singkatnya waktu teknologi AI, tidak ada keunggulan skala yang efektif dan dapat digunakan kembali, dan titik awal bagi perusahaan besar dan startup serupa. Dibandingkan dengan perusahaan besar, startup lebih efisien dan memiliki wawasan yang lebih mendalam sehingga lebih mudah dalam memanfaatkannya.
Situasi yang perlu diperhatikan adalah hampir semua materi promosi MS Azure kini berkisar pada OpenAI, namun pabrik sebesar Microsoft sepenuhnya mengandalkan OpenAI sebagai platformnya, yang membuktikan dari sisi bahwa start-up memiliki keunggulan alami di bidang AI.
Tentu saja, beberapa vendor cloud mungkin tidak bisa menerima dipimpin oleh startup dan ingin menguasai seluruh pasarnya sendiri. Ini mahal, lambat dan bukan ancaman langsung.
Faktanya memang ada beberapa jalur penerapan AI yang berumur sangat pendek, namun masih banyak jalur berumur panjang yang belum ditemukan, dan aplikasi AI bukanlah pemenang segalanya. Memperluas dari aplikasi ke platform atau teknologi juga merupakan jalur yang lebih memungkinkan.
Oleh karena itu, kita harus mengambil pandangan rasional terhadap kemampuan perusahaan besar untuk menyerang lapisan aplikasi. Saran kami adalah startup AI dapat membuat aplikasi dengan percaya diri.
Saran untuk startup AI: Perhatikan lini produk
Seperti disebutkan sebelumnya, startup AI dapat membuat aplikasi dengan aman, tetapi mereka harus mempertimbangkan kinerja model AI dan menghindarinya. Situasi ini secara langsung terlihat dalam kenyataan bahwa produk AI mungkin kehilangan basis permintaannya dan perlahan-lahan melemah dalam beberapa bulan, dan situasi ini mungkin sering terjadi.
Aplikasi AI perlu menggunakan layanan model berskala besar, dan performa model berskala besar terus meningkat. Peningkatan ini bukanlah peningkatan satu dimensi seperti "kecepatan", tetapi perubahan keseluruhan dalam kualitas keluaran, panjang keluaran, dan kemampuan pengendalian keluaran. Setiap peningkatan teknologi yang signifikan akan menyebabkan teknologi produk lapisan aplikasi yang ada tertinggal dan menciptakan peluang dan pesaing baru.
Kami menyebut masa ketika aplikasi AI mempertahankan keunggulan dan kebutuhan dalam strategi/produk/teknologi sebagai "jalur penyelamat".
Berikut adalah beberapa contoh garis hidup yang lebih pendek:
•Ketika ChatGPT/Claude mendukung pengunggahan file, ChatPDF kehilangan kebutuhannya
•Saat Office365 mendukung Copilot, produk yang menggunakan AI untuk menggambar PPT akan kehilangan keunggulannya
• Ketika GPT-3.5 muncul, Jasper kehilangan kebutuhannya
**Mengingat industri AI berkembang pesat, keterbatasan sumber daya manusia adalah hal yang biasa. Oleh karena itu, menerima kenyataan bahwa garis hidup terbatas dan mencoba memilih arah dengan garis hidup yang lebih panjang akan membantu mempertahankan keuntungan jangka panjang dan kebutuhan produk. **
Secara umum, garis hidup dapat dibagi menjadi beberapa tingkatan 3/6/12 bulan.
•3 bulan: Fungsi-fungsi yang belum sempat diterapkan oleh perusahaan besar (seperti fungsi kantor/ChatGPT yang belum sempat diterapkan)
•6 bulan: Sulit untuk diterapkan dan tidak dapat diintegrasikan ke dalam solusi yang ada, namun manfaat/kebutuhannya akan hilang seiring dengan peningkatan kinerja AI (seperti kerangka kerja AI secara umum)
•12 bulan: Keuntungan/kebutuhan bisa bertahan lama dan tidak mudah terpengaruh oleh perusahaan besar/perkembangan teknologi (seperti Hugging Face)
*Siklus hidup produk platform belum tentu panjang, karena toko juga merupakan platform
Ketika sebuah perusahaan start-up menentukan arahnya, ia hanya membutuhkan lifeline 6 bulan, sedangkan lifeline 12 bulan sulit didapat.
Ketika lini hidup produk berakhir, biasanya ada dua situasi. Situasi pertama adalah keunggulannya hilang, dan teknologi peningkatan produk perlu direkonstruksi, silakan lihat "kinerja terlebih dahulu" di atas; situasi kedua adalah kebutuhan akan hilang, dan produk akan diganti secara bertahap. Pada saat ini, produk tersebut masih memiliki "masa operasi" selama beberapa bulan, cukup bagi perusahaan baru untuk memilih arah selanjutnya.
Saran untuk startup AI: Web3+AI dapat melakukannya
Saat ini terdapat banyak proyek kewirausahaan bertema Web3+AI. Namun, mengingat ketidakpastian perkembangan teknologi dan tahap awal pasar, topik Web3+AI masih akan memiliki banyak variabel di masa depan.
Tujuan artikel ini adalah untuk menemukan kepastian yang benar dengan probabilitas yang tinggi dalam ketidakpastian tersebut.Oleh karena itu, penulis tetap berharap dapat melontarkan beberapa ide dan mengusulkan beberapa tema dan arahan yang mungkin berpeluang menjadi referensi bagi perusahaan-perusahaan start-up dan tertarik. peneliti.
•De-Kedaulatan/Desentralisasi
Saat ini, para pemimpin di industri AI hanya menyediakan model sumber tertutup, dan stabilitas, transparansi, dan netralitas kelanjutan penyediaan layanan mereka tidak dapat dikendalikan. De-kedaulatan/desentralisasi dapat menjadi tema penting dalam industri AI, yaitu menyediakan layanan AI yang stabil, transparan, dan netral berdasarkan arsitektur dasar de-kedaulatan/desentralisasi.
De-kedaulatan/desentralisasi adalah sebuah “alternatif” dan “pencegahan” yang dapat secara signifikan meningkatkan dampak tidak bermoral bagi perusahaan AI yang terpusat/berdaulat dan mencegah mereka menggunakan model AI dalam bidang militer dan aliran sesat, politik, dan aspek lainnya.
Dalam kasus yang ekstrim, ketika layanan AI yang tersentralisasi/berdaulat tidak lagi tersedia/dipercaya karena alasan tertentu, AI yang tidak berdaulat/terdesentralisasi dapat terus memberikan layanan dengan ketersediaan tinggi untuk mencegah negara/wilayah dan bahkan umat manusia kehilangan AI.
• Praktalisasi Kekuatan Komputasi
Di balik peralihan ETH dari PoW ke PoS adalah dilema yang dikritik yaitu "penambangan tidak menghasilkan nilai". Menggabungkan Web3 dengan AI dapat memberikan skenario untuk daya komputasi praktis, sehingga mewujudkan penguraian daya komputasi yang ada dan mendorong pertumbuhan total daya komputasi. .
•Asetisasi Virtual
AI adalah aset asli untuk daya komputasi dan penyimpanan. Kombinasi Web3 dan AI dapat menyediakan saluran untuk mengubah AI menjadi aset virtual. Sambil memberikan contoh nilai industri AI, hal ini dapat menciptakan aset virtual yang benar-benar asli untuk Web3.
• Varian untuk aplikasi Web3
Kombinasi Web3 dan AI dapat menghadirkan fungsi baru dan peluang pertumbuhan pada aplikasi Web3, dan aplikasi Web3 yang ada dapat sepenuhnya dikerjakan ulang.
Ditulis di akhir: Ini bulan September, apakah AI masih layak untuk memulai bisnis sekarang
Izinkan saya berbicara tentang kesimpulannya terlebih dahulu: ini bermanfaat, dan kesimpulan ini dapat digunakan hingga Tahun Baru Imlek dengan kemungkinan besar.
Orang sering kali memiliki persepsi yang bias terhadap suatu situasi, dan saya tidak terkecuali. Ada orang yang terlalu optimis dan ada pula yang terlalu pesimis. Penulis pernah berkomunikasi dengan dua tim. Satu tim yakin akan mampu membangun Agen AI pada Q1 tahun depan, sedangkan tim lainnya merasa AI hanya cocok untuk manajemen basis pengetahuan. Tentunya yang pertama terlalu optimis, sedangkan yang terakhir ini terlalu pesimis.
Saat membuat rencana jangka panjang, bersikap terlalu optimis atau terlalu pesimistis akan menimbulkan jebakan, dan pernyataan yang beredar luas sering kali merupakan pernyataan yang sangat bias, sehingga membuat pemikiran independen menjadi sangat berharga. Oleh karena itu, terlepas dari apakah pembaca dapat menerima pandangan artikel ini, selama pembaca memiliki pemikiran dan penilaian independen selama proses membaca, penulis akan sangat senang.
Terakhir, beriklan. Jika Anda memiliki ide kewirausahaan AI yang bagus, atau sudah membentuk proyek, silakan berkomunikasi dengan teman NGC (seperti saya) kapan saja.
Kami mengidentifikasi proyek-proyek dengan inovasi yang mengganggu, yang bertujuan untuk memecahkan masalah dengan solusi yang ditandai dengan kesederhanaan, keterjangkauan biaya, kecepatan, keunikan, dan kesesuaian pasar produk yang menarik.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
NGC Ventures: Apakah jalur AI saat ini layak untuk memulai bisnis?
Oleh Cherry, Manajer Investasi, NGC Ventures
Kata Pengantar
Draf pertama artikel ini selesai pada waktu senggang saya di akhir bulan Agustus, setelah buru-buru menerbitkannya, saya mendapat banyak nasehat, sehingga saya menambah, mengubah, dan menghapus beberapa konten agar tidak membuat orang tertawa.
Isi artikel ini terutama untuk mengevaluasi situasi industri AI saat ini dari perspektif investasi, untuk merefleksikan dan memperkirakan rute teknologi/produk dari berbagai perusahaan, dan untuk mengabstraksi strategi perusahaan di bidang AI. industri. Oleh karena itu, pasti ada kelalaian di bagian yang terkait dengan teknologi tertentu, mohon bersabar.
Namun pada analisa akhir, beberapa perusahaan besar yang bisa menerbitkan makalah masih terkoyak, dan sepertinya belum ada yang bisa menilai kebenaran isi artikel ini. Sama seperti penilaian GPT-3.5 dengan GPT-4, tampaknya masuk akal, namun agak abstrak jika Anda memikirkannya dengan cermat.
Oleh karena itu, penulis merekomendasikan agar artikel ini dianggap sebagai "penilaian" yang dibentuk setelah mengumpulkan informasi mengenai industri yang tidak pasti. Karena ini adalah putusan, maka posisinya harus jelas dan pernyataannya harus bermakna. Benar atau tidaknya, biarkan waktu yang mengujinya.
Penulis selalu percaya bahwa industri baru itu berisik, jadi sebaiknya gunakan otak Anda lebih banyak dan berani mengambil keputusan. Untuk pertanyaan benar-salah, tingkat tebakan buta yang benar adalah 50%, dan kemungkinan salah menebak tiga kali berturut-turut adalah 12,5%.Bahkan membuat penilaian pada tingkat melempar koin pun bermakna. Membuat penilaian tidaklah buruk, yang paling buruk adalah keakuratan penilaian lebih rendah dibandingkan dengan melempar koin.
Sebelum secara resmi memulai artikel ini, saya ingin mengucapkan terima kasih kepada orang-orang berikut atas kerja mereka, yang telah memberikan inspirasi dan sumber data berharga untuk artikel ini. Tentu saja, karena banyak kesimpulan dalam artikel ini didasarkan pada karya-karya tersebut, jika terdapat kesalahan atau penulis memiliki pemahaman yang salah, maka kesimpulan dalam artikel ini tidak lagi kuat, dan pembaca diminta untuk membuat penilaian sendiri. Artikel ini bukan merupakan nasihat investasi, dan bukan merupakan nasihat investasi.
•Pusat Rantai Pemikiran: Upaya Berkelanjutan untuk Mengukur Kinerja Penalaran Model Bahasa Besar（
•LIMA: Lebih Sedikit Lebih Baik untuk Penyelarasan（
•Juni 2023, Tinjauan Tahap Penyetelan Instruksi（
•Arsitektur GPT-4, Infrastruktur, Dataset Pelatihan, Biaya, Visi, KLH（
Oke, mari kita mulai artikel ini secara resmi.
Model Besar: Luncurkan Cyber Rocket
Langkah awal pembahasan AI di tahun 2023 adalah membahas apakah kewirausahaan skala besar masih bisa dilakukan.
Model besar (pra-pelatihan) kini menjelma menjadi soal peluncuran roket, asalkan bisa terbakar dan arahnya tepat, siapa pun bisa melakukannya. Dapat dikatakan bahwa melatih model besar berarti meluncurkan roket siber.
Hal yang anti-akal sehat adalah investor meremehkan kesulitan melatih model besar, namun melebih-lebihkan kesulitan meluncurkan roket sungguhan. Dengan biaya yang sama sebesar 60 juta dolar AS, investor akan berpikir bahwa ada peluang kedua untuk kegagalan peluncuran roket, sedangkan kegagalan untuk melatih model besar dianggap membuang-buang uang.
GPT-4 masih menghabiskan US$60 juta dalam efisiensi pemanfaatan GPU OpenAI (dilaporkan sekitar 30%). Ini adalah {kinerja = efisiensi
Saat ini, putaran pembiayaan banyak perusahaan yang mengaku melatih model besar berkisar antara 1 juta hingga 5 juta dolar AS. Meskipun demikian, bahkan perusahaan dengan pendanaan terbesar pun hanya memiliki amunisi yang cukup untuk satu peluncuran. Dan meskipun tingkat pemanfaatan GPU pada peluncuran ini mencapai 100%, sulit untuk melampaui GPT-4.
Dari sudut pandang ini, lebih baik meluncurkan roket, karena sebagian besar roket saat ini adalah kendaraan peluncuran, membawa satelit ke angkasa, dan kapasitas muatan tunggal terbatas, sehingga perusahaan roket kecil dapat menerima pesanan satelit yang belum sempat dilakukan oleh perusahaan lain. peluncuran.
Model besar berbeda.Biaya marjinal ekspansi horizontal model besar hanyalah biaya daya komputasi, dan biaya daya komputasi dapat diperluas secara elastis, yang berarti bagi perusahaan model besar, keuntungan dari setiap pesanan adalah keuntungan gratis. , hampir tidak ada biaya tambahan, dan kapasitas usahanya sangat besar. Bagi perusahaan model besar yang baru didirikan dengan kualitas buruk, sulit menerima permintaan yang melimpah.
Kecuali jika biaya pelatihan dikurangi secara signifikan, banyak perusahaan akan kesulitan membuat model besar yang dapat dipasarkan dalam jangka pendek meskipun mereka mengetahui struktur lengkap GPT-4.
Penyesuaian: Menghadapi masalah "pemenang mengambil semua"
Dalam industri perangkat keras, fenomena umum adalah mencapai keuntungan awal melalui kebutuhan yang disesuaikan, dan kemudian mencapai terobosan teknologi (atau pemerataan) melalui keuntungan awal. Namun, penyesuaian dalam industri model besar bukanlah jalan keluar bagi pendatang baru.
Mengenai penilaian ini, penjelasannya sangat sederhana: sebagian besar model yang disempurnakan tidak dapat mengejar GPT-4, meskipun mereka bisa mengejar, biaya generalisasi langsung menggunakan GPT-4 lebih rendah, dan kebutuhan personel lebih sedikit. , dan kebutuhan akan keberuntungan lebih sedikit. Persyaratan data lebih sedikit. Selama kesenjangan kinerja antara GPT-4 dan model lainnya masih ada, penyesuaian tidak dapat menjadi jalan keluar bagi perusahaan model besar.
Contoh yang paling umum adalah Jasper, yang menggunakan GPT-3 yang telah disempurnakan untuk melayani pelanggan perusahaan. Namun, setelah OpenAI merilis ChatGPT (GPT-3.5), penggunanya dengan cepat hilang. Karena output Jasper dapat diperoleh hanya dengan memasukkan GPT-3.5, tanpa menggunakan "versi terbelakang" dengan kemampuan generalisasi yang buruk dan terbatas untuk penggunaan internal di perusahaan.
Dibandingkan dengan perusahaan baru, Jasper setidaknya memiliki window period dari GPT-3 hingga GPT-3.5 untuk pengembangan. Namun, perusahaan baru kini harus menghadapi tekanan GPT-3.5 yang berbiaya rendah dan berkecepatan tinggi serta GPT-4 yang berperforma tinggi pada saat yang bersamaan.
Oleh karena itu, kemungkinan bertahan hidup sangat rendah untuk jalur akumulasi keuntungan melalui penyesuaian guna mencapai terobosan teknologi.
Penyempurnaan: perlu, jangan percaya takhayul
Industri AI saat ini memiliki ekspektasi yang tidak realistis terhadap penyempurnaan, dan ekspektasi ini terlalu dilebih-lebihkan dalam hal penerapan teknis spesifik dan ritme teknis makro.
Penyempurnaan yang saat ini dibahas di industri sebagian besar mengacu pada "berdasarkan model yang telah dilatih sebelumnya, sehingga dapat menghasilkan jawaban yang konsisten dengan niat manusia". Penyempurnaan semacam ini bisa disebut "penyelarasan", yaitu menyelaraskan jawaban dengan niat manusia, bukan menambahkan kecerdasan pada model besar.
Berdasarkan hasil penelitian di banyak makalah, pengetahuan tentang model besar sebaiknya berasal dari pra-pelatihan, sedangkan fine-tuning lebih banyak digunakan untuk penyelarasan.
Penjelasan sederhananya adalah bahwa pra-pelatihan menentukan ukuran otak, dan penyesuaian menentukan bahasa ibu. Menyempurnakan model yang telah dilatih sebelumnya merupakan sebuah proses “menghilangkan buta huruf”.
Namun, penyesuaian sering kali dilihat di industri sebagai metode untuk "menambahkan kecerdasan" pada model, yaitu meningkatkan kinerja model dan meningkatkan pengetahuan model melalui penyesuaian. Hal ini diyakini bahwa dengan cara ini, "Cawan Suci kecerdasan buatan" dapat dicapai. Cara berpikir ini agak bias.
Pertama, performa model itu sendiri belum meningkat, namun bisa lebih selaras dengan niat manusia. Jika kompleksitas tugas melebihi performa model, penyesuaian tidak akan memberikan hasil yang diharapkan. Ibarat menyuruh otak manusia melakukan perhitungan kuantum, bukan masalah pendidikan jika tidak bisa dilakukan.
Kedua, "tambahan pengetahuan" dilakukan di bagian "penyelarasan niat", dan efeknya lebih mirip dengan "membeo". Artinya: model hanya meniru apa yang dikatakan para ahli tanpa memahami maknanya. Meskipun banyak industri bisa mendapatkan solusi yang baik dengan "membeo" (sebagian besar industri tidak rumit...), ini jelas bukan hasil yang harus kita kejar dalam jangka panjang.
Terakhir, untuk pelatihan "melengkapi kumpulan data tambahan, meningkatkan performa model, dan meningkatkan pengetahuan model", harus dipertimbangkan bahwa model tersebut memiliki kemampuan "pembelajaran tambahan/pembelajaran berkelanjutan", yaitu parameter lengkap model. dapat ditingkatkan melalui kumpulan data tambahan. Ini bukan konsep yang sama dengan apa yang disebut "penyempurnaan instruksi".
Secara umum, fine-tuning sangatlah penting, namun memiliki sikap "takhayul" terhadap fine-tuning saat ini adalah salah, terutama keinginan untuk menyegel fine-tuning saat ini sebagai Holy Grail, yang cukup "di atas bangunan". fisika hari ini" Hanya ada dua awan gelap yang mengambang."
Mengambil langkah mundur, jika permintaan untuk "meningkatkan kecerdasan" benar-benar dapat diselesaikan melalui penyempurnaan instruksi, melakukan pencarian vektor sederhana, memasukkan pengetahuan secara langsung ke dalam konteksnya, dan kemudian cukup menulis beberapa templat, ada kemungkinan besar bahwa akan ada Efek yang sama atau bahkan lebih baik.
Semua orang suka fine-tuning, mungkin itu juga semacam kebangkitan keterampilan alkimia di zaman modern...
Outlook Model Besar: Empat Operasi Aritmatika
(Perhatikan bahwa bagian konten ini sepenuhnya didasarkan pada data yang diungkapkan oleh Dylan Patel, dan keandalannya belum dapat diverifikasi)
Pelatihan GPT-4 didasarkan pada kartu N seri A, efisiensi pelatihan 30%, waktu pelatihan sekitar 2 bulan, biaya sekitar 60 juta, dan jumlah parameter {1,7 triliun=110 miliar×16 model ahli}. Parameternya sekitar 280 miliar.
Dengan kata lain, ada beberapa parameter utama yang akan menyebabkan perubahan pola pelatihan model besar.
•Efisiensi Pelatihan: Dari 30% menjadi 60% dapat langsung mempersingkat waktu sebanyak satu kali
• Peningkatan Intensitas Daya Komputasi: Setelah beralih dari seri A ke seri H dan kemudian ke kartu khusus AI, kepadatan daya komputasi ditingkatkan, dan banyak masalah yang memengaruhi efisiensi dalam arsitektur dapat diselesaikan.
• Biaya daya komputasi turun: Lao Huang (pendiri Nvidia) mendiskon kartu grafis, dan biayanya turun secara signifikan
•Peningkatan efisiensi parameter: Ada ruang untuk perbaikan dalam efisiensi parameter model. Mengacu pada masa lalu, model baru biasanya dapat meningkatkan efisiensi parameter model lama berkali-kali lipat. Dimungkinkan untuk menggunakan 30% dari efisiensi parameter parameter GPT-4 untuk mencapai efek serupa.
Singkatnya, biaya pelatihan model kinerja tingkat GPT-4 dari nol mungkin memerlukan ruang pengoptimalan 10-20 kali lipat, yang berarti dapat dikompresi menjadi 3 juta dolar AS hingga 6 juta dolar AS. hemat biaya untuk perusahaan start-up dan perusahaan besar.
Dan perubahan ini mungkin memerlukan waktu sekitar 2 tahun untuk diselesaikan.
Saat ini, teknologi model besar arus utama masih berbasis transformator, infrastrukturnya tidak berubah, dan gagasan untuk menyempurnakan alkimia dan menambahkan parameter untuk menciptakan keajaiban belum habis. Pelatihan GPT-4 dilakukan atas dasar keterbatasan daya komputasi yang tinggi, dan waktu pelatihan yang tidak cukup lama.
Jika parameter bertambah secara linier seiring dengan waktu pelatihan, batas atas parameter model dengan arsitektur yang mirip dengan GPT-4 mungkin sekitar 10 triliun, yaitu waktu pelatihan menjadi dua kali lipat (×2), dan kartu grafis paralel menjadi dua kali lipat (×2). dua kali lipat (×2), efisiensi pelatihan menjadi setengah lebih cepat (×1,5), efisiensi parameter menjadi setengah lebih tinggi (×1,5), dan akhirnya diperoleh hasil sepuluh kali lipat. Menurut gaya selera risiko Silicon Valley, kemungkinan besar parameter ini akan tercapai dalam waktu satu tahun, terlepas dari apakah kinerjanya meningkat atau tidak.
Namun, setelah mencapai 10 triliun parameter, apakah LLM masih dapat menggunakan gagasan meningkatkan parameter untuk melakukan keajaiban adalah hal yang sama sekali tidak diketahui.
Jika peningkatan performa model berdasarkan jumlah parameter sedikit menurun, maka 10 triliun kemungkinan akan menjadi kendala. Namun, ada juga dugaan bahwa peningkatan performa model berdasarkan jumlah parameter sedikit meningkat, mirip dengan "jika seseorang cukup pintar, dia dapat mempelajari semuanya dengan cepat". Yang pertama baik-baik saja. Jika yang kedua benar, kinerja model dapat meningkat secara eksponensial, dan apa yang akan terjadi pada saat itu benar-benar tidak dapat diprediksi.
Sulit untuk memprediksi alkimia, namun mudah untuk memprediksi ritme strategi perusahaan. Model dengan total parameter 10 triliun merupakan titik akhir tonggak sejarah bagi sebagian besar perusahaan, baik itu perusahaan raksasa seperti Google/MS/APPL atau OpenAI yang lebih kecil, dan ini adalah tempat di mana Anda dapat berhenti dan melakukan eksplorasi teknis. posisi.
Preferensi perusahaan/modal terhadap risiko dapat diubah menjadi "waktu ketahanan", jika seluruh waktu yang bertahan lama menghabiskan banyak biaya, sulit untuk melebihi 6 bulan. Teknologi manusia tidak berkembang cukup cepat, dan satu siklus biasanya memakan waktu 5 tahun atau lebih. Oleh karena itu, dalam waktu 5 tahun, jumlah parameter akhir model dapat diperkirakan sebesar 20 triliun hingga 50 triliun. Kecuali jika terobosan besar dalam teknologi/arsitektur terjadi lagi, kemungkinan melampaui tingkat besaran ini sangat kecil.
Multimodalitas: Gajah di dalam ruangan
Multimodalitas adalah hal yang penting dan mungkin berdampak besar pada lanskap arena pacuan kuda.
Definisi sederhana dari multimodalitas adalah: mendukung masukan dan keluaran berbagai informasi modal. Definisi ini sangat longgar. Misalnya, beberapa produk di pasaran yang mengklaim mampu melakukan input multi-modal sebenarnya adalah ChatBot dengan lapisan OCR di luarnya. Ada juga model yang sepenuhnya memenuhi definisi multimodalitas, namun kinerjanya mengecewakan. Bahkan kemampuan input gambar multimodal GPT-4 belum terbuka secara luas, terlihat bahwa fungsi ini kurang stabil.
Namun, peluncuran multimodal tidak lama lagi akan terjadi. Ada kemungkinan besar bahwa GPT-5 mendukung multi-modalitas, yang berarti strukturnya perlu didesain ulang dan dilatih ulang. Berdasarkan alasan sebelumnya, masih ada ruang untuk pertumbuhan 10 hingga 50 kali lipat pada parameter model besar, yang seharusnya cukup untuk memasukkan kemampuan multimoda ke dalamnya. Oleh karena itu, model multimoda dengan ketersediaan tinggi dan kinerja tinggi diharapkan akan muncul dalam waktu 2 tahun. Kalau kita optimis, hampir 1 tahun.
Multimodalitas adalah gajah di dalam ruangan, semua orang tahu hal seperti itu pada akhirnya akan terjadi, namun begitu banyak produk/penelitian/strategi mengabaikan keberadaannya sehingga terjadi kesalahan perhitungan di bagian-bagian penting.
Misalnya, model gambar tunggal secara teoritis dapat sangat tertindas oleh model multimodal, namun sebagian besar penelitian/investasi saat ini mengabaikan masalah ini, sehingga menyebabkan penilaian berlebihan terhadap beberapa perusahaan yang berfokus pada gambar. Perusahaan-perusahaan ini kemungkinan besar akan kehilangan hambatan teknis dan bertransformasi menjadi penyedia layanan di masa depan. Sistem penilaian mereka harus mengacu pada penyedia layanan, bukan perusahaan teknologi.
Kalau mau cerita "investasi tergantung orang, tim yang sama bisa melakukan transformasi bisnis", maka saya tidak mengatakannya. Legenda selalu ada, tapi Anda tidak bisa percaya pada legenda ketika Anda melakukan penelitian.
Siapa yang dapat melatih GPT-4: Ya, tapi tidak perlu
Menyempurnakan ramuan tidak memakan waktu lama, dan perusahaan besar membeli kartu grafis. Satu hal yang sangat jelas adalah dalam setahun, perusahaan besar akan dapat melatih model level GPT-4. Tapi apakah akan berlatih atau tidak adalah pertanyaan lain.
Dalam bidang permainan terdapat dalil klasik yang disebut “Yuanshin bermain Yuanshen”, yaitu: ketika pemain dapat memilih untuk memainkan Yuanshen atau produk pesaing Yuanshen, jika produk pesaing tidak sebagus Yuanshen, maka mainkan dewa asli .
Pendekatan “pemenang mengambil segalanya” juga berlaku untuk industri model besar. Jika sebuah perusahaan mengikuti OpenAI dan setelah setengah tahun melakukan penelitian dan pengembangan, perusahaan tersebut akan meluncurkan model besarnya sendiri dengan kinerja 90% sebanding dengan GPT-4, dengan harapan dapat membawanya ke pasar. Pada saat ini perusahaan akan menghadapi permasalahan sebagai berikut:
• OpenAI memiliki keunggulan skala sumber daya cloud dan biaya lebih rendah
•API OpenAI telah banyak digunakan dalam kode produk, dan sulit untuk menggantikannya.
• Produk perusahaan masih belum mengungguli GPT-4
• Produk generasi berikutnya OpenAI (mungkin GPT-5) akan segera dirilis
Terlihat bahwa tekanan terhadap perusahaan cukup besar. Daripada melatih GPT-4, lebih baik bertaruh langsung pada model generasi berikutnya (melawan GPT-5). Kemudian permasalahan tersebut akan diubah dari “masalah produk pesaing sejenis” menjadi “masalah inovasi teknologi”. Ini adalah beban yang tidak dapat ditanggung oleh perusahaan kecil.
Oleh karena itu, membahas “siapa yang bisa melatih GPT-4” adalah pertanyaan mati yang strategis, daripada memikirkan masalah ini, lebih baik mencari arah yang lebih pasti dan berpeluang.
Saran untuk startup AI: Utamakan kinerja, hindari bertahan
Penulis telah menulis banyak artikel yang mengeluhkan langchain, akar masalahnya adalah langchain tidak memberikan ruang bagi pengembang untuk meningkatkan kinerja. Hal ini secara halus disebut "kerangka universal". Untuk memastikan universalitas, banyak ruang untuk peningkatan kinerja model besar ditinggalkan, seperti dialog multi-putaran dan kontrol format yang diterapkan melalui penyesuaian. Begitu pula ada bimbingan/Auto-GPT/BabyAGI, dll, semua ingin menjadi "framework yang bisa digunakan seumur hidup".
Fakta obyektifnya adalah OpenAI merilis Panggilan Fungsi pada bulan Mei. Banyak area bermasalah dalam kode memiliki solusi implementasi yang lebih baik, dan biaya penerapan solusi yang lebih baik adalah merekonstruksi bagian-bagian penting dari kode produk. Pada bulan Agustus, OpenAI merilis izin untuk menyempurnakan GPT-3.5, dan banyak tautan yang memerlukan kontrol keluaran yang tepat memiliki solusi potensial baru.
Oleh karena itu, perusahaan start-up harus menghadapi pilihan utama: haruskah mereka memilih untuk ①meningkatkan kinerja dan terus melakukan refaktorisasi produk, atau ②mengurangi penggunaan fitur-fitur baru dan selalu menggunakan fitur-fitur lama untuk pengembangan?
Untuk kewirausahaan aplikasi teknologi baru, “pengembangan” tidak hanya mewakili proses penulisan kode, namun juga mewakili “batas atas” fungsionalitas/strategi produk. Semakin tinggi kinerja yang dapat dikontrol, semakin banyak fungsi teoretis yang dimiliki produk tersebut dan semakin tinggi fleksibilitas strategisnya.
Perkembangan teknologi tidak dapat diprediksi, dan inovasi teknologi kecil dapat membawa perubahan yang sangat sensitif dalam lanskap persaingan.Perusahaan baru harus memiliki kemampuan anti-rapuh dalam pengembangan teknologi.
——Dalam kata-kata manusia: Kinerja harus diprioritaskan dan hindari bertahan. Pada tingkat pengembangan, gunakan lebih banyak fitur baru; di sisi produk, pikirkan fungsi apa yang dapat dilakukan fitur baru; di sisi strategis, pertimbangkan dampak fitur baru terhadap strategi.
Dalam "On the Passage of Qin", disebutkan bahwa setelah berdirinya Dinasti Qin, senjata logam dari seluruh dunia disita dan dilemparkan ke dalam dua belas patung perunggu untuk menghilangkan kemungkinan pemberontakan sipil. Namun Dinasti Qin terkenal berumur pendek. Lebih bermanfaat memperhatikan perubahan daripada mengabaikannya.
Saran untuk startup AI: Buat aplikasi dengan percaya diri
Ada bahaya tersembunyi yang sangat umum ketika startup mengembangkan aplikasi: masuknya perusahaan besar. Perusahaan besar di sini tidak hanya mencakup raksasa aplikasi, seperti Meta/Byte/Tencent, dll, tetapi juga industri hulu AI, seperti OpenAI.
Biasanya ada dua alasan mengapa perusahaan besar memasuki pasar: untuk mengembangkan peluang produk, dan untuk bergerak ke hulu dan hilir.
"Tata letak peluang produk" adalah arti harfiahnya Perusahaan besar merasa bahwa arah ini layak untuk dikejar, jadi mereka melakukannya.
"Memotong hulu dan hilir" sebagian besar merupakan langkah yang tidak berdaya. Mungkin karena saya telah mengembangkan model besar yang sebanding dengan OpenAI. Namun, karena masalah pemenang-ambil-semua model besar, tidak ada pengguna, yang mengakibatkan dalam membakar biaya, tidak ada pendapatan, dan tidak ada data, yang pada gilirannya menyebabkan kinerja secara bertahap tertinggal. Saat ini, beralih ke sektor hilir, mengembangkan aplikasi spesifik, dan menggunakan teknologi Anda sendiri adalah satu-satunya pilihan.
Berdasarkan pengalaman sejarah, karena masalah struktur organisasi, semakin dekat perusahaan dengan hilir maka semakin mudah tertinggal dalam teknologi, dan semakin terbelakang teknologi maka harus semakin hilir. Perusahaan-perusahaan yang disebut teknologi ini pada akhirnya akan bersaing untuk mendapatkan ceruk ekologis yang sama dengan perusahaan lapisan aplikasi.
Namun, di medan perang lapisan aplikasi, karena singkatnya waktu teknologi AI, tidak ada keunggulan skala yang efektif dan dapat digunakan kembali, dan titik awal bagi perusahaan besar dan startup serupa. Dibandingkan dengan perusahaan besar, startup lebih efisien dan memiliki wawasan yang lebih mendalam sehingga lebih mudah dalam memanfaatkannya.
Situasi yang perlu diperhatikan adalah hampir semua materi promosi MS Azure kini berkisar pada OpenAI, namun pabrik sebesar Microsoft sepenuhnya mengandalkan OpenAI sebagai platformnya, yang membuktikan dari sisi bahwa start-up memiliki keunggulan alami di bidang AI.
Tentu saja, beberapa vendor cloud mungkin tidak bisa menerima dipimpin oleh startup dan ingin menguasai seluruh pasarnya sendiri. Ini mahal, lambat dan bukan ancaman langsung.
Faktanya memang ada beberapa jalur penerapan AI yang berumur sangat pendek, namun masih banyak jalur berumur panjang yang belum ditemukan, dan aplikasi AI bukanlah pemenang segalanya. Memperluas dari aplikasi ke platform atau teknologi juga merupakan jalur yang lebih memungkinkan.
Oleh karena itu, kita harus mengambil pandangan rasional terhadap kemampuan perusahaan besar untuk menyerang lapisan aplikasi. Saran kami adalah startup AI dapat membuat aplikasi dengan percaya diri.
Saran untuk startup AI: Perhatikan lini produk
Seperti disebutkan sebelumnya, startup AI dapat membuat aplikasi dengan aman, tetapi mereka harus mempertimbangkan kinerja model AI dan menghindarinya. Situasi ini secara langsung terlihat dalam kenyataan bahwa produk AI mungkin kehilangan basis permintaannya dan perlahan-lahan melemah dalam beberapa bulan, dan situasi ini mungkin sering terjadi.
Aplikasi AI perlu menggunakan layanan model berskala besar, dan performa model berskala besar terus meningkat. Peningkatan ini bukanlah peningkatan satu dimensi seperti "kecepatan", tetapi perubahan keseluruhan dalam kualitas keluaran, panjang keluaran, dan kemampuan pengendalian keluaran. Setiap peningkatan teknologi yang signifikan akan menyebabkan teknologi produk lapisan aplikasi yang ada tertinggal dan menciptakan peluang dan pesaing baru.
Kami menyebut masa ketika aplikasi AI mempertahankan keunggulan dan kebutuhan dalam strategi/produk/teknologi sebagai "jalur penyelamat".
Berikut adalah beberapa contoh garis hidup yang lebih pendek:
•Ketika ChatGPT/Claude mendukung pengunggahan file, ChatPDF kehilangan kebutuhannya
•Saat Office365 mendukung Copilot, produk yang menggunakan AI untuk menggambar PPT akan kehilangan keunggulannya
• Ketika GPT-3.5 muncul, Jasper kehilangan kebutuhannya
**Mengingat industri AI berkembang pesat, keterbatasan sumber daya manusia adalah hal yang biasa. Oleh karena itu, menerima kenyataan bahwa garis hidup terbatas dan mencoba memilih arah dengan garis hidup yang lebih panjang akan membantu mempertahankan keuntungan jangka panjang dan kebutuhan produk. **
Secara umum, garis hidup dapat dibagi menjadi beberapa tingkatan 3/6/12 bulan.
•3 bulan: Fungsi-fungsi yang belum sempat diterapkan oleh perusahaan besar (seperti fungsi kantor/ChatGPT yang belum sempat diterapkan)
•6 bulan: Sulit untuk diterapkan dan tidak dapat diintegrasikan ke dalam solusi yang ada, namun manfaat/kebutuhannya akan hilang seiring dengan peningkatan kinerja AI (seperti kerangka kerja AI secara umum)
•12 bulan: Keuntungan/kebutuhan bisa bertahan lama dan tidak mudah terpengaruh oleh perusahaan besar/perkembangan teknologi (seperti Hugging Face)
*Siklus hidup produk platform belum tentu panjang, karena toko juga merupakan platform
Ketika sebuah perusahaan start-up menentukan arahnya, ia hanya membutuhkan lifeline 6 bulan, sedangkan lifeline 12 bulan sulit didapat.
Ketika lini hidup produk berakhir, biasanya ada dua situasi. Situasi pertama adalah keunggulannya hilang, dan teknologi peningkatan produk perlu direkonstruksi, silakan lihat "kinerja terlebih dahulu" di atas; situasi kedua adalah kebutuhan akan hilang, dan produk akan diganti secara bertahap. Pada saat ini, produk tersebut masih memiliki "masa operasi" selama beberapa bulan, cukup bagi perusahaan baru untuk memilih arah selanjutnya.
Saran untuk startup AI: Web3+AI dapat melakukannya
Saat ini terdapat banyak proyek kewirausahaan bertema Web3+AI. Namun, mengingat ketidakpastian perkembangan teknologi dan tahap awal pasar, topik Web3+AI masih akan memiliki banyak variabel di masa depan.
Tujuan artikel ini adalah untuk menemukan kepastian yang benar dengan probabilitas yang tinggi dalam ketidakpastian tersebut.Oleh karena itu, penulis tetap berharap dapat melontarkan beberapa ide dan mengusulkan beberapa tema dan arahan yang mungkin berpeluang menjadi referensi bagi perusahaan-perusahaan start-up dan tertarik. peneliti.
•De-Kedaulatan/Desentralisasi
Saat ini, para pemimpin di industri AI hanya menyediakan model sumber tertutup, dan stabilitas, transparansi, dan netralitas kelanjutan penyediaan layanan mereka tidak dapat dikendalikan. De-kedaulatan/desentralisasi dapat menjadi tema penting dalam industri AI, yaitu menyediakan layanan AI yang stabil, transparan, dan netral berdasarkan arsitektur dasar de-kedaulatan/desentralisasi.
De-kedaulatan/desentralisasi adalah sebuah “alternatif” dan “pencegahan” yang dapat secara signifikan meningkatkan dampak tidak bermoral bagi perusahaan AI yang terpusat/berdaulat dan mencegah mereka menggunakan model AI dalam bidang militer dan aliran sesat, politik, dan aspek lainnya.
Dalam kasus yang ekstrim, ketika layanan AI yang tersentralisasi/berdaulat tidak lagi tersedia/dipercaya karena alasan tertentu, AI yang tidak berdaulat/terdesentralisasi dapat terus memberikan layanan dengan ketersediaan tinggi untuk mencegah negara/wilayah dan bahkan umat manusia kehilangan AI.
• Praktalisasi Kekuatan Komputasi
Di balik peralihan ETH dari PoW ke PoS adalah dilema yang dikritik yaitu "penambangan tidak menghasilkan nilai". Menggabungkan Web3 dengan AI dapat memberikan skenario untuk daya komputasi praktis, sehingga mewujudkan penguraian daya komputasi yang ada dan mendorong pertumbuhan total daya komputasi. .
•Asetisasi Virtual
AI adalah aset asli untuk daya komputasi dan penyimpanan. Kombinasi Web3 dan AI dapat menyediakan saluran untuk mengubah AI menjadi aset virtual. Sambil memberikan contoh nilai industri AI, hal ini dapat menciptakan aset virtual yang benar-benar asli untuk Web3.
• Varian untuk aplikasi Web3
Kombinasi Web3 dan AI dapat menghadirkan fungsi baru dan peluang pertumbuhan pada aplikasi Web3, dan aplikasi Web3 yang ada dapat sepenuhnya dikerjakan ulang.
Ditulis di akhir: Ini bulan September, apakah AI masih layak untuk memulai bisnis sekarang
Izinkan saya berbicara tentang kesimpulannya terlebih dahulu: ini bermanfaat, dan kesimpulan ini dapat digunakan hingga Tahun Baru Imlek dengan kemungkinan besar.
Orang sering kali memiliki persepsi yang bias terhadap suatu situasi, dan saya tidak terkecuali. Ada orang yang terlalu optimis dan ada pula yang terlalu pesimis. Penulis pernah berkomunikasi dengan dua tim. Satu tim yakin akan mampu membangun Agen AI pada Q1 tahun depan, sedangkan tim lainnya merasa AI hanya cocok untuk manajemen basis pengetahuan. Tentunya yang pertama terlalu optimis, sedangkan yang terakhir ini terlalu pesimis.
Saat membuat rencana jangka panjang, bersikap terlalu optimis atau terlalu pesimistis akan menimbulkan jebakan, dan pernyataan yang beredar luas sering kali merupakan pernyataan yang sangat bias, sehingga membuat pemikiran independen menjadi sangat berharga. Oleh karena itu, terlepas dari apakah pembaca dapat menerima pandangan artikel ini, selama pembaca memiliki pemikiran dan penilaian independen selama proses membaca, penulis akan sangat senang.
Terakhir, beriklan. Jika Anda memiliki ide kewirausahaan AI yang bagus, atau sudah membentuk proyek, silakan berkomunikasi dengan teman NGC (seperti saya) kapan saja.
Kami mengidentifikasi proyek-proyek dengan inovasi yang mengganggu, yang bertujuan untuk memecahkan masalah dengan solusi yang ditandai dengan kesederhanaan, keterjangkauan biaya, kecepatan, keunikan, dan kesesuaian pasar produk yang menarik.