Lin Junchao: Melihat peluang investasi AI dari perspektif pasar primer

Sumber: Institut Riset Titanium Capital

Setelah ChatGPT menyapu dunia, kecerdasan buatan didorong ke outlet baru Sebagai alat produktivitas cerdas subversif, itu sudah menjadi topik hangat. Saat ini, negara maju dan wilayah di seluruh dunia telah mengangkat pengembangan industri kecerdasan buatan ke dalam strategi nasional, dan teknologi serta aplikasi terkait yang muncul terus diterapkan. Dengan perkembangan mendalam dari gelombang baru AI, revolusi industri yang dipimpin oleh teknologi kecerdasan digital akan segera muncul, dan juga membuka awal dari "era model besar" di semua lapisan masyarakat.

Mengapa model bahasa besar dapat memimpin tren AI? Apa peluang investasi untuk AI domestik? Baru-baru ini, Titanium Capital mengundang Lin Junchao, direktur investasi Rongyi Capital, untuk berbagi tema: Melihat peluang investasi AI dari perspektif pasar primer. Mr. Lin memegang gelar sarjana teknik elektro dan elektronik dan gelar master kehormatan kelas satu dari University College London (UCL), dan memiliki tiga tahun pengalaman kewirausahaan dan enam tahun pengalaman investasi ekuitas. Fokus investasinya mencakup alat pengembangan perangkat lunak dasar, Metaverse dan AIGC, termasuk Jingye Intelligence, Smart Open Source China, dan proyek lainnya. Pembawa acara sharing ini adalah Wu Kai, Managing Director Titanium Capital, berikut catatan sharingnya:

Mengapa model bahasa besar dapat memimpin tren AI‍‍‍

Sejarah Singkat Pengembangan AI

Sejak Shannon mengusulkan permainan komputer pada tahun 1950, AI telah berkembang lebih dari 70 tahun. Kita secara kasar dapat membaginya menjadi empat tahap: pencerahan awal + era sistem pakar (50-an-70-an), pembelajaran mesin + era visi komputer (80-an-90-an), era pembelajaran mendalam (2006-2017), era model bahasa multimodal + besar (2018-sekarang).

Peristiwa tonggak dalam tahap pencerahan awal terjadi di Simposium Musim Panas Universitas Dartmouth pada tahun 1956. Konsep kecerdasan buatan pertama kali diusulkan pada pertemuan tersebut, yang secara resmi memulai pendahuluan kecerdasan buatan. Selama periode ini, robot obrolan pertama ELIZA dikembangkan oleh MIT pada tahun 1966, sistem pakar pertama DENDRAL, dan David Marr mengusulkan konsep visi komputer dan neurologi komputasi pada tahun 1976.

Di era machine learning, ada sosok tonggak sejarah, yakni godfather AI yang meninggalkan Google beberapa waktu lalu-Jeffrey Hinton. Pada tahun 1986, ia mengusulkan algoritme backpropagation, yang memungkinkan pelatihan jaringan saraf skala besar dan membuka jalan bagi jaringan saraf selanjutnya dan pembelajaran mendalam. Pada saat yang sama, banyak peristiwa dan tokoh penting juga muncul di tahap ini, seperti permainan backgammon pada tahun 1979, dan kemenangan Deep Blue atas juara catur dunia Kastrov pada tahun 1997. Pada tahun 2006, Jeffrey Hinton dan lainnya secara resmi mengusulkan konsep pembelajaran mendalam, sehingga memperkenalkan AI ke tahap ketiga—era pembelajaran mendalam.

Di era pembelajaran mendalam, Jeffrey Hinton mengusulkan jaringan saraf convolutional AlexNet pada tahun 2012 dan memenangkan kompetisi klasifikasi gambar ImageNet. Tingkat kesalahan keseluruhan 10,8% lebih rendah dari tempat kedua, secara resmi membuka tahun pertama pembelajaran mendalam dalam visi komputer. Pada Maret 2013, Google mengakuisisi perusahaan rintisan Jeffrey Hinton, DNNResearch senilai US$44 juta. Sejak saat itu, Google mulai memimpin pengembangan AI global; pada 2015, TensorFlow, kerangka kerja pembelajaran mendalam yang paling berpengaruh di dunia, bersumber terbuka; pada 2016, AlphaGo mengalahkan master Go sembilan-dan Li Sedol 4:1; pada 2017, meluncurkan model Transformer, yang sejak itu membuka era bahasa besar saat ini model. Bersamaan dengan gelombang AI yang dipimpin oleh Google, AI unicorn seperti Scale AI, HuggingFace, dan OpenAI juga didirikan pada tahun 2016. Raksasa internet Meta juga membuka kerangka kerja pembelajaran mendalam Pytorch yang lebih berguna pada tahun 2017.

OpenAI, pemimpin di era model bahasa besar, pertama kali muncul pada awal April 2019. OpenAI Five yang dikembangkan olehnya mengalahkan tim OG juara dunia Dota2 dengan keunggulan absolut 2:0, dan kemudian merilis GPT-3 dengan 175 miliar parameter pada Mei 2020, ChatGPT (GPT-3.5) pada November 2022, dan GPT-4 pada Maret 2023. Sejak itu, secara resmi diambil alih dari Google dan mulai memimpin dunia. Pengembangan Model. Raksasa internet/perangkat lunak seperti Google, Meta, dan Microsoft juga telah menyesuaikan strategi mereka dan berpartisipasi aktif dalam kompetisi model skala besar. Sejak ChatGPT pada akhir tahun 2022, kami telah melihat bahwa pabrikan besar di seluruh dunia telah memasuki model skala besar, dan universitas dalam negeri, raksasa teknologi, perusahaan baru, dll. Juga terus meluncurkan berbagai produk dan aplikasi model skala besar.

Sejarah pengembangan AI di China dapat ditelusuri kembali ke pendirian Microsoft Asia Research Institute pada tahun 1998. Saat ini, para pendiri dan tim inti di belakang perusahaan domestik ternama seperti Innovation Works, Baidu, Kingsoft, Alibaba, SenseTime, dan Questyle semuanya berasal dari Microsoft Asia Research Institute. Batch pertama perusahaan AI domestik iFlytek, Dahua, dan Hikvision terdaftar di pasar A-share sekitar 2008-2010. Dari tahun 2011 hingga 2015, banyak startup visi komputer bermunculan di China, seperti Megvii (didirikan tahun 2011), YITU (didirikan tahun 2012), SenseTime (didirikan tahun 2014), dan Yuncong (didirikan tahun 2015). Pada tahun 2018, tim nasional - Institut Penelitian Kecerdasan Buatan Beijing Zhiyuan didirikan. Perkembangan model besar saat ini juga mendapat manfaat dari gelombang ini. Sejak 2002, perusahaan terkait AI seperti Cambrian, SenseTime, Haiti Ruisheng, dan Yuncong telah terdaftar di Dewan Inovasi Sains dan Teknologi dan Bursa Efek Hong Kong.

Pesona ChatGPT dan GPT-4

Mengapa ChatGPT dan GPT-4 memungkinkan kita secara intuitif merasakan perbedaan dan kekuatan gelombang AI ini dari masa lalu? Ini terutama dapat dilihat dari aspek-aspek berikut:

**Pertama, dari sudut pandang pengguna, kali ini adalah metode interaksi yang sangat manusiawi. ** Saat berbicara dengan ChatGPT, konten dihasilkan kata demi kata, dan jawabannya dihasilkan saat berpikir. Pada saat yang sama, ia juga memiliki kemampuan dialog dalam beberapa putaran. Selain itu, ia juga dapat memainkan beberapa peran, seperti penerjemah, konselor psikologis, dll.

**Kedua, kemampuan generalisasi, terutama tercermin dalam kemampuan untuk memahami persyaratan dengan cepat dan memberikan jawaban yang relatif akurat tanpa konteks. **Ini bergantung pada dukungan korpus pra-pelatihan besar-besaran dan rekayasa petunjuk.

** Ketiga, rantai pemikiran. ** Kemampuan untuk memahami konteks dan konteks, bahkan teks yang panjang. Misalnya, Claude2 yang baru dirilis memiliki kapasitas pemrosesan konteks 100.000 token, yang pada dasarnya dapat memasukkan seluruh buku ke dalamnya untuk diproses. Pada saat yang sama, ada juga kemampuan penalaran logis yang kuat, yang secara bertahap dapat membongkar dan menyimpulkan masalah sesuai dengan cara berpikir manusia.

Bahkan, kemampuan tersebut muncul dengan peningkatan parameter model dan perpanjangan waktu pelatihan. Selain itu, kita dapat melihat bahwa GPT-4 memiliki hasil yang sangat baik dalam berbagai ujian manusia, pada dasarnya mencapai tingkat calon mahasiswa.

Susunan model bahasa besar

Kembali ke model bahasa besar itu sendiri, saya menyarankan semua orang untuk menonton pidato utama State of GPT yang dibagikan oleh salah satu pendiri OpenAI Andrej Karpathy di Microsoft Developers Conference. Dia membongkar proses pelatihan model besar menjadi empat tahap:

**Pada tahap pra-pelatihan, sejumlah besar data pelatihan berkualitas rendah (termasuk buku, perayapan Internet, kertas, dll.) dan 99% daya komputasi dan waktu dalam seluruh proses pelatihan model besar diperlukan untuk melatih model dasar. **Misalnya, melatih model dasar LLaMA 650 miliar parameter membutuhkan 2048 GPU Nvidia A100, yang membutuhkan waktu 21 hari, dan seluruh biaya pelatihan sekitar 5 juta dolar AS. Oleh karena itu, melatih model dasar tidak ramah untuk pemula, dan sumber daya serta biaya seperti itu biasanya hanya tersedia untuk pabrikan besar.

Langkah kedua diawasi dan disempurnakan pada model dasar, sehingga untuk melatih model SFT, seperti Vicuna-13B dan model open source umum lainnya, adalah model yang diawasi dan disempurnakan. Pada tahap ini, hanya sejumlah kecil data berkualitas tinggi yang perlu disediakan, dan permintaan daya komputasi relatif kecil.

**Tahap ketiga dan keempat adalah tahap pemodelan penghargaan dan pembelajaran penguatan, yaitu pembelajaran umpan balik penguatan manusia RLHF. ** Melalui dua tahap ini, keluaran model akan jauh lebih baik daripada model fine-tuning yang diawasi dan model dasar, tetapi entropi model dasar akan dikorbankan.

Dari perspektif industri pasar primer untuk melihat peluang AI

Melihat peluang investasi AI secara sistematis dari perspektif investasi pasar primer, dapat dibagi menjadi lapisan dasar, lapisan penyebaran dan lapisan aplikasi.Komunitas model AI berjalan melalui tiga lapisan ini.

**Lapisan dasar dapat dibagi menjadi lapisan infrastruktur, lapisan data, dan lapisan algoritma. **

Lapisan paling bawah dari lapisan infrastruktur adalah daya komputasi, dan itu juga merupakan tempat yang saat ini menghadapi kemacetan paling langsung.Sekarang GPU Nvidia dan AMD diembargo di China. Huawei Kunpeng, pemimpin daya komputasi domestik, juga menghadapi masalah tape out. Di masa mendatang, China mungkin menghadapi tekanan yang meningkat dalam hal daya komputasi high-end. Pada saat yang sama, masih ada masalah pemanfaatan GPU. Bahkan untuk OpenAI, sejumlah besar insinyur Nvidia tinggal di lokasi untuk penyetelan manual, namun pemanfaatan GPU-nya hanya 50%-60%. Di atas daya komputasi adalah lapisan perangkat lunak dasar di sekitar model besar, seperti penyimpanan data asli AI, transmisi data, keamanan data, dan alat lain serta platform pengembangan dan pemeliharaan di sekitar data, termasuk database vektor, LLMOps, MLOps, dll.

Mungkin ada lebih banyak peluang di lapisan data, karena model dasar dapat dikembangkan oleh perusahaan terkemuka di masa mendatang, dan akan ada banyak model dasar open source, sehingga tidak perlu mengeluarkan banyak uang untuk mengembangkan model dasar Anda sendiri. Kita harus fokus pada akumulasi data industri vertikal dan perusahaan itu sendiri, dan bagaimana membentuk aplikasi skala besar yang bersedia dibayar oleh pelanggan. Saat ini, masalah terbesar dari model besar adalah bagaimana mendapatkan kumpulan data berkualitas tinggi dan kumpulan data industri vertikal.Setiap orang telah melihat potensi model besar di bidang industri, sains, kedokteran, hukum, keuangan, dan pendidikan. Peluang masa depan mungkin terletak pada cara mendapatkan data berkualitas tinggi secara efisien, cara memproses data multi-modal, cara mengidentifikasi, cara memanfaatkan data, cara mengonfirmasi hak, cara berdagang, cara melindungi keamanan, dll.

Inti dari lapisan algoritma terletak pada kerangka pembelajaran yang mendalam dan model dasar

Kerangka pembelajaran mendalam dapat digambarkan sebagai sistem operasi AI. Ini mengoordinasikan penyebaran sumber daya komputasi ke bawah, melakukan kemampuan membangun model algoritme AI ke atas, dan menyediakan sejumlah besar pustaka operator, pustaka model, dan tutorial dokumen. Ini juga bersifat ekologi dan menurunkan ambang pengembangan. Saat ini, kerangka kerja pembelajaran mendalam arus utama dunia sebagian besar adalah Google TensorFlow dan Meta's Pytorch Di Cina, terutama ada Baidu Fei Paddle, Huawei Shengsi dan Oneflow, yang sebelumnya diakuisisi oleh Light Years Beyond.

Model dasar itu sendiri juga memiliki keragaman, misalnya dalam hal jalur teknis, ada CNN, RNN, GAN, Transformer, dll. Model Transformer dapat dibagi menjadi model autoencoding, model autoregressive, model encoder-decoder, dll, dan dapat dibagi menjadi closed source dan open source dalam bentuk. Arah ini yang paling mungkin melahirkan perusahaan-perusahaan dengan nilai pasar ratusan miliar bahkan triliunan, selain itu juga merupakan medan pertempuran utama dengan persaingan yang paling ketat.

Di era perang 100 model, evaluasi model telah menjadi alat inti untuk mengukur kemampuan berbagai model. Saat ini, berbagai alat evaluasi untuk model kecil tradisional (GLUE, SuperGLUE, dll.), model bahasa besar (HELM, BIG-Bench, dll.) dan model bahasa besar China (SuperCLUE, C-, dll.) telah muncul di pasaran. Seperti SuperCLUE dan C-, sejumlah besar pertanyaan dengan karakteristik Tionghoa (Pemikiran Mao Zedong, prinsip dasar Muskisme, dll.) dan karakteristik Tionghoa (idiom, puisi, Tionghoa klasik, dll.) dan dimensi lain telah ditambahkan ke perangkat evaluasi mereka. Dilihat dari hasil evaluasi, kecuali untuk GPT-4, GPT-3.5 dan Claude, produk model skala besar dalam negeri lebih baik daripada model luar negeri lainnya dalam kinerja evaluasi keseluruhan, sehingga kebutuhan pelatihan model skala besar China sangat tinggi.

Lapisan aplikasi dapat dibagi menjadi model besar umum dan model besar industri vertikal.Kami terutama berfokus pada generasi baru alat produktivitas yang mendukung AI di bidang model besar umum dan peluang penerapan model besar di berbagai bidang industri vertikal.

ke C—alat produktivitas yang diberdayakan AI

Di era epidemi, alat produktivitas bertema kolaborasi seperti Notion, Figma, dan Canva mengalami perubahan. Demikian pula, di bawah gelombang AI ini, alat produktivitas juga akan mengantarkan revolusi baru.

Sekarang kita melihat bahwa model-model besar telah merambah ke berbagai tingkat dalam teks, kode, gambar, musik, video, 3D, dll. Berbagai produk baru dan aplikasi baru muncul satu demi satu, seperti chatbot di bidang teks dan kopilot produk kantor, kopilot GitHub di bidang kode, Midjourney dan Stable Diffusion di bidang gambar, AI Stefanie Sun, yang sebelumnya populer di bidang musik, dan runway di bidang video, dll. Perusahaan dalam negeri seperti Baidu, Kingsoft Office, Evernote, Zhi pu Huazhang, dll. juga telah meluncurkan produk AI serupa. , mengubah bentuk alat produktivitas tradisional ke berbagai tingkat, tetapi saat ini terbatas pada alat efisiensi dalam proses produksi industri di berbagai bidang, dan tidak dapat mewujudkan AGI dalam arti sebenarnya.

Pada saat yang sama, dapat dilihat bahwa pabrikan seperti Microsoft Office, Adobe Photoshop, Unity, dan Notion juga secara aktif merangkul gelombang AI ini, menyematkan kemampuan AGI ke dalam produk dan rangkaian alat mereka sendiri. Awalnya diperkirakan bahwa kemunculan Midjourney dan Stable Diffusion akan sepenuhnya menggantikan Photoshop, tetapi kemudian diketahui bahwa AGI, karena masalah dalam pengendalian dan aspek lainnya, membuat kombinasi Photoshop dengan kemampuan generasi AI menjadi lebih kuat dan mudah digunakan.

Bidang 3D saat ini merupakan salah satu bidang yang paling sulit untuk menerapkan AI.Faktor intinya adalah terlalu sedikit data 3D berkualitas tinggi. Saat ini, AGI untuk konten 3D terutama dieksplorasi dan dipimpin oleh NVIDIA, Unity, Stability.ai, dan lembaga penelitian ilmiah, tetapi pada tahap ini, ini masih berupa alat berbentuk demo dan pencar, dan jalan masih panjang sebelum dapat diterapkan ke bidang industri seperti efek khusus film dan televisi, game, dan metaverse.

hingga B—model industri vertikal

Saat ini, sebagian besar produk model skala besar yang diluncurkan oleh pabrikan besar adalah model skala besar untuk keperluan umum.Namun, ketika menghadapi industri vertikal, pelanggan B-end membutuhkan model besar dengan akurasi tinggi, konsistensi tinggi, dan mudah digunakan yang dapat secara efisien menyelesaikan masalah skenario tertentu dengan lebih sedikit data dan daya komputasi yang lebih rendah. Model besar Pangu 3.0 terbaru yang dirilis oleh Huawei didasarkan pada model besar dasar, menambahkan model besar industri N L1 dan kemampuan model scene X L2.

Poin utama inti dari model besar industri vertikal adalah kumpulan data industri berkualitas tinggi dan kemampuan teknik untuk penyetelan model, kompresi, dan penyebaran. Ini juga merupakan titik peluang investasi, seperti halnya peluang kontainer di era cloud-native, sejumlah besar perusahaan B kecil dan menengah di industri tradisional perlu mengandalkan produsen kontainer khusus untuk membantu mereka memulai jalan cloud-native.

Saat ini, ada banyak eksplorasi dan praktik di luar negeri di bidang model besar industri vertikal, seperti BloombergGPT di bidang FinGPT. Bloomberg telah mengubah data keuangan yang terakumulasi dalam 40 tahun terakhir menjadi kumpulan data keuangan 365 miliar token, dan digabungkan dengan kumpulan data umum untuk melatih 50 miliar parameternya sendiri. ed-PaLM 2, Nuansa Microsoft (terintegrasi dengan GPT-4 dan merilis aplikasi pembuatan rekam medis yang didukung suara—DAX Express), dll.

Terakhir, mari kita bicara tentang fokus modal jalur AGI luar negeri: **Dari perspektif jumlah investasi, lima teratas adalah aplikasi teks pemasaran, audio, dukungan pelanggan/robot layanan pelanggan, gambar, dan platform MLOps; dari perspektif jumlah pembiayaan, lebih banyak dana mengalir ke platform MLOps, yang nilai intinya terletak pada penurunan ambang batas untuk mengembangkan model besar, diikuti oleh robot layanan pelanggan, audio, manusia digital, sulih suara, dan gambar. **

Tanya Jawab

**T1: Perusahaan layanan outsourcing yang melakukan anotasi data dan membantu pengembangan AI tampaknya berjalan sangat baik akhir-akhir ini. Apa kecenderungan investasi Anda? **

A: Saat ini kami memperhatikan dua arah ini. Bidang pelabelan data terutama berfokus pada bagaimana perusahaan ini menggunakan kemampuan model besar untuk meningkatkan efisiensi pelabelan, seperti menggunakan GPT-4 untuk melabeli teks dan SAM untuk melabeli gambar. Karena persaingan inti saat ini di bidang pelabelan data adalah efisiensi dan laba kotor, yang dapat mencapai pelabelan yang lebih efisien dengan bantuan kemampuan model yang besar. Dalam hal layanan model skala besar, ini akan serupa dengan peluang wadah di era cloud-native.Vendor profesional diperlukan untuk menurunkan ambang batas pelatihan, pengembangan, dan penyebaran model skala besar, dan membantu setiap perusahaan mewujudkan kebebasan model skala besar.

**Q2: AI sekarang memiliki dua kategori: TO C dan TO B. Apakah menurut Anda peluangnya lebih besar untuk TO C atau TO B? **

A: Kami lebih memperhatikan TO B. Karena terlalu banyak raksasa Internet di bidang TOC, terutama di tempat-tempat dengan ekologi aplikasi APP domestik yang begitu kuat, lebih mudah bagi produsen besar untuk menyematkan kemampuan AI di APP mereka sendiri. Oleh karena itu, kami lebih memperhatikan kemampuan integrasi data, pemahaman komersial, dan kemampuan teknik mereka.

**Q3: Bahkan untuk model besar dengan lebih dari satu miliar parameter, lebih dari 80 telah dilaporkan di China. Bagaimana dengan tren investasi model besar? Bagaimana cara memilih antara open source dan closed source? **

A: Mengenai open source dan closed source, perlu dipikirkan bagaimana memanfaatkan open source dengan baik dan bagaimana menggunakan model open source untuk komersialisasi, misalnya LLaMA memiliki batasan komersial dalam perjanjian open source. Sumber tertutup membutuhkan ekologi dan dukungannya sendiri, yang hanya dapat dipertahankan oleh pabrikan besar dengan kemampuan dan sumber daya keuangan.

**T4: Dari perspektif pengusaha AI, mereka dapat dibagi menjadi tiga kategori. Satu kategori berasal dari pabrik-pabrik besar dan pendirinya sudah terkenal. Kategori lainnya adalah akademisi, akademisi, dan pakar dari Universitas Tsinghua atau bidang lainnya. Ada juga kategori pengusaha yang cenderung akar rumput. Manakah dari tiga kategori ini yang Anda sukai? **

J: Banyak gelombang model besar di China muncul setelah Open AI merilis model besar seperti ChatGPT, LLaMA dan Bloom sebagai sumber terbuka. Saat ini kami bersikap menunggu dan melihat. Tentu saja, ada juga banyak pabrikan besar berwawasan ke depan dan perusahaan rintisan akademis di China yang telah menjajaki sebelum gelombang ledakan model berskala besar ini.

Bagi tim akademik, bagaimana mencapai komersialisasi adalah yang paling menantang. Jadi menurut saya tidak perlu melakukannya sendiri di masa mendatang.Misalnya, kerja sama antara OpenAI dan Microsoft dapat memberikan kemampuan model skala besar kepada pabrikan besar. Kami sekarang mencari target di sekitar Open Source China, karena memiliki lini produk IDE dan membutuhkan copilot kode, jadi kami mencari kemungkinan kerjasama dengan tim akademik, saya pikir pendekatan ini lebih layak.

**T5: Industri vertikal mana di sisi-B yang paling mungkin mencapai terobosan komersial? **

A: Karena generalisasi dan multi-modalitas kemampuan model besar, bidang hukum adalah skenario yang sangat umum, dan permintaan konten teks sangat besar. Model yang lebih besar memiliki kemampuan ini, meskipun masih ada beberapa masalah yang harus diselesaikan dalam hal akurasi. Selain itu, produk asisten pribadi juga merupakan skenario yang bisa dibayangkan, meski siklus pengembangannya mungkin lebih lama.