Tentang model besar, saya mengobrol satu kali dengan seorang profesional

Sumber asli: White Horse Business Review

Sumber gambar: Dihasilkan oleh AI‌ Tak Terbatas

“Hampir menjadi lautan merah.” Ketika saya berbincang dengan seorang pengusaha tentang model besar, dia langsung melontarkan kalimat ini kepada saya.

Pada November tahun lalu, OpenAI merilis ChatGPT berdasarkan GPT-3.5, yang langsung memicu kebangkitan model besar. Selama lebih dari setengah tahun, telah terjadi "perang seratus model" di China Perusahaan Internet terkemuka seperti BAT dan perusahaan kecerdasan buatan pada dasarnya mengumumkan model skala besar mereka sendiri.

Pada awal Mei, Zhou Hongyi, kepala 360, berkata kepada dunia luar, "Jika Anda tidak melewati dua tahun peniruan dan plagiarisme, jika Anda datang dan mengatakan bahwa Anda dapat melampauinya, itu adalah menyombongkan diri. ." Ada jarak dua tahun antara model besar dan negara asing, saya ambil kembali, hari ini dekat dengan tingkat internasional."

Beberapa orang merasa butuh setengah tahun untuk mengejar ketinggalan dengan ChatGPT, dan sepertinya model besar itu tidak sulit.

Jadi, apa hambatan utama untuk model besar? Apa tingkat model besar China? Risiko apa yang dibawa model besar ke masyarakat manusia?

Untuk tujuan ini, kami mengobrol dengan Shen Wei (nama samaran), seorang profesor universitas 985 terkenal yang telah terlibat dalam penelitian pembelajaran mesin selama bertahun-tahun, untuk mengungkap kabut model besar.

Jalur GPT telah dilalui, sehingga terjadi "Perang Seratus Model"

** Tinjauan Bisnis White Horse: Bisakah Anda menjelaskan model besar dalam bahasa yang paling populer dan sederhana, apa model besarnya? Apa bedanya dengan model AI sebelumnya? **

Shen Wei: Yang disebut model besar mengacu pada sejumlah besar parameter dalam model, tetapi tidak ada definisi yang jelas dan jelas di kalangan akademisi untuk menentukan seberapa besar parameter yang disebut "besar". Itu masih dalam tahap penelitian dan pengembangan cepat Secara umum, jumlah parameter model besar mencapai 1. lebih dari 100 juta.

Padahal, pengembangan deep learning kira-kira telah melalui tiga tahap. Tahap pertama adalah dari 2012 hingga 2017, diwakili oleh model khusus domain kecil seperti segmentasi gambar yolo dan klasifikasi gambar ResNet, sehingga jumlah parameter menempati memori maksimum beberapa ratus MB.

Pada tahun 2017, munculnya Transformer memungkinkan pembelajaran mendalam untuk memparalelkan komputasi, yang lebih efisien, yang berarti operasi model berskala besar dapat dilakukan, dan selanjutnya menghasilkan model bahasa alami yang besar seperti OpenAI GPT dan Google Bert. Pada tahap ini, model besar dari tugas tertentu lahir, dan parameter model melebihi 100 juta.

Sekitar tahun 2020, pembelajaran mendalam akan memasuki tahap model umum. Masukannya adalah kalimat kosong, dan peran model adalah untuk "mengisi bagian yang kosong". Dulu, model diadaptasi untuk aplikasi hilir, tetapi sekarang adalah model adaptasi aplikasi hilir. Model pada tahap ini meliputi GPT 3.5 dan GPT 4 di bidang bahasa alami dan Clip, DALLE, Stable Diffusion, Midjourney, dll. di bidang gambar. Pada tahap ini, parameter model bisa mencapai puluhan miliar hingga ratusan miliar.

** Tinjauan Bisnis Kuda Putih: Tahukah Anda perusahaan atau institusi mana yang pertama kali mempelajari model berskala besar? Apa hasilnya? **

Shen Wei: Awalnya, universitas dan lembaga penelitian ilmiah melakukan penelitian terkait. Saya tahu Wu Dao dari Institut Penelitian Kecerdasan Buatan Zhiyuan Beijing dan otak dari Lab Pengcheng adalah yang paling awal. Sekarang penelitian di industri juga sangat sinkron. Riset di dunia akademis memang ada hasilnya, tapi performanya tidak sehebat ChatGPT.

** Tinjauan Bisnis White Horse: Hanya dalam beberapa bulan, telah terjadi "perang seratus model" di China, dan jumlah perusahaan yang telah meluncurkan model skala besar sudah terlalu banyak untuk dihitung. Apa pendapat Anda tentang fenomena ini? **

Shen Wei: Model besar pasti sedang tren, dan orang-orang telah menelitinya. Dulu, banyak perusahaan mungkin berinvestasi di area kecil dan melakukan riset, sekarang produk bagus seperti ChatGPT tiba-tiba muncul, semua orang sudah melihat arah bisnis yang jelas, sehingga mereka mulai meningkatkan investasi.

Di sisi lain, banyak perusahaan menghadapi tekanan persaingan komersial, dan mereka mungkin tertinggal jika tidak membuat model skala besar, oleh karena itu proyek model skala besar harus diluncurkan.

Tinjauan Bisnis White Horse: Zhou Hongyi baru-baru ini mengatakan bahwa dia mencabut kalimat "jarak antara model domestik dan luar negeri adalah dua tahun". Dia percaya bahwa hari ini mendekati tingkat internasional. Ini baru beberapa bulan, dan model besarnya sepertinya tidak sulit. Kira-kira berapa selisihnya?

Shen Wei: Perbedaannya tergantung pada siapa yang membandingkan. Saya belum mencoba produk 360 Smart Brain sejauh ini, jadi saya tidak pandai mengevaluasinya. Namun, ada beberapa produk AI generatif di China, setelah pengalaman saya, saya merasa masih ada celah dengan ChatGPT, model domestik yang besar masih perlu bekerja keras.

**Di bawah investasi modal yang besar, hanya perusahaan teratas yang memiliki peluang? **

** Tinjauan Bisnis Kuda Putih: Apa hambatan utama untuk pengembangan model besar? **

Shen Wei: Hambatan inti dari model besar meliputi data, daya komputasi, dan algoritme.

Dari perspektif daya komputasi, setidaknya diperlukan 10.000 kartu grafis Nvidia A100 untuk melatih AI generatif seperti ChatGPT. Harga satu kartu grafis saat ini 60.000 hingga 70.000 yuan, dan harga unit V100 dengan kinerja lebih baik adalah 80.000 yuan Investasi harus mencapai setidaknya enam atau tujuh miliar yuan, dan hanya beberapa perusahaan dan institusi terkemuka yang mampu membelinya. Untuk organisasi komersial, menghabiskan ratusan juta untuk membeli banyak kartu grafis belum tentu membuahkan hasil.Ini adalah pertanyaan yang harus dipertimbangkan.

Selanjutnya adalah data dan algoritma Algoritma yang lebih mudah dipahami seperti development framework dan algoritma optimisasi. Dalam hal data, China tidak kekurangan data, dan bahkan lebih banyak data Internet daripada Amerika Serikat, tetapi data mana yang dipilih untuk pelatihan dan cara memprosesnya merupakan hambatan utama.

**Ulasan Bisnis Baima: Apakah Anda biasanya berkomunikasi dengan perusahaan? Apa perbedaan antara lembaga penelitian nirlaba dan perusahaan dalam penelitian? **

Shen Wei: Kami akan melakukan beberapa pertukaran dengan departemen penelitian perusahaan. Dengan berkomunikasi dengan perusahaan, kami akan lebih memahami kebutuhan bisnis yang sebenarnya.Kadang-kadang penelitian akademik yang kami lakukan akan lebih memperhatikan teknologi berwawasan ke depan, dan persyaratan implementasi tidak begitu tinggi; tetapi perusahaan umumnya lebih menekankan pada implementasi.

**Ulasan Bisnis Baima: Pernahkah Anda mempelajari model skala besar domestik? Mana yang paling kamu suka? **

Shen Wei: Mungkin perusahaan papan atas bisa keluar. Salah satunya adalah investasi modal yang besar, dan hanya perusahaan terkemuka yang memiliki kekuatan; yang lainnya adalah data di tangan beberapa perusahaan terkemuka lebih melimpah; yang ketiga adalah telah terjadi periode akumulasi teknologi di bidang kecerdasan buatan.

** Tinjauan Bisnis Kuda Putih: Apa aplikasi model skala besar Anda yang paling menjanjikan? **

Shen Wei: Dari sudut pandang teknis, aplikasi pertama harus di bidang pemrosesan bahasa alami dan gambar, dan pengenalan ucapan mungkin nanti.

Anda dapat melihat bahwa semakin banyak chatGPT digunakan untuk menulis copywriting. Semakin banyak aplikasi untuk pembuatan konten semacam ini. Saya pikir aplikasi lain seperti layanan pelanggan yang cerdas harus lebih cepat. Beberapa layanan pelanggan cerdas saat ini seringkali tidak dapat memahami kebutuhan pengguna dan tidak dapat memecahkan masalah praktis. Jika pengguna tidak dapat membedakan apakah itu manusia atau robot, pengalaman akan banyak meningkat; termasuk NPC dalam game, sebelumnya dialog di-hardcode, Sekarang secara bertahap interaktif, dan pengalaman pemain akan lebih baik.

** Tinjauan Bisnis White Horse: Anda dulunya adalah kepala analis dari perusahaan pialang terkemuka. Dari perspektif investasi, menurut Anda, peluang apa yang dimiliki model besar? **

Shen Wei: Logika hype modal adalah dari aplikasi ke algoritme, model, dan kemudian ke daya komputasi; logika industri adalah kebalikannya, dan daya komputasi memiliki ekspektasi pertumbuhan yang jelas, sehingga Nvidia baru-baru ini meningkat pesat dan banyak. Investor sekarang juga memahami bahwa masih perlu diverifikasi bahwa model besar dapat direalisasikan dan direalisasikan, tetapi sebagian besar peningkatan investasi modal telah diinvestasikan dalam daya komputasi. Setelah hype berulang, kenaikan umum di pasar seharusnya sudah berakhir, dan verifikasi logis serta pemenuhan kinerja diperlukan nanti.

Saya awalnya terutama melihat industri media dan Internet, seperti sektor game yang relatif kuat beberapa waktu lalu Logika modal adalah pertama menerapkan model besar untuk meningkatkan efisiensi Litbang dan mengurangi biaya, kedua, model besar membawa pengalaman yang lebih baik, dan NPC karakter lebih pintar Viskositas meningkat, nilai UP meningkat. Tentu saja, verifikasi kinerja pada akhirnya mungkin diperlukan.

Manusia tidak dapat mengendalikan AI, atau bahkan takdirnya sendiri

** Tinjauan Bisnis Kuda Putih: Kami telah melihat bahwa Altman dan Musk telah menyuarakan keprihatinan tentang keamanan kecerdasan buatan. Sekarang kami hanya tahu bahwa ada hasil cerdas melalui pelatihan model besar, tetapi proses pelatihannya seperti kotak hitam. Ini sebenarnya cukup menakutkan. Bagaimana perasaan Anda tentang masalah keamanan? **

Shen Wei: Dalam hal keamanan, pertama-tama, saya mengamati beberapa fenomena abnormal. Yang pertama adalah surat terbuka yang ditandatangani pada bulan Maret oleh lebih dari 1.000 orang, termasuk Musk dan salah satu pendiri Apple Steve Wozniak, menyerukan moratorium pelatihan sistem AI yang lebih kuat daripada GPT-4.

Yang kedua adalah Jeffrey Hinton, kepala ilmuwan Google dan "Godfather of AI" yang berusia 75 tahun, mengundurkan diri pada Mei tahun ini.Alasan langsung kepergiannya dari Google adalah karena dia khawatir tentang bahaya kecerdasan buatan , dan bahkan menyesali pekerjaan yang telah dia lakukan sepanjang hidupnya. .

Yang ketiga adalah bahwa dalam dua tahun terakhir, model pelatihan skala besar di bidang akademik telah menambahkan diskusi etis.

Saat ini, saya pikir model besar masih dapat dikontrol, dan tidak ada masalah besar; tetapi teknologinya berkembang terlalu cepat. Hanya dalam beberapa bulan sejak dirilis, GPT telah melalui beberapa iterasi, dan kecepatan pengembangannya terlalu tinggi. cepat Ketika kita menjadi semakin cerdas, akankah kita mengembangkan kesadaran diri, berhenti mendengarkan "perintah" manusia, dan lepas kendali? Pertanyaan inilah yang dikhawatirkan semua orang.

** Tinjauan Bisnis Kuda Putih: Apakah menurut Anda AI akan menyebabkan pengangguran massal? Di hadapan AI, bagaimana orang biasa bisa mempertahankan pekerjaannya? **

Shen Wei: Dari perspektif makro, menurut saya AI tidak akan menyebabkan banyak pengangguran. Manusia akan selalu memiliki pekerjaan. Hanya saja konten pekerjaan orang akan berubah. Tentunya dari sudut pandang individu pasti akan ada pengangguran struktural, dan kita hanya bisa terus belajar.

** Tinjauan Bisnis White Horse: Banyak orang mengatakan sebelumnya bahwa mesin tidak memiliki emosi, kurang imajinasi, dan tidak dapat menggantikan manusia; sekarang otak manusia dapat disimulasikan oleh AI, dapatkah nafsu manusia dan hasrat seksual disimulasikan di masa depan? , dopamin, dll. Ini adalah mekanisme penghargaan biologis. **

Shen Wei: Ini adalah asumsi saat ini bahwa mesin tidak memiliki emosi. Kecerdasan buatan semakin mendekati mode berpikir manusia. Apakah itu akan menghasilkan "emosi" yang mirip dengan manusia? Hanya saja mereka hidup di dimensi ruang yang berbeda dengan manusia, sama seperti putri Tu Hengyu di "The Wandering Earth". Kecerdasan buatan dapat menghasilkan dunianya sendiri dengan mekanisme penghargaan yang mirip secara biologis dengan manusia.

**White Horse Business Review: Jika semuanya bisa dihitung, direncanakan, dan diatur, bukankah akan sedikit membosankan? **

Shen Wei: Perilaku AI tidak diprediksi dan direncanakan oleh manusia, tetapi hasil dari penguatan diri dan pelatihan diri Pengambilan keputusan MOSS di "The Wandering Earth" dibuat dengan sendirinya, bukan mengikuti instruksi diberikan oleh manusia.

** Tinjauan Bisnis Kuda Putih: Apakah penggantian peradaban berbasis karbon dengan peradaban berbasis silikon merupakan arah deterministik? **

Shen Wei: Pertanyaan ini di luar garis besarnya. Menurut tren perkembangan saat ini, mungkin seperti ini, seperti di "The Wandering Earth", itu MOSS, bukan manusia, yang benar-benar mendominasi nasib umat manusia; tetapi pada kenyataannya, mungkin juga teknologi akan mandek di tahap tertentu dan tidak bisa melewatinya.Bagaimanapun, perkembangan teknologi tidak linier.

Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Hadiah
  • Komentar
  • Bagikan
Komentar
0/400
Tidak ada komentar
  • Sematkan
Perdagangkan Kripto Di Mana Saja Kapan Saja
qrCode
Pindai untuk mengunduh aplikasi Gate
Komunitas
Bahasa Indonesia
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)