Baru-baru ini, "Pertempuran Ratusan Model" semakin intensif. Di tengah maraknya model-model besar, "bakat" telah menjadi fokus persaingan sengit antara perusahaan teknologi besar, tim wirausaha, dan lembaga penelitian. Namun, masih terdapat kesenjangan besar dalam hal talenta-talenta mutakhir di bidang AIGC.
Jenis talenta apa yang harus direkrut untuk memfasilitasi pengembangan model?
Di mana merekrut talenta model besar?
Bagaimana cara memupuk bakat penelitian dan pengembangan model yang besar?
Untuk menjawab pertanyaan di atas, Qubit Think Tank secara khusus mengundang para praktisi, pakar, dan cendekiawan di bidang model besar AI untuk berbagi peluang dan tantangan dan prospek pengembangan masa depan dari talenta model besar dengan tim perusahaan dan pencari kerja.
Artikel ini adalah kolom wawancara mendalam dari seri “Large Model Talent” Qubit Think Tank. Untuk informasi lebih lanjut, harap perhatikan “Laporan Panorama Pengembangan Bakat Model Besar AIGC 2023” yang akan datang.
Wawancara Pengenalan Karakter
Fang Han, Ketua dan CEO Kunlun Wanwei, salah satu pendiri Linux Tiongkok, memimpin pengembangan perangkat lunak pengunduhan P2P domestik pertama, akselerator DUDU.
** **###### △Fang Han, Ketua dan CEO Kunlun Wanwei
Dia bergabung dengan Kunlun Wanwei pada tahun 2008 dan memimpin pengembangan "Tiga Kerajaan" dan game web RPG "Seni Bela Diri", dan memenangkan banyak penghargaan.
Pemandangan indah
Dalam 1-2 tahun, kekurangan talenta algoritmik akan sangat teratasi.
Kesadaran inovasi bakat yang saya pahami mengacu pada cara memecahkan masalah secara inovatif dan meningkatkan indikator dari perspektif teknis dan teknik.
"Seleksi" lebih penting daripada "kultivasi", dan pembelajaran mandiri lebih penting daripada seorang master yang memimpin seorang magang.
Di bidang baru seperti model besar, mahasiswa doktoral yang baru lulus dapat menjadi ahli domain setelah pelatihan setengah tahun.
Dari perspektif pasokan, talenta model besar saat ini berada dalam tahap kekurangan, dan situasinya akan sangat teratasi dalam 3-5 tahun.
Dari perspektif makro, dibandingkan dengan industri tradisional, kesulitan dalam mengembangkan talenta teladan berskala besar terletak pada kurangnya daya komputasi universitas saat ini.
Perusahaan yang menciptakan model bisnis baru pada tingkat aplikasi berdasarkan AI dan model besar akan memperoleh keuntungan terbesar.
Catatan Wawancara
**Bagaimana mendefinisikan bakat model yang besar? **
Fang Han: Menurut saya pelatihan model harus dibagi menjadi dua bagian besar, inferensi pelatihan dan pengembangan aplikasi. Menurut proses pelatihan model, kami membagi talenta menjadi talenta sisi algoritme, talenta sisi arsitektur, dan talenta sisi pengembangan aplikasi. Talenta algoritme inti dibagi lagi menjadi pra-pelatihan, pemrosesan data, pengoptimalan inferensi penyesuaian, dll.
**Qubit Think Tank: Jenis talenta manakah yang menurut Anda paling langka di antara talenta algoritma, talenta arsitektur, dan talenta pengembangan aplikasi? Dan kemungkinan besar akan menjadi langka dalam jangka waktu yang lama. **
Fang Han: Saat ini, talenta yang paling langka pastinya adalah talenta algoritma inti, tetapi situasi penawaran dan permintaan akan diatasi dengan cepat. Karena ada fenomena yang sangat menarik disini. Saat ini, daya komputasi di berbagai universitas sangat kurang, dan arahan terkait model besar sedang menjadi topik hangat. Banyak talenta yang bisa beralih ke bidang penelitian ini, seperti NLP Semua talenta NLP beralih ke model besar.
Oleh karena itu, menurut pendapat pribadi saya, dalam 1-2 tahun, kekurangan talenta algoritmik akan sangat teratasi.Karena banyaknya talenta algoritmik dengan gaji tinggi, menurut saya China masih sangat berorientasi pasar dalam hal alokasi talenta.
Elemen kompetensi yang harus dimiliki oleh talenta teladan besar
**Qubit Think Tank: Saat merekrut talenta, kualitas talenta mana yang lebih penting? **
Fang Han: Dalam hal prestasi akademis, pengalaman praktis, latar belakang akademis, dan kesadaran inovasi yang Anda sebutkan, prioritas kami adalah pengalaman praktis dan kesadaran inovasi : Pertama-tama, pelatihan model besar pada dasarnya adalah masalah teknik, jadi pengalaman praktis sangatlah penting. Kedua, model besar adalah proyek inovatif, karena semua perusahaan model besar saling bersaing.Jika tidak ada rasa inovasi, akan sulit untuk menjadi yang terdepan, karena ini adalah arah teknik yang benar-benar baru.
**Qubit Think Tank: Apa pendapat Anda tentang inovasi ini? **
Fang Han: Inovasi yang saya pahami berbeda dengan inovasi yang didefinisikan oleh publik, dulu lebih merupakan inovasi algoritmik. Yang saya maksud dengan inovasi adalah, pertama-tama, mengikuti kemajuan mutakhir dari model-model besar. Ada banyak orang yang mempelajari pelatihan model besar di seluruh dunia. Arah ini mengalami kemajuan yang sangat cepat. Ratusan makalah baru diterbitkan setiap hari , melakukan perbaikan di berbagai arah dan bidang. . Yang kedua adalah mampu menggunakan metode-metode baru untuk menyelesaikan permasalahan-permasalahan yang ditemui di bidang keinsinyuran berdasarkan kebutuhan aktual.Inovasi di sini lebih fokus pada bagaimana memecahkan masalah secara inovatif dan meningkatkan indikator dari sisi teknis dan keinsinyuran.
**Qubit Think Tank: Apakah menurut Anda kesadaran inovatif dari talenta berskala besar dapat dinilai melalui pencapaian akademis, pencapaian paten, dll.? **
Fang Han: Saya pikir tidak masuk akal untuk menilai kesadaran inovasi talenta berdasarkan hasil paten. **OpenAI tidak terlalu memperhatikan kinerja talenta dalam mengajukan paten. Inovasi terbaik sebenarnya mengandalkan akumulasi pengalaman internal. Tidak masuk akal jika menilai hanya dari sudut pandang paten.
Namun, ** hasil akademis dapat digunakan sebagai dasar penilaian yang lebih penting. **Misalnya yang pertama membuat model Vicuna dan yang pertama membuat ControlNet sama-sama mahasiswa S3, dari sudut pandang ini hasil akademik bisa dijadikan acuan tertentu.
Namun, dalam proses pengoperasian sebenarnya, selain inovasi besar dalam penerbitan makalah, ada banyak sekali inovasi kecil di bidang teknik yang ingin dicapai. **Oleh karena itu, kesadaran inovasi tetap harus dinilai berdasarkan kecepatan dan kemampuan penyampaian talenta dalam memecahkan masalah dalam praktik.
#### Cara menumbuhkan bakat teladan yang besar
**Qubit Think Tank: Ketika Model Tiangong ditingkatkan dari 1.0 menjadi 3.5, bidang bakat mana yang akan difokuskan pada tahapan yang berbeda? **
Fang Han: Pada tahap awal, kami sangat membutuhkan talenta algoritma yang lebih paham dengan arsitektur yang mendasari model besar, CNN, dan Transformer. Tentu saja, ini juga mencakup pembersihan data dan pemrosesan data, talenta ilmu data; ketika model besar secara bertahap matang dan perlu beralih ke multi-modalitas, sekelompok talenta yang melakukan computer vision akan dibutuhkan; jika model besar ingin dirilis ke dunia luar, talenta audit keamanan akan diperlukan. diperlukan.
**Qubit Think Tank: Bagaimana Kunlun Wanwei mengembangkan bakat modelnya yang besar? **
Fang Han: Kunlun Wanwei mulai melakukan pelatihan model besar pada tahun 2020. Pada saat itu, hanya ada sedikit talenta di pasar yang dapat melakukan model besar. Ada lebih banyak orang yang mengambil jalur BERT dan lebih sedikit orang yang mengambil jalur GPT , jadi kami** Pada saat itu, kami memilih untuk mengembangkan sendiri bakat-bakat teladan yang besar. **
Metode pelatihannya adalah dengan memberikan kesempatan kepada talenta dengan latar belakang algoritma untuk mempelajari arah pelatihan model. Kemudian saat merekrut, kita harus mempertimbangkan untuk memilih talenta yang memahami pembelajaran mesin dan pembelajaran mendalam, serta memiliki kekuatan self-driving yang kuat dan kecepatan belajar yang cepat. Talenta, talenta dengan latar belakang algoritma. Awalnya kami memiliki beberapa talenta yang mempelajari arahan teknis seperti CNN, tetapi sekarang mereka akan lebih beralih ke pelatihan GPT.
**Qubit Think Tank: Apa pendapat Anda tentang model pelatihan “sapi besar memimpin anak sapi” ini? **
Fang Han: Setiap perusahaan berbasis teknologi sebenarnya akan memilih metode pelatihan "sapi besar memimpin sapi muda", tetapi **memilih bakat lebih penting daripada mengembangkan bakat, dan pembelajaran mandiri lebih penting daripada master yang memimpin peserta magang, ** jadi Saat merekrut, kami juga sangat mementingkan kemampuan belajar mandiri dari para talenta.
Untuk arahan teknis tradisional, seperti Java, Anda harus mengandalkan pengalaman yang kaya, dan lulusan baru memerlukan periode pelatihan yang lebih lama untuk tumbuh menjadi pakar domain. Namun, pelatihan model besar merupakan bidang yang sedang berkembang, dan akumulasi di industri tidak jauh lebih dalam dibandingkan dengan dunia akademis. **Yang lebih kami miliki dibandingkan akademisi adalah kekuatan komputasi. **Faktanya, pada tingkat algoritme, kami tidak banyak mendahului universitas.
**Qubit Think Tank: Berapa lama waktu yang dibutuhkan lulusan baru untuk tumbuh menjadi pakar model yang besar? **
Fang Han: Ada banyak sekali mahasiswa doktoral yang mampu menerbitkan makalah model besar yang sangat mutakhir, terlihat juga banyak makalah inovatif berskala besar yang diterbitkan oleh mahasiswa Ph.D. tahun kedua dan ketiga. D.siswa. Kami menemukan talenta di sekolah yang dapat memulai segera setelah mereka tiba, dan mereka dapat berkembang menjadi pakar domain dalam beberapa bulan.
Ide kami adalah memilih talenta terbaik dari mahasiswa doktoral yang baru lulus yang telah menunjukkan kemampuan inovasi dan **visi teknis selama di sekolah. Kami dapat membudidayakan "anak sapi" dalam waktu yang lebih singkat. Bisa menjadi apa yang Anda sebut " sapi besar".
**Qubit Think Tank: Dalam beberapa bulan hingga satu tahun, mahasiswa doktoral baru dapat menjadi "sapi besar" di lapangan. Saya memahami bahwa "sapi besar" yang Anda maksud adalah mereka yang memiliki kemampuan inti penelitian dan pengembangan. **
Fang Han: Ya, kami memberikan banyak kesempatan kepada generasi muda. Faktanya, mungkin hanya belasan orang yang mengikuti pelatihan GPT di OpenAI, dan sebagian besar dari mereka adalah talenta yang baru lulus beberapa tahun lalu. Saya pikir hal ini pada dasarnya terjadi pada tim model besar di Tiongkok. Ini adalah bidang yang benar-benar baru, dan peluang bagi pendatang baru sangat besar. **Tidak masalah bagi seorang mahasiswa S3 yang baru lulus untuk menjadi ahli teknis di bidangnya setelah bekerja kurang lebih setengah tahun, namun kemampuan manajemennya jelas kurang. **Bidang teknis ini sangat baru, dan semua orang bergerak maju pada garis awal yang sama.Lulusan baru belum tentu memiliki kelemahan.
**Qubit Think Tank: Apakah sebagian besar lulusan baru yang Anda sebutkan mengambil jurusan pemrosesan bahasa alami? Bidang spesifik apa yang akan dipecah menjadi? **
Fang Han: Ini sebenarnya bukan pemrosesan bahasa alami. Menurut saya, di seluruh tahap kehidupan model besar, selain pemrosesan data, model tersebut perlu mengandalkan akumulasi teknik, dalam *pra- pelatihan, RLHF, SFT, optimasi operator * dan aspek lainnya, mereka memiliki arahan penelitian akademis yang sesuai, jadi menurut saya mereka memiliki kemampuan untuk mengembangkan dan melatih 70-80% model besar.
Sangat mudah bagi talenta yang mempelajari pembelajaran mesin, pembelajaran penguatan, dan pembelajaran mendalam untuk beralih ke model besar. Dan karena saat ini terdapat banyak model open source, dan banyak akademisi yang melakukan penelitian berdasarkan model open source, menurut saya tidak ada kesenjangan mutlak dalam pembagian kerja di antara talenta universitas.
#### Pengembangan pasar bakat model besar dalam negeri
**Qubit Think Tank: Apa pendapat Anda tentang perkembangan keseluruhan pasar bakat model besar saat ini? **
Fang Han: Saya pikir **bakat model besar berada dalam kondisi kelangkaan yang tinggi secara keseluruhan, dan **akan ada lebih banyak orang yang melakukan pekerjaan stok. Namun, seiring dengan semakin banyaknya praktisi dalam model besar, pembagian kerja akan menjadi semakin rinci.Ini adalah proses diferensiasi yang alami. Proses pengembangan setiap teknologi baru adalah seperti ini: Dari full-stack engineer awal hingga pemimpin tim dan pemimpin setingkat direktur, diferensiasi arah teknis anggota tim akan menjadi lebih jelas.
**Qubit Think Tank: Apakah sebagian besar talenta yang direkrut oleh Kunlun Wanwei berasal dari universitas, atau lebih banyak berasal dari industri ini? **
Fang Han: Saat ini kami membutuhkan talenta dengan akumulasi praktis, jadi kami akan memilih lebih banyak talenta dari industri, yang memiliki pengalaman teknik yang kaya. Namun lulusan baru juga akan direkrut sebagai cadangan, sehingga rekrutmen sekolah lebih banyak.Rasio rekrutmen sekolah terhadap rekrutmen sosial hampir 1:5.
**Qubit Think Tank: Menurut Anda, pada tahap apa pengembangan bakat model besar ini saat ini? **
Fang Han: Dilihat dari jumlah keseluruhan pencapaian akademis para talenta, Tiongkok menempati peringkat pertama dalam jumlah makalah AI yang diterbitkan di dunia, dan Amerika Serikat menempati peringkat kedua. Jumlah makalah di Amerika Serikat lebih banyak daripada Amerika Serikat. Di Tiongkok.
Menurut saya dari segi kemampuan talenta, talenta-talenta yang mempunyai pengalaman berbeda-beda itu dibutuhkan model-model besar, harus ada ketiganya, baik freshgraduate, field expert, dan leader. **Tetapi dari segi pasokan, saat ini berada pada tahap yang tidak mencukupi. Situasi pasokan akan sangat berkurang dalam waktu sekitar 3-5 tahun, **karena dibutuhkan waktu 5 tahun dari mulai menyiapkan mata pelajaran hingga kelulusan siswa.
Kesulitan dalam mengembangkan bakat teladan yang besar
**Qubit Think Tank: Menurut Anda dalam aspek apa pelatihan bakat dapat ditingkatkan? **
Fang Han: Saya akan membagikannya terutama dari dua perspektif, perspektif korporasi dan perspektif makro.
Dari perspektif perusahaan, bakat akan tumbuh lebih cepat jika mereka berpartisipasi dalam proyek teknik. Ini adalah cara yang sangat jelas dan praktis. Bagi perusahaan besar yang lebih sabar terhadap talenta, talenta mereka akan lebih profesional dalam apa yang mereka lakukan, namun di perusahaan kecil, talenta tim model besar akan tumbuh lebih komprehensif, dan mereka harus memiliki semua kapabilitas dari seluruh tim besar. model.
Dari perspektif makroskopis, **dibandingkan dengan industri tradisional lainnya, kesulitan dalam mengembangkan talenta model berskala besar terletak pada kurangnya daya komputasi universitas saat ini, yang menyulitkan sekolah untuk melatih talenta arsitektur, dan talenta-talenta tersebut hanya bisa pergi ke perusahaan untuk pelatihan.pelatihan. Ini adalah dilema yang dihadapi oleh semua universitas di seluruh dunia. Setelah kekuatan komputasi tingkat nasional dibagikan kepada universitas, kami yakin situasi ini akan teratasi.
**Qubit Think Tank: Artinya, mereka lebih bergantung pada keterkaitan industri, akademisi, penelitian, dan kebijakan untuk membina talenta berskala besar. **
Fang Han: Saya pikir kita harus berusaha sebaik mungkin untuk menyediakan kondisi perangkat keras yang sama di sekolah seperti di perusahaan, jika tidak, apa yang kita pelajari di sekolah pasti akan relatif terbatas.
#### Tren perkembangan masa depan dari talenta model besar dan perusahaan AI
**Qubit Think Tank: Dari sudut pandang Anda, apa tren perkembangan masa depan industri model besar secara keseluruhan? **
Fang Han: Menurut saya ini tidak boleh disebut sebagai industri model besar, tetapi seluruh industri AI. Peluang yang dihadapi oleh industri AI tidak boleh kalah dengan Internet dan Internet seluler. Saya sangat optimis dengan tren perkembangan industri AI. Saya pikir AI akan sangat mengubah seluruh Internet, dan seluruh kehidupan manusia akan sangat terpengaruh dan diubah. Saya pikir seluruh industri akan mengalami perubahan arah.
**Qubit Think Tank: Berdasarkan tren ini, talenta model besar seperti apa yang menurut Anda akan lebih disukai oleh perusahaan? **
Fang Han: Pertama-tama, "Pertempuran Ratusan Model" telah terbentuk. Semua orang membuat basis model yang besar. Di masa depan, basis model yang besar pasti akan dikurangi menjadi beberapa produsen besar , dan banyak lagi Banyak perusahaan harus berada dalam posisi menggunakan model besar untuk aplikasi, jadi menurut saya akan semakin banyak talenta yang mengembangkan aplikasi berdasarkan model besar. **
Talenta yang bertanggung jawab atas pelatihan dasar, algoritma pengoptimalan, dan arsitektur model besar akan ditempatkan di pabrikan besar atau tim model besar. Namun, kami percaya bahwa raksasa terbesar belum tentu merupakan perusahaan model besar itu sendiri, namun mereka yang membuat aplikasi berbasis aplikasi yang kuat. pada model besar perusahaan-perusahaan ini. Ketika perusahaan-perusahaan ini berkembang, mereka juga akan membangun model besar mereka sendiri.
Kami percaya bahwa "aplikasi adalah raja" berarti bahwa perusahaan yang mengembangkan model bisnis baru berdasarkan AI dan model aplikasi berukuran besar akan memperoleh keuntungan terbesar. **Maka kami yakin dalam sepuluh tahun ke depan pasti akan muncul perusahaan-perusahaan raksasa baru seperti Byte, Meituan, dan Didi, dan mereka harus tumbuh dari 0 menjadi 100. Perusahaan yang didirikan tahun ini atau tahun depan harus memiliki kemungkinan tersebut. peluang.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Bakat untuk model skala besar sangat langka, dan “seleksi” lebih penting daripada “kultivasi”｜ Percakapan dengan Kunlun Wanwei
Sumber: Qubit
Baru-baru ini, "Pertempuran Ratusan Model" semakin intensif. Di tengah maraknya model-model besar, "bakat" telah menjadi fokus persaingan sengit antara perusahaan teknologi besar, tim wirausaha, dan lembaga penelitian. Namun, masih terdapat kesenjangan besar dalam hal talenta-talenta mutakhir di bidang AIGC.
Jenis talenta apa yang harus direkrut untuk memfasilitasi pengembangan model?
Di mana merekrut talenta model besar?
Bagaimana cara memupuk bakat penelitian dan pengembangan model yang besar?
Artikel ini adalah kolom wawancara mendalam dari seri “Large Model Talent” Qubit Think Tank. Untuk informasi lebih lanjut, harap perhatikan “Laporan Panorama Pengembangan Bakat Model Besar AIGC 2023” yang akan datang.
Wawancara Pengenalan Karakter
Fang Han, Ketua dan CEO Kunlun Wanwei, salah satu pendiri Linux Tiongkok, memimpin pengembangan perangkat lunak pengunduhan P2P domestik pertama, akselerator DUDU.
**
**###### △Fang Han, Ketua dan CEO Kunlun Wanwei
Dia bergabung dengan Kunlun Wanwei pada tahun 2008 dan memimpin pengembangan "Tiga Kerajaan" dan game web RPG "Seni Bela Diri", dan memenangkan banyak penghargaan.
Pemandangan indah
Catatan Wawancara
**Bagaimana mendefinisikan bakat model yang besar? **
**Qubit Think Tank: Bagaimana Kunlun Wanwei membagi talenta model besar? **
Fang Han: Menurut saya pelatihan model harus dibagi menjadi dua bagian besar, inferensi pelatihan dan pengembangan aplikasi. Menurut proses pelatihan model, kami membagi talenta menjadi talenta sisi algoritme, talenta sisi arsitektur, dan talenta sisi pengembangan aplikasi. Talenta algoritme inti dibagi lagi menjadi pra-pelatihan, pemrosesan data, pengoptimalan inferensi penyesuaian, dll.
**Qubit Think Tank: Jenis talenta manakah yang menurut Anda paling langka di antara talenta algoritma, talenta arsitektur, dan talenta pengembangan aplikasi? Dan kemungkinan besar akan menjadi langka dalam jangka waktu yang lama. **
Fang Han: Saat ini, talenta yang paling langka pastinya adalah talenta algoritma inti, tetapi situasi penawaran dan permintaan akan diatasi dengan cepat. Karena ada fenomena yang sangat menarik disini. Saat ini, daya komputasi di berbagai universitas sangat kurang, dan arahan terkait model besar sedang menjadi topik hangat. Banyak talenta yang bisa beralih ke bidang penelitian ini, seperti NLP Semua talenta NLP beralih ke model besar.
Oleh karena itu, menurut pendapat pribadi saya, dalam 1-2 tahun, kekurangan talenta algoritmik akan sangat teratasi.Karena banyaknya talenta algoritmik dengan gaji tinggi, menurut saya China masih sangat berorientasi pasar dalam hal alokasi talenta.
Elemen kompetensi yang harus dimiliki oleh talenta teladan besar
**Qubit Think Tank: Saat merekrut talenta, kualitas talenta mana yang lebih penting? **
Fang Han: Dalam hal prestasi akademis, pengalaman praktis, latar belakang akademis, dan kesadaran inovasi yang Anda sebutkan, prioritas kami adalah pengalaman praktis dan kesadaran inovasi : Pertama-tama, pelatihan model besar pada dasarnya adalah masalah teknik, jadi pengalaman praktis sangatlah penting. Kedua, model besar adalah proyek inovatif, karena semua perusahaan model besar saling bersaing.Jika tidak ada rasa inovasi, akan sulit untuk menjadi yang terdepan, karena ini adalah arah teknik yang benar-benar baru.
**Qubit Think Tank: Apa pendapat Anda tentang inovasi ini? **
Fang Han: Inovasi yang saya pahami berbeda dengan inovasi yang didefinisikan oleh publik, dulu lebih merupakan inovasi algoritmik. Yang saya maksud dengan inovasi adalah, pertama-tama, mengikuti kemajuan mutakhir dari model-model besar. Ada banyak orang yang mempelajari pelatihan model besar di seluruh dunia. Arah ini mengalami kemajuan yang sangat cepat. Ratusan makalah baru diterbitkan setiap hari , melakukan perbaikan di berbagai arah dan bidang. . Yang kedua adalah mampu menggunakan metode-metode baru untuk menyelesaikan permasalahan-permasalahan yang ditemui di bidang keinsinyuran berdasarkan kebutuhan aktual.Inovasi di sini lebih fokus pada bagaimana memecahkan masalah secara inovatif dan meningkatkan indikator dari sisi teknis dan keinsinyuran.
**Qubit Think Tank: Apakah menurut Anda kesadaran inovatif dari talenta berskala besar dapat dinilai melalui pencapaian akademis, pencapaian paten, dll.? **
Fang Han: Saya pikir tidak masuk akal untuk menilai kesadaran inovasi talenta berdasarkan hasil paten. **OpenAI tidak terlalu memperhatikan kinerja talenta dalam mengajukan paten. Inovasi terbaik sebenarnya mengandalkan akumulasi pengalaman internal. Tidak masuk akal jika menilai hanya dari sudut pandang paten.
Namun, ** hasil akademis dapat digunakan sebagai dasar penilaian yang lebih penting. **Misalnya yang pertama membuat model Vicuna dan yang pertama membuat ControlNet sama-sama mahasiswa S3, dari sudut pandang ini hasil akademik bisa dijadikan acuan tertentu.
Namun, dalam proses pengoperasian sebenarnya, selain inovasi besar dalam penerbitan makalah, ada banyak sekali inovasi kecil di bidang teknik yang ingin dicapai. **Oleh karena itu, kesadaran inovasi tetap harus dinilai berdasarkan kecepatan dan kemampuan penyampaian talenta dalam memecahkan masalah dalam praktik.
**Qubit Think Tank: Ketika Model Tiangong ditingkatkan dari 1.0 menjadi 3.5, bidang bakat mana yang akan difokuskan pada tahapan yang berbeda? **
Fang Han: Pada tahap awal, kami sangat membutuhkan talenta algoritma yang lebih paham dengan arsitektur yang mendasari model besar, CNN, dan Transformer. Tentu saja, ini juga mencakup pembersihan data dan pemrosesan data, talenta ilmu data; ketika model besar secara bertahap matang dan perlu beralih ke multi-modalitas, sekelompok talenta yang melakukan computer vision akan dibutuhkan; jika model besar ingin dirilis ke dunia luar, talenta audit keamanan akan diperlukan. diperlukan.
**Qubit Think Tank: Bagaimana Kunlun Wanwei mengembangkan bakat modelnya yang besar? **
Fang Han: Kunlun Wanwei mulai melakukan pelatihan model besar pada tahun 2020. Pada saat itu, hanya ada sedikit talenta di pasar yang dapat melakukan model besar. Ada lebih banyak orang yang mengambil jalur BERT dan lebih sedikit orang yang mengambil jalur GPT , jadi kami** Pada saat itu, kami memilih untuk mengembangkan sendiri bakat-bakat teladan yang besar. **
Metode pelatihannya adalah dengan memberikan kesempatan kepada talenta dengan latar belakang algoritma untuk mempelajari arah pelatihan model. Kemudian saat merekrut, kita harus mempertimbangkan untuk memilih talenta yang memahami pembelajaran mesin dan pembelajaran mendalam, serta memiliki kekuatan self-driving yang kuat dan kecepatan belajar yang cepat. Talenta, talenta dengan latar belakang algoritma. Awalnya kami memiliki beberapa talenta yang mempelajari arahan teknis seperti CNN, tetapi sekarang mereka akan lebih beralih ke pelatihan GPT.
**Qubit Think Tank: Apa pendapat Anda tentang model pelatihan “sapi besar memimpin anak sapi” ini? **
Fang Han: Setiap perusahaan berbasis teknologi sebenarnya akan memilih metode pelatihan "sapi besar memimpin sapi muda", tetapi **memilih bakat lebih penting daripada mengembangkan bakat, dan pembelajaran mandiri lebih penting daripada master yang memimpin peserta magang, ** jadi Saat merekrut, kami juga sangat mementingkan kemampuan belajar mandiri dari para talenta.
Untuk arahan teknis tradisional, seperti Java, Anda harus mengandalkan pengalaman yang kaya, dan lulusan baru memerlukan periode pelatihan yang lebih lama untuk tumbuh menjadi pakar domain. Namun, pelatihan model besar merupakan bidang yang sedang berkembang, dan akumulasi di industri tidak jauh lebih dalam dibandingkan dengan dunia akademis. **Yang lebih kami miliki dibandingkan akademisi adalah kekuatan komputasi. **Faktanya, pada tingkat algoritme, kami tidak banyak mendahului universitas.
**Qubit Think Tank: Berapa lama waktu yang dibutuhkan lulusan baru untuk tumbuh menjadi pakar model yang besar? **
Fang Han: Ada banyak sekali mahasiswa doktoral yang mampu menerbitkan makalah model besar yang sangat mutakhir, terlihat juga banyak makalah inovatif berskala besar yang diterbitkan oleh mahasiswa Ph.D. tahun kedua dan ketiga. D.siswa. Kami menemukan talenta di sekolah yang dapat memulai segera setelah mereka tiba, dan mereka dapat berkembang menjadi pakar domain dalam beberapa bulan.
Ide kami adalah memilih talenta terbaik dari mahasiswa doktoral yang baru lulus yang telah menunjukkan kemampuan inovasi dan **visi teknis selama di sekolah. Kami dapat membudidayakan "anak sapi" dalam waktu yang lebih singkat. Bisa menjadi apa yang Anda sebut " sapi besar".
**Qubit Think Tank: Dalam beberapa bulan hingga satu tahun, mahasiswa doktoral baru dapat menjadi "sapi besar" di lapangan. Saya memahami bahwa "sapi besar" yang Anda maksud adalah mereka yang memiliki kemampuan inti penelitian dan pengembangan. **
Fang Han: Ya, kami memberikan banyak kesempatan kepada generasi muda. Faktanya, mungkin hanya belasan orang yang mengikuti pelatihan GPT di OpenAI, dan sebagian besar dari mereka adalah talenta yang baru lulus beberapa tahun lalu. Saya pikir hal ini pada dasarnya terjadi pada tim model besar di Tiongkok. Ini adalah bidang yang benar-benar baru, dan peluang bagi pendatang baru sangat besar. **Tidak masalah bagi seorang mahasiswa S3 yang baru lulus untuk menjadi ahli teknis di bidangnya setelah bekerja kurang lebih setengah tahun, namun kemampuan manajemennya jelas kurang. **Bidang teknis ini sangat baru, dan semua orang bergerak maju pada garis awal yang sama.Lulusan baru belum tentu memiliki kelemahan.
**Qubit Think Tank: Apakah sebagian besar lulusan baru yang Anda sebutkan mengambil jurusan pemrosesan bahasa alami? Bidang spesifik apa yang akan dipecah menjadi? **
Fang Han: Ini sebenarnya bukan pemrosesan bahasa alami. Menurut saya, di seluruh tahap kehidupan model besar, selain pemrosesan data, model tersebut perlu mengandalkan akumulasi teknik, dalam *pra- pelatihan, RLHF, SFT, optimasi operator * dan aspek lainnya, mereka memiliki arahan penelitian akademis yang sesuai, jadi menurut saya mereka memiliki kemampuan untuk mengembangkan dan melatih 70-80% model besar.
Sangat mudah bagi talenta yang mempelajari pembelajaran mesin, pembelajaran penguatan, dan pembelajaran mendalam untuk beralih ke model besar. Dan karena saat ini terdapat banyak model open source, dan banyak akademisi yang melakukan penelitian berdasarkan model open source, menurut saya tidak ada kesenjangan mutlak dalam pembagian kerja di antara talenta universitas.
**Qubit Think Tank: Apa pendapat Anda tentang perkembangan keseluruhan pasar bakat model besar saat ini? **
Fang Han: Saya pikir **bakat model besar berada dalam kondisi kelangkaan yang tinggi secara keseluruhan, dan **akan ada lebih banyak orang yang melakukan pekerjaan stok. Namun, seiring dengan semakin banyaknya praktisi dalam model besar, pembagian kerja akan menjadi semakin rinci.Ini adalah proses diferensiasi yang alami. Proses pengembangan setiap teknologi baru adalah seperti ini: Dari full-stack engineer awal hingga pemimpin tim dan pemimpin setingkat direktur, diferensiasi arah teknis anggota tim akan menjadi lebih jelas.
**Qubit Think Tank: Apakah sebagian besar talenta yang direkrut oleh Kunlun Wanwei berasal dari universitas, atau lebih banyak berasal dari industri ini? **
Fang Han: Saat ini kami membutuhkan talenta dengan akumulasi praktis, jadi kami akan memilih lebih banyak talenta dari industri, yang memiliki pengalaman teknik yang kaya. Namun lulusan baru juga akan direkrut sebagai cadangan, sehingga rekrutmen sekolah lebih banyak.Rasio rekrutmen sekolah terhadap rekrutmen sosial hampir 1:5.
**Qubit Think Tank: Menurut Anda, pada tahap apa pengembangan bakat model besar ini saat ini? **
Fang Han: Dilihat dari jumlah keseluruhan pencapaian akademis para talenta, Tiongkok menempati peringkat pertama dalam jumlah makalah AI yang diterbitkan di dunia, dan Amerika Serikat menempati peringkat kedua. Jumlah makalah di Amerika Serikat lebih banyak daripada Amerika Serikat. Di Tiongkok.
Menurut saya dari segi kemampuan talenta, talenta-talenta yang mempunyai pengalaman berbeda-beda itu dibutuhkan model-model besar, harus ada ketiganya, baik freshgraduate, field expert, dan leader. **Tetapi dari segi pasokan, saat ini berada pada tahap yang tidak mencukupi. Situasi pasokan akan sangat berkurang dalam waktu sekitar 3-5 tahun, **karena dibutuhkan waktu 5 tahun dari mulai menyiapkan mata pelajaran hingga kelulusan siswa.
Kesulitan dalam mengembangkan bakat teladan yang besar
**Qubit Think Tank: Menurut Anda dalam aspek apa pelatihan bakat dapat ditingkatkan? **
Fang Han: Saya akan membagikannya terutama dari dua perspektif, perspektif korporasi dan perspektif makro.
Dari perspektif perusahaan, bakat akan tumbuh lebih cepat jika mereka berpartisipasi dalam proyek teknik. Ini adalah cara yang sangat jelas dan praktis. Bagi perusahaan besar yang lebih sabar terhadap talenta, talenta mereka akan lebih profesional dalam apa yang mereka lakukan, namun di perusahaan kecil, talenta tim model besar akan tumbuh lebih komprehensif, dan mereka harus memiliki semua kapabilitas dari seluruh tim besar. model.
Dari perspektif makroskopis, **dibandingkan dengan industri tradisional lainnya, kesulitan dalam mengembangkan talenta model berskala besar terletak pada kurangnya daya komputasi universitas saat ini, yang menyulitkan sekolah untuk melatih talenta arsitektur, dan talenta-talenta tersebut hanya bisa pergi ke perusahaan untuk pelatihan.pelatihan. Ini adalah dilema yang dihadapi oleh semua universitas di seluruh dunia. Setelah kekuatan komputasi tingkat nasional dibagikan kepada universitas, kami yakin situasi ini akan teratasi.
**Qubit Think Tank: Artinya, mereka lebih bergantung pada keterkaitan industri, akademisi, penelitian, dan kebijakan untuk membina talenta berskala besar. **
Fang Han: Saya pikir kita harus berusaha sebaik mungkin untuk menyediakan kondisi perangkat keras yang sama di sekolah seperti di perusahaan, jika tidak, apa yang kita pelajari di sekolah pasti akan relatif terbatas.
**Qubit Think Tank: Dari sudut pandang Anda, apa tren perkembangan masa depan industri model besar secara keseluruhan? **
Fang Han: Menurut saya ini tidak boleh disebut sebagai industri model besar, tetapi seluruh industri AI. Peluang yang dihadapi oleh industri AI tidak boleh kalah dengan Internet dan Internet seluler. Saya sangat optimis dengan tren perkembangan industri AI. Saya pikir AI akan sangat mengubah seluruh Internet, dan seluruh kehidupan manusia akan sangat terpengaruh dan diubah. Saya pikir seluruh industri akan mengalami perubahan arah.
**Qubit Think Tank: Berdasarkan tren ini, talenta model besar seperti apa yang menurut Anda akan lebih disukai oleh perusahaan? **
Fang Han: Pertama-tama, "Pertempuran Ratusan Model" telah terbentuk. Semua orang membuat basis model yang besar. Di masa depan, basis model yang besar pasti akan dikurangi menjadi beberapa produsen besar , dan banyak lagi Banyak perusahaan harus berada dalam posisi menggunakan model besar untuk aplikasi, jadi menurut saya akan semakin banyak talenta yang mengembangkan aplikasi berdasarkan model besar. **
Talenta yang bertanggung jawab atas pelatihan dasar, algoritma pengoptimalan, dan arsitektur model besar akan ditempatkan di pabrikan besar atau tim model besar. Namun, kami percaya bahwa raksasa terbesar belum tentu merupakan perusahaan model besar itu sendiri, namun mereka yang membuat aplikasi berbasis aplikasi yang kuat. pada model besar perusahaan-perusahaan ini. Ketika perusahaan-perusahaan ini berkembang, mereka juga akan membangun model besar mereka sendiri.
Kami percaya bahwa "aplikasi adalah raja" berarti bahwa perusahaan yang mengembangkan model bisnis baru berdasarkan AI dan model aplikasi berukuran besar akan memperoleh keuntungan terbesar. **Maka kami yakin dalam sepuluh tahun ke depan pasti akan muncul perusahaan-perusahaan raksasa baru seperti Byte, Meituan, dan Didi, dan mereka harus tumbuh dari 0 menjadi 100. Perusahaan yang didirikan tahun ini atau tahun depan harus memiliki kemungkinan tersebut. peluang.