Kursi-kursinya penuh dan lorong-lorongnya penuh dengan orang.
Anda bahkan mungkin mengira itu adalah pertemuan selebriti.
Namun hal ini sebenarnya adalah salah satu diskusi meja bundar pada konferensi GenAI di Silicon Valley.
Itu diatur di "panggung tambahan" pada siang hari ketika orang-orang paling mengantuk. Ada banyak CEO dan pendiri perusahaan bintang Silicon Valley yang duduk di panggung di ruang konferensi besar lainnya, dan meja bundar ini "hanya" beberapa peneliti. , tapi orang-orang masih terus berdatangan ke ruangan kecil itu.
Target mereka adalah tiga peneliti Tiongkok. Dulu, di Silicon Valley, pemandangan seperti ini selalu terjadi ketika "eksekutif China dengan posisi tertinggi di perusahaan Silicon Valley" muncul, namun kali ini, orang mengejar tiga orang muda.
Xinyun Chen, Chunting Zhou dan Jason Wei.
**Peneliti muda Tiongkok di tiga perusahaan AI terkemuka di Silicon Valley. **
Ketiga nama ini pasti sudah tidak asing lagi bagi orang-orang yang mengikuti tren model-model besar.
Xinyun Chen adalah ilmuwan peneliti senior di tim inferensi Google Brain dan DeepMind. Minat penelitiannya adalah sintesis program saraf dan pembelajaran mesin permusuhan. Ia menerima gelar PhD di bidang ilmu komputer dari University of California, Berkeley, dan gelar sarjana di bidang ilmu komputer dari kelas ACM di Shanghai Jiao Tong University.
Dia berpartisipasi dalam makalah termasuk mengizinkan LLM membuat alatnya sendiri dan mengajar LLM untuk men-debug kodenya sendiri, dll. Ini semua adalah makalah yang sangat penting dan kritis di bidang pembuatan kode AI. Dia juga digambarkan secara berlebihan oleh beberapa media sebagai anggota "Tim Google Deepmind China".
Chunting Zhou adalah ilmuwan peneliti di Meta AI. Ia menerima gelar PhD dari Institut Teknologi Bahasa di Universitas Carnegie Mellon pada Mei 2022. Minat penelitian utamanya saat ini terletak pada titik temu antara pemrosesan bahasa alami dan pembelajaran mesin, serta metode penyelarasan baru. Makalah yang dipimpinnya, yang mencoba menggunakan sampel yang lebih sedikit dan lebih halus untuk melatih model besar, sangat dipuji oleh Yann Lecun dan direkomendasikan dalam sebuah makalah.Makalah ini memberikan ide-ide baru kepada industri selain metode arus utama seperti RLHF.
Yang terakhir adalah Jason Wei dari OpenAI, seorang peneliti bintang yang sangat dihormati oleh komunitas AI dalam dan luar negeri. Pengembang COT (Chain of Thoughts) yang terkenal. Ia menjadi peneliti senior di Google Brain setelah lulus sarjana pada tahun 2020. Selama masa jabatannya, ia mengusulkan konsep rantai pemikiran yang juga menjadi salah satu kunci munculnya LLM. Pada Februari 2023, ia bergabung dengan OpenAI dan bergabung dengan tim ChatGPT.
Orang-orang datang ke perusahaan-perusahaan ini, tetapi lebih untuk penelitian mereka.
Seringkali di forum ini mereka seperti mahasiswa, Anda seperti sedang menonton diskusi di universitas, mereka cerdas, cepat tanggap, sedikit gugup, tetapi juga penuh kata-kata yang jenaka.
"Mengapa Anda harus menganggap halusinasi adalah hal yang buruk?"
“Tetapi Trump berhalusinasi setiap hari.”
Ada tawa.
Ini percakapan yang jarang terjadi, berikut transkripnya, orang-orang Silicon Star juga ikut berpartisipasi dan mengajukan pertanyaan.
Pertanyaan: Mari kita bahas masalah yang sangat penting di LLM, yaitu halusinasi. Konsep halusinasi telah diusulkan sejak parameter model masih sangat sedikit dan ukurannya masih sangat kecil.Tetapi sekarang seiring dengan semakin besarnya model, bagaimana masalah halusinasi berubah?
Berburu: Saya bisa bicara dulu. Saya mengerjakan proyek tiga tahun lalu tentang halusinasi. Masalah halusinasi yang kami hadapi saat itu sangat berbeda dengan yang kami hadapi sekarang, saat itu kami membuat model yang sangat kecil, dan membahas halusinasi di bidang tertentu, seperti terjemahan atau ringkasan dokumen dan fungsi lainnya. Namun kini jelas bahwa masalahnya jauh lebih besar.
Saya rasa ada banyak alasan mengapa model besar masih menghasilkan halusinasi. Pertama dari segi data latih, karena manusia punya halusinasi maka datanya juga ada masalah. Alasan kedua adalah karena cara model dilatih, model tersebut tidak dapat menjawab pertanyaan secara real-time, dan akan menjawab pertanyaan yang salah. Serta kekurangan dalam penalaran dan kemampuan lainnya dapat menyebabkan masalah ini.
Xinyun:** Sebenarnya saya akan memulai jawaban ini dengan pertanyaan lain. Mengapa manusia menganggap halusinasi adalah hal yang buruk. **
Saya punya cerita di mana rekan saya mengajukan pertanyaan kepada model, yang juga diambil dari beberapa bank soal penilaian: Apa yang akan terjadi jika sang putri mencium katak. Jawaban modelnya adalah tidak terjadi apa-apa. **
Dalam banyak jawaban evaluasi model, jawaban "akan menjadi pangeran" adalah jawaban yang benar, dan jawaban tidak terjadi apa-apa akan ditandai sebagai salah. **Tetapi bagi saya, menurut saya ini adalah jawaban yang lebih baik, dan banyak orang menarik yang akan menjawabnya. **
Alasan mengapa orang menganggap ini ilusi adalah karena mereka belum memikirkan kapan AI tidak boleh berhalusinasi dan kapan AI harus berhalusinasi.
Misalnya, beberapa karya kreatif mungkin memerlukannya, dan imajinasi sangatlah penting. Sekarang kami terus-menerus memperbesar modelnya, tetapi satu masalah di sini adalah seberapa besar pun modelnya, model tidak dapat mengingat semuanya secara akurat. Manusia sebenarnya mempunyai masalah yang sama. Saya rasa satu hal yang dapat dilakukan adalah menyediakan beberapa alat yang disempurnakan untuk membantu model, seperti pencarian, perhitungan, alat pemrograman, dll. Manusia dapat dengan cepat memecahkan masalah halusinasi dengan bantuan alat-alat ini, namun modelnya belum terlihat bagus. Ini juga merupakan pertanyaan yang ingin saya pelajari sendiri.
Jason: **Jika Anda bertanya kepada saya, Trump berhalusinasi setiap hari. (Tertawa) Anda menjawab ya atau tidak. **
Namun menurut saya, masalah lain di sini adalah ekspektasi masyarakat terhadap model bahasa yang berubah. **Pada tahun 2016, ketika RNN menghasilkan URL, ekspektasi Anda adalah URL tersebut salah dan tidak dapat dipercaya. Namun saat ini, saya rasa Anda mengharapkan model tersebut benar dalam banyak hal, jadi Anda juga akan berpikir bahwa halusinasi lebih berbahaya. Jadi ini sebenarnya adalah latar belakang yang sangat penting. **
(Arah penelitian potensial yang dicantumkan oleh Jason Wei)
Tanya: Pertanyaan berikutnya adalah untuk Xinyun. Topik yang sangat penting dalam industri saat ini adalah pengembangan diri model dan debugging mandiri, misalnya. Bisakah Anda membagikan penelitian Anda?
Xinyun: Inspirasi model self-debugging sebenarnya berasal dari cara manusia memprogram. Kita tahu bahwa jika pemrograman manusia berakhir satu kali, pasti akan ada masalah dan diperlukan debugging. Untuk programmer yang sangat handal, debugging juga merupakan keterampilan yang sangat penting. Tujuan kami adalah tanpa instruksi eksternal apa pun dan tanpa manusia yang memberitahukan apa yang salah, model dapat melihat kode yang dihasilkannya sendiri, melihat hasil operasi, dan kemudian menentukan apa yang salah. Jika ada masalah, buka dan debug.
Dan mengapa pembuatan kode akan terbantu dengan self-debugging, menurut saya ada dua alasan. Pertama, pembuatan kode pada dasarnya didasarkan pada pelatihan kode sumber terbuka, yang dapat menghasilkan kode sesuai dengan arahan umum yang Anda inginkan, tetapi kode tersebut mungkin sangat panjang, mengandung banyak kesalahan, dan tidak dapat dijalankan. Namun kita tidak perlu memulai pemrograman dari awal melainkan menggunakan basis kode yang ada, karena berapa kali pun Anda memulai dari awal, masalahnya tidak dapat dihindari, sehingga perlu dilakukan pembuatan kode pada sumber daya kode yang ada, dan debugging. menjadi penting. **Kedua, proses debugging terus menerima beberapa masukan eksternal, yang sangat membantu untuk meningkatkan pemahaman model.
T: Pertanyaan lanjutannya adalah, jika Anda membiarkan model itu sendiri dan membiarkannya berkembang, apakah tidak akan ada masalah?
Chunting: Kami pernah melakukan eksperimen aneh. Akibatnya, agen menghapus lingkungan pengembangan python setelah mengeksekusi kode. Jika agen ini memasuki dunia nyata, mungkin berdampak buruk. Ini adalah sesuatu yang perlu kita pertimbangkan ketika mengembangkan agen. Saya juga menemukan bahwa semakin kecil model dasarnya, semakin kecil kemampuannya, dan sulit untuk meningkatkan dan merefleksikan diri sendiri. Mungkin kita bisa mengajari model tersebut untuk memperbaiki dirinya dengan membiarkannya melihat lebih banyak "kesalahan" selama proses penyelarasan.
T: Bagaimana dengan Jason, bagaimana pendapat Anda dan apa pendapat Anda tentang mengevaluasi model.
Jason: Pendapat pribadi saya adalah bahwa mengevaluasi model semakin menantang, terutama dalam paradigma baru. Ada banyak alasan di balik hal ini. Salah satunya adalah model bahasa kini digunakan dalam banyak tugas, dan Anda bahkan tidak mengetahui cakupan kemampuannya. Alasan kedua adalah jika Anda melihat sejarah AI, kita terutama menyelesaikan masalah-masalah tradisional dan klasik, tujuannya sangat jangka pendek dan teksnya sangat singkat. Namun kini teks solusinya lebih panjang, bahkan manusia pun butuh waktu lama untuk menilainya. Mungkin tantangan ketiga adalah bahwa dalam banyak hal, apa yang disebut sebagai perilaku yang benar tidak didefinisikan dengan jelas. **
Saya rasa ada beberapa hal yang dapat kita lakukan untuk meningkatkan kemampuan penilaian. Yang pertama dan paling jelas adalah mengevaluasi dari cakupan yang lebih luas, ketika menghadapi beberapa perilaku berbahaya, apakah perilaku tersebut dapat dipecah secara lebih spesifik menjadi tugas-tugas yang lebih kecil untuk dievaluasi. Pertanyaan lainnya adalah apakah lebih banyak metode evaluasi dapat diberikan untuk tugas-tugas tertentu, mungkin manusia dapat memberikan beberapa, dan kemudian AI juga dapat memberikan beberapa.
T: Apa pendapat Anda tentang penggunaan AI untuk mengevaluasi rute AI?
Jason: Kedengarannya bagus. Saya rasa salah satu tren yang saya lihat akhir-akhir ini adalah apakah model yang digunakan untuk mengevaluasi model dapat berperforma lebih baik. Misalnya, gagasan pelatihan AI konstitusional, meskipun kinerjanya saat ini tidak sempurna, kemungkinan besar setelah GPT generasi berikutnya, model ini akan berkinerja lebih baik daripada manusia.
**Silicon Star: Anda semua adalah peneliti yang sangat muda. Saya ingin tahu pendapat Anda, sebagai peneliti di perusahaan, tentang ketidaksesuaian serius dalam GPU dan daya komputasi antara perusahaan dan akademisi. **
Jason: Jika Anda bekerja di lingkungan yang terbatas, hal ini mungkin memang berdampak negatif, namun menurut saya masih ada ruang untuk banyak pekerjaan, seperti bagian algoritme, dan penelitian yang mungkin tidak terlalu memerlukan GPU. Tidak pernah ada kekurangan topik.
Chunting: Saya juga merasa ada banyak ruang dan tempat yang perlu dijelajahi. Misalnya, penelitian tentang metode penyelarasan sebenarnya bisa dilakukan dengan sumber daya yang terbatas**. Dan mungkin di Bay Area, terdapat lebih banyak peluang bagi orang-orang di dunia akademis.
Xinyun: Secara umum, ada dua arah umum penelitian LLM, yang pertama adalah meningkatkan kinerja hasil, dan yang lainnya adalah memahami model. Kami melihat banyak kerangka kerja, tolok ukur, dll., serta beberapa algoritma bagus yang berasal dari akademisi.
Misalnya, ketika saya lulus PhD, dosen pembimbing memberi saran kepada saya: **Peneliti AI harus memikirkan penelitian dalam dimensi waktu bertahun-tahun ke depan, yaitu tidak hanya mempertimbangkan perbaikan pada beberapa hal yang ada saat ini. ., tapi sebuah konsep teknologi yang mungkin membawa perubahan radikal di masa depan. **
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Apa yang dipikirkan para peneliti Tiongkok populer di OpenAI, Google, dan Meta | Transkrip percakapan
Sumber asli: Silicon Star People
Kursi-kursinya penuh dan lorong-lorongnya penuh dengan orang.
Anda bahkan mungkin mengira itu adalah pertemuan selebriti.
Namun hal ini sebenarnya adalah salah satu diskusi meja bundar pada konferensi GenAI di Silicon Valley.
Itu diatur di "panggung tambahan" pada siang hari ketika orang-orang paling mengantuk. Ada banyak CEO dan pendiri perusahaan bintang Silicon Valley yang duduk di panggung di ruang konferensi besar lainnya, dan meja bundar ini "hanya" beberapa peneliti. , tapi orang-orang masih terus berdatangan ke ruangan kecil itu.
Target mereka adalah tiga peneliti Tiongkok. Dulu, di Silicon Valley, pemandangan seperti ini selalu terjadi ketika "eksekutif China dengan posisi tertinggi di perusahaan Silicon Valley" muncul, namun kali ini, orang mengejar tiga orang muda.
Xinyun Chen, Chunting Zhou dan Jason Wei.
Ketiga nama ini pasti sudah tidak asing lagi bagi orang-orang yang mengikuti tren model-model besar.
Xinyun Chen adalah ilmuwan peneliti senior di tim inferensi Google Brain dan DeepMind. Minat penelitiannya adalah sintesis program saraf dan pembelajaran mesin permusuhan. Ia menerima gelar PhD di bidang ilmu komputer dari University of California, Berkeley, dan gelar sarjana di bidang ilmu komputer dari kelas ACM di Shanghai Jiao Tong University.
Dia berpartisipasi dalam makalah termasuk mengizinkan LLM membuat alatnya sendiri dan mengajar LLM untuk men-debug kodenya sendiri, dll. Ini semua adalah makalah yang sangat penting dan kritis di bidang pembuatan kode AI. Dia juga digambarkan secara berlebihan oleh beberapa media sebagai anggota "Tim Google Deepmind China".
Chunting Zhou adalah ilmuwan peneliti di Meta AI. Ia menerima gelar PhD dari Institut Teknologi Bahasa di Universitas Carnegie Mellon pada Mei 2022. Minat penelitian utamanya saat ini terletak pada titik temu antara pemrosesan bahasa alami dan pembelajaran mesin, serta metode penyelarasan baru. Makalah yang dipimpinnya, yang mencoba menggunakan sampel yang lebih sedikit dan lebih halus untuk melatih model besar, sangat dipuji oleh Yann Lecun dan direkomendasikan dalam sebuah makalah.Makalah ini memberikan ide-ide baru kepada industri selain metode arus utama seperti RLHF.
Yang terakhir adalah Jason Wei dari OpenAI, seorang peneliti bintang yang sangat dihormati oleh komunitas AI dalam dan luar negeri. Pengembang COT (Chain of Thoughts) yang terkenal. Ia menjadi peneliti senior di Google Brain setelah lulus sarjana pada tahun 2020. Selama masa jabatannya, ia mengusulkan konsep rantai pemikiran yang juga menjadi salah satu kunci munculnya LLM. Pada Februari 2023, ia bergabung dengan OpenAI dan bergabung dengan tim ChatGPT.
Orang-orang datang ke perusahaan-perusahaan ini, tetapi lebih untuk penelitian mereka.
Seringkali di forum ini mereka seperti mahasiswa, Anda seperti sedang menonton diskusi di universitas, mereka cerdas, cepat tanggap, sedikit gugup, tetapi juga penuh kata-kata yang jenaka.
"Mengapa Anda harus menganggap halusinasi adalah hal yang buruk?"
“Tetapi Trump berhalusinasi setiap hari.”
Ada tawa.
Ini percakapan yang jarang terjadi, berikut transkripnya, orang-orang Silicon Star juga ikut berpartisipasi dan mengajukan pertanyaan.
Pertanyaan: Mari kita bahas masalah yang sangat penting di LLM, yaitu halusinasi. Konsep halusinasi telah diusulkan sejak parameter model masih sangat sedikit dan ukurannya masih sangat kecil.Tetapi sekarang seiring dengan semakin besarnya model, bagaimana masalah halusinasi berubah?
Berburu: Saya bisa bicara dulu. Saya mengerjakan proyek tiga tahun lalu tentang halusinasi. Masalah halusinasi yang kami hadapi saat itu sangat berbeda dengan yang kami hadapi sekarang, saat itu kami membuat model yang sangat kecil, dan membahas halusinasi di bidang tertentu, seperti terjemahan atau ringkasan dokumen dan fungsi lainnya. Namun kini jelas bahwa masalahnya jauh lebih besar.
Saya rasa ada banyak alasan mengapa model besar masih menghasilkan halusinasi. Pertama dari segi data latih, karena manusia punya halusinasi maka datanya juga ada masalah. Alasan kedua adalah karena cara model dilatih, model tersebut tidak dapat menjawab pertanyaan secara real-time, dan akan menjawab pertanyaan yang salah. Serta kekurangan dalam penalaran dan kemampuan lainnya dapat menyebabkan masalah ini.
Xinyun:** Sebenarnya saya akan memulai jawaban ini dengan pertanyaan lain. Mengapa manusia menganggap halusinasi adalah hal yang buruk. **
Saya punya cerita di mana rekan saya mengajukan pertanyaan kepada model, yang juga diambil dari beberapa bank soal penilaian: Apa yang akan terjadi jika sang putri mencium katak. Jawaban modelnya adalah tidak terjadi apa-apa. **
Dalam banyak jawaban evaluasi model, jawaban "akan menjadi pangeran" adalah jawaban yang benar, dan jawaban tidak terjadi apa-apa akan ditandai sebagai salah. **Tetapi bagi saya, menurut saya ini adalah jawaban yang lebih baik, dan banyak orang menarik yang akan menjawabnya. **
Alasan mengapa orang menganggap ini ilusi adalah karena mereka belum memikirkan kapan AI tidak boleh berhalusinasi dan kapan AI harus berhalusinasi.
Misalnya, beberapa karya kreatif mungkin memerlukannya, dan imajinasi sangatlah penting. Sekarang kami terus-menerus memperbesar modelnya, tetapi satu masalah di sini adalah seberapa besar pun modelnya, model tidak dapat mengingat semuanya secara akurat. Manusia sebenarnya mempunyai masalah yang sama. Saya rasa satu hal yang dapat dilakukan adalah menyediakan beberapa alat yang disempurnakan untuk membantu model, seperti pencarian, perhitungan, alat pemrograman, dll. Manusia dapat dengan cepat memecahkan masalah halusinasi dengan bantuan alat-alat ini, namun modelnya belum terlihat bagus. Ini juga merupakan pertanyaan yang ingin saya pelajari sendiri.
Jason: **Jika Anda bertanya kepada saya, Trump berhalusinasi setiap hari. (Tertawa) Anda menjawab ya atau tidak. **
Namun menurut saya, masalah lain di sini adalah ekspektasi masyarakat terhadap model bahasa yang berubah. **Pada tahun 2016, ketika RNN menghasilkan URL, ekspektasi Anda adalah URL tersebut salah dan tidak dapat dipercaya. Namun saat ini, saya rasa Anda mengharapkan model tersebut benar dalam banyak hal, jadi Anda juga akan berpikir bahwa halusinasi lebih berbahaya. Jadi ini sebenarnya adalah latar belakang yang sangat penting. **
Tanya: Pertanyaan berikutnya adalah untuk Xinyun. Topik yang sangat penting dalam industri saat ini adalah pengembangan diri model dan debugging mandiri, misalnya. Bisakah Anda membagikan penelitian Anda?
Xinyun: Inspirasi model self-debugging sebenarnya berasal dari cara manusia memprogram. Kita tahu bahwa jika pemrograman manusia berakhir satu kali, pasti akan ada masalah dan diperlukan debugging. Untuk programmer yang sangat handal, debugging juga merupakan keterampilan yang sangat penting. Tujuan kami adalah tanpa instruksi eksternal apa pun dan tanpa manusia yang memberitahukan apa yang salah, model dapat melihat kode yang dihasilkannya sendiri, melihat hasil operasi, dan kemudian menentukan apa yang salah. Jika ada masalah, buka dan debug.
Dan mengapa pembuatan kode akan terbantu dengan self-debugging, menurut saya ada dua alasan. Pertama, pembuatan kode pada dasarnya didasarkan pada pelatihan kode sumber terbuka, yang dapat menghasilkan kode sesuai dengan arahan umum yang Anda inginkan, tetapi kode tersebut mungkin sangat panjang, mengandung banyak kesalahan, dan tidak dapat dijalankan. Namun kita tidak perlu memulai pemrograman dari awal melainkan menggunakan basis kode yang ada, karena berapa kali pun Anda memulai dari awal, masalahnya tidak dapat dihindari, sehingga perlu dilakukan pembuatan kode pada sumber daya kode yang ada, dan debugging. menjadi penting. **Kedua, proses debugging terus menerima beberapa masukan eksternal, yang sangat membantu untuk meningkatkan pemahaman model.
T: Pertanyaan lanjutannya adalah, jika Anda membiarkan model itu sendiri dan membiarkannya berkembang, apakah tidak akan ada masalah?
Chunting: Kami pernah melakukan eksperimen aneh. Akibatnya, agen menghapus lingkungan pengembangan python setelah mengeksekusi kode. Jika agen ini memasuki dunia nyata, mungkin berdampak buruk. Ini adalah sesuatu yang perlu kita pertimbangkan ketika mengembangkan agen. Saya juga menemukan bahwa semakin kecil model dasarnya, semakin kecil kemampuannya, dan sulit untuk meningkatkan dan merefleksikan diri sendiri. Mungkin kita bisa mengajari model tersebut untuk memperbaiki dirinya dengan membiarkannya melihat lebih banyak "kesalahan" selama proses penyelarasan.
T: Bagaimana dengan Jason, bagaimana pendapat Anda dan apa pendapat Anda tentang mengevaluasi model.
Jason: Pendapat pribadi saya adalah bahwa mengevaluasi model semakin menantang, terutama dalam paradigma baru. Ada banyak alasan di balik hal ini. Salah satunya adalah model bahasa kini digunakan dalam banyak tugas, dan Anda bahkan tidak mengetahui cakupan kemampuannya. Alasan kedua adalah jika Anda melihat sejarah AI, kita terutama menyelesaikan masalah-masalah tradisional dan klasik, tujuannya sangat jangka pendek dan teksnya sangat singkat. Namun kini teks solusinya lebih panjang, bahkan manusia pun butuh waktu lama untuk menilainya. Mungkin tantangan ketiga adalah bahwa dalam banyak hal, apa yang disebut sebagai perilaku yang benar tidak didefinisikan dengan jelas. **
Saya rasa ada beberapa hal yang dapat kita lakukan untuk meningkatkan kemampuan penilaian. Yang pertama dan paling jelas adalah mengevaluasi dari cakupan yang lebih luas, ketika menghadapi beberapa perilaku berbahaya, apakah perilaku tersebut dapat dipecah secara lebih spesifik menjadi tugas-tugas yang lebih kecil untuk dievaluasi. Pertanyaan lainnya adalah apakah lebih banyak metode evaluasi dapat diberikan untuk tugas-tugas tertentu, mungkin manusia dapat memberikan beberapa, dan kemudian AI juga dapat memberikan beberapa.
T: Apa pendapat Anda tentang penggunaan AI untuk mengevaluasi rute AI?
Jason: Kedengarannya bagus. Saya rasa salah satu tren yang saya lihat akhir-akhir ini adalah apakah model yang digunakan untuk mengevaluasi model dapat berperforma lebih baik. Misalnya, gagasan pelatihan AI konstitusional, meskipun kinerjanya saat ini tidak sempurna, kemungkinan besar setelah GPT generasi berikutnya, model ini akan berkinerja lebih baik daripada manusia.
**Silicon Star: Anda semua adalah peneliti yang sangat muda. Saya ingin tahu pendapat Anda, sebagai peneliti di perusahaan, tentang ketidaksesuaian serius dalam GPU dan daya komputasi antara perusahaan dan akademisi. **
Jason: Jika Anda bekerja di lingkungan yang terbatas, hal ini mungkin memang berdampak negatif, namun menurut saya masih ada ruang untuk banyak pekerjaan, seperti bagian algoritme, dan penelitian yang mungkin tidak terlalu memerlukan GPU. Tidak pernah ada kekurangan topik.
Chunting: Saya juga merasa ada banyak ruang dan tempat yang perlu dijelajahi. Misalnya, penelitian tentang metode penyelarasan sebenarnya bisa dilakukan dengan sumber daya yang terbatas**. Dan mungkin di Bay Area, terdapat lebih banyak peluang bagi orang-orang di dunia akademis.
Xinyun: Secara umum, ada dua arah umum penelitian LLM, yang pertama adalah meningkatkan kinerja hasil, dan yang lainnya adalah memahami model. Kami melihat banyak kerangka kerja, tolok ukur, dll., serta beberapa algoritma bagus yang berasal dari akademisi.
Misalnya, ketika saya lulus PhD, dosen pembimbing memberi saran kepada saya: **Peneliti AI harus memikirkan penelitian dalam dimensi waktu bertahun-tahun ke depan, yaitu tidak hanya mempertimbangkan perbaikan pada beberapa hal yang ada saat ini. ., tapi sebuah konsep teknologi yang mungkin membawa perubahan radikal di masa depan. **