Baru-baru ini, Andrej Karpathy, salah satu pendiri OpenAI, memberikan pidato singkat di acara pengembang, berbicara tentang pandangan internalnya dan OpenAI tentang Agen AI (agen kecerdasan buatan).
Andrej Karpathy membandingkan kesulitan dalam mengembangkan Agen AI di masa lalu dengan peluang baru yang dikembangkan di bawah alat teknologi baru. Ia tak lupa mencemooh pekerjaannya di Tesla karena "terganggu oleh autopilot". Dia melihat pengemudian otonom dan VR sebagai contoh agen AI yang buruk.
Untuk peluang baru, Andrej Karpathy percaya bahwa inilah saatnya untuk kembali ke ilmu saraf dan mencari inspirasi darinya—seperti yang terjadi di masa-masa awal deep learning.
Di sisi lain, Andrej Karpathy percaya bahwa orang biasa, wirausahawan, dan geek memiliki lebih banyak keuntungan daripada perusahaan seperti OpenAI dalam membangun Agen AI. Setiap orang saat ini berada dalam persaingan yang setara, jadi dia menantikan untuk melihat hasilnya dalam hal ini.
Berikut ini adalah teks lengkap dari sharing ini:
Halo semuanya. Saya diundang untuk berbicara beberapa kata motivasi tentang topik Agen AI.
Menurut saya AI Agents dekat dengan saya, mari saya mulai dengan sebuah cerita, ini adalah cerita OpenAI yang sangat awal, OpenAI mungkin hanya belasan orang saat itu, sekitar tahun 2016, saat itu Tren sebenarnya adalah RL Agents ( Agen Pembelajaran Penguatan). Semua orang sangat tertarik untuk membuat agen, tetapi pada saat itu sebagian besar berbasis game, dan kegembiraan ada di sekitar perusahaan game seperti Atari, dan proyek saya di OpenAI mencoba memfokuskan Agen RL pada keyboard dan Mouse digunakan di komputer , bukan permainannya. Saya ingin membuatnya lebih berguna dan melakukan banyak pekerjaan, proyek ini disebut World of Bits. Beberapa kolega dan saya akhirnya menerbitkan makalah.
Ini bukan makalah yang luar biasa, karena sebenarnya berdasarkan metode pembelajaran penguatan RL. Halaman web kami sangat sederhana dan memungkinkan orang untuk memesan penerbangan atau memesan makanan dan sebagainya. Semua ini jelas tidak akan berhasil karena teknologinya belum siap dan tidak bijaksana untuk melakukan hal ini pada saat itu. Fakta telah membuktikan bahwa kita harus benar-benar melupakan Agen AI dan melakukan model bahasa.
Kami kembali ke sini lima tahun kemudian, dan saya sedikit teralihkan oleh mengemudi otonom, tetapi sekarang Agen AI sudah keren lagi, kotak alat kami benar-benar berbeda, dan cara kami menangani masalah ini sama sekali berbeda. Faktanya, Anda semua sedang mengerjakan Agen AI, tetapi Anda mungkin tidak menggunakan metode pembelajaran penguatan apa pun. Ini gila, saya tidak berpikir kita akan melihat ini datang. Itu terlalu menyenangkan.
Biarkan saya luangkan waktu sejenak untuk berbicara tentang mengapa Agen AI begitu populer. Saya pikir jelas bagi banyak orang bahwa AGI (kecerdasan umum buatan) akan memanfaatkan sepenuhnya kemampuan Agen AI, bukan hanya satu, tetapi banyak. Mungkin akan ada organisasi atau peradaban entitas digital yang menurut saya sangat menginspirasi, bahkan sedikit gila. Namun, saya juga ingin menuangkan air dingin untuk ini. Saya pikir ada seluruh kelas masalah yang mudah dibayangkan, mudah dibuat, mudah didemonstrasikan, tetapi sangat sulit untuk dibuat menjadi sebuah produk. Banyak hal yang termasuk dalam kategori ini, menurut saya mengemudi otonom adalah contohnya.
Mengemudi otonom mudah dibayangkan, dan mudah untuk membuat demo mobil yang mengemudi di sekitar blok, tetapi butuh satu dekade untuk mengubahnya menjadi produk. Dengan cara yang sama, saya pikir itu sama dengan VR, butuh satu dekade untuk membuatnya bekerja.
Saya pikir hal yang sama berlaku sampai batas tertentu dengan Agen AI. Sangat mudah untuk membayangkan skenario untuk itu, dan itu sangat menarik, tapi saya pikir jika Anda berada di dalamnya, Anda harus menginvestasikan satu dekade untuk benar-benar berhasil.
Hal lain yang ingin saya katakan adalah bahwa menurut saya menarik untuk kembali ke ilmu saraf sekarang dan terinspirasi olehnya lagi dalam beberapa hal, hari-hari awal pembelajaran mendalam terinspirasi oleh ilmu saraf. Sangat menarik untuk memikirkan hubungan di antara mereka, terutama menurut saya banyak orang melihat model bahasa sebagai bagian dari solusi, tetapi bagaimana Anda membangun entitas digital lengkap yang memiliki semua kemampuan kognitif manusia? Jelas, kita semua setuju bahwa kita memerlukan semacam sistem dasar untuk merencanakan, berpikir, dan merenungkan apa yang kita lakukan, dan di sinilah ilmu saraf berperan.
Misalnya, hippocampus sangat penting. Apa di AI Agents yang berperan sebagai hippocampus, yang digunakan untuk menyimpan memori, menandai pengambilan, dll? Kami memiliki pemahaman umum tentang bagaimana membangun korteks visual dan auditori, tetapi ada banyak hal yang tidak kami ketahui apa artinya di Agen AI. Seperti apa tampilan visual game di AI Agents? Apa yang setara dengan thalamus, lokasi pikiran bawah sadar, di Agen AI? Itu sangat menarik.
Saya benar-benar membawa buku ilmu saraf hari ini, Otak dan Perilaku oleh David Eagleman, yang menurut saya sangat menarik dan mencerahkan. Mengambil beberapa inspirasi menarik dari ilmu saraf, seperti yang kami lakukan di masa-masa awal ketika kami merekayasa neuron individu, kami mungkin harus melakukannya lagi hari ini.
Akhirnya saya ingin mengakhiri dengan beberapa kata penyemangat. Hal yang menarik tetapi tidak jelas adalah bahwa Agen AI yang Anda bangun (mengacu pada audiens langsung) sebenarnya berada di garis depan kemampuan Agen AI kontemporer. Semua lembaga LLM besar seperti OpenAI, DeFi, dll., Saya ragu mereka berada di garis depan. Anda berada di garis depan.
Misalnya, OpenAI sangat bagus dalam melatih model bahasa besar Transformer. Jika sebuah makalah mengusulkan semacam metode pelatihan yang berbeda, diskusi di grup Slack kami di dalam OpenAI akan seperti, oh ya, seseorang mencobanya selama dua setengah tahun dan tidak berhasil, kami tidak tertarik dengan metode ini. Sangat memahami seluk beluk. Tetapi ketika makalah Agen AI baru keluar, kami sangat tertarik dan menganggapnya sangat keren, karena tim kami tidak menghabiskan waktu lima tahun untuk itu, kami tidak tahu apa-apa selain Anda, kami bekerja dengan Anda semua Orang bersaing bersama. Itulah alasan untuk menganggap Anda berada di garis depan dari apa yang dapat dilakukan oleh Agen AI.
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Salah satu pendiri OpenAI, Karpathy berbagi: Agen AI mungkin membutuhkan waktu 10 tahun untuk benar-benar bekerja
Atur: akun Twitter "@GPTDAOCN"
Baru-baru ini, Andrej Karpathy, salah satu pendiri OpenAI, memberikan pidato singkat di acara pengembang, berbicara tentang pandangan internalnya dan OpenAI tentang Agen AI (agen kecerdasan buatan).
Andrej Karpathy membandingkan kesulitan dalam mengembangkan Agen AI di masa lalu dengan peluang baru yang dikembangkan di bawah alat teknologi baru. Ia tak lupa mencemooh pekerjaannya di Tesla karena "terganggu oleh autopilot". Dia melihat pengemudian otonom dan VR sebagai contoh agen AI yang buruk.
Untuk peluang baru, Andrej Karpathy percaya bahwa inilah saatnya untuk kembali ke ilmu saraf dan mencari inspirasi darinya—seperti yang terjadi di masa-masa awal deep learning.
Di sisi lain, Andrej Karpathy percaya bahwa orang biasa, wirausahawan, dan geek memiliki lebih banyak keuntungan daripada perusahaan seperti OpenAI dalam membangun Agen AI. Setiap orang saat ini berada dalam persaingan yang setara, jadi dia menantikan untuk melihat hasilnya dalam hal ini.
Halo semuanya. Saya diundang untuk berbicara beberapa kata motivasi tentang topik Agen AI.
Menurut saya AI Agents dekat dengan saya, mari saya mulai dengan sebuah cerita, ini adalah cerita OpenAI yang sangat awal, OpenAI mungkin hanya belasan orang saat itu, sekitar tahun 2016, saat itu Tren sebenarnya adalah RL Agents ( Agen Pembelajaran Penguatan). Semua orang sangat tertarik untuk membuat agen, tetapi pada saat itu sebagian besar berbasis game, dan kegembiraan ada di sekitar perusahaan game seperti Atari, dan proyek saya di OpenAI mencoba memfokuskan Agen RL pada keyboard dan Mouse digunakan di komputer , bukan permainannya. Saya ingin membuatnya lebih berguna dan melakukan banyak pekerjaan, proyek ini disebut World of Bits. Beberapa kolega dan saya akhirnya menerbitkan makalah.
Ini bukan makalah yang luar biasa, karena sebenarnya berdasarkan metode pembelajaran penguatan RL. Halaman web kami sangat sederhana dan memungkinkan orang untuk memesan penerbangan atau memesan makanan dan sebagainya. Semua ini jelas tidak akan berhasil karena teknologinya belum siap dan tidak bijaksana untuk melakukan hal ini pada saat itu. Fakta telah membuktikan bahwa kita harus benar-benar melupakan Agen AI dan melakukan model bahasa.
Kami kembali ke sini lima tahun kemudian, dan saya sedikit teralihkan oleh mengemudi otonom, tetapi sekarang Agen AI sudah keren lagi, kotak alat kami benar-benar berbeda, dan cara kami menangani masalah ini sama sekali berbeda. Faktanya, Anda semua sedang mengerjakan Agen AI, tetapi Anda mungkin tidak menggunakan metode pembelajaran penguatan apa pun. Ini gila, saya tidak berpikir kita akan melihat ini datang. Itu terlalu menyenangkan.
Biarkan saya luangkan waktu sejenak untuk berbicara tentang mengapa Agen AI begitu populer. Saya pikir jelas bagi banyak orang bahwa AGI (kecerdasan umum buatan) akan memanfaatkan sepenuhnya kemampuan Agen AI, bukan hanya satu, tetapi banyak. Mungkin akan ada organisasi atau peradaban entitas digital yang menurut saya sangat menginspirasi, bahkan sedikit gila. Namun, saya juga ingin menuangkan air dingin untuk ini. Saya pikir ada seluruh kelas masalah yang mudah dibayangkan, mudah dibuat, mudah didemonstrasikan, tetapi sangat sulit untuk dibuat menjadi sebuah produk. Banyak hal yang termasuk dalam kategori ini, menurut saya mengemudi otonom adalah contohnya.
Mengemudi otonom mudah dibayangkan, dan mudah untuk membuat demo mobil yang mengemudi di sekitar blok, tetapi butuh satu dekade untuk mengubahnya menjadi produk. Dengan cara yang sama, saya pikir itu sama dengan VR, butuh satu dekade untuk membuatnya bekerja.
Saya pikir hal yang sama berlaku sampai batas tertentu dengan Agen AI. Sangat mudah untuk membayangkan skenario untuk itu, dan itu sangat menarik, tapi saya pikir jika Anda berada di dalamnya, Anda harus menginvestasikan satu dekade untuk benar-benar berhasil.
Hal lain yang ingin saya katakan adalah bahwa menurut saya menarik untuk kembali ke ilmu saraf sekarang dan terinspirasi olehnya lagi dalam beberapa hal, hari-hari awal pembelajaran mendalam terinspirasi oleh ilmu saraf. Sangat menarik untuk memikirkan hubungan di antara mereka, terutama menurut saya banyak orang melihat model bahasa sebagai bagian dari solusi, tetapi bagaimana Anda membangun entitas digital lengkap yang memiliki semua kemampuan kognitif manusia? Jelas, kita semua setuju bahwa kita memerlukan semacam sistem dasar untuk merencanakan, berpikir, dan merenungkan apa yang kita lakukan, dan di sinilah ilmu saraf berperan.
Misalnya, hippocampus sangat penting. Apa di AI Agents yang berperan sebagai hippocampus, yang digunakan untuk menyimpan memori, menandai pengambilan, dll? Kami memiliki pemahaman umum tentang bagaimana membangun korteks visual dan auditori, tetapi ada banyak hal yang tidak kami ketahui apa artinya di Agen AI. Seperti apa tampilan visual game di AI Agents? Apa yang setara dengan thalamus, lokasi pikiran bawah sadar, di Agen AI? Itu sangat menarik.
Saya benar-benar membawa buku ilmu saraf hari ini, Otak dan Perilaku oleh David Eagleman, yang menurut saya sangat menarik dan mencerahkan. Mengambil beberapa inspirasi menarik dari ilmu saraf, seperti yang kami lakukan di masa-masa awal ketika kami merekayasa neuron individu, kami mungkin harus melakukannya lagi hari ini.
Akhirnya saya ingin mengakhiri dengan beberapa kata penyemangat. Hal yang menarik tetapi tidak jelas adalah bahwa Agen AI yang Anda bangun (mengacu pada audiens langsung) sebenarnya berada di garis depan kemampuan Agen AI kontemporer. Semua lembaga LLM besar seperti OpenAI, DeFi, dll., Saya ragu mereka berada di garis depan. Anda berada di garis depan.
Misalnya, OpenAI sangat bagus dalam melatih model bahasa besar Transformer. Jika sebuah makalah mengusulkan semacam metode pelatihan yang berbeda, diskusi di grup Slack kami di dalam OpenAI akan seperti, oh ya, seseorang mencobanya selama dua setengah tahun dan tidak berhasil, kami tidak tertarik dengan metode ini. Sangat memahami seluk beluk. Tetapi ketika makalah Agen AI baru keluar, kami sangat tertarik dan menganggapnya sangat keren, karena tim kami tidak menghabiskan waktu lima tahun untuk itu, kami tidak tahu apa-apa selain Anda, kami bekerja dengan Anda semua Orang bersaing bersama. Itulah alasan untuk menganggap Anda berada di garis depan dari apa yang dapat dilakukan oleh Agen AI.