Bapak pembelajaran penguatan bergabung dengan AGI untuk memulai bisnis! Bekerja sama dengan programmer legendaris Carmack, kami tidak bergantung pada model besar
Programmer legendaris John Carmack bergabung dengan Richard Sutton, bapak pembelajaran penguatan, untuk menciptakan All in AGI.
2030 Menunjukkan kepada publik bahwa tujuan kecerdasan buatan secara umum dapat dicapai.
Dan tidak seperti metode umum, metode ini tidak bergantung pada paradigma model besar dan menerapkan pembelajaran online waktu nyata.
Pasangan ini membuat pengumuman pada acara khusus di Machine Intelligence Institute (Amii) di Universitas Alberta, tempat Sutton mengajar.
Sutton akan bergabung dengan startup AI milik Carmack, Keen Technologies, sambil mempertahankan posisi mengajarnya di Alberta.
Kedua pria tersebut mengakui pada acara tersebut bahwa tim Keen Technologies tergolong kecil dibandingkan dengan perusahaan besar yang memiliki ratusan atau ribuan karyawan.
Ini masih dalam tahap awal, dan seluruh tim teknis perusahaan sudah siap—
Hanya 4 orang ini yang berdiri.
Skala pembiayaannya mencapai US$20 juta, tidak sebanding dengan OpenAI dan Anthropic, yang seringkali menghasilkan miliaran dolar.
Namun mereka percaya bahwa kode sumber akhir AGI akan sesuai urutan yang dapat ditulis oleh satu orang, dan mungkin hanya memiliki puluhan ribu baris.
Terlebih lagi, bidang AI saat ini berada pada momen spesial dengan efek leverage terbesar, dan tim kecil juga memiliki peluang untuk memberikan kontribusi besar.
Programmer Legendaris dan Bapak Pembelajaran Penguatan
Pengalaman legendaris Carmack, mulai dari mengembangkan game 3D pertama di dunia, transisi ke pembuatan roket, hingga bergabung dengan Oculus dan menjadi tokoh kunci di Meta VR selanjutnya, sudah sangat dikenal.
Kemudian, dia terlibat dengan AI dan juga terkait dengan OpenAI.
Dia pernah mengungkapkan dalam wawancara lain bahwa Sam Altman telah mengundangnya untuk bergabung dengan OpenAI dan percaya bahwa dia dapat memainkan peran penting dalam optimalisasi sistem.
Namun Carmack yakin bahwa dia tidak memiliki pemahaman apa pun tentang AI modern dalam paradigma pembelajaran mesin pada saat itu, jadi dia tidak setuju.
Ini menjadi peluang baginya untuk mulai memahami AI.
Dia bertanya kepada Ilya Sutskever, kepala ilmuwan OpenAI, daftar bacaan yang harus dibaca untuk memulai, dan mulai belajar mandiri dari awal, pertama-tama mendapatkan pemahaman dasar tentang algoritme pembelajaran mesin tradisional.
Ketika dia memiliki waktu luang dan berencana untuk terus terlibat dalam pembelajaran mendalam, dia datang dengan tantangan pemrograman satu minggu:
Cetak beberapa makalah klasik LeCun dan praktikkan saat jaringan terputus, dimulai dengan rumus propagasi mundur.
Setelah seminggu berlalu, dia mengakhiri retretnya dengan jaringan saraf konvolusional buatan tangan dalam C++, tanpa bantuan kerangka pembelajaran mendalam modern dengan Python.
Yang bisa saya katakan hanyalah saya mengagumi guru besar itu.
Saat ini, bisnis utamanya masih meneliti VR di Oculus, anak perusahaan Facebook (yang kemudian berganti nama menjadi Meta), dan memimpin tim untuk meluncurkan produk seperti Ouclus Go dan Quest.
Namun dalam proses tersebut lambat laun timbul konflik dan perselisihan antara dirinya dengan manajemen perusahaan, ia menilai efisiensi internal perusahaan rendah, dan ia juga secara terbuka menyatakan ketidakpuasannya.
Pada tahun 2019, ia mengundurkan diri dari posisinya sebagai CTO Oculus dan menjadi "CTO penasihat", dan mulai mengalihkan lebih banyak energi ke AI.
Pada Agustus 2022, ia mengumumkan bahwa startup AI baru Keen Technologies mengumumkan pendanaan sebesar US$20 juta, yang investornya termasuk Sequoia Capital, mantan CEO GitHub Nat Friedman, dan lainnya.
Belakangan, ia juga mengungkapkan kalau sebenarnya ia bisa menghasilkan uang hanya dengan US$20 juta.
Namun menerima uang dari orang lain dapat memberinya perasaan krisis dan urgensi, serta tekad yang lebih kuat untuk menyelesaikan sesuatu.
Di penghujung tahun 2022, ia resmi meninggalkan Meta dan menganggap VR sebagai tahapan kehidupan yang telah berlalu, lalu beralih sepenuhnya ke AI.
Selain jalur utama yang jelas ini, Carmack dan AI juga memiliki nasib yang tidak dapat dijelaskan.
Game 3D miliknya pada saat itu merangsang permintaan akan komputasi grafis, dan GPU mulai berkembang dan berkembang di bidang game.
Saat ini, kekuatan komputasi GPU-lah yang mendukung ledakan AI, dan ia tetap bangga atas kontribusinya ketika membicarakan hal tersebut.
......
Protagonis lainnya saat ini Sutton juga seorang legenda.
Ia dikenal sebagai bapak pembelajaran penguatan dan telah memberikan kontribusi penting pada metode seperti pembelajaran perbedaan waktu penguatan dan gradien kebijakan. Ia juga merupakan salah satu penulis buku teks standar tentang pembelajaran penguatan.
Dia bergabung dengan DeepMind sebagai ilmuwan terkemuka dan berpartisipasi dalam rangkaian penelitian AlphaGo pada tahun 2017. Muridnya David Silver adalah salah satu pemimpin utama AlphaGo.
Sutton menulis artikel pendek terkenal The Bitter Lesson, dengan alasan bahwa mencoba mengajarkan pengalaman manusia ke AI tidak akan berhasil. Semua terobosan sejauh ini mengandalkan peningkatan dalam daya komputasi. Adalah benar untuk terus memanfaatkan skala tersebut. pengaruh daya komputasi.cara.
Sebelum keduanya berkomunikasi secara resmi, Carmack sempat menyatakan keprihatinan dan persetujuannya terhadap artikel tersebut.
Namun komunikasi langsung yang sebenarnya antara keduanya dilakukan oleh Sutton.
Beberapa bulan lalu, setelah Carmack mengumumkan pendanaan untuk AGI Ventures, dia menerima email dari Sutton.
Sutton ingin bertanya kepadanya apakah jalur penelitiannya harus murni akademis, komersial, atau nirlaba.
Namun, dalam pertukaran email berikutnya, keduanya menemukan adanya konsistensi yang mengejutkan dalam arah dan konsep penelitian AI, dan secara bertahap menjalin hubungan kerja sama.
Secara khusus, keduanya mencapai 4 konsensus:
Mereka semua percaya bahwa perkembangan AGI saat ini terbatas pada beberapa arah yang sangat sempit, terlalu mengandalkan data besar dan daya komputasi yang besar serta mengabaikan inovasi.
Semua orang percaya bahwa komersialisasi yang terlalu dini akan menghambat pengembangan AGI
Mereka semua percaya bahwa AGI akhir tidak akan terlalu rumit, dan satu orang dapat menguasai semua prinsip, dan bahkan satu orang dapat menulis kode utama.
Semua orang percaya bahwa kemunculan prototipe AGI pada tahun 2030 adalah tujuan yang layak.
Tidak hanya mengandalkan model besar, tim kecil juga punya peluang
Sebuah tujuan yang sangat berani, dan penonton juga berpikir demikian.
Dihadapkan pada pertanyaan "Bagaimana sebuah tim kecil dapat mencapai tujuan ambisius seperti itu?", Carmack percaya bahwa jumlah data dan daya komputasi yang dibutuhkan untuk mencapai AGI mungkin tidak sebesar yang dibayangkan.
Abadikan apa yang dilihat mata manusia selama setahun penuh ke dalam video dengan kecepatan 30 frame per detik, yang dapat dipasang pada flash drive USB seukuran ibu jari.
Seorang anak berusia 1 tahun hanya memiliki begitu banyak data pengalaman dan sudah menunjukkan kecerdasan yang jelas.
Jika algoritmenya benar, AGI tidak perlu menggunakan seluruh data Internet untuk mempelajarinya.
Mengenai kebutuhan daya komputasi, ia juga menggunakan pemikiran intuitif semacam ini untuk mempertimbangkan: daya komputasi otak manusia juga terbatas, jauh dari mencapai tingkat cluster daya komputasi yang besar.
Lebih besar dari node server (node) dan lebih besar dari kabinet (rak), tetapi maksimumnya hanya satu urutan besarnya lebih tinggi.
Dan seiring berjalannya waktu, algoritma akan menjadi lebih efisien dan daya komputasi yang dibutuhkan akan terus berkurang.
Jika karya Carmack dalam game 3D, roket, dan VR, bidang pekerjaan yang tampaknya tidak terkait ini, memiliki kesamaan, ini adalah optimalisasi sistem umpan balik real-time berskala besar.
Hal inilah yang dicari Sam Altman saat mengajaknya bergabung dengan OpenAI.
Arsitektur AGI yang dia bayangkan harus modular dan terdistribusi daripada model terpusat yang besar.
Pembelajaran juga harus berupa pembelajaran online berkelanjutan, bukan pra-pelatihan saat ini yang sebagian besar parameternya tidak lagi diperbarui.
Intinya adalah jika suatu sistem tidak dapat berjalan pada 30hz, yang diperbarui setiap 33 milidetik atau lebih selama pelatihan, saya tidak akan menggunakannya.
Dia lebih lanjut mengatakan bahwa sebagai pemrogram sistem tingkat rendah yang dapat menulis kode Cuda asli dan mengelola komunikasi jaringan sendiri, dia mungkin dapat melakukan beberapa pekerjaan yang tidak dipertimbangkan sama sekali oleh orang lain.
Ini bahkan tidak terbatas pada kerangka pembelajaran mendalam yang ada, tetapi akan mencoba arsitektur jaringan dan metode komputasi yang lebih efisien.
Tujuan keseluruhannya adalah untuk mensimulasikan agen virtual dengan motivasi intrinsik dan kemampuan belajar berkelanjutan untuk terus belajar dalam lingkungan virtual.
Bukan robot, karena pengalamannya membuat roket membuatnya berpikir bahwa semakin sedikit benda fisik yang harus ia tangani, semakin baik**.
Dibandingkan dengan Carmack yang baru terlibat di AGI belum lama ini, Sutton telah menghabiskan waktu puluhan tahun untuk menangani masalah ini dan memiliki rencana penelitian yang lebih spesifik.
Meski tidak banyak yang dibicarakan pada acara ini, namun bagian utamanya telah ditulis dalam makalah arXiv dalam bentuk "Project Alberta".
Project Alberta mengusulkan kerangka kerja agen terpadu yang menekankan pengalaman universal daripada rangkaian pelatihan spesifik, berfokus pada konsistensi temporal, memprioritaskan metode yang dapat menghasilkan efek skala dengan kekuatan komputasi, dan interaksi multi-agen.
Peta jalan 12 langkah juga telah diusulkan.
Enam langkah pertama berfokus pada perancangan metode pembelajaran berkelanjutan tanpa model, dan enam langkah terakhir memperkenalkan model dan perencanaan lingkungan.
Langkah terakhir disebut Intelligence Amplification (Intelligence Amplification). Seorang agen dapat menggunakan pengetahuan yang telah dipelajarinya untuk memperkuat dan meningkatkan tindakan, persepsi, dan kognisi agen lain berdasarkan beberapa prinsip umum.
Sutton melihat peningkatan semacam ini sebagai bagian penting dalam mewujudkan potensi penuh dari kecerdasan buatan.
Dalam proses ini, sangat penting namun juga sangat sulit untuk menentukan indikator untuk mengevaluasi kemajuan AI, dan tim sedang menjajaki perkembangan yang berbeda.
Selain itu, Carmack selalu mendukung open source, namun mengenai masalah AGI, dia mengatakan bahwa dia akan menjaga tingkat keterbukaan tertentu, namun tidak akan mengungkapkan semua detail algoritma**.
Sebagai tim kecil, Carmack percaya bahwa kita perlu mempertahankan semangat kepeloporan dan fokus pada pembangunan jangka panjang daripada kepentingan jangka pendek.
Komersialisasi tidak akan dianggap prematur, dan tidak ada bentuk peralihan yang dapat dirilis ke publik seperti ChatGPT.
Terkait apa yang bisa dicapai di tahun 2030, Carmack meyakini "ada AGI yang bisa didemonstrasikan ke publik", pernyataan Sutton adalah "Prototipe AI bisa menunjukkan tanda-tanda kehidupan (signs of life)".
2030 menjadi simpul kunci
Ini bukan pertama kalinya 2030 dan AGI muncul bersamaan.
Tim AI terkemuka dengan suara bulat menganggap tahun 2030 sebagai titik kunci untuk mencapai AGI.
Misalnya, OpenAI, dalam pengumumannya untuk mencurahkan 20% dari total daya komputasinya untuk membentuk departemen penyelarasan super-kecerdasan, menyatakan bahwa kami yakin bahwa kecerdasan super akan tiba pada dekade ini.
Bahkan komunitas investasi pun memiliki pandangan serupa, Masayoshi Son baru saja mempresentasikan PPT tersebut di SoftBank World Corporate Conference.
Selain OpenAI dan Keen Technologies, tidak banyak organisasi yang berupaya mengembangkan AGI.
Pesaing terbesar OpenAI, Anthropic, yang baru saja mengumpulkan pendanaan sebesar $4 miliar, CEO OpenAI Dario Amodei menyebutkan dalam sebuah wawancara baru-baru ini bahwa AI dapat berperilaku seperti manusia yang terpelajar dalam dua atau tiga tahun.
Ketika penulis Transformer, Vaswani dan Palmer meninggalkan Google, mereka mendirikan AdeptAI dengan tujuan menciptakan kecerdasan umum.
Namun, keduanya tiba-tiba meninggalkan perusahaan awal tahun ini, hanya menyisakan satu pendiri, David Luan (paling kanan).
Kedua penulis Transformer juga mendirikan Essential AI.Visi perusahaan ini tidak terlalu "menatap bintang" dan merupakan komersialisasi model besar yang lebih pragmatis.
Tidak banyak juga pemain dalam negeri yang secara jelas menyatakan tujuan AGI, yang utama adalah MiniMax dan Dark Side of the Moon yang baru didirikan oleh Yang Zhilin.
Tautan referensi:
[1]
[2]
[3]
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Bapak pembelajaran penguatan bergabung dengan AGI untuk memulai bisnis! Bekerja sama dengan programmer legendaris Carmack, kami tidak bergantung pada model besar
Sumber asli: Qubit
Programmer legendaris John Carmack bergabung dengan Richard Sutton, bapak pembelajaran penguatan, untuk menciptakan All in AGI.
Dan tidak seperti metode umum, metode ini tidak bergantung pada paradigma model besar dan menerapkan pembelajaran online waktu nyata.
Sutton akan bergabung dengan startup AI milik Carmack, Keen Technologies, sambil mempertahankan posisi mengajarnya di Alberta.
Kedua pria tersebut mengakui pada acara tersebut bahwa tim Keen Technologies tergolong kecil dibandingkan dengan perusahaan besar yang memiliki ratusan atau ribuan karyawan.
Ini masih dalam tahap awal, dan seluruh tim teknis perusahaan sudah siap—
Hanya 4 orang ini yang berdiri.
Namun mereka percaya bahwa kode sumber akhir AGI akan sesuai urutan yang dapat ditulis oleh satu orang, dan mungkin hanya memiliki puluhan ribu baris.
Terlebih lagi, bidang AI saat ini berada pada momen spesial dengan efek leverage terbesar, dan tim kecil juga memiliki peluang untuk memberikan kontribusi besar.
Programmer Legendaris dan Bapak Pembelajaran Penguatan
Pengalaman legendaris Carmack, mulai dari mengembangkan game 3D pertama di dunia, transisi ke pembuatan roket, hingga bergabung dengan Oculus dan menjadi tokoh kunci di Meta VR selanjutnya, sudah sangat dikenal.
Kemudian, dia terlibat dengan AI dan juga terkait dengan OpenAI.
Dia pernah mengungkapkan dalam wawancara lain bahwa Sam Altman telah mengundangnya untuk bergabung dengan OpenAI dan percaya bahwa dia dapat memainkan peran penting dalam optimalisasi sistem.
Namun Carmack yakin bahwa dia tidak memiliki pemahaman apa pun tentang AI modern dalam paradigma pembelajaran mesin pada saat itu, jadi dia tidak setuju.
Ini menjadi peluang baginya untuk mulai memahami AI.
Ketika dia memiliki waktu luang dan berencana untuk terus terlibat dalam pembelajaran mendalam, dia datang dengan tantangan pemrograman satu minggu:
Cetak beberapa makalah klasik LeCun dan praktikkan saat jaringan terputus, dimulai dengan rumus propagasi mundur.
Setelah seminggu berlalu, dia mengakhiri retretnya dengan jaringan saraf konvolusional buatan tangan dalam C++, tanpa bantuan kerangka pembelajaran mendalam modern dengan Python.
Yang bisa saya katakan hanyalah saya mengagumi guru besar itu.
Namun dalam proses tersebut lambat laun timbul konflik dan perselisihan antara dirinya dengan manajemen perusahaan, ia menilai efisiensi internal perusahaan rendah, dan ia juga secara terbuka menyatakan ketidakpuasannya.
Pada Agustus 2022, ia mengumumkan bahwa startup AI baru Keen Technologies mengumumkan pendanaan sebesar US$20 juta, yang investornya termasuk Sequoia Capital, mantan CEO GitHub Nat Friedman, dan lainnya.
Belakangan, ia juga mengungkapkan kalau sebenarnya ia bisa menghasilkan uang hanya dengan US$20 juta.
Namun menerima uang dari orang lain dapat memberinya perasaan krisis dan urgensi, serta tekad yang lebih kuat untuk menyelesaikan sesuatu.
Game 3D miliknya pada saat itu merangsang permintaan akan komputasi grafis, dan GPU mulai berkembang dan berkembang di bidang game.
Saat ini, kekuatan komputasi GPU-lah yang mendukung ledakan AI, dan ia tetap bangga atas kontribusinya ketika membicarakan hal tersebut.
......
Protagonis lainnya saat ini Sutton juga seorang legenda.
Ia dikenal sebagai bapak pembelajaran penguatan dan telah memberikan kontribusi penting pada metode seperti pembelajaran perbedaan waktu penguatan dan gradien kebijakan. Ia juga merupakan salah satu penulis buku teks standar tentang pembelajaran penguatan.
Dia bergabung dengan DeepMind sebagai ilmuwan terkemuka dan berpartisipasi dalam rangkaian penelitian AlphaGo pada tahun 2017. Muridnya David Silver adalah salah satu pemimpin utama AlphaGo.
Sebelum keduanya berkomunikasi secara resmi, Carmack sempat menyatakan keprihatinan dan persetujuannya terhadap artikel tersebut.
Beberapa bulan lalu, setelah Carmack mengumumkan pendanaan untuk AGI Ventures, dia menerima email dari Sutton.
Sutton ingin bertanya kepadanya apakah jalur penelitiannya harus murni akademis, komersial, atau nirlaba.
Namun, dalam pertukaran email berikutnya, keduanya menemukan adanya konsistensi yang mengejutkan dalam arah dan konsep penelitian AI, dan secara bertahap menjalin hubungan kerja sama.
Secara khusus, keduanya mencapai 4 konsensus:
Tidak hanya mengandalkan model besar, tim kecil juga punya peluang
Sebuah tujuan yang sangat berani, dan penonton juga berpikir demikian.
Dihadapkan pada pertanyaan "Bagaimana sebuah tim kecil dapat mencapai tujuan ambisius seperti itu?", Carmack percaya bahwa jumlah data dan daya komputasi yang dibutuhkan untuk mencapai AGI mungkin tidak sebesar yang dibayangkan.
Mengenai kebutuhan daya komputasi, ia juga menggunakan pemikiran intuitif semacam ini untuk mempertimbangkan: daya komputasi otak manusia juga terbatas, jauh dari mencapai tingkat cluster daya komputasi yang besar.
Dan seiring berjalannya waktu, algoritma akan menjadi lebih efisien dan daya komputasi yang dibutuhkan akan terus berkurang.
Hal inilah yang dicari Sam Altman saat mengajaknya bergabung dengan OpenAI.
Arsitektur AGI yang dia bayangkan harus modular dan terdistribusi daripada model terpusat yang besar.
Pembelajaran juga harus berupa pembelajaran online berkelanjutan, bukan pra-pelatihan saat ini yang sebagian besar parameternya tidak lagi diperbarui.
Dia lebih lanjut mengatakan bahwa sebagai pemrogram sistem tingkat rendah yang dapat menulis kode Cuda asli dan mengelola komunikasi jaringan sendiri, dia mungkin dapat melakukan beberapa pekerjaan yang tidak dipertimbangkan sama sekali oleh orang lain.
Ini bahkan tidak terbatas pada kerangka pembelajaran mendalam yang ada, tetapi akan mencoba arsitektur jaringan dan metode komputasi yang lebih efisien.
Tujuan keseluruhannya adalah untuk mensimulasikan agen virtual dengan motivasi intrinsik dan kemampuan belajar berkelanjutan untuk terus belajar dalam lingkungan virtual.
Bukan robot, karena pengalamannya membuat roket membuatnya berpikir bahwa semakin sedikit benda fisik yang harus ia tangani, semakin baik**.
Meski tidak banyak yang dibicarakan pada acara ini, namun bagian utamanya telah ditulis dalam makalah arXiv dalam bentuk "Project Alberta".
Peta jalan 12 langkah juga telah diusulkan.
Enam langkah pertama berfokus pada perancangan metode pembelajaran berkelanjutan tanpa model, dan enam langkah terakhir memperkenalkan model dan perencanaan lingkungan.
Sutton melihat peningkatan semacam ini sebagai bagian penting dalam mewujudkan potensi penuh dari kecerdasan buatan.
Dalam proses ini, sangat penting namun juga sangat sulit untuk menentukan indikator untuk mengevaluasi kemajuan AI, dan tim sedang menjajaki perkembangan yang berbeda.
Selain itu, Carmack selalu mendukung open source, namun mengenai masalah AGI, dia mengatakan bahwa dia akan menjaga tingkat keterbukaan tertentu, namun tidak akan mengungkapkan semua detail algoritma**.
Sebagai tim kecil, Carmack percaya bahwa kita perlu mempertahankan semangat kepeloporan dan fokus pada pembangunan jangka panjang daripada kepentingan jangka pendek.
Komersialisasi tidak akan dianggap prematur, dan tidak ada bentuk peralihan yang dapat dirilis ke publik seperti ChatGPT.
Terkait apa yang bisa dicapai di tahun 2030, Carmack meyakini "ada AGI yang bisa didemonstrasikan ke publik", pernyataan Sutton adalah "Prototipe AI bisa menunjukkan tanda-tanda kehidupan (signs of life)".
2030 menjadi simpul kunci
Ini bukan pertama kalinya 2030 dan AGI muncul bersamaan.
Tim AI terkemuka dengan suara bulat menganggap tahun 2030 sebagai titik kunci untuk mencapai AGI.
Misalnya, OpenAI, dalam pengumumannya untuk mencurahkan 20% dari total daya komputasinya untuk membentuk departemen penyelarasan super-kecerdasan, menyatakan bahwa kami yakin bahwa kecerdasan super akan tiba pada dekade ini.
Pesaing terbesar OpenAI, Anthropic, yang baru saja mengumpulkan pendanaan sebesar $4 miliar, CEO OpenAI Dario Amodei menyebutkan dalam sebuah wawancara baru-baru ini bahwa AI dapat berperilaku seperti manusia yang terpelajar dalam dua atau tiga tahun.
Namun, keduanya tiba-tiba meninggalkan perusahaan awal tahun ini, hanya menyisakan satu pendiri, David Luan (paling kanan).
Tidak banyak juga pemain dalam negeri yang secara jelas menyatakan tujuan AGI, yang utama adalah MiniMax dan Dark Side of the Moon yang baru didirikan oleh Yang Zhilin.
Tautan referensi: [1] [2] [3]