Setelah OpenAI merilis ChatGPT pada akhir tahun 2022, pemahaman bidang investasi terhadap bidang kecerdasan buatan semakin mendalam. Rantai industri kecerdasan buatan secara kasar dapat dibagi menjadi penyedia teknologi inti, sistem kecerdasan buatan, dan pengguna kecerdasan buatan. Dilihat dari persepsi umum investor global, semua orang kini menyadari bahwa kecerdasan buatan kemungkinan besar akan menjadi jalur investasi untuk jangka waktu yang lama di masa depan, serupa dengan komputer 30 tahun lalu, atau Internet 20 tahun lalu. Dan di masa depan, penerapannya sudah menjadi kenyataan.
Untuk memahami investasi di bidang-bidang yang terbagi, kita perlu selalu belajar dari investor di industri tersebut. Pemodal ventura terkenal A16Z terus membuat taruhan besar di bidang kecerdasan buatan. Baru-baru ini mereka berbincang dengan CTO OpenAI, Mira Murati. Dia berbagi kisah di balik ChatGPT dan masa depan kecerdasan buatan serta interaksi manusia-komputer.
Ringkasan
ChatGPT berawal dari pemikiran tentang cara membuat sistem kecerdasan buatan yang aman yang menggunakan umpan balik manusia untuk pembelajaran penguatan.
OpenAI mendefinisikan ulang cara orang berinteraksi dengan informasi digital, menjadi asisten seperti mitra, dan terus meningkatkan konsistensi dan keamanan sistem kecerdasan buatan. Melalui situasi produksi, mendapatkan masukan dari pengguna di dunia nyata lebih dari sekadar duduk di lab.
ChatGPT menambahkan gambar, video, dan lainnya berdasarkan teks. Hal ini memungkinkan model memberikan gambaran yang lebih lengkap tentang dunia di sekitar kita, serupa dengan cara kita memahami dan mengamati dunia.
Meskipun tidak akan ada satu model pun yang bisa menguasai dunia di masa depan, karena pada akhirnya manusia akan mencari alat yang paling sesuai dengan kebutuhannya.
Latar Belakang #Mira Murati
Mira lahir di Albania, tepat setelah komunisme berakhir. Albania pada masa itu sangat mirip dengan Korea Utara saat ini. Di era yang terus berubah dan penuh ketidakpastian, pendidikan memegang kunci segalanya. Apalagi selain buku, hiburan saat itu masih sedikit. Saat itu Mira sedang mencari jawabannya di buku. Mira lebih menyukai kebenaran-kebenaran dalam sains yang stabil dan dapat dipelajari secara mendalam. Dan sumber mata pelajaran humaniora seperti sejarah dan sosiologi patut dipertanyakan karena sejarah terus berubah. Jadi, Mira dibesarkan dengan kecenderungan intuitif dan alami terhadap sains dan matematika. Pada dasarnya Mira masih mendalami matematika di Open AI.
Karena prestasi akademisnya yang luar biasa, Mira mendapat beasiswa dan menyelesaikan dua tahun terakhir sekolah menengahnya di Kanada.
Di perguruan tinggi, Mira mempelajari teknik mesin karena dia yakin itu adalah cara terbaik untuk menerapkan pengetahuan pada masalah dunia nyata. Saat itu, Mira sangat tertarik dengan cara menghadirkan transportasi berkelanjutan dan energi berkelanjutan ke dunia. Proyek kelulusannya saat itu adalah membuat mobil balap hybrid menggunakan superkapasitor.
Segera setelah itu, Mira bergabung dengan Tesla dan berpartisipasi dalam pengerjaan motor ganda Model S. Dia bekerja dengan Model X sejak awal desain awalnya dan akhirnya memimpin peluncuran keseluruhan proyek.
Bekerja di Tesla pulalah yang membuat Mira sangat tertarik dengan penerapan kecerdasan buatan, khususnya self-driving. Karena dapat menggunakan AI dan visi komputer untuk merevolusi perjalanan. Dia mulai memikirkan lebih banyak tentang berbagai penerapan kecerdasan buatan. Jadi Mira menjadi semakin tertarik pada AI dan perubahan yang bisa dilakukannya di dunia.
Secara khusus, dia sangat ingin tahu tentang bagaimana AI mempengaruhi interaksi manusia-komputer dan cara orang berinteraksi dengan informasi secara umum, dan sangat tertarik pada komputasi spasial. Setelah itu, ia bergabung dengan Leap Motion, sebuah perusahaan teknologi kulit hitam, sebagai wakil presiden produk dan teknik. Pengalaman inilah yang semakin memperkuat kemampuan produksinya.
(Omong-omong, pendiri Leap Motion, David Holz, mendirikan aplikasi kecerdasan buatan populer lainnya, Midjourney, setelah menjual Leap Motion).
Pada tahun 2018, Mira bergabung dengan OpenAI. Saat itulah dia mulai memikirkan lebih lanjut tentang apa yang akan terjadi jika dia hanya berfokus pada keserbagunaan.
Selain itu, dari pembahasan Mira tentang metode penelitian, kita dapat melihat semangat eksplorasinya terhadap inovasi teknologi di lingkungan yang tidak pasti:
Terkadang Anda tidur siang dan bangun dengan ide-ide baru. Selama beberapa hari atau minggu, Anda akan sampai pada solusi akhir. Ini bukan pengembalian yang cepat, juga tidak berulang-ulang.
Hampir seperti cara berpikir yang berbeda, Anda membangun intuisi, tetapi juga memiliki disiplin untuk mendekati masalah dan memercayai diri sendiri untuk menyelesaikannya. Seiring waktu, Anda akan mengembangkan intuisi tentang masalah apa yang benar-benar perlu diselesaikan.
Ringkasan percakapan
Pemodal ventura terkenal A16Z telah membuat taruhan besar di bidang kecerdasan buatan. Petikan berikut merupakan petikan perbincangan antara Martin, fund manager A16Z, dan Mira. Mira berbagi kisah di balik ChatGPT dan masa depan kecerdasan buatan serta interaksi manusia-komputer. Kita juga bisa melihat bahwa Mira yang berlatar belakang manajer produk sangat memperhatikan penerapan produk.
MARTIN: Apakah menurut Anda saat ini ini lebih merupakan masalah sistem atau masalah teknik?
Mira: Keduanya. Masalah sistem dan teknik sangatlah besar, dan kami menerapkan teknologi ini serta mencoba untuk meningkatkannya, menjadikannya lebih efisien, dan membuatnya mudah diakses. Artinya Anda tidak perlu mengetahui seluk-beluk ML untuk menggunakannya.
Faktanya, kita dapat melihat perbedaan antara menyediakan model ini melalui API dan menyediakan teknologi melalui ChatGPT. Pada dasarnya teknologi ini sama, dengan satu kemungkinan pengecualian: ChatGPT memiliki pembelajaran penguatan dan kemampuan umpan balik manusia. Artinya, respons dan kemampuan menangkap imajinasi masyarakat dan memungkinkan mereka menggunakan teknologi ini setiap hari sangatlah berbeda.
antarmuka bahasa alami
Martin: Menurut saya, ChatGPT API adalah hal yang sangat menarik. Setiap kali saya menggunakan model ini dalam program saya, saya selalu merasa seperti sedang membungkus superkomputer dalam sempoa. Kadang-kadang saya berkata, "Saya akan memberi model itu sebuah keyboard dan mouse dan membiarkannya melakukan pemrograman." API-nya dalam bahasa Inggris dan saya akan memberi tahu apa yang harus dilakukan dan ia akan melakukan semua pemrograman. Saya penasaran, ketika Anda mendesain sesuatu seperti ChatGPT, apakah menurut Anda seiring waktu antarmuka sebenarnya akan menjadi bahasa alami, atau menurut Anda program masih memiliki peran besar?
Mira: Pemrograman menjadi kurang abstrak di ChatGPT, dan kita dapat berbicara dengan komputer menggunakan bahasa alami dengan bandwidth tinggi. Namun mungkin faktor lainnya adalah bahwa teknologi ini membantu kita memahami cara bekerja dengannya, bukan memprogramnya. Lapisan pemrograman menjadi lebih mudah dan mudah diakses karena Anda dapat memprogram dalam bahasa alami. Namun sisi lain yang kami lihat dengan ChatGPT adalah Anda benar-benar dapat bekerja dengan model seperti mitra atau kolega.
MARTIN: Menarik untuk melihat apa yang terjadi seiring berjalannya waktu. Anda telah memutuskan untuk memiliki API di ChatGTP, tetapi sebagai kolega, Anda tidak memiliki API. Anda sedang berbicara dengan seorang kolega. Seiring waktu, hal-hal ini dapat berkembang menjadi bahasa alami. Atau apakah menurut Anda selalu ada komponen dalam sistem yang merupakan mesin negara terbatas, atau komputer tradisional?
Mira: Saat ini, ada titik kritis di mana kita mendefinisikan ulang cara kita berinteraksi dengan informasi digital, dan hal itu dilakukan dalam bentuk sistem kecerdasan buatan. Mungkin kita mempunyai beberapa sistem AI, mungkin semuanya mempunyai kemampuan yang berbeda-beda. Mungkin kita mempunyai sistem universal yang mengikuti kita ke mana pun, mengetahui latar belakang saya, apa yang saya lakukan hari ini, apa tujuan hidup dan pekerjaan saya, membantu saya melewati masa-masa sulit, membimbing saya, dll. Seperti yang dapat Anda bayangkan, ini sangat ampuh.
Sekarang, kita berada pada titik perubahan dalam mendefinisikan ulang hal tersebut. Kami tidak tahu seperti apa masa depan nanti, dan kami bekerja keras untuk membuat alat dan teknik ini tersedia bagi banyak orang sehingga mereka dapat bereksperimen dan kami dapat melihat apa yang terjadi. Ini adalah strategi yang kami gunakan sejak awal.
Pada ChatGPT minggu sebelumnya, kami khawatir itu tidak cukup baik. Kami semua melihat apa yang terjadi. Kami menyebarkannya, dan orang-orang mengatakan kepada kami bahwa alat ini berhasil menemukan kasus-kasus baru dengan sangat baik. Itulah yang terjadi jika Anda membuat hal-hal ini dapat diakses dan digunakan, dan Anda memudahkan semua orang untuk menggunakannya.
Peta Jalan Pengembangan OpenAI
MARTIN: Terkait kecerdasan buatan, orang belum tahu cara berpikirnya. Harus ada panduan, Anda harus membuat beberapa pilihan. Anda berada di OpenAI, dan Anda harus memutuskan apa yang harus dilakukan selanjutnya. Jika Anda bisa menjalani proses pengambilan keputusan ini: Bagaimana Anda memutuskan apa yang harus dilakukan, apa yang harus difokuskan, apa yang harus dilepaskan, atau bagaimana memposisikan diri Anda?
Mira: Jika Anda memikirkan bagaimana ChatGPT muncul, itu bukanlah produk yang ingin kami luncurkan. Faktanya, akar sebenarnya sudah ada sejak lebih dari 5 tahun yang lalu, ketika kita memikirkan tentang cara membuat sistem kecerdasan buatan yang aman. Anda tidak perlu ingin manusia benar-benar menulis fungsi tujuan, karena Anda tidak ingin ada pengganti fungsi tujuan kompleks yang melakukannya, atau Anda tidak ingin membuat kesalahan karena hal itu bisa sangat berbahaya.
Di sinilah pembelajaran penguatan menggunakan umpan balik manusia berperan. Apa yang sebenarnya ingin kami capai adalah menyelaraskan sistem AI dengan nilai-nilai kemanusiaan dan memungkinkannya menerima masukan dari manusia. Berdasarkan umpan balik manusia, mereka cenderung melakukan hal yang benar dan kecil kemungkinannya untuk melakukan sesuatu yang tidak ingin mereka lakukan. Kemudian, setelah kami mengembangkan GPT-3 dan merilisnya di API, inilah pertama kalinya kami menerapkan penelitian keamanan kami ke dunia nyata. Hal ini dicapai melalui model mengikuti instruksi.
Kami menggunakan pendekatan ini untuk mengambil petunjuk dari pelanggan yang menggunakan API, dan kemudian kami meminta kontraktor memberikan masukan agar model dapat dipelajari. Kami menyempurnakan model berdasarkan data ini dan membuat model yang mengikuti instruksi. Mereka lebih cenderung mengikuti maksud pengguna dan melakukan apa yang sebenarnya Anda inginkan. Hal ini sangat berguna karena keselamatan AI bukan sekadar konsep teoretis yang Anda duduki dan bicarakan. Hal ini sebenarnya menjadi: Kita sekarang memasuki era sistem keamanan kecerdasan buatan, bagaimana Anda mengintegrasikannya ke dalam dunia nyata?
Jelasnya, dalam model bahasa besar kita melihat representasi konsep dan ide dunia nyata yang luar biasa. Namun dari segi output, banyak kendala. Salah satu masalah terbesar tentu saja adalah halusinasi. Kami telah menangani masalah ilusi dan keaslian. Bagaimana Anda membuat model ini mengekspresikan ketidakpastian?
Pendahulu ChatGPT sebenarnya adalah proyek lain yang kami sebut WebGPT, yang menggunakan pengambilan untuk mendapatkan informasi dan mengutip sumber. Proyek ini akhirnya menjadi ChatGPT karena menurut kami percakapan itu istimewa. Ini memungkinkan Anda mengajukan pertanyaan, mengoreksi orang lain, dan mengungkapkan ketidakpastian.
MARTIN: Kesalahan terus-menerus ditemukan karena Anda berinteraksi...
Mira: Ya, dengan interaksi seperti ini, Anda bisa memahami kebenaran yang lebih dalam. Kami mulai menuju ke arah ini, dan saat itu kami melakukannya dengan GPT-3 dan GPT-3.5. Dari sudut pandang keamanan, kami sangat gembira dengan hal ini. Namun satu hal yang dilupakan orang adalah saat ini kami telah melatih GPT-4. Di OpenAI, kami sangat antusias dengan GPT-4 dan memiliki ChatGPT di kaca spion. Kemudian kami menyadari, "Kami akan menghabiskan waktu enam bulan untuk fokus pada penyelarasan dan keselamatan GPT-4," dan kami mulai memikirkan apa yang dapat kami lakukan. Salah satu hal utama adalah menyerahkan ChatGPT ke tangan para peneliti dan mereka dapat memberi kami masukan sekarang karena kami memiliki model percakapan ini. Tujuan awalnya adalah mendapatkan masukan dari peneliti dan menggunakannya untuk menjadikan GPT-4 lebih konsisten, aman, tangguh, dan andal.
MARTIN: Ketika Anda mengatakan konsistensi dan keamanan, apakah Anda benar jika mengatakan bahwa mereka melakukan apa pun yang diinginkannya? Atau maksud Anda aman, sebenarnya melindungi diri Anda dari bahaya?
Mira: Yang saya maksud dengan konsisten adalah bahwa ini sesuai dengan maksud pengguna, jadi ia melakukan apa yang Anda inginkan. Namun keamanan juga mencakup hal-hal lain, seperti penyalahgunaan, di mana pengguna dengan sengaja mencoba menggunakan suatu model untuk menghasilkan keluaran yang berbahaya. Dengan ChatGPT, kami sebenarnya mencoba membuat model lebih mungkin melakukan apa yang Anda inginkan, sehingga lebih konsisten. Kami juga ingin mengetahui masalah halusinasi, yang jelas merupakan masalah yang sangat sulit.
Saya pikir pendekatan ini menggunakan umpan balik manusia untuk pembelajaran penguatan, jika kita mencoba melakukan itu, mungkin itulah yang kita butuhkan.
MARTIN: Jadi, tidak ada rencana besar? Apa yang perlu kita lakukan untuk mencapai AGI? Ini hanya masalah mengambil langkah demi langkah.
Mira: Ya. Dan semua keputusan kecil yang Anda buat selama ini. Mungkin hal ini lebih mungkin terjadi karena kami memang mengambil keputusan strategis beberapa tahun lalu untuk mengejar produk tersebut. Kami melakukan ini karena kami yakin tidak mungkin hanya duduk di laboratorium dan mengembangkan hal-hal ini dalam ruang hampa tanpa masukan dari pengguna di dunia nyata. Itulah asumsinya. Saya rasa hal ini membantu kami mengambil beberapa keputusan dan membangun infrastruktur dasar sehingga pada akhirnya kami dapat menerapkan sesuatu seperti ChatGPT.
Hukum Proporsi
MARTIN: Anda bisa mengulangi hukum proporsi. Saya pikir ini adalah masalah besar yang dimiliki setiap orang. Laju kemajuannya sungguh mencengangkan. Namun sejarah kecerdasan buatan tampaknya menunjukkan bahwa pada titik tertentu Anda akan mendapatkan hasil yang semakin berkurang, dan ini bukan parameter parametrik. Ini agak mengecil. Dari sudut pandang Anda (yang mungkin merupakan perspektif paling bijaksana di seluruh industri), apakah menurut Anda hukum penskalaan akan berlaku dan kita akan terus melihat kemajuan, atau menurut Anda kita sedang menuju ke arah keuntungan yang semakin berkurang?
Mira: Tidak ada bukti bahwa jika kami terus memperluas model ke seluruh data dan komputasi, kami tidak akan mendapatkan model yang lebih baik dan lebih kuat. Apakah ini akan mencapai AGI (Artificial General Intelligence) adalah pertanyaan yang berbeda. Dalam proses ini, mungkin diperlukan beberapa terobosan dan kemajuan lain. Untuk benar-benar mendapatkan banyak manfaat dari model yang lebih besar ini, jalan hukum penskalaan masih panjang.
MARTIN: Bagaimana Anda mendefinisikan AGI?
Mira: Dalam piagam OpenAI kami. Kami mendefinisikannya sebagai sistem komputer yang dapat menyelesaikan sebagian besar pekerjaan intelektual secara mandiri.
Martin: Saya sedang makan siang, dan Robert Nishihara dari Anyscale ada di sana. Dia menanyakan apa yang saya sebut pertanyaan Robert Nishihara. Menurut saya itu sebenarnya karakterisasi yang cukup bagus. Dia berkata, "Ada sebuah kontinum antara komputer dan Einstein. Anda beralih dari komputer ke kucing, dari kucing ke manusia biasa, dan dari manusia biasa ke Einstein." Kemudian dia mengajukan pertanyaan, "Kita berada di sebuah kontinum. Lokasi? Apa masalah akan terselesaikan?”
Semua orang setuju bahwa kita tahu bagaimana caranya berubah dari kucing menjadi manusia. Kita tidak tahu bagaimana cara berpindah dari komputer ke kucing karena ini adalah masalah persepsi universal. Kita sudah dekat, tapi kita belum sampai di sana, dan kita belum benar-benar tahu bagaimana melakukan Einstein, dan itu adalah sebuah logika yang masuk akal.
Mira: Anda bisa mendapatkan banyak hal dengan penyesuaian, tetapi secara keseluruhan, menurut saya, di sebagian besar misi, kami berada di level magang saat ini. Masalahnya adalah keandalan. Anda tidak dapat sepenuhnya mengandalkan sistem untuk melakukan apa yang Anda inginkan sepanjang waktu. Dalam banyak tugas, ia tidak dapat melakukannya. Bagaimana Anda meningkatkan keandalan dari waktu ke waktu dan kemudian memperluas kemampuan baru yang dapat dilakukan model ini?
Saya pikir penting untuk memperhatikan kemampuan-kemampuan yang muncul ini, meskipun kemampuan-kemampuan tersebut sangat tidak dapat diandalkan. Terutama bagi orang-orang yang sedang membangun sebuah perusahaan saat ini, Anda tentu ingin memikirkan, “Apa yang mungkin terjadi saat ini? Apa yang Anda lihat hari ini?” Model-model ini menjadi dapat diandalkan dengan sangat cepat.
**Satu model dapat menaklukkan dunia? **
MARTIN: Saya akan langsung bertanya, memprediksi seperti apa masa depan nanti. Namun sebelum saya bertanya, secara egois, menurut Anda bagaimana dampak ekonomi dari hal ini. Saya beritahu Anda apa yang mengingatkan saya pada hal itu. Ini mengingatkan saya pada industri silikon. Saya ingat di tahun 90an, ketika Anda membeli komputer, ada banyak prosesor penulisan yang aneh. "Ini pencocokan string, ini floating point, ini enkripsi," semuanya memakan CPU.
Ternyata keserbagunaan begitu kuat sehingga menciptakan jenis perekonomian tertentu yang mana Intel dan AMD adalah pemainnya. Tentu saja membutuhkan biaya yang tidak sedikit untuk membuat chip tersebut.
Jadi Anda bisa membayangkan dua masa depan. Di masa depan, keserbagunaan begitu kuat sehingga model-model besar pada dasarnya akan menyerap semua fungsi seiring berjalannya waktu. Dan kemudian ada masa depan lain di mana terdapat banyak model berbeda, segala jenis bagian, titik berbeda dalam ruang desain. Apakah Anda mempunyai perasaan ini: Apakah OpenAI unik, atau memiliki banyak model?
Mira: Tergantung apa yang ingin kamu lakukan. Tentu saja, perkembangannya sekarang adalah bahwa sistem kecerdasan buatan ini akan melakukan lebih banyak lagi pekerjaan yang kita lakukan. Mereka akan dapat beroperasi secara mandiri, namun kita perlu memberikan arahan, bimbingan dan pengawasan. Tapi saya tidak ingin melakukan banyak pekerjaan berulang yang harus saya lakukan setiap hari. Saya ingin fokus pada hal lain. Mungkin kita tidak harus bekerja 10, 12 jam sehari, mungkin kita bisa bekerja lebih sedikit dan menjadi lebih produktif. Itulah yang saya harapkan. Dalam hal cara kerja platform, bahkan saat ini Anda dapat melihat bahwa kami memiliki banyak model yang tersedia melalui API, dari model yang sangat kecil hingga model mutakhir kami.
Seseorang tidak selalu perlu menggunakan model yang paling kuat dan mumpuni. Terkadang mereka hanya membutuhkan model yang benar-benar sesuai dengan kasus penggunaannya, dan itu jauh lebih ekonomis. Saya pikir akan ada kisarannya. Namun dalam hal bagaimana kami membayangkan game platform, kami pasti ingin orang-orang mengembangkan model kami, dan kami ingin memberi mereka alat untuk mempermudahnya dan memberi mereka lebih banyak akses dan kontrol yang tepat. Anda dapat membawa data Anda, Anda dapat menyesuaikan model ini. Anda benar-benar dapat fokus pada lapisan di luar model dan mendefinisikan produk, yang sebenarnya sangat, sangat sulit. Saat ini ada banyak fokus untuk membangun lebih banyak model, namun sangat sulit untuk membangun produk bagus di atas model-model tersebut.
5-10 tahun ke depan
MARTIN: Saya ingin Anda memperkirakan apa yang akan terjadi dalam tiga, lima, atau 10 tahun ke depan.
Mira: Menurut saya model dasar saat ini memiliki representasi dunia yang bagus dalam teks. Kami menambahkan model lain seperti gambar, video, dan segala macam hal lainnya, sehingga model ini dapat memberikan gambaran yang lebih lengkap tentang dunia di sekitar kita, serupa dengan cara kita memahami dan mengamati dunia. Dunia ada tidak hanya dalam kata-kata tetapi juga dalam gambar. Kami pasti bergerak ke arah itu, dan kami akan memiliki model yang lebih besar yang menerapkan semua pola ini dalam pekerjaan pra-pelatihan. Kami benar-benar ingin model-model terlatih ini memahami dunia seperti kami.
Di bagian keluaran model, kami memperkenalkan pembelajaran penguatan dengan umpan balik manusia. Kami ingin model tersebut benar-benar melakukan apa yang kami minta, dan kami ingin model tersebut dapat diandalkan. Hal ini membutuhkan banyak usaha dan mungkin pengenalan browsing sehingga informasi baru dapat diperoleh, referensi dan halusinasi teratasi. Menurutku itu tidak mungkin. Saya pikir ini bisa dicapai.
Di sisi produk, kami ingin menyatukan semua ini ke dalam kumpulan produk yang dapat digunakan oleh orang-orang dan menyediakan platform yang dapat digunakan oleh orang-orang. Jika Anda benar-benar melihat ke luar, model ini sangat, sangat kuat. Tentu saja, hal ini menimbulkan ketakutan bahwa model yang sangat kuat ini tidak sejalan dengan niat kita. Tantangan besarnya adalah Super Alignment, yang merupakan tantangan teknis yang sulit. Kami memiliki seluruh tim di OpenAI yang fokus pada masalah ini.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
a16z berbicara dengan OpenAI CTO: Bagaimana teknologi AI akan mendorong inovasi masa depan?
Ditulis oleh Santo Paulus
Setelah OpenAI merilis ChatGPT pada akhir tahun 2022, pemahaman bidang investasi terhadap bidang kecerdasan buatan semakin mendalam. Rantai industri kecerdasan buatan secara kasar dapat dibagi menjadi penyedia teknologi inti, sistem kecerdasan buatan, dan pengguna kecerdasan buatan. Dilihat dari persepsi umum investor global, semua orang kini menyadari bahwa kecerdasan buatan kemungkinan besar akan menjadi jalur investasi untuk jangka waktu yang lama di masa depan, serupa dengan komputer 30 tahun lalu, atau Internet 20 tahun lalu. Dan di masa depan, penerapannya sudah menjadi kenyataan.
Untuk memahami investasi di bidang-bidang yang terbagi, kita perlu selalu belajar dari investor di industri tersebut. Pemodal ventura terkenal A16Z terus membuat taruhan besar di bidang kecerdasan buatan. Baru-baru ini mereka berbincang dengan CTO OpenAI, Mira Murati. Dia berbagi kisah di balik ChatGPT dan masa depan kecerdasan buatan serta interaksi manusia-komputer.
Ringkasan
Latar Belakang #Mira Murati
Mira lahir di Albania, tepat setelah komunisme berakhir. Albania pada masa itu sangat mirip dengan Korea Utara saat ini. Di era yang terus berubah dan penuh ketidakpastian, pendidikan memegang kunci segalanya. Apalagi selain buku, hiburan saat itu masih sedikit. Saat itu Mira sedang mencari jawabannya di buku. Mira lebih menyukai kebenaran-kebenaran dalam sains yang stabil dan dapat dipelajari secara mendalam. Dan sumber mata pelajaran humaniora seperti sejarah dan sosiologi patut dipertanyakan karena sejarah terus berubah. Jadi, Mira dibesarkan dengan kecenderungan intuitif dan alami terhadap sains dan matematika. Pada dasarnya Mira masih mendalami matematika di Open AI.
Karena prestasi akademisnya yang luar biasa, Mira mendapat beasiswa dan menyelesaikan dua tahun terakhir sekolah menengahnya di Kanada.
Di perguruan tinggi, Mira mempelajari teknik mesin karena dia yakin itu adalah cara terbaik untuk menerapkan pengetahuan pada masalah dunia nyata. Saat itu, Mira sangat tertarik dengan cara menghadirkan transportasi berkelanjutan dan energi berkelanjutan ke dunia. Proyek kelulusannya saat itu adalah membuat mobil balap hybrid menggunakan superkapasitor.
Segera setelah itu, Mira bergabung dengan Tesla dan berpartisipasi dalam pengerjaan motor ganda Model S. Dia bekerja dengan Model X sejak awal desain awalnya dan akhirnya memimpin peluncuran keseluruhan proyek.
Bekerja di Tesla pulalah yang membuat Mira sangat tertarik dengan penerapan kecerdasan buatan, khususnya self-driving. Karena dapat menggunakan AI dan visi komputer untuk merevolusi perjalanan. Dia mulai memikirkan lebih banyak tentang berbagai penerapan kecerdasan buatan. Jadi Mira menjadi semakin tertarik pada AI dan perubahan yang bisa dilakukannya di dunia.
Secara khusus, dia sangat ingin tahu tentang bagaimana AI mempengaruhi interaksi manusia-komputer dan cara orang berinteraksi dengan informasi secara umum, dan sangat tertarik pada komputasi spasial. Setelah itu, ia bergabung dengan Leap Motion, sebuah perusahaan teknologi kulit hitam, sebagai wakil presiden produk dan teknik. Pengalaman inilah yang semakin memperkuat kemampuan produksinya.
(Omong-omong, pendiri Leap Motion, David Holz, mendirikan aplikasi kecerdasan buatan populer lainnya, Midjourney, setelah menjual Leap Motion).
Pada tahun 2018, Mira bergabung dengan OpenAI. Saat itulah dia mulai memikirkan lebih lanjut tentang apa yang akan terjadi jika dia hanya berfokus pada keserbagunaan.
Selain itu, dari pembahasan Mira tentang metode penelitian, kita dapat melihat semangat eksplorasinya terhadap inovasi teknologi di lingkungan yang tidak pasti:
Ringkasan percakapan
Pemodal ventura terkenal A16Z telah membuat taruhan besar di bidang kecerdasan buatan. Petikan berikut merupakan petikan perbincangan antara Martin, fund manager A16Z, dan Mira. Mira berbagi kisah di balik ChatGPT dan masa depan kecerdasan buatan serta interaksi manusia-komputer. Kita juga bisa melihat bahwa Mira yang berlatar belakang manajer produk sangat memperhatikan penerapan produk.
MARTIN: Apakah menurut Anda saat ini ini lebih merupakan masalah sistem atau masalah teknik?
Mira: Keduanya. Masalah sistem dan teknik sangatlah besar, dan kami menerapkan teknologi ini serta mencoba untuk meningkatkannya, menjadikannya lebih efisien, dan membuatnya mudah diakses. Artinya Anda tidak perlu mengetahui seluk-beluk ML untuk menggunakannya.
Faktanya, kita dapat melihat perbedaan antara menyediakan model ini melalui API dan menyediakan teknologi melalui ChatGPT. Pada dasarnya teknologi ini sama, dengan satu kemungkinan pengecualian: ChatGPT memiliki pembelajaran penguatan dan kemampuan umpan balik manusia. Artinya, respons dan kemampuan menangkap imajinasi masyarakat dan memungkinkan mereka menggunakan teknologi ini setiap hari sangatlah berbeda.
antarmuka bahasa alami
Martin: Menurut saya, ChatGPT API adalah hal yang sangat menarik. Setiap kali saya menggunakan model ini dalam program saya, saya selalu merasa seperti sedang membungkus superkomputer dalam sempoa. Kadang-kadang saya berkata, "Saya akan memberi model itu sebuah keyboard dan mouse dan membiarkannya melakukan pemrograman." API-nya dalam bahasa Inggris dan saya akan memberi tahu apa yang harus dilakukan dan ia akan melakukan semua pemrograman. Saya penasaran, ketika Anda mendesain sesuatu seperti ChatGPT, apakah menurut Anda seiring waktu antarmuka sebenarnya akan menjadi bahasa alami, atau menurut Anda program masih memiliki peran besar?
Mira: Pemrograman menjadi kurang abstrak di ChatGPT, dan kita dapat berbicara dengan komputer menggunakan bahasa alami dengan bandwidth tinggi. Namun mungkin faktor lainnya adalah bahwa teknologi ini membantu kita memahami cara bekerja dengannya, bukan memprogramnya. Lapisan pemrograman menjadi lebih mudah dan mudah diakses karena Anda dapat memprogram dalam bahasa alami. Namun sisi lain yang kami lihat dengan ChatGPT adalah Anda benar-benar dapat bekerja dengan model seperti mitra atau kolega.
MARTIN: Menarik untuk melihat apa yang terjadi seiring berjalannya waktu. Anda telah memutuskan untuk memiliki API di ChatGTP, tetapi sebagai kolega, Anda tidak memiliki API. Anda sedang berbicara dengan seorang kolega. Seiring waktu, hal-hal ini dapat berkembang menjadi bahasa alami. Atau apakah menurut Anda selalu ada komponen dalam sistem yang merupakan mesin negara terbatas, atau komputer tradisional?
Mira: Saat ini, ada titik kritis di mana kita mendefinisikan ulang cara kita berinteraksi dengan informasi digital, dan hal itu dilakukan dalam bentuk sistem kecerdasan buatan. Mungkin kita mempunyai beberapa sistem AI, mungkin semuanya mempunyai kemampuan yang berbeda-beda. Mungkin kita mempunyai sistem universal yang mengikuti kita ke mana pun, mengetahui latar belakang saya, apa yang saya lakukan hari ini, apa tujuan hidup dan pekerjaan saya, membantu saya melewati masa-masa sulit, membimbing saya, dll. Seperti yang dapat Anda bayangkan, ini sangat ampuh.
Sekarang, kita berada pada titik perubahan dalam mendefinisikan ulang hal tersebut. Kami tidak tahu seperti apa masa depan nanti, dan kami bekerja keras untuk membuat alat dan teknik ini tersedia bagi banyak orang sehingga mereka dapat bereksperimen dan kami dapat melihat apa yang terjadi. Ini adalah strategi yang kami gunakan sejak awal.
Pada ChatGPT minggu sebelumnya, kami khawatir itu tidak cukup baik. Kami semua melihat apa yang terjadi. Kami menyebarkannya, dan orang-orang mengatakan kepada kami bahwa alat ini berhasil menemukan kasus-kasus baru dengan sangat baik. Itulah yang terjadi jika Anda membuat hal-hal ini dapat diakses dan digunakan, dan Anda memudahkan semua orang untuk menggunakannya.
Peta Jalan Pengembangan OpenAI
MARTIN: Terkait kecerdasan buatan, orang belum tahu cara berpikirnya. Harus ada panduan, Anda harus membuat beberapa pilihan. Anda berada di OpenAI, dan Anda harus memutuskan apa yang harus dilakukan selanjutnya. Jika Anda bisa menjalani proses pengambilan keputusan ini: Bagaimana Anda memutuskan apa yang harus dilakukan, apa yang harus difokuskan, apa yang harus dilepaskan, atau bagaimana memposisikan diri Anda?
Mira: Jika Anda memikirkan bagaimana ChatGPT muncul, itu bukanlah produk yang ingin kami luncurkan. Faktanya, akar sebenarnya sudah ada sejak lebih dari 5 tahun yang lalu, ketika kita memikirkan tentang cara membuat sistem kecerdasan buatan yang aman. Anda tidak perlu ingin manusia benar-benar menulis fungsi tujuan, karena Anda tidak ingin ada pengganti fungsi tujuan kompleks yang melakukannya, atau Anda tidak ingin membuat kesalahan karena hal itu bisa sangat berbahaya.
Di sinilah pembelajaran penguatan menggunakan umpan balik manusia berperan. Apa yang sebenarnya ingin kami capai adalah menyelaraskan sistem AI dengan nilai-nilai kemanusiaan dan memungkinkannya menerima masukan dari manusia. Berdasarkan umpan balik manusia, mereka cenderung melakukan hal yang benar dan kecil kemungkinannya untuk melakukan sesuatu yang tidak ingin mereka lakukan. Kemudian, setelah kami mengembangkan GPT-3 dan merilisnya di API, inilah pertama kalinya kami menerapkan penelitian keamanan kami ke dunia nyata. Hal ini dicapai melalui model mengikuti instruksi.
Kami menggunakan pendekatan ini untuk mengambil petunjuk dari pelanggan yang menggunakan API, dan kemudian kami meminta kontraktor memberikan masukan agar model dapat dipelajari. Kami menyempurnakan model berdasarkan data ini dan membuat model yang mengikuti instruksi. Mereka lebih cenderung mengikuti maksud pengguna dan melakukan apa yang sebenarnya Anda inginkan. Hal ini sangat berguna karena keselamatan AI bukan sekadar konsep teoretis yang Anda duduki dan bicarakan. Hal ini sebenarnya menjadi: Kita sekarang memasuki era sistem keamanan kecerdasan buatan, bagaimana Anda mengintegrasikannya ke dalam dunia nyata?
Jelasnya, dalam model bahasa besar kita melihat representasi konsep dan ide dunia nyata yang luar biasa. Namun dari segi output, banyak kendala. Salah satu masalah terbesar tentu saja adalah halusinasi. Kami telah menangani masalah ilusi dan keaslian. Bagaimana Anda membuat model ini mengekspresikan ketidakpastian?
Pendahulu ChatGPT sebenarnya adalah proyek lain yang kami sebut WebGPT, yang menggunakan pengambilan untuk mendapatkan informasi dan mengutip sumber. Proyek ini akhirnya menjadi ChatGPT karena menurut kami percakapan itu istimewa. Ini memungkinkan Anda mengajukan pertanyaan, mengoreksi orang lain, dan mengungkapkan ketidakpastian.
MARTIN: Kesalahan terus-menerus ditemukan karena Anda berinteraksi...
Mira: Ya, dengan interaksi seperti ini, Anda bisa memahami kebenaran yang lebih dalam. Kami mulai menuju ke arah ini, dan saat itu kami melakukannya dengan GPT-3 dan GPT-3.5. Dari sudut pandang keamanan, kami sangat gembira dengan hal ini. Namun satu hal yang dilupakan orang adalah saat ini kami telah melatih GPT-4. Di OpenAI, kami sangat antusias dengan GPT-4 dan memiliki ChatGPT di kaca spion. Kemudian kami menyadari, "Kami akan menghabiskan waktu enam bulan untuk fokus pada penyelarasan dan keselamatan GPT-4," dan kami mulai memikirkan apa yang dapat kami lakukan. Salah satu hal utama adalah menyerahkan ChatGPT ke tangan para peneliti dan mereka dapat memberi kami masukan sekarang karena kami memiliki model percakapan ini. Tujuan awalnya adalah mendapatkan masukan dari peneliti dan menggunakannya untuk menjadikan GPT-4 lebih konsisten, aman, tangguh, dan andal.
MARTIN: Ketika Anda mengatakan konsistensi dan keamanan, apakah Anda benar jika mengatakan bahwa mereka melakukan apa pun yang diinginkannya? Atau maksud Anda aman, sebenarnya melindungi diri Anda dari bahaya?
Mira: Yang saya maksud dengan konsisten adalah bahwa ini sesuai dengan maksud pengguna, jadi ia melakukan apa yang Anda inginkan. Namun keamanan juga mencakup hal-hal lain, seperti penyalahgunaan, di mana pengguna dengan sengaja mencoba menggunakan suatu model untuk menghasilkan keluaran yang berbahaya. Dengan ChatGPT, kami sebenarnya mencoba membuat model lebih mungkin melakukan apa yang Anda inginkan, sehingga lebih konsisten. Kami juga ingin mengetahui masalah halusinasi, yang jelas merupakan masalah yang sangat sulit.
Saya pikir pendekatan ini menggunakan umpan balik manusia untuk pembelajaran penguatan, jika kita mencoba melakukan itu, mungkin itulah yang kita butuhkan.
MARTIN: Jadi, tidak ada rencana besar? Apa yang perlu kita lakukan untuk mencapai AGI? Ini hanya masalah mengambil langkah demi langkah.
Mira: Ya. Dan semua keputusan kecil yang Anda buat selama ini. Mungkin hal ini lebih mungkin terjadi karena kami memang mengambil keputusan strategis beberapa tahun lalu untuk mengejar produk tersebut. Kami melakukan ini karena kami yakin tidak mungkin hanya duduk di laboratorium dan mengembangkan hal-hal ini dalam ruang hampa tanpa masukan dari pengguna di dunia nyata. Itulah asumsinya. Saya rasa hal ini membantu kami mengambil beberapa keputusan dan membangun infrastruktur dasar sehingga pada akhirnya kami dapat menerapkan sesuatu seperti ChatGPT.
Hukum Proporsi
MARTIN: Anda bisa mengulangi hukum proporsi. Saya pikir ini adalah masalah besar yang dimiliki setiap orang. Laju kemajuannya sungguh mencengangkan. Namun sejarah kecerdasan buatan tampaknya menunjukkan bahwa pada titik tertentu Anda akan mendapatkan hasil yang semakin berkurang, dan ini bukan parameter parametrik. Ini agak mengecil. Dari sudut pandang Anda (yang mungkin merupakan perspektif paling bijaksana di seluruh industri), apakah menurut Anda hukum penskalaan akan berlaku dan kita akan terus melihat kemajuan, atau menurut Anda kita sedang menuju ke arah keuntungan yang semakin berkurang?
Mira: Tidak ada bukti bahwa jika kami terus memperluas model ke seluruh data dan komputasi, kami tidak akan mendapatkan model yang lebih baik dan lebih kuat. Apakah ini akan mencapai AGI (Artificial General Intelligence) adalah pertanyaan yang berbeda. Dalam proses ini, mungkin diperlukan beberapa terobosan dan kemajuan lain. Untuk benar-benar mendapatkan banyak manfaat dari model yang lebih besar ini, jalan hukum penskalaan masih panjang.
MARTIN: Bagaimana Anda mendefinisikan AGI?
Mira: Dalam piagam OpenAI kami. Kami mendefinisikannya sebagai sistem komputer yang dapat menyelesaikan sebagian besar pekerjaan intelektual secara mandiri.
Martin: Saya sedang makan siang, dan Robert Nishihara dari Anyscale ada di sana. Dia menanyakan apa yang saya sebut pertanyaan Robert Nishihara. Menurut saya itu sebenarnya karakterisasi yang cukup bagus. Dia berkata, "Ada sebuah kontinum antara komputer dan Einstein. Anda beralih dari komputer ke kucing, dari kucing ke manusia biasa, dan dari manusia biasa ke Einstein." Kemudian dia mengajukan pertanyaan, "Kita berada di sebuah kontinum. Lokasi? Apa masalah akan terselesaikan?”
Semua orang setuju bahwa kita tahu bagaimana caranya berubah dari kucing menjadi manusia. Kita tidak tahu bagaimana cara berpindah dari komputer ke kucing karena ini adalah masalah persepsi universal. Kita sudah dekat, tapi kita belum sampai di sana, dan kita belum benar-benar tahu bagaimana melakukan Einstein, dan itu adalah sebuah logika yang masuk akal.
Mira: Anda bisa mendapatkan banyak hal dengan penyesuaian, tetapi secara keseluruhan, menurut saya, di sebagian besar misi, kami berada di level magang saat ini. Masalahnya adalah keandalan. Anda tidak dapat sepenuhnya mengandalkan sistem untuk melakukan apa yang Anda inginkan sepanjang waktu. Dalam banyak tugas, ia tidak dapat melakukannya. Bagaimana Anda meningkatkan keandalan dari waktu ke waktu dan kemudian memperluas kemampuan baru yang dapat dilakukan model ini?
Saya pikir penting untuk memperhatikan kemampuan-kemampuan yang muncul ini, meskipun kemampuan-kemampuan tersebut sangat tidak dapat diandalkan. Terutama bagi orang-orang yang sedang membangun sebuah perusahaan saat ini, Anda tentu ingin memikirkan, “Apa yang mungkin terjadi saat ini? Apa yang Anda lihat hari ini?” Model-model ini menjadi dapat diandalkan dengan sangat cepat.
**Satu model dapat menaklukkan dunia? **
MARTIN: Saya akan langsung bertanya, memprediksi seperti apa masa depan nanti. Namun sebelum saya bertanya, secara egois, menurut Anda bagaimana dampak ekonomi dari hal ini. Saya beritahu Anda apa yang mengingatkan saya pada hal itu. Ini mengingatkan saya pada industri silikon. Saya ingat di tahun 90an, ketika Anda membeli komputer, ada banyak prosesor penulisan yang aneh. "Ini pencocokan string, ini floating point, ini enkripsi," semuanya memakan CPU.
Ternyata keserbagunaan begitu kuat sehingga menciptakan jenis perekonomian tertentu yang mana Intel dan AMD adalah pemainnya. Tentu saja membutuhkan biaya yang tidak sedikit untuk membuat chip tersebut.
Jadi Anda bisa membayangkan dua masa depan. Di masa depan, keserbagunaan begitu kuat sehingga model-model besar pada dasarnya akan menyerap semua fungsi seiring berjalannya waktu. Dan kemudian ada masa depan lain di mana terdapat banyak model berbeda, segala jenis bagian, titik berbeda dalam ruang desain. Apakah Anda mempunyai perasaan ini: Apakah OpenAI unik, atau memiliki banyak model?
Mira: Tergantung apa yang ingin kamu lakukan. Tentu saja, perkembangannya sekarang adalah bahwa sistem kecerdasan buatan ini akan melakukan lebih banyak lagi pekerjaan yang kita lakukan. Mereka akan dapat beroperasi secara mandiri, namun kita perlu memberikan arahan, bimbingan dan pengawasan. Tapi saya tidak ingin melakukan banyak pekerjaan berulang yang harus saya lakukan setiap hari. Saya ingin fokus pada hal lain. Mungkin kita tidak harus bekerja 10, 12 jam sehari, mungkin kita bisa bekerja lebih sedikit dan menjadi lebih produktif. Itulah yang saya harapkan. Dalam hal cara kerja platform, bahkan saat ini Anda dapat melihat bahwa kami memiliki banyak model yang tersedia melalui API, dari model yang sangat kecil hingga model mutakhir kami.
Seseorang tidak selalu perlu menggunakan model yang paling kuat dan mumpuni. Terkadang mereka hanya membutuhkan model yang benar-benar sesuai dengan kasus penggunaannya, dan itu jauh lebih ekonomis. Saya pikir akan ada kisarannya. Namun dalam hal bagaimana kami membayangkan game platform, kami pasti ingin orang-orang mengembangkan model kami, dan kami ingin memberi mereka alat untuk mempermudahnya dan memberi mereka lebih banyak akses dan kontrol yang tepat. Anda dapat membawa data Anda, Anda dapat menyesuaikan model ini. Anda benar-benar dapat fokus pada lapisan di luar model dan mendefinisikan produk, yang sebenarnya sangat, sangat sulit. Saat ini ada banyak fokus untuk membangun lebih banyak model, namun sangat sulit untuk membangun produk bagus di atas model-model tersebut.
5-10 tahun ke depan
MARTIN: Saya ingin Anda memperkirakan apa yang akan terjadi dalam tiga, lima, atau 10 tahun ke depan.
Mira: Menurut saya model dasar saat ini memiliki representasi dunia yang bagus dalam teks. Kami menambahkan model lain seperti gambar, video, dan segala macam hal lainnya, sehingga model ini dapat memberikan gambaran yang lebih lengkap tentang dunia di sekitar kita, serupa dengan cara kita memahami dan mengamati dunia. Dunia ada tidak hanya dalam kata-kata tetapi juga dalam gambar. Kami pasti bergerak ke arah itu, dan kami akan memiliki model yang lebih besar yang menerapkan semua pola ini dalam pekerjaan pra-pelatihan. Kami benar-benar ingin model-model terlatih ini memahami dunia seperti kami.
Di bagian keluaran model, kami memperkenalkan pembelajaran penguatan dengan umpan balik manusia. Kami ingin model tersebut benar-benar melakukan apa yang kami minta, dan kami ingin model tersebut dapat diandalkan. Hal ini membutuhkan banyak usaha dan mungkin pengenalan browsing sehingga informasi baru dapat diperoleh, referensi dan halusinasi teratasi. Menurutku itu tidak mungkin. Saya pikir ini bisa dicapai.
Di sisi produk, kami ingin menyatukan semua ini ke dalam kumpulan produk yang dapat digunakan oleh orang-orang dan menyediakan platform yang dapat digunakan oleh orang-orang. Jika Anda benar-benar melihat ke luar, model ini sangat, sangat kuat. Tentu saja, hal ini menimbulkan ketakutan bahwa model yang sangat kuat ini tidak sejalan dengan niat kita. Tantangan besarnya adalah Super Alignment, yang merupakan tantangan teknis yang sulit. Kami memiliki seluruh tim di OpenAI yang fokus pada masalah ini.