Dalam film fiksi ilmiah Hollywood mendatang "The Founder of AI", kecerdasan buatan yang seharusnya melayani umat manusia meledakkan bom nuklir di Los Angeles.
Apa yang lebih sci-fi daripada film adalah bahwa pada kenyataannya, perusahaan AI mulai khawatir bahwa skenario seperti itu akan benar-benar muncul di dunia nyata.
Baru-baru ini, OpenAI mengatakan bahwa karena khawatir akan keamanan sistem AI, perusahaan membentuk tim khusus untuk menangani "risiko bencana" yang mungkin dihadapi AI mutakhir, termasuk ancaman nuklir. **
Faktanya, CEO Sam Altman telah lama khawatir tentang ancaman "kepunahan" yang ditimbulkan oleh AI terhadap kemanusiaan, dan sebelumnya telah menyerukan regulasi AI yang lebih besar pada beberapa kesempatan, termasuk berkonsultasi dengan Kongres AS. Namun, sekelompok ilmuwan, termasuk ilmuwan Meta Yann LeCun, memiliki pandangan berbeda tentang regulasi AI, dengan alasan bahwa kemampuan AI masih terbatas dan bahwa regulasi prematur tidak hanya akan menguntungkan perusahaan besar, tetapi juga menghambat inovasi.
Ini menyoroti ketidaksepakatan industri yang terus berlanjut atas regulasi AI mutakhir. Regulasi prematur dapat menghambat pengembangan teknologi, tetapi kurangnya regulasi akan menyulitkan untuk mengatasi risiko. Bagaimana mencapai keseimbangan antara teknologi dan pencegahan dan regulasi, sehingga AI dapat dikembangkan secara efisien dan terkendali dengan aman, masih merupakan masalah yang sulit di industri.
**01 AI, Perbatasan atau Bahaya **
Baru-baru ini, OpenAI mengatakan dalam pembaruan bahwa karena khawatir akan keamanan sistem AI, perusahaan membentuk tim baru "Kesiapsiagaan" untuk melacak, mengevaluasi, dan memprediksi pengembangan "model mutakhir" ** untuk mencegah apa yang disebut "risiko bencana", termasuk masalah keamanan siber dan ancaman kimia, nuklir, dan biologis. **
Sumber gambar: Situs web resmi OpenAI
Tim ini akan dipimpin oleh Aleksander Madry, yang saat ini dibelenggu sebagai direktur MIT Deployable Machine Learning Center.
Selain itu, tim ditugaskan untuk mengembangkan dan memelihara "Kebijakan Pengembangan Berdasarkan Informasi Risiko" yang akan merinci pendekatan OpenAI untuk membangun alat evaluasi dan pemantauan model AI, tindakan mitigasi risiko perusahaan, dan struktur tata kelola yang mengawasi seluruh proses pengembangan model. Kebijakan ini dimaksudkan untuk melengkapi pekerjaan OpenAI di bidang keamanan AI dan menjaga keamanan dan konsistensi sebelum dan sesudah penyebaran.
OpenAI mengusulkan bahwa mengelola kemungkinan risiko bencana dari model AI mutakhir memerlukan jawaban atas pertanyaan kunci berikut:
Seberapa berbahayakah model AI mutakhir disalahgunakan? **
Bagaimana cara membangun kerangka kerja yang kuat untuk memantau, menilai, memprediksi, dan mencegah bahaya model AI mutakhir? **
Jika model AI mutakhir disusupi, bagaimana aktor jahat dapat mengeksploitasinya? **
Dalam pembaruan, OpenAI menulis: "Kami percaya ... Model AI mutakhir yang akan melampaui model canggih saat ini memiliki potensi untuk memberi manfaat bagi seluruh umat manusia... Tetapi mereka juga menimbulkan risiko yang semakin serius."
** Baru-baru ini, OpenAI terus menekankan keamanan AI dan melakukan serangkaian tindakan di tingkat perusahaan, tingkat opini publik, dan bahkan tingkat politik. **
Sebelumnya, pada 7 Juli, OpenAI mengumumkan pembentukan tim baru untuk mengeksplorasi cara-cara untuk membimbing dan mengendalikan "AI super", yang dipimpin bersama oleh pendiri dan kepala ilmuwan OpenAI Ilya Sutskever dan kepala Alignment Jan Leike.
Sutskever dan Leike telah meramalkan bahwa AI di luar kecerdasan manusia akan muncul dalam 10 tahun, mengatakan bahwa AI semacam itu belum tentu baik, sehingga perlu mempelajari cara untuk mengendalikan dan membatasinya.
Menurut laporan pada saat itu, tim diberi prioritas tertinggi dan didukung oleh 20% dari sumber daya komputasi perusahaan, dan tujuan mereka adalah untuk memecahkan tantangan teknis inti dalam mengendalikan super-"super AI" dalam empat tahun ke depan.
Bertepatan dengan peluncuran tim "Ready", Open AI juga mengadakan tantangan bagi orang luar untuk menghasilkan ide-ide tentang bagaimana AI dapat disalahgunakan dan menyebabkan kerusakan di dunia nyata, dan 10 pengirim teratas akan menerima hadiah $ 25.000 dan pekerjaan "siap".
02 Kekhawatiran tentang "AI dapat menyebabkan kepunahan manusia"
CEO OpenAI Sam Altman khawatir bahwa AI dapat menyebabkan kepunahan umat manusia.
Pada sidang kongres bertema AI pada bulan Mei, Altman mengatakan bahwa AI perlu diatur, dan bahwa tanpa standar peraturan yang ketat untuk AI super, akan ada lebih banyak bahaya dalam 20 tahun ke depan.
Pada akhir Mei, Altman menandatangani pernyataan singkat dengan CEO Google DeepMind, Anthropic, dan sejumlah peneliti AI terkemuka, yang menyatakan bahwa "mengurangi risiko kepunahan yang disebabkan oleh AI harus menjadi salah satu prioritas global, seperti halnya dengan pandemi dan perang nuklir. "
Pada San Francisco Tech Summit pada bulan Juni, Sam Altman menyebutkan bahwa "Anda tidak boleh mempercayai perusahaan, dan tentu saja bukan satu orang" ketika datang ke teknologi AI, dengan alasan bahwa teknologi itu sendiri, manfaatnya, aksesnya, tata kelolanya, milik semua umat manusia.
Namun, ada juga yang (diwakili oleh Elon Musk) yang menuduh Altman "menyerukan regulasi" hanya untuk melindungi kepemimpinan OpenAI. Sam Altman menjawab pada saat itu, "Kami percaya bahwa harus ada lebih banyak regulasi perusahaan besar dan model kepemilikan yang berada di atas ambang batas kemampuan tinggi tertentu, dan lebih sedikit regulasi startup yang lebih kecil dan model open source." Kami telah melihat masalah yang dihadapi oleh negara-negara yang mencoba mengatur teknologi secara berlebihan, dan bukan itu yang kami harapkan."
"Orang-orang adalah model pelatihan yang jauh melampaui ukuran model apa pun yang kita miliki saat ini, tetapi jika ambang batas kemampuan tertentu terlampaui, saya pikir harus ada proses sertifikasi, bersama dengan audit eksternal dan pengujian keamanan," tambahnya. Selain itu, model seperti itu perlu dilaporkan kepada pemerintah dan harus tunduk pada pengawasan pemerintah."
Bertentangan dengan pandangan Altman, pada 19 Oktober, ilmuwan Meta Yann LeCun menyatakan penentangannya terhadap regulasi AI yang prematur dalam sebuah wawancara dengan Financial Times.
Yann LeCun adalah anggota National Academy of Sciences, National Academy of Engineering, dan French Academy of Sciences, dan juga dikenal karena karyanya pada jaringan konvolusional, serta pengenalan karakter optik dan visi komputer menggunakan jaringan saraf konvolusional (CNN).
Pada tahun 2018, Yann LeCun memenangkan Turing Award (sering disebut sebagai "Hadiah Nobel komputasi") bersama dengan Yoshua Bengio dan Geoffrey Hinton, yang sering disebut sebagai "Godfathers of Artificial Intelligence" dan "Godfathers of Deep Learning."
Dalam wawancara tersebut, Yann LeCun mengambil pandangan yang lebih negatif tentang regulasi AI secara umum, dengan alasan bahwa mengatur model AI sekarang seperti mengatur pesawat jet pada tahun 1925 (sebelum pesawat tersebut ditemukan), dan bahwa regulasi AI yang prematur hanya akan memperkuat dominasi perusahaan teknologi besar dan menghambat persaingan.
"Mengatur penelitian dan pengembangan AI sangat kontraproduktif," kata Yann LeCun, menambahkan bahwa kebutuhan untuk mengatur AI berasal dari "arogansi" atau "keunggulan" dari beberapa perusahaan teknologi terkemuka yang percaya bahwa hanya mereka yang dapat dipercaya untuk mengembangkan AI dengan aman, "dan mereka ingin mengatur dengan kedok keamanan AI."
"Tetapi pada kenyataannya, sampai kita dapat merancang sistem yang dapat menandingi kemampuan belajar kucing, masih terlalu dini untuk memperdebatkan risiko yang mungkin ditimbulkan AI," kata Yann LeCun, menambahkan bahwa generasi model AI saat ini sama sekali tidak sekuat yang diklaim beberapa peneliti, "mereka tidak mengerti bagaimana dunia bekerja, mereka tidak memiliki kemampuan untuk merencanakan, mereka tidak memiliki kemampuan untuk membuat penalaran nyata. "
Menurutnya, OpenAI dan Google DeepMind telah "terlalu optimis" tentang kompleksitas masalah, dan pada kenyataannya, akan membutuhkan beberapa "terobosan konseptual" sebelum AI mencapai tingkat kecerdasan manusia. Tetapi bahkan kemudian, AI dapat dikendalikan dengan mengkodekan "kualitas moral" dalam sistem, sama seperti hukum sekarang dapat digunakan untuk mengatur perilaku manusia.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Khawatir AI menjatuhkan bom nuklir pada manusia, OpenAI serius
Sumber asli: Geek Park
Penulis: Lian Ran
Dalam film fiksi ilmiah Hollywood mendatang "The Founder of AI", kecerdasan buatan yang seharusnya melayani umat manusia meledakkan bom nuklir di Los Angeles.
Apa yang lebih sci-fi daripada film adalah bahwa pada kenyataannya, perusahaan AI mulai khawatir bahwa skenario seperti itu akan benar-benar muncul di dunia nyata.
Baru-baru ini, OpenAI mengatakan bahwa karena khawatir akan keamanan sistem AI, perusahaan membentuk tim khusus untuk menangani "risiko bencana" yang mungkin dihadapi AI mutakhir, termasuk ancaman nuklir. **
Faktanya, CEO Sam Altman telah lama khawatir tentang ancaman "kepunahan" yang ditimbulkan oleh AI terhadap kemanusiaan, dan sebelumnya telah menyerukan regulasi AI yang lebih besar pada beberapa kesempatan, termasuk berkonsultasi dengan Kongres AS. Namun, sekelompok ilmuwan, termasuk ilmuwan Meta Yann LeCun, memiliki pandangan berbeda tentang regulasi AI, dengan alasan bahwa kemampuan AI masih terbatas dan bahwa regulasi prematur tidak hanya akan menguntungkan perusahaan besar, tetapi juga menghambat inovasi.
Ini menyoroti ketidaksepakatan industri yang terus berlanjut atas regulasi AI mutakhir. Regulasi prematur dapat menghambat pengembangan teknologi, tetapi kurangnya regulasi akan menyulitkan untuk mengatasi risiko. Bagaimana mencapai keseimbangan antara teknologi dan pencegahan dan regulasi, sehingga AI dapat dikembangkan secara efisien dan terkendali dengan aman, masih merupakan masalah yang sulit di industri.
**01 AI, Perbatasan atau Bahaya **
Baru-baru ini, OpenAI mengatakan dalam pembaruan bahwa karena khawatir akan keamanan sistem AI, perusahaan membentuk tim baru "Kesiapsiagaan" untuk melacak, mengevaluasi, dan memprediksi pengembangan "model mutakhir" ** untuk mencegah apa yang disebut "risiko bencana", termasuk masalah keamanan siber dan ancaman kimia, nuklir, dan biologis. **
Tim ini akan dipimpin oleh Aleksander Madry, yang saat ini dibelenggu sebagai direktur MIT Deployable Machine Learning Center.
Selain itu, tim ditugaskan untuk mengembangkan dan memelihara "Kebijakan Pengembangan Berdasarkan Informasi Risiko" yang akan merinci pendekatan OpenAI untuk membangun alat evaluasi dan pemantauan model AI, tindakan mitigasi risiko perusahaan, dan struktur tata kelola yang mengawasi seluruh proses pengembangan model. Kebijakan ini dimaksudkan untuk melengkapi pekerjaan OpenAI di bidang keamanan AI dan menjaga keamanan dan konsistensi sebelum dan sesudah penyebaran.
OpenAI mengusulkan bahwa mengelola kemungkinan risiko bencana dari model AI mutakhir memerlukan jawaban atas pertanyaan kunci berikut:
Seberapa berbahayakah model AI mutakhir disalahgunakan? ** Bagaimana cara membangun kerangka kerja yang kuat untuk memantau, menilai, memprediksi, dan mencegah bahaya model AI mutakhir? ** Jika model AI mutakhir disusupi, bagaimana aktor jahat dapat mengeksploitasinya? **
Dalam pembaruan, OpenAI menulis: "Kami percaya ... Model AI mutakhir yang akan melampaui model canggih saat ini memiliki potensi untuk memberi manfaat bagi seluruh umat manusia... Tetapi mereka juga menimbulkan risiko yang semakin serius."
** Baru-baru ini, OpenAI terus menekankan keamanan AI dan melakukan serangkaian tindakan di tingkat perusahaan, tingkat opini publik, dan bahkan tingkat politik. **
Sebelumnya, pada 7 Juli, OpenAI mengumumkan pembentukan tim baru untuk mengeksplorasi cara-cara untuk membimbing dan mengendalikan "AI super", yang dipimpin bersama oleh pendiri dan kepala ilmuwan OpenAI Ilya Sutskever dan kepala Alignment Jan Leike.
Sutskever dan Leike telah meramalkan bahwa AI di luar kecerdasan manusia akan muncul dalam 10 tahun, mengatakan bahwa AI semacam itu belum tentu baik, sehingga perlu mempelajari cara untuk mengendalikan dan membatasinya.
Menurut laporan pada saat itu, tim diberi prioritas tertinggi dan didukung oleh 20% dari sumber daya komputasi perusahaan, dan tujuan mereka adalah untuk memecahkan tantangan teknis inti dalam mengendalikan super-"super AI" dalam empat tahun ke depan.
Bertepatan dengan peluncuran tim "Ready", Open AI juga mengadakan tantangan bagi orang luar untuk menghasilkan ide-ide tentang bagaimana AI dapat disalahgunakan dan menyebabkan kerusakan di dunia nyata, dan 10 pengirim teratas akan menerima hadiah $ 25.000 dan pekerjaan "siap".
02 Kekhawatiran tentang "AI dapat menyebabkan kepunahan manusia"
CEO OpenAI Sam Altman khawatir bahwa AI dapat menyebabkan kepunahan umat manusia.
Pada sidang kongres bertema AI pada bulan Mei, Altman mengatakan bahwa AI perlu diatur, dan bahwa tanpa standar peraturan yang ketat untuk AI super, akan ada lebih banyak bahaya dalam 20 tahun ke depan.
Pada akhir Mei, Altman menandatangani pernyataan singkat dengan CEO Google DeepMind, Anthropic, dan sejumlah peneliti AI terkemuka, yang menyatakan bahwa "mengurangi risiko kepunahan yang disebabkan oleh AI harus menjadi salah satu prioritas global, seperti halnya dengan pandemi dan perang nuklir. "
Pada San Francisco Tech Summit pada bulan Juni, Sam Altman menyebutkan bahwa "Anda tidak boleh mempercayai perusahaan, dan tentu saja bukan satu orang" ketika datang ke teknologi AI, dengan alasan bahwa teknologi itu sendiri, manfaatnya, aksesnya, tata kelolanya, milik semua umat manusia.
Namun, ada juga yang (diwakili oleh Elon Musk) yang menuduh Altman "menyerukan regulasi" hanya untuk melindungi kepemimpinan OpenAI. Sam Altman menjawab pada saat itu, "Kami percaya bahwa harus ada lebih banyak regulasi perusahaan besar dan model kepemilikan yang berada di atas ambang batas kemampuan tinggi tertentu, dan lebih sedikit regulasi startup yang lebih kecil dan model open source." Kami telah melihat masalah yang dihadapi oleh negara-negara yang mencoba mengatur teknologi secara berlebihan, dan bukan itu yang kami harapkan."
"Orang-orang adalah model pelatihan yang jauh melampaui ukuran model apa pun yang kita miliki saat ini, tetapi jika ambang batas kemampuan tertentu terlampaui, saya pikir harus ada proses sertifikasi, bersama dengan audit eksternal dan pengujian keamanan," tambahnya. Selain itu, model seperti itu perlu dilaporkan kepada pemerintah dan harus tunduk pada pengawasan pemerintah."
Bertentangan dengan pandangan Altman, pada 19 Oktober, ilmuwan Meta Yann LeCun menyatakan penentangannya terhadap regulasi AI yang prematur dalam sebuah wawancara dengan Financial Times.
Yann LeCun adalah anggota National Academy of Sciences, National Academy of Engineering, dan French Academy of Sciences, dan juga dikenal karena karyanya pada jaringan konvolusional, serta pengenalan karakter optik dan visi komputer menggunakan jaringan saraf konvolusional (CNN).
Pada tahun 2018, Yann LeCun memenangkan Turing Award (sering disebut sebagai "Hadiah Nobel komputasi") bersama dengan Yoshua Bengio dan Geoffrey Hinton, yang sering disebut sebagai "Godfathers of Artificial Intelligence" dan "Godfathers of Deep Learning."
Dalam wawancara tersebut, Yann LeCun mengambil pandangan yang lebih negatif tentang regulasi AI secara umum, dengan alasan bahwa mengatur model AI sekarang seperti mengatur pesawat jet pada tahun 1925 (sebelum pesawat tersebut ditemukan), dan bahwa regulasi AI yang prematur hanya akan memperkuat dominasi perusahaan teknologi besar dan menghambat persaingan.
"Mengatur penelitian dan pengembangan AI sangat kontraproduktif," kata Yann LeCun, menambahkan bahwa kebutuhan untuk mengatur AI berasal dari "arogansi" atau "keunggulan" dari beberapa perusahaan teknologi terkemuka yang percaya bahwa hanya mereka yang dapat dipercaya untuk mengembangkan AI dengan aman, "dan mereka ingin mengatur dengan kedok keamanan AI."
"Tetapi pada kenyataannya, sampai kita dapat merancang sistem yang dapat menandingi kemampuan belajar kucing, masih terlalu dini untuk memperdebatkan risiko yang mungkin ditimbulkan AI," kata Yann LeCun, menambahkan bahwa generasi model AI saat ini sama sekali tidak sekuat yang diklaim beberapa peneliti, "mereka tidak mengerti bagaimana dunia bekerja, mereka tidak memiliki kemampuan untuk merencanakan, mereka tidak memiliki kemampuan untuk membuat penalaran nyata. "
Menurutnya, OpenAI dan Google DeepMind telah "terlalu optimis" tentang kompleksitas masalah, dan pada kenyataannya, akan membutuhkan beberapa "terobosan konseptual" sebelum AI mencapai tingkat kecerdasan manusia. Tetapi bahkan kemudian, AI dapat dikendalikan dengan mengkodekan "kualitas moral" dalam sistem, sama seperti hukum sekarang dapat digunakan untuk mengatur perilaku manusia.