Sumber gambar: dihasilkan oleh alat AI Tanpa Batas
Banyak model AI berasumsi bahwa manusia selalu yakin dengan keputusannya. Hal ini dapat menimbulkan konsekuensi yang tidak menguntungkan.
Bagi banyak dari kita, teknologi menawarkan cara untuk mengatasi ketidakpastian. Jika kita tidak dapat mengingat suatu fakta atau tidak memahami sesuatu, kita cukup mencarinya dan mendapatkan jawabannya. Pada tahun berapa Konferensi Perdamaian Paris berakhir? Google itu… 1920. Berapa mil lari 10k? 6,2 mil. Siapa yang berperan bersama pemenang Oscar Brendan Fraser dalam debut film panjangnya, The Encino Man? Sean Astin dan Paulie Shore.
Menariknya, yang terjadi justru sebaliknya – komputer mengandalkan manusia untuk memeriksa pekerjaan mereka. Sistem AI “Human-in-the-loop” mengandalkan intervensi manusia untuk memastikan bahwa AI tidak salah membaca informasi dan membuat prediksi yang tidak akurat. Situasi ini seringkali lebih kritis dibandingkan highlight film.
Misalnya, ahli radiologi akan melihat diagnosis sinar-X AI untuk menentukan apakah ada patah tulang atau lesi yang terlewat. Manusia kemudian dapat memperbaiki kesalahan apa pun dan memastikan pasien menerima perawatan yang tepat. Ini adalah kemitraan yang hebat, namun ada masalah kecil: Manusia jarang yang 100 persen yakin dengan kesimpulan mereka.
Ahli radiologi yang sama mungkin melihat area jaringan tulang dengan warna berbeda pada sinar-X dan bertanya-tanya, "Apakah ini lesi atau kelainan pada sinar-X itu sendiri? Jika itu lesi, apa penyebabnya, dan apakah penyakitnya jinak atau ganas?" ?" Bahkan para ahli yang sangat terlatih -- dan mungkin khususnya para ahli -- sering memasukkan ketidakpastian semacam ini ke dalam pengamatan dan pengambilan keputusan mereka. Jika menurut mereka ada kemungkinan 10% akan ada diagnosis lain, mereka dapat mendiskusikannya dengan pasien dan membuat rencana yang sesuai.
Meskipun hal ini tampak wajar bagi kita, sistem loopback manusia-mesin tidak berpikir seperti itu. Mereka memandang intervensi manusia sebagai sesuatu yang biner: apakah manusia mengetahui apa yang mereka ketahui, atau tidak. Pada gilirannya, hal ini dapat membatasi kemampuan sistem AI untuk mengurangi risiko kesalahan manusia dalam kemitraan.
Jadi mungkinkah sistem ini memahami lebih baik nuansa pengambilan keputusan manusia, sehingga meningkatkan kemampuan mereka, dan kinerja kita? Sebuah tim peneliti dari Universitas Cambridge menguji pertanyaan ini dalam makalah penelitian baru.
**apa kamu yakin? **
Dalam pengujian pertama, para peneliti menggunakan model berbasis konsep -- model pembelajaran mesin yang meningkatkan prediksi melalui umpan balik manusia -- pada dua set data. Kumpulan data pertama, yang disebut "CheXpert", mengklasifikasikan rontgen dada. Kumpulan data lain, yang disebut UMNIS, menjumlahkan angka-angka dalam sampel tulisan tangan. Seperti kebanyakan model berbasis konsep, tidak ada model yang pernah dilatih mengenai ketidakpastian, sehingga para peneliti ingin melihat bagaimana mereka akan menangani ketidakpastian.
Katherine Collins, penulis utama studi ini dan seorang mahasiswa pascasarjana di bidang teknik di Universitas Cambridge, mengatakan: "Banyak pengembang yang bekerja keras untuk mengatasi ketidakpastian dalam model, namun masih sedikit upaya yang dilakukan untuk mengatasi ketidakpastian dari sudut pandang manusia." Kami ingin melakukan hal tersebut. lihat apa yang terjadi ketika orang mengungkapkan ketidakpastian, yang khususnya penting dalam lingkungan yang kritis terhadap keselamatan."
Jawabannya adalah: tidak terlalu baik. Para peneliti menemukan bahwa kinerja model menurun bahkan ketika ketidakpastian dalam simulasi rendah, dan terus menurun seiring dengan meningkatnya ketidakpastian. Hal ini menunjukkan bahwa model-model ini, meskipun akurat ketika dihadapkan pada intervensi yang sepenuhnya deterministik, “tidak menggeneralisasi situasi di mana pengguna intervensi tidak yakin tentang sifat konsep tertentu.”
Pada tes berikutnya, para peneliti menggunakan kumpulan data klasifikasi gambar burung dan memperkenalkan peserta manusia sebenarnya. Para peserta diminta untuk mengidentifikasi ciri-ciri spesifik burung dalam gambar. Apakah burungnya beraneka warna, padat, berbintik, atau belang? Apakah ekornya berbentuk garpu, lingkaran, kipas, atau persegi? dll.
Namun, gambar tidak selalu mewakili burung dengan baik. Burung dalam gambar mungkin berupa siluet dengan latar belakang terang, atau bulu ekornya mungkin tertutup dahan pohon. Jadi para peneliti memberikan peserta kemampuan untuk menggunakan "label lunak" -- konsep yang bukan salah satu/atau, namun memungkinkan manusia untuk memberi label pada tingkat keyakinan antara 0 dan 100 (0 berarti tidak tahu dan 100 berarti benar-benar yakin). .
Misalnya, jika subjek merasa sangat yakin bahwa bentuk sayap burung itu lebar, mereka dapat menggerakkan penggeser ke 80. Namun jika mereka tidak yakin apakah sayapnya bulat atau runcing, mereka dapat menggerakkan penggesernya lebih sedikit (misalnya ke 20 dan 10).
Para peneliti menemukan bahwa ketika mesin digantikan oleh manusia, kinerjanya menurun. Namun, mereka juga menemukan bahwa melatih model ketidakpastian dapat mengurangi beberapa kesalahan yang dilakukan oleh peserta manusia. Namun, model-model ini tidaklah sempurna. Terkadang ketidakpastian manusia membantu; di lain waktu, hal itu merugikan performa model.
“Kita memerlukan alat yang lebih baik untuk mengkalibrasi ulang model-model ini sehingga orang-orang yang menggunakannya memiliki kemampuan untuk bersuara ketika mereka merasa tidak yakin,” kata Matthew Barker, salah satu penulis studi tersebut. “Dalam beberapa hal, pekerjaan ini menimbulkan lebih banyak pertanyaan daripada jawaban, namun meskipun manusia dapat membuat kesalahan ketika menghadapi ketidakpastian, kita dapat meningkatkan kepercayaan sistem loopback manusia-mesin ini dengan mempertimbangkan perilaku manusia dan tingkat keandalannya”.
Para peneliti dari Universitas Princeton, Alan Turing Institute dan Google DeepMind juga bergabung dengan tim Cambridge dalam penelitian tersebut. Mereka mempresentasikan makalahnya pada Konferensi AAI/ACM tentang Kecerdasan Buatan, Etika, dan Masyarakat 2023 di Montreal. Makalah ini saat ini diposting sebagai pracetak di arXiv.
Menuju masa depan yang tidak pasti
Para peneliti berharap makalah mereka suatu hari nanti akan membantu mengembangkan sistem loopback manusia-mesin yang memperhitungkan ketidakpastian, sehingga mengurangi risiko kesalahan manusia dan kecerdasan buatan. Namun, penelitian ini hanyalah langkah awal menuju tujuan tersebut.
Hal ini juga mengungkapkan beberapa tantangan untuk penelitian di masa depan. Tantangan-tantangan ini meliputi: bagaimana mengembangkan model AI dan strategi intervensi yang memperhitungkan kesalahan prediksi manusia yang umum terjadi (seperti bias terlalu percaya diri); membuat antarmuka yang membantu manusia mengukur ketidakpastian mereka; dan melatih model AI untuk menangani berbagai jenis Ketidakpastian, seperti sebagai perbedaan antara mempertanyakan pengetahuan Anda sendiri dan bagaimana efek acak akan terjadi.
Jika permasalahan ini dapat diatasi, ketidakpastian manusia dapat mendukung bagian “manusia” dari “lingkaran manusia-mesin” dengan lebih baik dan dengan demikian membantu meningkatkan kinerja model-model ini.
“Seperti yang dikatakan beberapa rekan kami, ketidakpastian adalah salah satu bentuk transparansi, dan itu sangat penting,” tambah Collins. “Kita perlu mengetahui kapan kita harus memercayai model, kapan kita harus memercayai orang, dan alasannya. Dalam beberapa penerapan, kita berfokus pada kemungkinan, bukan kemungkinan.”
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Penelitian: Akankah ketidakpastian dalam pengambilan keputusan oleh manusia menjadi kunci untuk meningkatkan AI?
Ditulis oleh Kevin Dickinson
Sumber: FreeThink
Bagi banyak dari kita, teknologi menawarkan cara untuk mengatasi ketidakpastian. Jika kita tidak dapat mengingat suatu fakta atau tidak memahami sesuatu, kita cukup mencarinya dan mendapatkan jawabannya. Pada tahun berapa Konferensi Perdamaian Paris berakhir? Google itu… 1920. Berapa mil lari 10k? 6,2 mil. Siapa yang berperan bersama pemenang Oscar Brendan Fraser dalam debut film panjangnya, The Encino Man? Sean Astin dan Paulie Shore.
Menariknya, yang terjadi justru sebaliknya – komputer mengandalkan manusia untuk memeriksa pekerjaan mereka. Sistem AI “Human-in-the-loop” mengandalkan intervensi manusia untuk memastikan bahwa AI tidak salah membaca informasi dan membuat prediksi yang tidak akurat. Situasi ini seringkali lebih kritis dibandingkan highlight film.
Misalnya, ahli radiologi akan melihat diagnosis sinar-X AI untuk menentukan apakah ada patah tulang atau lesi yang terlewat. Manusia kemudian dapat memperbaiki kesalahan apa pun dan memastikan pasien menerima perawatan yang tepat. Ini adalah kemitraan yang hebat, namun ada masalah kecil: Manusia jarang yang 100 persen yakin dengan kesimpulan mereka.
Ahli radiologi yang sama mungkin melihat area jaringan tulang dengan warna berbeda pada sinar-X dan bertanya-tanya, "Apakah ini lesi atau kelainan pada sinar-X itu sendiri? Jika itu lesi, apa penyebabnya, dan apakah penyakitnya jinak atau ganas?" ?" Bahkan para ahli yang sangat terlatih -- dan mungkin khususnya para ahli -- sering memasukkan ketidakpastian semacam ini ke dalam pengamatan dan pengambilan keputusan mereka. Jika menurut mereka ada kemungkinan 10% akan ada diagnosis lain, mereka dapat mendiskusikannya dengan pasien dan membuat rencana yang sesuai.
Meskipun hal ini tampak wajar bagi kita, sistem loopback manusia-mesin tidak berpikir seperti itu. Mereka memandang intervensi manusia sebagai sesuatu yang biner: apakah manusia mengetahui apa yang mereka ketahui, atau tidak. Pada gilirannya, hal ini dapat membatasi kemampuan sistem AI untuk mengurangi risiko kesalahan manusia dalam kemitraan.
Jadi mungkinkah sistem ini memahami lebih baik nuansa pengambilan keputusan manusia, sehingga meningkatkan kemampuan mereka, dan kinerja kita? Sebuah tim peneliti dari Universitas Cambridge menguji pertanyaan ini dalam makalah penelitian baru.
**apa kamu yakin? **
Dalam pengujian pertama, para peneliti menggunakan model berbasis konsep -- model pembelajaran mesin yang meningkatkan prediksi melalui umpan balik manusia -- pada dua set data. Kumpulan data pertama, yang disebut "CheXpert", mengklasifikasikan rontgen dada. Kumpulan data lain, yang disebut UMNIS, menjumlahkan angka-angka dalam sampel tulisan tangan. Seperti kebanyakan model berbasis konsep, tidak ada model yang pernah dilatih mengenai ketidakpastian, sehingga para peneliti ingin melihat bagaimana mereka akan menangani ketidakpastian.
Katherine Collins, penulis utama studi ini dan seorang mahasiswa pascasarjana di bidang teknik di Universitas Cambridge, mengatakan: "Banyak pengembang yang bekerja keras untuk mengatasi ketidakpastian dalam model, namun masih sedikit upaya yang dilakukan untuk mengatasi ketidakpastian dari sudut pandang manusia." Kami ingin melakukan hal tersebut. lihat apa yang terjadi ketika orang mengungkapkan ketidakpastian, yang khususnya penting dalam lingkungan yang kritis terhadap keselamatan."
Jawabannya adalah: tidak terlalu baik. Para peneliti menemukan bahwa kinerja model menurun bahkan ketika ketidakpastian dalam simulasi rendah, dan terus menurun seiring dengan meningkatnya ketidakpastian. Hal ini menunjukkan bahwa model-model ini, meskipun akurat ketika dihadapkan pada intervensi yang sepenuhnya deterministik, “tidak menggeneralisasi situasi di mana pengguna intervensi tidak yakin tentang sifat konsep tertentu.”
Pada tes berikutnya, para peneliti menggunakan kumpulan data klasifikasi gambar burung dan memperkenalkan peserta manusia sebenarnya. Para peserta diminta untuk mengidentifikasi ciri-ciri spesifik burung dalam gambar. Apakah burungnya beraneka warna, padat, berbintik, atau belang? Apakah ekornya berbentuk garpu, lingkaran, kipas, atau persegi? dll.
Namun, gambar tidak selalu mewakili burung dengan baik. Burung dalam gambar mungkin berupa siluet dengan latar belakang terang, atau bulu ekornya mungkin tertutup dahan pohon. Jadi para peneliti memberikan peserta kemampuan untuk menggunakan "label lunak" -- konsep yang bukan salah satu/atau, namun memungkinkan manusia untuk memberi label pada tingkat keyakinan antara 0 dan 100 (0 berarti tidak tahu dan 100 berarti benar-benar yakin). .
Misalnya, jika subjek merasa sangat yakin bahwa bentuk sayap burung itu lebar, mereka dapat menggerakkan penggeser ke 80. Namun jika mereka tidak yakin apakah sayapnya bulat atau runcing, mereka dapat menggerakkan penggesernya lebih sedikit (misalnya ke 20 dan 10).
Para peneliti menemukan bahwa ketika mesin digantikan oleh manusia, kinerjanya menurun. Namun, mereka juga menemukan bahwa melatih model ketidakpastian dapat mengurangi beberapa kesalahan yang dilakukan oleh peserta manusia. Namun, model-model ini tidaklah sempurna. Terkadang ketidakpastian manusia membantu; di lain waktu, hal itu merugikan performa model.
“Kita memerlukan alat yang lebih baik untuk mengkalibrasi ulang model-model ini sehingga orang-orang yang menggunakannya memiliki kemampuan untuk bersuara ketika mereka merasa tidak yakin,” kata Matthew Barker, salah satu penulis studi tersebut. “Dalam beberapa hal, pekerjaan ini menimbulkan lebih banyak pertanyaan daripada jawaban, namun meskipun manusia dapat membuat kesalahan ketika menghadapi ketidakpastian, kita dapat meningkatkan kepercayaan sistem loopback manusia-mesin ini dengan mempertimbangkan perilaku manusia dan tingkat keandalannya”.
Para peneliti dari Universitas Princeton, Alan Turing Institute dan Google DeepMind juga bergabung dengan tim Cambridge dalam penelitian tersebut. Mereka mempresentasikan makalahnya pada Konferensi AAI/ACM tentang Kecerdasan Buatan, Etika, dan Masyarakat 2023 di Montreal. Makalah ini saat ini diposting sebagai pracetak di arXiv.
Menuju masa depan yang tidak pasti
Para peneliti berharap makalah mereka suatu hari nanti akan membantu mengembangkan sistem loopback manusia-mesin yang memperhitungkan ketidakpastian, sehingga mengurangi risiko kesalahan manusia dan kecerdasan buatan. Namun, penelitian ini hanyalah langkah awal menuju tujuan tersebut.
Hal ini juga mengungkapkan beberapa tantangan untuk penelitian di masa depan. Tantangan-tantangan ini meliputi: bagaimana mengembangkan model AI dan strategi intervensi yang memperhitungkan kesalahan prediksi manusia yang umum terjadi (seperti bias terlalu percaya diri); membuat antarmuka yang membantu manusia mengukur ketidakpastian mereka; dan melatih model AI untuk menangani berbagai jenis Ketidakpastian, seperti sebagai perbedaan antara mempertanyakan pengetahuan Anda sendiri dan bagaimana efek acak akan terjadi.
Jika permasalahan ini dapat diatasi, ketidakpastian manusia dapat mendukung bagian “manusia” dari “lingkaran manusia-mesin” dengan lebih baik dan dengan demikian membantu meningkatkan kinerja model-model ini.
“Seperti yang dikatakan beberapa rekan kami, ketidakpastian adalah salah satu bentuk transparansi, dan itu sangat penting,” tambah Collins. “Kita perlu mengetahui kapan kita harus memercayai model, kapan kita harus memercayai orang, dan alasannya. Dalam beberapa penerapan, kita berfokus pada kemungkinan, bukan kemungkinan.”