Penulis: JOSH LEE KOK THONG Terjemahan: Li Yang Proofreading: Xiang Xinyi
Sumber: Makalah
Sumber gambar: Dihasilkan oleh AI Tak Terbatas
Minat global terhadap tata kelola dan regulasi AI telah meledak dalam beberapa bulan terakhir. Banyak yang percaya bahwa struktur tata kelola dan peraturan baru diperlukan untuk menangani sistem AI generatif — yang kemampuannya mencengangkan, seperti ChatGPT dan DALL-E OpenAI, Bard Google, Difusi Stabil, dan lainnya. Undang-Undang Kecerdasan Buatan UE telah mendapat perhatian luas. Faktanya, banyak inisiatif penting lainnya muncul di seluruh dunia, termasuk berbagai model dan kerangka kerja tata kelola AI.
Artikel ini adalah tentang Kerangka Kerja dan Perangkat Uji Tata Kelola Kecerdasan Buatan Singapura - "Verifikasi AI" yang dirilis pada Mei 2022. Artikel ini terutama mengekstraksi tiga poin utama. ① Merangkum keseluruhan strategi tata kelola AI Singapura dan inisiatif utama yang dikeluarkan oleh pemerintah sebelum meluncurkan verifikasi AI. ② Jelaskan kunci "verifikasi kecerdasan buatan". ③ "Verifikasi AI" telah diluncurkan selama satu tahun, membahas masa depan verifikasi AI, dan pendekatan Singapura terhadap tata kelola dan regulasi AI. Singkatnya, poin utamanya adalah sebagai berikut:
Singapura telah mengambil pendekatan intervensi moderat terhadap tata kelola dan regulasi AI, dengan Model Kerangka Kerja Tata Kelola AI menetapkan pedoman untuk tata kelola AI di sektor swasta.
"AI Verifikasi" adalah kerangka kerja dan perangkat pengujian tata kelola AI, diluncurkan pada Mei 2022. Meskipun dalam tahap uji coba, ini mewakili upaya Singapura untuk lebih mengembangkan wacana global tentang tata kelola dan regulasi AI, berupaya memenuhi permintaan yang terus meningkat akan sistem AI yang dapat dipercaya, dan mempromosikan interkonektivitas kerangka regulasi AI global.
"Verifikasi AI" adalah kerangka pengujian berdasarkan prinsip tata kelola AI yang diakui secara internasional yang dapat digunakan perusahaan saat menguji sistem AI mereka sendiri. Verifikasi AI tidak dimaksudkan untuk menentukan standar etika, melainkan memberikan verifikasi dengan mengizinkan pengembang sistem AI dan pemiliknya untuk mengeluarkan pernyataan yang membuktikan kinerja sistem AI mereka.
– Agar berhasil, "diverifikasi AI" mungkin memerlukan lebih banyak pengakuan dan adopsi. Hal ini bergantung pada faktor-faktor seperti biaya, meyakinkan pemangku kepentingan tentang nilainya, dan relevansi serta sinerginya dengan kerangka peraturan internasional.
Pendekatan Keseluruhan Tata Kelola AI di Singapura
Dalam Strategi Kecerdasan Buatan Nasionalnya, Singapura mengumumkan bahwa negaranya bertujuan untuk menjadi "yang terdepan dalam pengembangan dan penyebaran solusi AI yang terukur dan berdampak" dan berharap untuk mengkonsolidasikan peran negaranya sebagai "pemimpin dalam pengembangan, pengujian, penerapan, dan penskalaan kecerdasan buatan." hub global untuk solusi. Salah satu dari lima "pendukung ekosistem" yang diidentifikasi dalam strategi untuk meningkatkan adopsi AI adalah mengembangkan "lingkungan yang progresif dan dapat dipercaya" untuk pengembangan AI—pertukaran antara inovasi dan meminimalkan risiko sosial lingkungan yang seimbang.
Untuk menciptakan "lingkungan yang progresif dan dapat dipercaya", Singapura sejauh ini telah mengambil pendekatan yang ramah dan sukarela terhadap regulasi AI. Itu karena negara tersebut mengakui dua realitas dari ambisi AI-nya.
Pertama, pemerintah Singapura** melihat AI sebagai kunci strategis yang memungkinkan** untuk menumbuhkan ekonomi dan meningkatkan kualitas hidup warganya. Alhasil, Singapura belum mengambil langkah drastis dalam mengatur kecerdasan buatan, agar tidak menghambat inovasi dan investasi. Kedua, mengingat ukurannya, Singapura mengakui bahwa pemerintahnya sendiri mungkin merupakan pengambil harga daripada penentu harga karena wacana, kerangka kerja, dan peraturan tata kelola AI berkembang secara global. Oleh karena itu, strategi saat ini bukan untuk menyegarkan prinsip-prinsip kecerdasan buatan, tetapi untuk "mengikuti tren dunia, dan tidak berniat mengubah tren dunia."("Ambil dunia di mana itu, bukan di mana ia berharap dunia berada.")
Pendekatan peraturan Singapura terhadap AI - diawasi oleh Komisi Perlindungan Data Pribadi (PDPC) Singapura - memiliki tiga pilar menjelang peluncuran Verifikasi AI pada tahun 2022:
1 Model Kerangka Tata Kelola AI (Framework Model).
Komite Penasihat Penggunaan Etis Kecerdasan Buatan dan Data (Komite Penasehat).
Tata kelola AI dan rencana penelitian penggunaan data (proyek penelitian).
Berikut ini berfokus pada "Model Kerangka".
modus bingkai
Model Kerangka Kerja, pertama kali diluncurkan pada Pertemuan Tahunan Forum Ekonomi Dunia pada tahun 2019, adalah kerangka kerja sukarela dan tidak mengikat yang memandu organisasi dalam penyebaran solusi kecerdasan buatan yang bertanggung jawab dalam skala besar, mencatat bahwa kerangka kerja tersebut tidak bergantung pada tahap pengembangan teknologi . Sebagai panduan, Model Kerangka hanya memberikan rekomendasi praktis untuk penyebaran AI oleh entitas sektor swasta, sementara penggunaan AI sektor publik diatur oleh pedoman internal dan perangkat tata kelola AI dan data. **Pola Kerangka dikenal sebagai "dokumen hidup" dan versi masa depan akan berkembang seiring dengan perkembangan teknologi dan masyarakat. Dasarnya terletak pada ketidakpastian teknologi, industri, skala dan model bisnis. **
Pada dasarnya, pola kerangka kerja dipandu oleh dua prinsip dasar yang mendorong kepercayaan dan pemahaman dalam AI. **Pertama, organisasi yang menggunakan AI dalam pengambilan keputusan harus memastikan bahwa proses pengambilan keputusan mereka dapat dijelaskan, transparan, dan adil. Kedua, sistem AI harus berpusat pada manusia: melindungi kesejahteraan dan keselamatan manusia harus menjadi pertimbangan utama dalam desain, pengembangan, dan penggunaan AI. **
Kerangka kerja menerjemahkan prinsip panduan ini menjadi tindakan yang dapat ditindaklanjuti dalam empat bidang utama pengambilan keputusan organisasi dan proses pengembangan teknologi:
(a) struktur dan praktik tata kelola internal;
(b) menentukan tingkat keterlibatan manusia dalam pengambilan keputusan yang ditambah AI;
(c) manajemen operasi;
(d) Interaksi dan komunikasi pemangku kepentingan.
Tabel di bawah merangkum beberapa pertimbangan, pendekatan, dan langkah-langkah yang disarankan di bidang-bidang utama ini.
Inisiatif lain yang menyertai Model Kerangka Kerja
Ketika Singapura meluncurkan Framework Model edisi kedua di World Economic Forum 2020, disertai dengan dua dokumen lainnya: Implementasi dan Self-Assessment Guide for Organizations (ISAGO) dan Compendium of Use Cases (Kompilasi - Volume 1 dan 2 volume) . ISAGO adalah daftar periksa untuk membantu organisasi menilai keselarasan proses tata kelola AI mereka dengan kerangka kerja model. Kompendium memberikan contoh nyata penerapan rekomendasi Framework di seluruh sektor, kasus penggunaan, dan yurisdiksi.
Secara umum, "Model Kerangka" dan dokumen pendukungnya melabuhkan dan menguraikan pemikiran substantif regulasi kecerdasan buatan di Singapura. Inisiatif ini membuat Singapura memenangkan KTT Dunia Perserikatan Bangsa-Bangsa tentang Penghargaan Masyarakat Informasi pada tahun 2019, mengakui kepemimpinannya dalam tata kelola AI.
Januari 2020 menandai titik balik dalam diskusi global tentang regulasi AI. Pada 17 Januari 2020, sebuah buku putih yang dirilis Komisi Eropa membuat masyarakat internasional lebih memperhatikan kemungkinan regulasi pemerintah atas teknologi kecerdasan buatan. Pada bulan Februari 2020, Komisi Eropa secara resmi merilis "Buku Putih tentang Kecerdasan Buatan", yang menetapkan rencana untuk membuat kerangka peraturan untuk kecerdasan buatan. Beberapa bulan kemudian, Komisi Eropa mempresentasikan draf RUU Kecerdasan Buatan yang akan datang. Ini adalah upaya serius pertama oleh lembaga pemerintah untuk memperkenalkan aturan substantif untuk mengatur pengembangan dan penggunaan sistem AI secara horizontal. Dapat diharapkan bahwa Undang-Undang AI juga akan memiliki efek ekstra yurisdiksi, dan perusahaan yang mengembangkan sistem AI di luar Eropa dapat tunduk pada undang-undang baru tersebut.
Ini telah memengaruhi pemikiran tentang masa depan tata kelola dan regulasi AI Singapura. Sementara Komisi Perlindungan Data Pribadi Singapura (PDPC) mempertahankan pendekatannya yang sukarela dan longgar terhadap regulasi AI, diakui bahwa AI akan menghadapi pengawasan yang lebih ketat di masa mendatang. PDPC juga tampaknya memperhatikan permintaan yang meningkat dari ** konsumen untuk kredibilitas sistem dan pengembang AI, dan kebutuhan akan standar internasional AI untuk pembandingan dan evaluasi AI terhadap persyaratan peraturan. Selain itu, persyaratan interoperabilitas kerangka regulasi AI juga meningkat. **Mengingat hal ini, Singapura mulai berkembang, dan hasil akhir digabungkan ke dalam kerangka kerja "AI Verify".
Apa itu "Verifikasi AI"
"AI Verify" dikeluarkan bersama oleh Infocomm Media Development Authority (IMDA), sebuah komite hukum di bawah Kementerian Komunikasi dan Informasi Singapura, dan Komite Perlindungan Data Pribadi (PDPC). Ini adalah kerangka kerja dan perangkat pengujian tata kelola kecerdasan buatan. **Dengan menggunakan Verifikasi AI, organisasi dapat melakukan penilaian sukarela terhadap sistem AI mereka menggunakan kombinasi pengujian teknis dan inspeksi berbasis proses. Pada gilirannya, sistem tersebut membantu perusahaan memberikan bukti yang objektif dan dapat diverifikasi kepada pemangku kepentingan bahwa sistem AI mereka diterapkan dengan cara yang bertanggung jawab dan dapat dipercaya. **
Mengingat pengembangan berkelanjutan dari metode, standar, indikator, dan alat pengujian kecerdasan buatan, "verifikasi kecerdasan buatan" (AI Verify) saat ini berada dalam tahap "produk layak minimum" (MVP). Ini memiliki dua implikasi. Pertama, versi MVP memiliki keterbatasan teknis dan dibatasi oleh jenis dan ukuran model AI atau kumpulan data yang dapat diuji atau dianalisis. Kedua, verifikasi AI diharapkan berkembang seiring dengan matangnya kemampuan pengujian AI.
Empat tujuan untuk mengembangkan versi MVP "AI Verified" adalah:
(a) Pertama, IMDA berharap agar organisasi dapat menggunakan "validasi AI" untuk menentukan tolok ukur kinerja sistem AI mereka dan mendemonstrasikan tolok ukur yang telah divalidasi ini kepada pemangku kepentingan seperti konsumen dan karyawan, sehingga membantu organisasi membangun kepercayaan.
(b) Kedua, mengingat pengembangannya dengan mempertimbangkan berbagai kerangka peraturan dan tata kelola AI, serta prinsip-prinsip umum AI yang dapat dipercaya, Validasi AI bertujuan untuk membantu organisasi menemukan berbagai kerangka kerja dan peraturan tata kelola AI global yang sama. IMDA akan terus bekerja sama dengan regulator dan organisasi standar untuk memetakan kerangka pengujian untuk "Validasi AI" ke kerangka kerja yang telah ditetapkan. Upaya tersebut ditujukan untuk memungkinkan perusahaan mengoperasikan atau menawarkan produk dan layanan AI di berbagai pasar, sekaligus menjadikan Singapura sebagai pusat tata kelola AI dan pengujian regulasi.
(c) Ketiga, **IMDA akan dapat menyusun praktik, tolok ukur, dan metrik industri karena lebih banyak organisasi bereksperimen dengan "Validasi AI" dan menggunakan kerangka pengujiannya. **Mengingat bahwa Singapura berpartisipasi dalam platform tata kelola AI global, seperti Kemitraan AI Global dan ISO/IEC JTC1/SC 42, memberikan perspektif berharga tentang penetapan standar internasional untuk tata kelola AI, ini dapat memfasilitasi pengembangan standar untuk tata kelola AI di dalam.
(d) Keempat, IMDA menginginkan "Verifikasi AI" untuk membantu menciptakan komunitas pengujian AI lokal di Singapura yang terdiri dari pengembang AI dan pemilik sistem (berusaha untuk menguji sistem AI), penyedia teknologi (yang sedang mengembangkan penerapan tata kelola AI dan solusi pengujian), penyedia layanan konsultasi (berspesialisasi dalam dukungan pengujian dan sertifikasi), dan peneliti (yang mengembangkan teknik, tolok ukur, dan praktik pengujian).
Penting juga untuk mengklarifikasi beberapa potensi kesalahpahaman tentang "validasi AI". Pertama, **"Validasi AI" tidak berusaha mendefinisikan standar etika. **Ini tidak mencoba memberi sinyal klasifikasi sistem AI, tetapi sebaliknya memberikan verifikasi, yang memungkinkan pengembang dan pemilik sistem AI untuk membuktikan klaim mereka tentang kinerja sistem AI mereka. Kedua, organisasi pemerintah yang menggunakan "verifikasi AI" tidak dapat menjamin bahwa sistem AI yang diuji bebas dari risiko atau bias, atau sepenuhnya "aman" dan "etis". Ketiga, "Validasi AI" bertujuan untuk mencegah organisasi secara tidak sengaja mengungkapkan informasi sensitif tentang sistem AI mereka (seperti kode dasar atau data pelatihan). Itu telah mengadopsi langkah pengamanan utama - " Verifikasi AI" yang akan diuji sendiri oleh pengembang dan pemilik sistem AI. Hal ini memungkinkan data dan model organisasi tetap berada dalam lingkungan operasi organisasi. **
Cara kerja "Verifikasi AI"
"Validasi AI" terdiri dari dua bagian. Yang pertama adalah Test Framework, yang mengutip 11 prinsip etika dan tata kelola AI yang diakui secara internasional yang disusun dalam lima pilar. Yang kedua adalah perangkat yang digunakan organisasi untuk melakukan pengujian teknis dan pemeriksaan proses dokumen dalam kerangka pengujian.
Kerangka pengujian untuk "verifikasi kecerdasan buatan"
Lima pilar dan sebelas prinsip dari kerangka pengujian "AI Validation" dan penilaian yang dimaksudkan tercantum di bawah ini:
Kerangka pengujian yang sebenarnya, termasuk bagian penting berikut:
***(a) Definisi: *** Kerangka pengujian memberikan definisi yang mudah dipahami untuk setiap prinsip AI. Misalnya, interpretabilitas didefinisikan sebagai "kemampuan untuk menilai faktor-faktor yang mengarah pada keputusan sistem AI, perilaku, hasil, dan dampaknya secara keseluruhan."
***(b) Kriteria yang Dapat Diuji: ***Untuk setiap prinsip, disediakan seperangkat kriteria yang dapat diuji. Standar-standar ini memperhitungkan faktor-faktor teknis dan/atau non-teknis (seperti proses, prosedur, atau struktur organisasi) yang berkontribusi untuk mencapai hasil yang diharapkan dari prinsip tata kelola ini.
Mengambil interpretabilitas sebagai contoh, dua kriteria yang dapat diuji diberikan. Pengembang dapat menjalankan metode penjelasan untuk membantu pengguna memahami apa yang mendorong model AI. Pengembang juga dapat menunjukkan preferensi untuk mengembangkan model AI yang menjelaskan keputusan mereka, atau melakukannya secara default.
***(c) Proses Uji: *** Untuk setiap kriteria yang dapat diuji, "Validasi AI" menyediakan proses atau langkah-langkah yang dapat ditindaklanjuti untuk dilakukan, yang dapat bersifat kuantitatif (seperti uji statistik atau teknis), dapat juga bersifat kualitatif (mis. bukti dokumenter yang dihasilkan selama inspeksi proses).
Sejauh menyangkut interpretabilitas, pengujian teknis mungkin melibatkan analisis empiris dan menentukan kontribusi fitur untuk keluaran model. Pengujian berbasis proses akan mendokumentasikan pemikiran, penilaian risiko, dan pengorbanan model AI.
***(d) Metrik: ***Ini adalah parameter kuantitatif atau kualitatif yang digunakan untuk mengukur atau memberikan bukti untuk setiap kriteria yang dapat diuji.
Dengan menggunakan contoh interpretabilitas di atas, metrik yang digunakan untuk menentukan kontribusi fitur memeriksa fitur yang berkontribusi dari keluaran model yang diperoleh dari alat teknis seperti SHAP dan LIME. Saat memilih model akhir, metrik berbasis proses dapat digunakan untuk mendokumentasikan penilaian, seperti penilaian risiko dan latihan trade-off.
***(e) Ambang batas (jika berlaku): ***Jika tersedia, kerangka pengujian akan memberikan nilai atau tolok ukur yang diterima untuk metrik yang dipilih. Nilai-nilai ini, atau tolok ukur, dapat ditentukan oleh badan pengatur, asosiasi industri, atau organisasi penetapan standar lain yang diakui. Tidak ada ambang batas yang disediakan untuk model MVP "Validasi AI", dengan mempertimbangkan perkembangan pesat teknologi AI, kasus penggunaannya, dan metode pengujian sistem AI. Namun, karena ruang tata kelola AI semakin matang dan penggunaan "AI Verify" meningkat, IMDA bermaksud untuk menyusun dan mengembangkan metrik dan ambang khusus konteks untuk ditambahkan ke kerangka pengujian.
"Verifikasi Kecerdasan Buatan" Perangkat Verifikasi AI
Sementara toolkit AI Verify untuk "verifikasi kecerdasan buatan" saat ini hanya tersedia untuk organisasi yang berhasil mendaftar dalam program MVP Verifikasi AI, IMDA menjelaskan toolkit tersebut sebagai alat "satu atap" bagi organisasi untuk melakukan pengujian teknis. Secara khusus, toolkit ini menggunakan pustaka pengujian sumber terbuka secara ekstensif. Alat-alat ini termasuk SHAP (Shapley Additive Explanations) untuk penjelasan, Adversarial Robustness Toolkit untuk ketahanan, dan AIF360 dan Pembelajaran Adil untuk keadilan.
Pengguna "Verifikasi AI" dapat menginstal toolkit di lingkungan internal mereka. Pengguna akan melakukan proses pengujian di bawah panduan antarmuka pengguna. Misalnya, alat menyertakan "pohon kewajaran yang dipandu" bagi pengguna untuk mengidentifikasi metrik kewajaran yang relevan dengan kasus penggunaan mereka. Terakhir, AI Verify akan membuat laporan ringkasan untuk membantu pengembang dan pemilik sistem menginterpretasikan hasil pengujian. Untuk pemeriksaan proses, laporan memberikan daftar periksa ada atau tidak adanya bukti dokumenter sebagaimana ditentukan dalam kerangka pengujian. Hasil pengujian kemudian dikemas ke dalam wadah Docker® untuk diterapkan.
Kesimpulannya
Saat IMDA merilis Verifikasi AI, gelombang minat pada AI generatif belum terwujud. Mengikuti tren saat ini, minat pada tata kelola, pengujian, dan kepercayaan sistem AI telah tumbuh secara signifikan. Seperti yang tercantum dalam artikel ini, berbagai inisiatif "verifikasi kecerdasan buatan" Verifikasi AI baru saja bersiap untuk menanggapi situasi saat ini.
Singapura sebelumnya telah menunjukkan kemampuannya untuk berkontribusi pada wacana global dan kepemimpinan pemikiran tentang tata kelola dan regulasi AI. Pola Kerangka yang dirilis adalah buktinya. Taruhan Verifikasi AI tentu tinggi, tetapi begitu juga permintaan global untuk inisiatif tersebut. Untuk menjadi sukses, itu mungkin perlu lebih dikenal dan digunakan lebih banyak. Itu tergantung pada beberapa faktor. Pertama, aksesibilitas alat sangat penting: Organisasi yang ingin menggunakan Verifikasi AI harus dapat menggunakannya dengan biaya rendah atau tanpa biaya. **Kedua, meyakinkan organisasi akan nilainya sangatlah penting. **Hal ini memerlukan IMDA untuk membuktikan bahwa "verifikasi kecerdasan buatan" AI Verify secara teknis dan prosedural baik, dapat digunakan secara efektif untuk jenis dan skala model dan kumpulan data kecerdasan buatan yang lebih banyak dan lebih baru, dan tidak akan memengaruhi kepemilikan Sensitivitas komersial dari model AI atau kumpulan data. **Ketiga, dan mungkin yang paling penting, ia harus mempertahankan interoperabilitas dengan kerangka peraturan internasional. **IMDA perlu memastikan bahwa Verifikasi AI terus membantu organisasi mengatasi dan beroperasi dalam kerangka kerja peraturan AI global utama yang sedang berkembang seperti Undang-Undang AI UE, Undang-Undang AI dan Data Kanada, dan kerangka kerja Regulasi Risiko AI NIST AS, serta kerangka kerja Peraturan AI Singapura kerangka model nasional sendiri.
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Membuat Tata Kelola AI Dapat Diverifikasi: Perangkat Verifikasi AI Singapura
Penulis: JOSH LEE KOK THONG Terjemahan: Li Yang Proofreading: Xiang Xinyi
Sumber: Makalah
Minat global terhadap tata kelola dan regulasi AI telah meledak dalam beberapa bulan terakhir. Banyak yang percaya bahwa struktur tata kelola dan peraturan baru diperlukan untuk menangani sistem AI generatif — yang kemampuannya mencengangkan, seperti ChatGPT dan DALL-E OpenAI, Bard Google, Difusi Stabil, dan lainnya. Undang-Undang Kecerdasan Buatan UE telah mendapat perhatian luas. Faktanya, banyak inisiatif penting lainnya muncul di seluruh dunia, termasuk berbagai model dan kerangka kerja tata kelola AI.
Artikel ini adalah tentang Kerangka Kerja dan Perangkat Uji Tata Kelola Kecerdasan Buatan Singapura - "Verifikasi AI" yang dirilis pada Mei 2022. Artikel ini terutama mengekstraksi tiga poin utama. ① Merangkum keseluruhan strategi tata kelola AI Singapura dan inisiatif utama yang dikeluarkan oleh pemerintah sebelum meluncurkan verifikasi AI. ② Jelaskan kunci "verifikasi kecerdasan buatan". ③ "Verifikasi AI" telah diluncurkan selama satu tahun, membahas masa depan verifikasi AI, dan pendekatan Singapura terhadap tata kelola dan regulasi AI. Singkatnya, poin utamanya adalah sebagai berikut:
Singapura telah mengambil pendekatan intervensi moderat terhadap tata kelola dan regulasi AI, dengan Model Kerangka Kerja Tata Kelola AI menetapkan pedoman untuk tata kelola AI di sektor swasta.
"AI Verifikasi" adalah kerangka kerja dan perangkat pengujian tata kelola AI, diluncurkan pada Mei 2022. Meskipun dalam tahap uji coba, ini mewakili upaya Singapura untuk lebih mengembangkan wacana global tentang tata kelola dan regulasi AI, berupaya memenuhi permintaan yang terus meningkat akan sistem AI yang dapat dipercaya, dan mempromosikan interkonektivitas kerangka regulasi AI global.
"Verifikasi AI" adalah kerangka pengujian berdasarkan prinsip tata kelola AI yang diakui secara internasional yang dapat digunakan perusahaan saat menguji sistem AI mereka sendiri. Verifikasi AI tidak dimaksudkan untuk menentukan standar etika, melainkan memberikan verifikasi dengan mengizinkan pengembang sistem AI dan pemiliknya untuk mengeluarkan pernyataan yang membuktikan kinerja sistem AI mereka.
– Agar berhasil, "diverifikasi AI" mungkin memerlukan lebih banyak pengakuan dan adopsi. Hal ini bergantung pada faktor-faktor seperti biaya, meyakinkan pemangku kepentingan tentang nilainya, dan relevansi serta sinerginya dengan kerangka peraturan internasional.
Pendekatan Keseluruhan Tata Kelola AI di Singapura
Dalam Strategi Kecerdasan Buatan Nasionalnya, Singapura mengumumkan bahwa negaranya bertujuan untuk menjadi "yang terdepan dalam pengembangan dan penyebaran solusi AI yang terukur dan berdampak" dan berharap untuk mengkonsolidasikan peran negaranya sebagai "pemimpin dalam pengembangan, pengujian, penerapan, dan penskalaan kecerdasan buatan." hub global untuk solusi. Salah satu dari lima "pendukung ekosistem" yang diidentifikasi dalam strategi untuk meningkatkan adopsi AI adalah mengembangkan "lingkungan yang progresif dan dapat dipercaya" untuk pengembangan AI—pertukaran antara inovasi dan meminimalkan risiko sosial lingkungan yang seimbang.
Untuk menciptakan "lingkungan yang progresif dan dapat dipercaya", Singapura sejauh ini telah mengambil pendekatan yang ramah dan sukarela terhadap regulasi AI. Itu karena negara tersebut mengakui dua realitas dari ambisi AI-nya.
Pertama, pemerintah Singapura** melihat AI sebagai kunci strategis yang memungkinkan** untuk menumbuhkan ekonomi dan meningkatkan kualitas hidup warganya. Alhasil, Singapura belum mengambil langkah drastis dalam mengatur kecerdasan buatan, agar tidak menghambat inovasi dan investasi. Kedua, mengingat ukurannya, Singapura mengakui bahwa pemerintahnya sendiri mungkin merupakan pengambil harga daripada penentu harga karena wacana, kerangka kerja, dan peraturan tata kelola AI berkembang secara global. Oleh karena itu, strategi saat ini bukan untuk menyegarkan prinsip-prinsip kecerdasan buatan, tetapi untuk "mengikuti tren dunia, dan tidak berniat mengubah tren dunia."("Ambil dunia di mana itu, bukan di mana ia berharap dunia berada.")
Pendekatan peraturan Singapura terhadap AI - diawasi oleh Komisi Perlindungan Data Pribadi (PDPC) Singapura - memiliki tiga pilar menjelang peluncuran Verifikasi AI pada tahun 2022:
1 Model Kerangka Tata Kelola AI (Framework Model).
Komite Penasihat Penggunaan Etis Kecerdasan Buatan dan Data (Komite Penasehat).
Tata kelola AI dan rencana penelitian penggunaan data (proyek penelitian).
Berikut ini berfokus pada "Model Kerangka".
modus bingkai
Model Kerangka Kerja, pertama kali diluncurkan pada Pertemuan Tahunan Forum Ekonomi Dunia pada tahun 2019, adalah kerangka kerja sukarela dan tidak mengikat yang memandu organisasi dalam penyebaran solusi kecerdasan buatan yang bertanggung jawab dalam skala besar, mencatat bahwa kerangka kerja tersebut tidak bergantung pada tahap pengembangan teknologi . Sebagai panduan, Model Kerangka hanya memberikan rekomendasi praktis untuk penyebaran AI oleh entitas sektor swasta, sementara penggunaan AI sektor publik diatur oleh pedoman internal dan perangkat tata kelola AI dan data. **Pola Kerangka dikenal sebagai "dokumen hidup" dan versi masa depan akan berkembang seiring dengan perkembangan teknologi dan masyarakat. Dasarnya terletak pada ketidakpastian teknologi, industri, skala dan model bisnis. **
Pada dasarnya, pola kerangka kerja dipandu oleh dua prinsip dasar yang mendorong kepercayaan dan pemahaman dalam AI. **Pertama, organisasi yang menggunakan AI dalam pengambilan keputusan harus memastikan bahwa proses pengambilan keputusan mereka dapat dijelaskan, transparan, dan adil. Kedua, sistem AI harus berpusat pada manusia: melindungi kesejahteraan dan keselamatan manusia harus menjadi pertimbangan utama dalam desain, pengembangan, dan penggunaan AI. **
Kerangka kerja menerjemahkan prinsip panduan ini menjadi tindakan yang dapat ditindaklanjuti dalam empat bidang utama pengambilan keputusan organisasi dan proses pengembangan teknologi:
(a) struktur dan praktik tata kelola internal;
(b) menentukan tingkat keterlibatan manusia dalam pengambilan keputusan yang ditambah AI;
(c) manajemen operasi;
(d) Interaksi dan komunikasi pemangku kepentingan.
Tabel di bawah merangkum beberapa pertimbangan, pendekatan, dan langkah-langkah yang disarankan di bidang-bidang utama ini.
Ketika Singapura meluncurkan Framework Model edisi kedua di World Economic Forum 2020, disertai dengan dua dokumen lainnya: Implementasi dan Self-Assessment Guide for Organizations (ISAGO) dan Compendium of Use Cases (Kompilasi - Volume 1 dan 2 volume) . ISAGO adalah daftar periksa untuk membantu organisasi menilai keselarasan proses tata kelola AI mereka dengan kerangka kerja model. Kompendium memberikan contoh nyata penerapan rekomendasi Framework di seluruh sektor, kasus penggunaan, dan yurisdiksi.
Secara umum, "Model Kerangka" dan dokumen pendukungnya melabuhkan dan menguraikan pemikiran substantif regulasi kecerdasan buatan di Singapura. Inisiatif ini membuat Singapura memenangkan KTT Dunia Perserikatan Bangsa-Bangsa tentang Penghargaan Masyarakat Informasi pada tahun 2019, mengakui kepemimpinannya dalam tata kelola AI.
Januari 2020 menandai titik balik dalam diskusi global tentang regulasi AI. Pada 17 Januari 2020, sebuah buku putih yang dirilis Komisi Eropa membuat masyarakat internasional lebih memperhatikan kemungkinan regulasi pemerintah atas teknologi kecerdasan buatan. Pada bulan Februari 2020, Komisi Eropa secara resmi merilis "Buku Putih tentang Kecerdasan Buatan", yang menetapkan rencana untuk membuat kerangka peraturan untuk kecerdasan buatan. Beberapa bulan kemudian, Komisi Eropa mempresentasikan draf RUU Kecerdasan Buatan yang akan datang. Ini adalah upaya serius pertama oleh lembaga pemerintah untuk memperkenalkan aturan substantif untuk mengatur pengembangan dan penggunaan sistem AI secara horizontal. Dapat diharapkan bahwa Undang-Undang AI juga akan memiliki efek ekstra yurisdiksi, dan perusahaan yang mengembangkan sistem AI di luar Eropa dapat tunduk pada undang-undang baru tersebut.
Ini telah memengaruhi pemikiran tentang masa depan tata kelola dan regulasi AI Singapura. Sementara Komisi Perlindungan Data Pribadi Singapura (PDPC) mempertahankan pendekatannya yang sukarela dan longgar terhadap regulasi AI, diakui bahwa AI akan menghadapi pengawasan yang lebih ketat di masa mendatang. PDPC juga tampaknya memperhatikan permintaan yang meningkat dari ** konsumen untuk kredibilitas sistem dan pengembang AI, dan kebutuhan akan standar internasional AI untuk pembandingan dan evaluasi AI terhadap persyaratan peraturan. Selain itu, persyaratan interoperabilitas kerangka regulasi AI juga meningkat. **Mengingat hal ini, Singapura mulai berkembang, dan hasil akhir digabungkan ke dalam kerangka kerja "AI Verify".
Apa itu "Verifikasi AI"
"AI Verify" dikeluarkan bersama oleh Infocomm Media Development Authority (IMDA), sebuah komite hukum di bawah Kementerian Komunikasi dan Informasi Singapura, dan Komite Perlindungan Data Pribadi (PDPC). Ini adalah kerangka kerja dan perangkat pengujian tata kelola kecerdasan buatan. **Dengan menggunakan Verifikasi AI, organisasi dapat melakukan penilaian sukarela terhadap sistem AI mereka menggunakan kombinasi pengujian teknis dan inspeksi berbasis proses. Pada gilirannya, sistem tersebut membantu perusahaan memberikan bukti yang objektif dan dapat diverifikasi kepada pemangku kepentingan bahwa sistem AI mereka diterapkan dengan cara yang bertanggung jawab dan dapat dipercaya. **
Mengingat pengembangan berkelanjutan dari metode, standar, indikator, dan alat pengujian kecerdasan buatan, "verifikasi kecerdasan buatan" (AI Verify) saat ini berada dalam tahap "produk layak minimum" (MVP). Ini memiliki dua implikasi. Pertama, versi MVP memiliki keterbatasan teknis dan dibatasi oleh jenis dan ukuran model AI atau kumpulan data yang dapat diuji atau dianalisis. Kedua, verifikasi AI diharapkan berkembang seiring dengan matangnya kemampuan pengujian AI.
Empat tujuan untuk mengembangkan versi MVP "AI Verified" adalah:
(a) Pertama, IMDA berharap agar organisasi dapat menggunakan "validasi AI" untuk menentukan tolok ukur kinerja sistem AI mereka dan mendemonstrasikan tolok ukur yang telah divalidasi ini kepada pemangku kepentingan seperti konsumen dan karyawan, sehingga membantu organisasi membangun kepercayaan.
(b) Kedua, mengingat pengembangannya dengan mempertimbangkan berbagai kerangka peraturan dan tata kelola AI, serta prinsip-prinsip umum AI yang dapat dipercaya, Validasi AI bertujuan untuk membantu organisasi menemukan berbagai kerangka kerja dan peraturan tata kelola AI global yang sama. IMDA akan terus bekerja sama dengan regulator dan organisasi standar untuk memetakan kerangka pengujian untuk "Validasi AI" ke kerangka kerja yang telah ditetapkan. Upaya tersebut ditujukan untuk memungkinkan perusahaan mengoperasikan atau menawarkan produk dan layanan AI di berbagai pasar, sekaligus menjadikan Singapura sebagai pusat tata kelola AI dan pengujian regulasi.
(c) Ketiga, **IMDA akan dapat menyusun praktik, tolok ukur, dan metrik industri karena lebih banyak organisasi bereksperimen dengan "Validasi AI" dan menggunakan kerangka pengujiannya. **Mengingat bahwa Singapura berpartisipasi dalam platform tata kelola AI global, seperti Kemitraan AI Global dan ISO/IEC JTC1/SC 42, memberikan perspektif berharga tentang penetapan standar internasional untuk tata kelola AI, ini dapat memfasilitasi pengembangan standar untuk tata kelola AI di dalam.
(d) Keempat, IMDA menginginkan "Verifikasi AI" untuk membantu menciptakan komunitas pengujian AI lokal di Singapura yang terdiri dari pengembang AI dan pemilik sistem (berusaha untuk menguji sistem AI), penyedia teknologi (yang sedang mengembangkan penerapan tata kelola AI dan solusi pengujian), penyedia layanan konsultasi (berspesialisasi dalam dukungan pengujian dan sertifikasi), dan peneliti (yang mengembangkan teknik, tolok ukur, dan praktik pengujian).
Penting juga untuk mengklarifikasi beberapa potensi kesalahpahaman tentang "validasi AI". Pertama, **"Validasi AI" tidak berusaha mendefinisikan standar etika. **Ini tidak mencoba memberi sinyal klasifikasi sistem AI, tetapi sebaliknya memberikan verifikasi, yang memungkinkan pengembang dan pemilik sistem AI untuk membuktikan klaim mereka tentang kinerja sistem AI mereka. Kedua, organisasi pemerintah yang menggunakan "verifikasi AI" tidak dapat menjamin bahwa sistem AI yang diuji bebas dari risiko atau bias, atau sepenuhnya "aman" dan "etis". Ketiga, "Validasi AI" bertujuan untuk mencegah organisasi secara tidak sengaja mengungkapkan informasi sensitif tentang sistem AI mereka (seperti kode dasar atau data pelatihan). Itu telah mengadopsi langkah pengamanan utama - " Verifikasi AI" yang akan diuji sendiri oleh pengembang dan pemilik sistem AI. Hal ini memungkinkan data dan model organisasi tetap berada dalam lingkungan operasi organisasi. **
Cara kerja "Verifikasi AI"
"Validasi AI" terdiri dari dua bagian. Yang pertama adalah Test Framework, yang mengutip 11 prinsip etika dan tata kelola AI yang diakui secara internasional yang disusun dalam lima pilar. Yang kedua adalah perangkat yang digunakan organisasi untuk melakukan pengujian teknis dan pemeriksaan proses dokumen dalam kerangka pengujian.
Kerangka pengujian untuk "verifikasi kecerdasan buatan"
Lima pilar dan sebelas prinsip dari kerangka pengujian "AI Validation" dan penilaian yang dimaksudkan tercantum di bawah ini:
***(a) Definisi: *** Kerangka pengujian memberikan definisi yang mudah dipahami untuk setiap prinsip AI. Misalnya, interpretabilitas didefinisikan sebagai "kemampuan untuk menilai faktor-faktor yang mengarah pada keputusan sistem AI, perilaku, hasil, dan dampaknya secara keseluruhan."
***(b) Kriteria yang Dapat Diuji: ***Untuk setiap prinsip, disediakan seperangkat kriteria yang dapat diuji. Standar-standar ini memperhitungkan faktor-faktor teknis dan/atau non-teknis (seperti proses, prosedur, atau struktur organisasi) yang berkontribusi untuk mencapai hasil yang diharapkan dari prinsip tata kelola ini.
Mengambil interpretabilitas sebagai contoh, dua kriteria yang dapat diuji diberikan. Pengembang dapat menjalankan metode penjelasan untuk membantu pengguna memahami apa yang mendorong model AI. Pengembang juga dapat menunjukkan preferensi untuk mengembangkan model AI yang menjelaskan keputusan mereka, atau melakukannya secara default.
***(c) Proses Uji: *** Untuk setiap kriteria yang dapat diuji, "Validasi AI" menyediakan proses atau langkah-langkah yang dapat ditindaklanjuti untuk dilakukan, yang dapat bersifat kuantitatif (seperti uji statistik atau teknis), dapat juga bersifat kualitatif (mis. bukti dokumenter yang dihasilkan selama inspeksi proses).
Sejauh menyangkut interpretabilitas, pengujian teknis mungkin melibatkan analisis empiris dan menentukan kontribusi fitur untuk keluaran model. Pengujian berbasis proses akan mendokumentasikan pemikiran, penilaian risiko, dan pengorbanan model AI.
***(d) Metrik: ***Ini adalah parameter kuantitatif atau kualitatif yang digunakan untuk mengukur atau memberikan bukti untuk setiap kriteria yang dapat diuji.
Dengan menggunakan contoh interpretabilitas di atas, metrik yang digunakan untuk menentukan kontribusi fitur memeriksa fitur yang berkontribusi dari keluaran model yang diperoleh dari alat teknis seperti SHAP dan LIME. Saat memilih model akhir, metrik berbasis proses dapat digunakan untuk mendokumentasikan penilaian, seperti penilaian risiko dan latihan trade-off.
***(e) Ambang batas (jika berlaku): ***Jika tersedia, kerangka pengujian akan memberikan nilai atau tolok ukur yang diterima untuk metrik yang dipilih. Nilai-nilai ini, atau tolok ukur, dapat ditentukan oleh badan pengatur, asosiasi industri, atau organisasi penetapan standar lain yang diakui. Tidak ada ambang batas yang disediakan untuk model MVP "Validasi AI", dengan mempertimbangkan perkembangan pesat teknologi AI, kasus penggunaannya, dan metode pengujian sistem AI. Namun, karena ruang tata kelola AI semakin matang dan penggunaan "AI Verify" meningkat, IMDA bermaksud untuk menyusun dan mengembangkan metrik dan ambang khusus konteks untuk ditambahkan ke kerangka pengujian.
"Verifikasi Kecerdasan Buatan" Perangkat Verifikasi AI
Sementara toolkit AI Verify untuk "verifikasi kecerdasan buatan" saat ini hanya tersedia untuk organisasi yang berhasil mendaftar dalam program MVP Verifikasi AI, IMDA menjelaskan toolkit tersebut sebagai alat "satu atap" bagi organisasi untuk melakukan pengujian teknis. Secara khusus, toolkit ini menggunakan pustaka pengujian sumber terbuka secara ekstensif. Alat-alat ini termasuk SHAP (Shapley Additive Explanations) untuk penjelasan, Adversarial Robustness Toolkit untuk ketahanan, dan AIF360 dan Pembelajaran Adil untuk keadilan.
Pengguna "Verifikasi AI" dapat menginstal toolkit di lingkungan internal mereka. Pengguna akan melakukan proses pengujian di bawah panduan antarmuka pengguna. Misalnya, alat menyertakan "pohon kewajaran yang dipandu" bagi pengguna untuk mengidentifikasi metrik kewajaran yang relevan dengan kasus penggunaan mereka. Terakhir, AI Verify akan membuat laporan ringkasan untuk membantu pengembang dan pemilik sistem menginterpretasikan hasil pengujian. Untuk pemeriksaan proses, laporan memberikan daftar periksa ada atau tidak adanya bukti dokumenter sebagaimana ditentukan dalam kerangka pengujian. Hasil pengujian kemudian dikemas ke dalam wadah Docker® untuk diterapkan.
Kesimpulannya
Saat IMDA merilis Verifikasi AI, gelombang minat pada AI generatif belum terwujud. Mengikuti tren saat ini, minat pada tata kelola, pengujian, dan kepercayaan sistem AI telah tumbuh secara signifikan. Seperti yang tercantum dalam artikel ini, berbagai inisiatif "verifikasi kecerdasan buatan" Verifikasi AI baru saja bersiap untuk menanggapi situasi saat ini.
Singapura sebelumnya telah menunjukkan kemampuannya untuk berkontribusi pada wacana global dan kepemimpinan pemikiran tentang tata kelola dan regulasi AI. Pola Kerangka yang dirilis adalah buktinya. Taruhan Verifikasi AI tentu tinggi, tetapi begitu juga permintaan global untuk inisiatif tersebut. Untuk menjadi sukses, itu mungkin perlu lebih dikenal dan digunakan lebih banyak. Itu tergantung pada beberapa faktor. Pertama, aksesibilitas alat sangat penting: Organisasi yang ingin menggunakan Verifikasi AI harus dapat menggunakannya dengan biaya rendah atau tanpa biaya. **Kedua, meyakinkan organisasi akan nilainya sangatlah penting. **Hal ini memerlukan IMDA untuk membuktikan bahwa "verifikasi kecerdasan buatan" AI Verify secara teknis dan prosedural baik, dapat digunakan secara efektif untuk jenis dan skala model dan kumpulan data kecerdasan buatan yang lebih banyak dan lebih baru, dan tidak akan memengaruhi kepemilikan Sensitivitas komersial dari model AI atau kumpulan data. **Ketiga, dan mungkin yang paling penting, ia harus mempertahankan interoperabilitas dengan kerangka peraturan internasional. **IMDA perlu memastikan bahwa Verifikasi AI terus membantu organisasi mengatasi dan beroperasi dalam kerangka kerja peraturan AI global utama yang sedang berkembang seperti Undang-Undang AI UE, Undang-Undang AI dan Data Kanada, dan kerangka kerja Regulasi Risiko AI NIST AS, serta kerangka kerja Peraturan AI Singapura kerangka model nasional sendiri.