PwC: Mengurai Kode Risiko dan Tantangan Keamanan yang Dimunculkan oleh AI Generatif

Sumber: PwC

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Dampak gelombang produk AI generatif pada keamanan perusahaan

Sejumlah produk AI generatif seperti ChatGPT diharapkan dapat membebaskan karyawan dari tugas-tugas yang membosankan dan berulang, serta karyawan dapat mencurahkan lebih banyak waktu dan tenaga untuk pekerjaan yang lebih bernilai bagi perusahaan. Namun, dari perspektif keamanan perusahaan, produk AI generatif dapat menimbulkan risiko baru, yang merupakan pedang bermata dua bagi perusahaan.

01 Ancaman serangan dunia maya semakin meningkat

AI generatif menurunkan penghalang masuk bagi peretas. Peretas dapat menggunakan AI generatif untuk mengintegrasikan berbagai metode serangan dunia maya dengan cepat, "mempersenjatai" metode serangan dengan mudah, dan mungkin mencapai metode serangan inovatif. Tim keamanan siber PwC telah mengamati dengan jelas bahwa serangan rekayasa sosial seperti email phishing yang diterima oleh pelanggan telah meningkat secara signifikan dalam beberapa bulan terakhir, yang bertepatan dengan meluasnya penggunaan ChatGPT; ChatGPT juga ditemukan lebih menipu untuk situs phishing generasi batch.

02 Kebocoran Data Sensitif Perusahaan

Pakar keamanan memiliki kekhawatiran tentang kemungkinan kebocoran data sensitif perusahaan, dan perilaku input karyawan yang tidak tepat dapat menyebabkan data sensitif tetap berada di database produk AI generatif. Kebijakan privasi OpenAI menunjukkan bahwa konten yang dimasukkan pengguna saat menggunakan ChatGPT akan digunakan untuk melatih model algoritme AI-nya. Selain itu, ChatGPT telah terkena masalah keamanan yang serius, karena kerentanan di pustaka sumber terbuka, beberapa pengguna dapat melihat judul riwayat percakapan pengguna lain. Saat ini, banyak raksasa teknologi seperti Amazon dan Microsoft telah mengingatkan karyawan untuk tidak berbagi data sensitif dengan ChatGPT.

03 Risiko Keracunan AI Generatif

Peracunan data pelatihan adalah ancaman keamanan umum yang dihadapi oleh AI generatif. Data berbahaya akan berdampak negatif pada hasil algoritme AI. Jika manajemen operasi sangat bergantung pada AI generatif, keputusan yang salah dapat dibuat pada masalah kritis. Di sisi lain, AI generatif juga memiliki potensi masalah "bias". Mirip dengan kegiatan "100 Botol Racun untuk AI" yang diikuti oleh banyak pakar dan cendekiawan terkenal, dalam proses pengembangan atau penggunaan AI, perusahaan harus secara aktif menanggapi ancaman keracunan AI dengan cara yang strategis.

04Masalah perlindungan privasi

Tahap pra-pelatihan AI generatif membutuhkan pengumpulan dan penambangan data dalam jumlah besar, yang mungkin mencakup informasi pribadi dari banyak pelanggan dan karyawan. Jika AI generatif tidak dapat melindungi dan menganonimkan informasi pribadi ini dengan benar, ini dapat menyebabkan kebocoran privasi, dan informasi pribadi ini bahkan dapat disalahgunakan untuk menganalisis dan berspekulasi tentang perilaku pengguna. Misalnya, pasar aplikasi ponsel penuh dengan perangkat lunak pembuat gambar, pengguna hanya perlu mengunggah beberapa avatar mereka sendiri, dan perangkat lunak dapat menghasilkan foto gabungan dari berbagai adegan dan tema. Namun, bagaimana perusahaan perangkat lunak menggunakan avatar yang diunggah oleh pengguna ini, apakah itu akan membawa perlindungan privasi dan risiko keamanan lainnya, patut diperhatikan dan ditanggapi.

05 Risiko Kepatuhan Keamanan Perusahaan

Dengan tidak adanya langkah-langkah manajemen yang efektif, adopsi massal produk AI generatif dapat menyebabkan masalah kepatuhan keamanan, yang tidak diragukan lagi merupakan tantangan besar bagi manajer keamanan perusahaan. Tindakan Sementara untuk Administrasi Layanan Kecerdasan Buatan Generatif, yang ditinjau dan disetujui oleh Administrasi Dunia Maya China dan disetujui oleh enam departemen termasuk Komisi Pembangunan dan Reformasi Nasional dan Kementerian Pendidikan, telah diumumkan beberapa hari yang lalu dan akan mulai berlaku pada tanggal 151 Agustus 2. Ini mengedepankan persyaratan dasar dari perspektif pengembangan dan tata kelola teknologi, spesifikasi layanan, pengawasan dan inspeksi, dan tanggung jawab hukum, dan menetapkan kerangka kerja kepatuhan dasar untuk penerapan AI generatif.

Pelajari tentang skenario ancaman keamanan AI generatif dunia nyata

Setelah memahami risiko keamanan yang diperkenalkan oleh AI generatif, berikut ini akan menganalisis bagaimana masalah muncul dalam skenario ancaman keamanan yang lebih spesifik, dan mengeksplorasi dampak halus AI generatif pada keamanan perusahaan.

01 Serangan Rekayasa Sosial

Peretas terkenal dunia Kevin Mitnick pernah berkata: "Mata rantai terlemah dalam rantai keamanan adalah elemen manusia." Taktik yang biasa digunakan oleh peretas rekayasa sosial adalah menggunakan kata-kata manis untuk memikat karyawan perusahaan, dan munculnya AI generatif telah sangat memudahkan serangan rekayasa sosial. AI generatif dapat menghasilkan konten palsu yang sangat realistis, termasuk berita palsu, postingan media sosial palsu, email penipuan, dan banyak lagi. Konten palsu ini dapat menyesatkan pengguna, menyebarkan informasi palsu, atau mengelabui karyawan agar membuat keputusan yang salah. AI generatif bahkan dapat digunakan untuk mensintesis suara atau video agar tampak nyata, yang dapat digunakan untuk melakukan penipuan atau memalsukan bukti. Biro Keamanan Umum Kota Baotou Biro Investigasi Kejahatan Jaringan Telekomunikasi merilis kasus penipuan telekomunikasi menggunakan teknologi AI cerdas Penjahat menipu 4,3 juta yuan dalam 10 menit melalui teknologi pengubah wajah AI.

02 Pelanggaran yang tidak disadari oleh karyawan

Banyak produsen teknologi telah mulai secara aktif menyusun jalur AI generatif, mengintegrasikan sejumlah besar fungsi AI generatif ke dalam produk dan layanan. Karyawan mungkin secara tidak sengaja menggunakan produk AI generatif tanpa membaca ketentuan penggunaan pengguna dengan cermat sebelum menggunakannya. Saat karyawan perusahaan menggunakan AI generatif, mereka dapat memasukkan konten yang berisi informasi sensitif, seperti data keuangan, informasi proyek, rahasia perusahaan, dll., yang dapat menyebabkan kebocoran informasi sensitif perusahaan. Untuk mencegah pengungkapan informasi sensitif oleh AI generatif, perusahaan perlu mengambil langkah-langkah keamanan yang komprehensif: termasuk meningkatkan teknologi perlindungan kebocoran data dan membatasi perilaku online karyawan; pada saat yang sama, mereka perlu memberikan pelatihan keamanan bagi karyawan untuk meningkatkan keamanan data dan kerahasiaan kewaspadaan menunggu. Begitu pelanggaran karyawan ditemukan, perusahaan perlu segera menilai dampaknya dan mengambil tindakan tepat waktu.

03 Diskriminasi dan Prasangka yang Tak Terhindarkan

Alasan mengapa AI generatif dapat mengalami diskriminasi dan bias terutama karena karakteristik data pelatihan dan desain modelnya. Data pelatihan dari Internet mencerminkan bias dunia nyata, termasuk aspek seperti ras, jenis kelamin, budaya, agama, dan status sosial. Selama pemrosesan data pelatihan, mungkin tidak ada tindakan penyaringan dan pembersihan yang cukup untuk mengecualikan data yang bias. Demikian pula, mungkin tidak ada cukup perhatian untuk mengurangi bias dalam desain model dan pemilihan algoritme untuk AI generatif. Model algoritmik mengambil bias dalam data pelatihan saat mereka belajar, yang mengarah ke bias serupa dalam teks yang dihasilkan. Meskipun menghilangkan bias dan diskriminasi dari AI generatif merupakan tantangan yang kompleks, ada beberapa langkah yang dapat diambil bisnis untuk membantu memitigasinya3.

04 Kompromi pada perlindungan privasi

Dalam proses menggunakan produk AI generatif, untuk mengejar otomatisasi yang efisien dan layanan yang dipersonalisasi, perusahaan dan individu dapat membuat beberapa kompromi dalam hal perlindungan privasi, memungkinkan AI generatif mengumpulkan beberapa data pribadi. Selain pengguna mengungkapkan konten privasi pribadi ke AI generatif selama penggunaan, AI generatif juga dapat menganalisis input konten oleh pengguna, dan menggunakan algoritme untuk berspekulasi tentang informasi, preferensi, atau perilaku pribadi pengguna, yang selanjutnya melanggar privasi pengguna. Desensitisasi dan anonimisasi data adalah tindakan perlindungan privasi yang umum, tetapi dapat menyebabkan hilangnya beberapa informasi data, sehingga mengurangi keakuratan model pembuatan. Keseimbangan harus ditemukan antara perlindungan privasi pribadi dan kualitas konten yang dihasilkan . Sebagai penyedia AI generatif, ia harus memberi pengguna pernyataan kebijakan privasi yang transparan untuk memberi tahu mereka tentang pengumpulan, penggunaan, dan pembagian data, sehingga pengguna dapat membuat keputusan yang tepat.

05 Tren Utama dalam Kepatuhan terhadap Peraturan

Dari sudut pandang saat ini, risiko kepatuhan hukum yang dihadapi AI generatif terutama berasal dari "pelanggaran konten terhadap undang-undang dan peraturan" dan "pelanggaran kekayaan intelektual". Dengan tidak adanya pengawasan, AI generatif dapat menghasilkan konten ilegal atau tidak pantas, yang mungkin melibatkan elemen ilegal atau ilegal seperti penghinaan, pencemaran nama baik, pornografi, kekerasan; di sisi lain, AI generatif dapat menghasilkan konten berdasarkan konten berhak cipta yang ada, yang dapat mengakibatkan pelanggaran kekayaan intelektual. Perusahaan yang menggunakan AI generatif harus melakukan tinjauan kepatuhan untuk memastikan bahwa aplikasi mereka mematuhi peraturan dan standar yang relevan serta menghindari risiko hukum yang tidak perlu. Perusahaan pertama-tama harus menilai apakah produk yang mereka gunakan mematuhi ketentuan "Tindakan Sementara untuk Administrasi Layanan Kecerdasan Buatan Generatif". Pada saat yang sama, mereka perlu memperhatikan pembaruan dan perubahan undang-undang dan peraturan yang relevan, dan membuat penyesuaian tepat waktu untuk memastikan kepatuhan. Saat perusahaan menggunakan AI generatif dengan pemasok atau mitra, mereka perlu mengklarifikasi hak dan tanggung jawab masing-masing pihak, dan menetapkan kewajiban dan batasan terkait dalam kontrak.

Bagaimana Individu dan Bisnis Dapat Secara Proaktif Mengatasi Risiko dan Tantangan AI Generatif

Pengguna individu dan karyawan perusahaan perlu menyadari bahwa sambil menikmati berbagai kemudahan yang dibawa oleh AI generatif, mereka tetap perlu memperkuat perlindungan privasi pribadi dan informasi sensitif lainnya.

01Hindari pengungkapan privasi pribadi

Sebelum menggunakan produk AI generatif, karyawan harus memastikan bahwa penyedia layanan akan melindungi privasi dan keamanan pengguna secara wajar, membaca dengan cermat kebijakan privasi dan persyaratan pengguna, dan mencoba memilih penyedia tepercaya yang telah diverifikasi oleh publik. Cobalah untuk menghindari memasukkan data privasi pribadi selama penggunaan, dan gunakan identitas virtual atau informasi anonim dalam skenario yang tidak memerlukan informasi identitas asli. Setiap data sensitif yang mungkin perlu disamarkan sebelum dimasukkan. Di Internet, terutama media sosial dan forum publik, karyawan harus menghindari berbagi informasi pribadi secara berlebihan, seperti nama, alamat, nomor telepon, dll., dan tidak dengan mudah membuka informasi ke situs web dan konten yang dapat diakses publik.

02 Hindari menghasilkan konten yang menyesatkan

Karena keterbatasan prinsip teknis AI generatif, hasilnya pasti akan menyesatkan atau bias Pakar industri juga terus mempelajari cara menghindari risiko keracunan data. Untuk informasi penting, karyawan harus memverifikasinya dari berbagai sumber independen dan tepercaya, dan jika informasi yang sama muncul hanya di satu tempat, penyelidikan lebih lanjut mungkin diperlukan untuk memastikan keasliannya. Cari tahu apakah informasi yang dinyatakan dalam hasil didukung oleh bukti yang kuat Jika tidak ada dasar substantif, Anda mungkin perlu bersikap skeptis terhadap informasi tersebut. Mengidentifikasi menyesatkan dan bias AI generatif mengharuskan pengguna untuk mempertahankan pemikiran kritis, terus meningkatkan literasi digital mereka, dan memahami cara menggunakan produk dan layanannya dengan aman.

Dibandingkan dengan sikap terbuka pengguna individu, perusahaan masih menunggu dan mengawasi AI generatif Pengenalan AI generatif merupakan peluang sekaligus tantangan bagi perusahaan. Perusahaan perlu melakukan pertimbangan risiko secara keseluruhan dan melakukan penerapan strategi respons terlebih dahulu.PwC merekomendasikan agar perusahaan dapat mempertimbangkan untuk memulai pekerjaan terkait dari aspek-aspek berikut.

01 Penilaian keamanan jaringan perusahaan mengklarifikasi kekurangan pertahanan

Tantangan nomor satu yang dihadapi perusahaan tetap bagaimana mempertahankan diri dari serangan siber generasi berikutnya yang dibawa oleh AI generatif. Untuk perusahaan, sangat penting untuk menilai status keamanan jaringan saat ini, menentukan apakah perusahaan memiliki kemampuan deteksi dan pertahanan keamanan yang memadai untuk menghadapi serangan ini, mengidentifikasi potensi kerentanan pertahanan keamanan jaringan, dan mengambil tindakan penguatan yang sesuai untuk secara aktif menanganinya. Untuk mencapai tujuan di atas, tim keamanan siber PwC merekomendasikan agar perusahaan melakukan latihan konfrontasi ofensif dan defensif berdasarkan skenario ancaman serangan siber nyata ini, yaitu, "konfrontasi merah dan biru" keamanan siber. Dari skenario serangan yang berbeda, kami dapat menemukan kemungkinan kekurangan pertahanan keamanan jaringan terlebih dahulu, dan memperbaiki kelemahan pertahanan secara komprehensif dan sistematis, untuk melindungi aset TI perusahaan dan keamanan data.

02 Terapkan lingkungan pengujian AI generatif internal perusahaan

Untuk memahami prinsip-prinsip teknis AI generatif dan mengontrol hasil model AI generatif dengan lebih baik, perusahaan dapat mempertimbangkan untuk membuat lingkungan pengujian sandbox AI generatif mereka sendiri secara internal, untuk mencegah AI generatif yang tidak terkendali Potensi ancaman produk AI terhadap data perusahaan. Dengan menguji di lingkungan yang terisolasi, perusahaan dapat memastikan bahwa data yang akurat dan bebas bias tersedia untuk pengembangan AI, dan dapat lebih percaya diri mengeksplorasi dan mengevaluasi kinerja model tanpa risiko paparan data sensitif. Lingkungan pengujian yang terisolasi juga dapat menghindari keracunan data dan serangan eksternal lainnya pada AI generatif, serta menjaga stabilitas model AI generatif.

03Membuat strategi manajemen risiko untuk AI generatif

Perusahaan harus memasukkan AI generatif ke dalam lingkup target manajemen risiko sesegera mungkin, dan melengkapi serta memodifikasi kerangka kerja dan strategi manajemen risiko. Melakukan penilaian risiko untuk skenario bisnis menggunakan AI generatif, mengidentifikasi potensi risiko dan kerentanan keamanan, merumuskan rencana risiko yang sesuai, dan mengklarifikasi tugas penanggulangan dan tanggung jawab. Menetapkan sistem manajemen akses yang ketat untuk memastikan bahwa hanya personel yang berwenang yang dapat mengakses dan menggunakan produk AI generatif yang disetujui oleh perusahaan. Pada saat yang sama, perilaku penggunaan pengguna harus diatur, dan karyawan perusahaan harus dilatih tentang manajemen risiko AI generatif untuk meningkatkan kesadaran keamanan dan kemampuan mengatasi karyawan. Pengusaha juga harus mengadopsi pendekatan privasi dengan desain saat mengembangkan aplikasi AI generatif, sehingga pengguna akhir mengetahui bagaimana data yang mereka berikan akan digunakan dan data apa yang akan disimpan.

04 Membentuk kelompok kerja penelitian AI generatif khusus

Perusahaan dapat mengumpulkan pengetahuan dan keterampilan profesional dalam organisasi untuk bersama-sama mengeksplorasi potensi peluang dan risiko teknologi AI generatif, dan mengundang anggota yang memahami bidang terkait untuk berpartisipasi dalam kelompok kerja, termasuk pakar tata kelola data, pakar model AI, pakar domain bisnis, dan pakar kepatuhan hukum menunggu. Manajemen perusahaan harus memastikan bahwa anggota kelompok kerja memiliki akses ke data dan sumber daya yang diperlukan untuk memungkinkan mereka mengeksplorasi dan bereksperimen, sambil mendorong anggota kelompok kerja untuk bereksperimen dan memvalidasi dalam lingkungan pengujian untuk lebih memahami potensi peluang dan peluang AI generatif. skenario dapat menyeimbangkan risiko untuk memperoleh manfaat dari penerapan teknologi canggih.

Kesimpulan

Pengembangan dan penerapan AI generatif berdampak besar pada teknologi, yang dapat memicu revolusi baru dalam produktivitas. Generatif AI adalah teknologi canggih yang menggabungkan kemajuan di bidang-bidang seperti pembelajaran mendalam, pemrosesan bahasa alami, dan data besar untuk memungkinkan sistem komputer menghasilkan konten dalam bahasa manusia. Perusahaan dan karyawan harus mengendalikan teknologi yang kuat ini dan memastikan bahwa pengembangan dan penerapannya dilakukan dalam kerangka hukum, etika, dan tanggung jawab sosial.Ini akan menjadi masalah penting di masa depan. Tim pakar AI PwC berkomitmen untuk meneliti cara membantu perusahaan membangun mekanisme manajemen AI generatif yang lengkap4, sehingga perusahaan dapat menerapkan dan mengembangkan teknologi baru ini dengan pikiran yang lebih tenang, yang akan membantu perusahaan bergabung dalam gelombang In the wave teknologi AI, AI generatif dapat memberi perusahaan keunggulan kompetitif yang berkelanjutan.

Catatan

1. Tindakan Sementara untuk Administrasi Layanan Kecerdasan Buatan Generatif_Dokumen Departemen Dewan Negara_ChinaGov.com

2. Inovasi dan Tata Kelola: Menafsirkan tren regulasi terbaru dalam kecerdasan buatan generatif

3. Memahami bias algoritmik dan cara membangun kepercayaan pada AI

4. Mengelola risiko AI generatif: PwC

Penafian: Informasi dalam artikel ini hanya untuk tujuan informasi umum dan tidak dianggap lengkap, juga bukan merupakan nasihat atau layanan hukum, pajak, atau profesional lainnya dari PwC. Lembaga anggota PwC tidak bertanggung jawab atas kerugian yang disebabkan oleh subjek apa pun karena penggunaan konten pasal ini.