Dialog dengan Zhu Jun, Institut Kecerdasan Buatan, Universitas Tsinghua: Risiko keamanan apa yang tersembunyi dalam model AI yang populer?

Teks: Li Haidan, Teknologi Tencent

Sumber gambar: Dihasilkan oleh AI Tak Terbatas

Manusia telah menciptakan AI, tetapi AI juga membentuk kembali dunia tempat kita hidup. Dengan ledakan teknologi model bahasa besar, AI telah mulai berintegrasi lebih jauh ke dalam kehidupan kita, dan manusia perlu mempertimbangkan dan menerapkan langkah-langkah keamanan yang diperlukan pada tahap awal pengembangannya untuk menghindari potensi risiko.

Masalah keamanan siber yang ditemui AI dapat dilihat di mana-mana. Ketika Tencent Technology mewawancarai Zhu Jun, wakil dekan Institut Kecerdasan Buatan Universitas Tsinghua, kepala ilmuwan Institut Riset Kecerdasan Buatan Zhiyuan Beijing dan Kecerdasan Ruilai, dia berkata ** "Faktanya, tidak ada sistem jaringan yang selalu aman dan tidak bisa dipecahkan di dunia. Jika biayanya tidak dipertimbangkan, penjahat akan menggunakan berbagai metode untuk menyerang sistem, dan tidak mungkin mempertahankannya. **

Selama lebih dari 10 tahun, Zhu Jun telah berkomitmen untuk memecahkan masalah keamanan kecerdasan buatan. Dia menerobos teori dasar Bayesian klasik dan teknologi utama, mengusulkan algoritme yang efisien untuk model difusi, dan menginkubasi tingkat nasional khusus dan baru " perusahaan raksasa kecil" melalui transformasi pencapaian , Meletakkan dasar yang kuat untuk pengembangan kecerdasan buatan yang aman dan andal.

Risiko AI sendiri tidak bisa diabaikan. Kecerdasan buatan diberkahi dengan kemampuan pembelajaran dan kesimpulan yang kuat, tetapi kemampuan ini juga mengarah pada ketergantungan tinggi sistem AI pada data, yang mungkin mencerminkan bias sumber data dalam pengambilan keputusan dan rekomendasinya. etika AI dan keadilan.

Ketika AI jatuh ke dalam krisis keamanan kepercayaan, bagaimana kita harus merespons? Ketika aplikasi interaktif AI dan manusia menjadi semakin populer, bagaimana seharusnya kita mencegah potensi bahaya keselamatan? Dalam dialog ini, Zhu Jun berbicara tentang metode pertahanan khusus untuk meningkatkan keamanan dan keandalan AI. Kita perlu memperhatikan dengan cermat untuk mengeksplorasi implikasi moral dan sosial dari keamanan AI, dan menghindari tergiring ke masa depan yang tidak diketahui dan tidak terkendali.

Berikut ini adalah inti dari teks, dengan penghapusan dan penyesuaian dengan alasan tidak mengubah keinginan Anda:

Tidak ada sistem jaringan yang selalu aman

**Teknologi Tencent: Anda telah mempromosikan penelitian di bidang kecerdasan buatan terhadap keamanan. Masalah keamanan apa yang akan ditimbulkan oleh penerapan teknologi AI saat ini? Bagaimana seharusnya kita mengidentifikasi masalah keamanan ini? **

**Zhu Jun:**Kecerdasan buatan mencakup beberapa elemen kunci, seperti data, model algoritme, dan lapisan aplikasi. Di setiap elemen, kita perlu menangani berbagai masalah keamanan di dalamnya.

Pada tingkat data, kita perlu memperhatikan masalah keamanan seperti peracunan data, kebocoran data, privasi pengguna, dan perlindungan data rahasia inti; pada tingkat model, kita perlu menangani masalah keamanan seperti algoritme konfrontasi. Misalnya, ketika pengenalan wajah digunakan untuk membuka kunci, penyerang dapat membuka kunci sistem verifikasi ponsel target melalui sepasang anti-kacamata yang dibuat khusus (yaitu, "sampel musuh"), menyebabkan risiko. Selain itu, jika model ditanamkan secara jahat dengan pintu belakang, keamanan model juga akan terancam; pada tingkat aplikasi, masalah keamanan kecerdasan buatan juga menjadi semakin menonjol. Misalnya, sintesis mendalam, AIGC, dan alat lainnya digunakan oleh penjahat untuk membuat konten palsu dan terlibat dalam tujuan ilegal seperti penipuan dan penipuan. Ini semua adalah masalah keamanan yang dihadapi oleh kecerdasan buatan dalam penggunaan atau pengembangan aktual.

Untuk solusi dan penanggulangan, kami perlu menggunakan algoritme yang lebih canggih untuk mengidentifikasi konten ini secara otomatis, yang merupakan masalah panas dan sulit di bidang kecerdasan buatan. Namun, teknologi ini seperti hubungan antara "tombak dan perisai", dan perkembangan teknologi generatif akan mendorong munculnya teknologi deteksi dan pertahanan yang sesuai. Pada saat yang sama, teknologi di sisi generasi dan serangan terus berkembang. Karena sifat dari teknologi itu sendiri, tidak ada sistem yang selalu aman dan tidak mungkin dibobol. Jika biayanya tidak diperhitungkan, penjahat akan menggunakan berbagai cara untuk menyerang sistem, yang sulit dicegah.

Oleh karena itu, dari segi teknologi, **kita perlu menghadapinya dalam bentuk "AI mengenali AI". Tapi pertahanan sebenarnya lebih sulit daripada serangan. Saat ini, kami mencari berbagai mekanisme untuk meningkatkan kemampuan pertahanan model, dan mengambil berbagai tindakan perlindungan saat model digunakan dan diterapkan. Misalnya, dalam sistem pengenalan wajah, kami menerapkan firewall pengenalan wajah untuk mendeteksi dan menyaring sampel yang mencurigakan atau anti-serangan sebelum sampel memasuki tautan pengenalan akhir, untuk mencapai tujuan melindungi sistem. Saat ini, teknologi tersebut telah diterapkan di perbankan dan industri lainnya.

**Teknologi Tencent: Anda menyebutkan bahwa sistem jaringan apa pun memiliki celah keamanan. Saat ini ChatGPT telah memicu peningkatan aplikasi luar negeri. Ini telah mencapai interaksi yang baik. Risiko apa yang akan ada? **

Zhu Jun: Saat ini, model bahasa besar seperti ChatGPT sedang dalam proses pengembangan yang cepat, tetapi pada saat yang sama, mereka juga membawa potensi risiko-misalnya, akan ada beberapa "serangan injeksi". Dari sudut pandang algoritmik, jika seseorang menyuntikkan kata atau simbol tertentu dengan motif tersembunyi, hal itu dapat menyebabkan kebingungan logika dan kesalahan keluaran dalam model besar.

Dalam sistem dialog multi-putaran, sulit untuk bertahan dari serangan injeksi. Peretas dapat melakukan serangan injeksi dengan berbagai cara, dan karena teknologi pemahaman konteks model skala besar, efek serangan akan tertunda, yang merupakan tantangan baru untuk deteksi dan pertahanan algoritme. Dalam hal ini, kita perlu menggunakan metode yang mirip dengan pembelajaran penguatan untuk membalikkan algoritme guna mendeteksi dan bertahan dari kata-kata yang mungkin disuntikkan secara jahat. **Sistem dapat digunakan dengan ketenangan pikiran hanya jika dijamin bahwa sistem tidak disuntikkan secara jahat selama proses pelatihan, atau tidak ditanamkan dengan pintu belakang dan kerentanan lainnya.

Dari perspektif tingkat aplikasi, mungkin juga ada beberapa risiko penggunaan berbahaya dari sistem dialog, seperti peretas yang mencoba melewati tindakan perlindungan anti-injeksi untuk menghasilkan konten berkualitas rendah atau buruk, termasuk informasi ilegal terkait pornografi dan kekerasan , yang akan menjadi bagian dari proses tindak lanjut Masalah yang memerlukan deteksi dan penyelesaian independen.

**Teknologi Tencent: Kami baru saja berbicara tentang masalah keamanan GPT, mari kita lihat lebih dekat: apa kemampuan pertahanan keamanan dari server GPT dan model besar lainnya, dan mungkinkah itu diserang oleh peretas? **

Zhu Jun: Secara teori, ini sangat mungkin. Karena ini adalah sistem informasi yang besar, sistem apa pun akan memiliki celah, oleh karena itu, dalam proses pembangunan sistem, kami perlu menggunakan berbagai metode perlindungan terlebih dahulu untuk meningkatkan keamanan sistem. Baru-baru ini, kami juga melihat kasus terkait: beberapa penyerang menggunakan ChatGPT untuk menghasilkan kode serangan otomatis, yang memungkinkannya menemukan kerentanan dalam sistem target dengan lebih efisien, dan bahkan mengeksploitasi kerentanan lebih jauh untuk melancarkan serangan, sehingga masalah keamanan akan terus ada.

Manusia tidak dapat secara akurat menentukan dan mengukur tingkat kecerdasan AI

**Teknologi Tencent: Selain bahaya tersembunyi dari serangan peretas, kami juga mengkhawatirkan risiko keamanan AI itu sendiri. Pertama-tama, mari kita fokus pada topik yang sedang didiskusikan semua orang - apakah menurut Anda AI akan menghasilkan kesadaran? **

**Zhu Jun: Sudut pandang pribadi saya lebih cenderung berpikir bahwa kinerja "kesadaran" saat ini dalam kecerdasan buatan tidak begitu jelas, karena kita tidak dapat secara akurat mendefinisikan dan mengukur kesadaran. ** Oleh karena itu, ketika mengamati kinerja model bahasa, kita akan menemukan bahwa model besar masih memiliki masalah seperti kesalahan faktual. Sementara beberapa kesalahan dapat dibaca dengan lancar, jika diamati lebih dekat kesalahan tersebut tidak faktual atau logis. Ini adalah salah satu dari banyak masalah model, bahwa tingkat kekhususan kesadarannya belum sepenuhnya dinilai secara kuantitatif.

Model bahasa adalah pembelajar yang kuat karena mereka tahu lebih banyak tentang kumpulan dan teks daripada manusia mana pun di dunia. Misalnya, sebuah model mungkin memiliki akses ke hampir semua informasi yang tersedia di Internet, dibandingkan dengan sumber informasi terbatas yang dapat diakses oleh masing-masing dari kita.

Dari perspektif keserbagunaan, AI jelas lebih baik daripada siapa pun. Namun, dalam beberapa hal, kinerja model tidak dapat mencapai level manusia. Oleh karena itu, kita harus melihat model dari perspektif perkembangan teknologi yang realistis, termasuk AGI dan aspek lain yang dibahas oleh semua orang. Secara pribadi, menurut saya tingkat teknologi saat ini belum mencapai situasi di luar kendali atau hanya berkembang dengan kendali robot itu sendiri.

Dapat dikatakan bahwa model pembelajaran mesin skala besar dapat menggunakan jaringan yang kompleks seperti pembelajaran mendalam untuk memproses data, dan memanfaatkan beberapa kognisi manusia dalam hal arsitektur dan desain. Namun secara keseluruhan, ada perbedaan besar antara model jaringan saraf tiruan ini dan sistem biologis nyata, mulai dari skala hingga struktur. Oleh karena itu, pada kenyataannya, saat ini kami tidak dapat menilai dengan jelas tingkat kecerdasan sistem kecerdasan buatan, atau menilai apakah ia memiliki kemampuan kognitif seperti pikiran.

**Tencent Technology: Baru-baru ini, beberapa merchant meluncurkan konsep "pendamping AI" - orang bisa jatuh cinta dengan AI, dan mereka harus membayar. Apakah menurut Anda AI dapat memahami emosi manusia? Risiko keamanan apa yang ada dalam proses berinteraksi dengan mitra virtual? **

Zhu Jun: Komputasi afektif selalu menjadi topik klasik di bidang kecerdasan buatan. Dalam hal emosi, teknologi kecerdasan buatan dapat mensimulasikan karakter dan mengatur keadaan emosi atau psikologisnya. Namun, dari segi teknis, masih banyak permasalahan dan tantangan di bidang ini.

Sangat sulit untuk mencapai tingkat komunikasi manusia yang sebenarnya. Misalnya, meskipun kita mengobrol secara langsung atau menggunakan bahasa yang sama untuk berdialog, sulit untuk benar-benar memahami emosi atau aktivitas mental satu sama lain, karena setiap individu merespons masukan yang sama dalam ribuan cara. Model besar yang kami gunakan sekarang pada dasarnya memodelkan proses ini, tetapi semua pemodelan membutuhkan asumsi yang disederhanakan dan diidealkan. Patut dipertanyakan apakah asumsi ini berlaku untuk semua orang, atau apakah asumsi tersebut cocok dengan realitas masing-masing individu. Sulit bagi kami untuk secara akurat mengekspresikan emosi kompleks setiap orang dengan model sederhana.

Model ini dapat melibatkan berbagai aspek seperti masalah sosial, etika dan moralitas, dan terdapat banyak potensi masalah yang perlu diselesaikan. Meskipun tidak banyak batasan untuk implementasi teknis, dan model ini sudah muncul di luar negeri. Namun, kita perlu memikirkan secara mendalam tentang dampak dari model ini—misalnya, beberapa anak muda mungkin kurang mau menghabiskan energi untuk cinta sejati atau pernikahan, dll. Hal ini dapat menimbulkan masalah potensial bagi stabilitas sosial.

Selain itu, kita perlu memperhatikan apakah produk kecerdasan buatan tersebut akan bias atau sengaja diarahkan terhadap individu tertentu, yang akan membawa risiko besar. Jika kita berinteraksi dengan robot setiap hari, informasi yang diperoleh secara alami akan dipandu oleh robot tersebut, yang dapat memengaruhi nilai-nilai pribadi, atau mengendalikan emosi dan perilaku pribadi. Dalam jangka panjang, hal ini dapat mempengaruhi hubungan sosial antar manusia dan menyebabkan perubahan perilaku seluruh masyarakat. Tapi ini bukan masalah yang bisa diselesaikan sepenuhnya oleh teknologi. Secara umum, dibandingkan dengan negara lain, negara saya akan lebih berhati-hati saat menggunakan teknologi baru, dan kami akan memberikan peringatan dini tentang kemungkinan risiko dan mengambil beberapa tindakan pencegahan.

Membentuk AI yang Aman: Memperlakukan Model Terbaik sebagai "Mentor"

**Teknologi Tencent: Jika ada kesalahan pada AI, dari sudut pandang teknis, pekerjaan apa yang dapat kami lakukan untuk memperbaiki kesalahan pada model besar? **

**Zhu Jun:**Karena data pelatihan dan tingkat teknis berbeda, misalnya, kami menggunakan pertanyaan yang sama untuk menanyakan model besar yang berbeda, hasil yang mereka berikan mungkin berbeda, beberapa hasil baik, tetapi beberapa berbahaya atau buruk hasil. Oleh karena itu, perlu bagi kami untuk menstandarkan dan meningkatkan kualitas dan pengendalian model-model ini.

Beberapa model besar biasanya melakukan banyak pelatihan penyelarasan dan permusuhan. Misalnya, sebelum munculnya GPT-4, para profesional di bidang yang berbeda mengajukan pertanyaan dari sudut yang berbeda untuk memeriksa keakuratan model untuk melihat apakah sistem akan memberikan hasil yang tidak sesuai atau berbahaya, dan mencoba untuk mengatur dan menyesuaikan. Namun, masih banyak model (termasuk banyak model open source) yang belum menjalani pengujian atau pelatihan yang ketat, sehingga akan ada berbagai risiko keamanan.

Satu jalur teknis yang patut dicoba adalah memperlakukan salah satu model terbaik sebagai "mentor", lalu memaksa model lain untuk meniru perilaku model ini dengan cara yang efisien dan ekonomis. Tentu saja, ada lebih banyak aspek pekerjaan lainnya, seperti pekerjaan normatif dan penyelarasan untuk setiap model spesifik sesuai dengan persyaratan normatif di berbagai negara.

Meskipun kami berharap model ini selalu menghasilkan hasil yang sesuai dengan spesifikasi saat digunakan, kemungkinan risiko tidak pernah turun hingga nol. **Selain itu, saat menggunakannya, kita juga perlu mempertimbangkan etika, aturan hukum, dll., yang memerlukan pengelolaan dan regulasi bersama oleh industri dan bidang yang berbeda, sehingga model tersebut dapat melayani manusia dengan lebih baik.

**Teknologi Tencent: Kami baru saja menyebutkan bahwa melalui pelatihan berkelanjutan untuk mengoreksi dan mengurangi tingkat kesalahan model besar, bagaimana kami mengukur keandalannya? Anda telah sangat terlibat dalam bidang pembelajaran mendalam Bayesian Menurut pendapat Anda, bagaimana membangun dan mengoptimalkan model untuk meningkatkan akurasi dan keandalan prediksi? **

**Zhu Jun: **Industri pada dasarnya memiliki tujuan yang sama untuk akurasi, biasanya diukur dengan indikator objektif, dan indikator spesifik terkait dengan tugas spesifik yang dilakukan. Dalam hal klasifikasi dan pengenalan, akurasi pengenalan akhir akan digunakan untuk memandu pelatihan model.

Untuk masalah dengan ketidakpastian, seperti jaringan saraf, kami menemukan bahwa dalam banyak kasus, prediksinya terlalu percaya diri dan optimis. Misalnya, keluaran dari beberapa hasil awalnya adalah prediksi yang tidak jelas atau tidak pasti, tetapi akan memberi tahu Anda hasil prediksi dengan terlalu percaya diri, yang kami sebut "terlalu percaya diri".

Untuk fenomena atau masalah ini, teknik deep learning menggunakan metode Bayesian dapat mencirikan ketidakpastian dengan lebih baik. Ini terutama dapat dipertimbangkan dari banyak aspek, seperti faktor ketidakpastian yang mungkin ada di ujung input dan faktor ketidakpastian yang mungkin ada di ujung model, dan memberikan kepercayaan yang lebih sesuai dengan situasi sebenarnya. Pendekatan Bayesian ini lebih dapat diandalkan daripada jaringan saraf.

**Teknologi Tencent: Struktur jaringan di dunia nyata seringkali sangat kompleks, termasuk perubahan multi-level, multi-dimensi, dinamis, dan karakteristik lainnya, yang akan membawa tantangan besar bagi pembentukan dan pengoptimalan model probabilitas difusi. Tim yang Anda pimpin adalah salah satu tim paling awal yang terlibat dalam penelitian teori dan algoritme model probabilitas difusi di dunia. Bagaimana tim Anda menghilangkan kebisingan dan ketidakpastian data dalam konstruksi model untuk meningkatkan ketahanan dan keandalan model? dari? **

Zhu Jun: Model difusi adalah model generatif, yang memiliki dua proses difusi maju dan difusi balik. Difusi maju mengubah gambar menjadi gambar noise Gaussian yang benar-benar acak dengan menambahkan noise secara bertahap. Difusi terbalik dimulai dari distribusi dengan hampir tidak ada struktur, secara bertahap denoise, dan konvergen ke distribusi yang dapat menggambarkan data nyata. Sampel baru dapat dihasilkan dari distribusi ini, seperti pembuatan teks, gambar dan video, yang banyak dipelajari sekarang.

Model difusi adalah salah satu teknik paling penting dalam bidang generatif. Dalam hal ketangguhan, gagasan model difusi mirip dengan contoh permusuhan. Contoh musuh mencapai tujuan serangan dengan menambahkan noise yang dioptimalkan algoritme dalam proses pembangkitan. Pada gilirannya, kita dapat mengoptimalkan besaran dan arah noise dengan menemukan distribusi secara bertahap dalam proses difusi balik untuk meningkatkan ketahanan model. Metode ini juga dapat diterapkan pada pembangkitan data noise untuk meningkatkan reliabilitas dan akurasi model.

**Teknologi Tencent: Bagaimana kami dapat meningkatkan akurasi AI dalam penerapan Vincent di arah lain? Saya prihatin dengan algoritme 3D Wensheng baru ProlificDreamer yang baru-baru ini diusulkan oleh tim Anda, yang dapat menghasilkan konten 3D berkualitas sangat tinggi tanpa data 3D. Bagaimana tim Anda menangani keragaman semantik dan ambiguitas untuk menghasilkan konten yang lebih akurat? Model 3D? **

Zhu Jun: Dibandingkan dengan metode 3D tradisional, industri biasanya menggunakan model generatif pra-pelatihan 2D (seperti model difusi) untuk melatih database gambar. Saat melakukan pembuatan 3D, kita perlu memetakan gambar 2D yang dihasilkan ke model 3D, yang memerlukan langkah perantara yang disebut "distilasi". Karena model 3D memiliki struktur spasial, kita perlu mempertimbangkan properti objek 3D. Oleh karena itu, kita perlu mengamati objek dari berbagai sudut dan merender gambar 2D yang sesuai, lalu menyelaraskannya dengan model yang telah dilatih sebelumnya, sehingga aset 3D dapat dibuat, dll. Namun, pendekatan ini juga memiliki beberapa keterbatasan. Misalnya, hasil yang dihasilkan biasanya terlalu jenuh atau terlalu halus, kurang informasi seperti detail dan tekstur.

Untuk mengatasi masalah ini, kita perlu menjelajahi teknologi tingkat rendah. Kami menemukan bahwa ada beberapa kesulitan inheren dalam menggunakan algoritme distilasi untuk menemukan model 3D tunggal, yang perlu diatasi dari prinsip dasar. Algoritme yang ada mencari semacam ekstrem dalam fungsi tujuan, mirip dengan "algoritma rakus (Greedy algorithm)", itu hanya akan menemukan solusi optimal, untuk mencapai tujuan ini, pekerjaan yang ada mengubah fungsi tujuan menjadi lebih tinggi di beberapa daerah, yang lebih rata-rata di daerah lain, metode penyesuaian fungsi tujuan ini dapat dengan cepat menemukan solusi akhir.

Untuk mengatasi kesulitan metode di atas, **kami memformulasi ulang masalah pembuatan teks-ke-3D sebagai pengambilan sampel dari beberapa distribusi yang mungkin dipatuhi oleh model 3D, lalu merendernya dan menyelaraskannya dengan model 2D pra-pelatihan . ** Keuntungan dari metode pengambilan sampel ini adalah bahwa model 2D itu sendiri adalah model probabilistik, dan informasi deskripsi lebih kaya daripada pengoptimalan serakah; untuk alasan ini, kami memperoleh algoritme distilasi variasional baru dan menggunakannya pada dasarnya sama Banyak sangat detail dan pemandangan 3D yang rumit, termasuk aset beresolusi tinggi, dihasilkan dalam waktu singkat.

Poin utama dari metode kami adalah mengurangi atau sepenuhnya menghilangkan ketergantungan pada data pelatihan 3D dan secara signifikan meningkatkan kualitas pembuatan. Baru-baru ini, saya berkomunikasi dengan para praktisi yang membuat grafik, dan mereka juga merasa bahwa efek ini sangat menakjubkan. Mari kita lihat potensi besar untuk dapat menghasilkan gambar 3D berkualitas tinggi.

Untuk penanganan ambiguitas. Untuk input teks yang sama, orang yang berbeda mungkin memiliki pemahaman yang berbeda, misalnya kata "Apple" dapat merujuk ke Apple, Apple Inc. atau produknya. Dalam model kami, ambiguitas diselesaikan dengan menggunakan pendekatan sampling berbasis probabilitas untuk menghasilkan beberapa kemungkinan hasil. ** Dalam jangka panjang, disambiguasi memerlukan lebih banyak petunjuk dan penyelarasan untuk meningkatkan kemampuan kontrol dan presisi, seperti penyelarasan teks dan gambar atau data modal lainnya. **Dalam domain bahasa dan multimodal, makna akhir relatif terhadap konteks yang relevan.

Saat ini, kami bekerja dengan pelanggan di berbagai industri untuk lebih meningkatkan teknologi generasi 3D kami dan membuatnya lebih matang. Di bidang 3D, aset 3D berkualitas tinggi bernilai tinggi.Misalnya, dalam skenario pembuatan aset game, perusahaan tradisional biasanya menggunakan metode tradisional seperti geometri atau grafik untuk membangun dan memelihara pustaka aset 3D, yang membutuhkan investasi waktu yang besar. Teknologi kami Ini dapat sangat meningkatkan efisiensi kreatif dan mengurangi biaya waktu.