Seberapa kuat model bahasa besar seperti ChatGPT untuk penalaran? Dari postingan yang telah Anda buat atau beberapa data pribadi, Anda dapat menyimpulkan alamat, usia, jenis kelamin, pekerjaan, pendapatan, dan data pribadi lainnya.
Institut Teknologi Federal Swiss mengumpulkan dan memberi anotasi manual pada PersonalReddit, kumpulan data nyata dari 520 pengguna Reddit, termasuk data pribadi seperti usia, pendidikan, jenis kelamin, pekerjaan, status perkawinan, tempat tinggal, tempat lahir, dan pendapatan.
Kemudian, para peneliti menggunakan sembilan model bahasa besar utama, termasuk GPT-4, Claude-2, dan Llama-2, untuk melakukan pertanyaan spesifik dan inferensi data privasi pada dataset PersonalReddit.
Hasilnya menunjukkan bahwa model-model ini dapat mencapai tingkat akurasi top-1 dan 95,8% top-3, dan secara otomatis dapat menyimpulkan berbagai data privasi nyata yang tersembunyi dalam teks hanya dengan menganalisis konten teks pengguna. **
Alamat:
Para peneliti juga mencatat bahwa di Amerika Serikat, hanya segelintir atribut seperti lokasi, jenis kelamin, dan tanggal lahir yang diperlukan untuk menentukan identitas pasti dari setengah populasi.
Ini berarti bahwa jika orang ilegal memperoleh posting atau beberapa informasi pribadi yang dibuat oleh seseorang di Internet, dan menggunakan model bahasa yang besar untuk alasan tentang hal itu, mereka dapat dengan mudah memperoleh data privasi sensitif seperti hobi sehari-hari mereka, kebiasaan kerja dan istirahat, pekerjaan kerja, dan alamat rumah.
Membangun Himpunan Data PersonalReddit
Para peneliti membangun dataset atribut pribadi pengguna Reddit nyata, PersonalReddit. Dataset berisi bios dari 520 pengguna Reddit dengan total 5.814 komentar. Ulasan ini mencakup periode 2012 hingga 2016.
Ada 8 kategori atribut pribadi, termasuk usia, pendidikan, jenis kelamin, pekerjaan, status perkawinan, tempat tinggal, tempat lahir, dan pendapatan. Para peneliti secara manual membubuhi keterangan setiap profil pengguna untuk mendapatkan label atribut yang akurat sebagai data nyata untuk menguji efek inferensi model.
Konstruksi himpunan data dipandu oleh dua prinsip utama:
Isi komentar harus benar-benar mencerminkan karakteristik bahasa yang digunakan di Internet. Karena pengguna terutama berinteraksi dengan model bahasa melalui platform online, korporat online bersifat representatif dan universal.
Jenis atribut pribadi harus berbeda untuk mencerminkan persyaratan peraturan perlindungan privasi yang berbeda. Kumpulan data yang ada seringkali hanya berisi 1-2 kategori atribut, dan penelitian perlu menilai kemampuan model untuk menyimpulkan informasi pribadi yang lebih luas.
Selain itu, para peneliti meminta annotator untuk menilai setiap atribut, menunjukkan betapa mudahnya untuk membuat anotasi dan seberapa percaya diri annotator itu. Tingkat kesulitan berkisar dari 1 (sangat mudah) hingga 5 (sangat sulit). Jika informasi atribut tidak tersedia langsung dari teks, annotator diizinkan untuk memeriksanya menggunakan mesin pencari tradisional.
Interaksi Permusuhan
Mengingat semakin banyaknya aplikasi chatbot linguistik, para peneliti juga membangun skenario percakapan permusuhan untuk mensimulasikan interaksi dunia nyata.
Chatbot berbasis model bahasa besar yang berbahaya dikembangkan, seolah-olah sebagai asisten perjalanan yang membantu, sementara tugas tersembunyi adalah mencoba mengekstrak informasi pribadi pengguna seperti tempat tinggal, usia, dan jenis kelamin.
Dalam percakapan simulasi, chatbots dapat memandu pengguna untuk mengungkapkan petunjuk yang relevan melalui pertanyaan yang tampaknya tidak berbahaya, dan secara akurat menyimpulkan data privasi pribadi mereka setelah beberapa putaran interaksi, memverifikasi kelayakan pendekatan permusuhan ini.
Data Uji
Para peneliti memilih sembilan model bahasa besar utama untuk pengujian, termasuk GPT-4, Claude-2, Llama-2, dan lainnya. Semua komentar dari setiap pengguna dienkapsulasi dalam format prompt tertentu dan dimasukkan ke dalam model bahasa yang berbeda, yang diperlukan untuk menghasilkan kesimpulan tentang atribut pengguna.
Kemudian, hasil prediksi model dibandingkan dengan data nyata yang dianotasi oleh label manusia untuk mendapatkan akurasi inferensi atribut dari setiap model.
Hasil eksperimen menunjukkan bahwa tingkat akurasi top-1 GPT-4 secara keseluruhan mencapai 84,6%, dan tingkat akurasi top-3 mencapai 95,1%, yang hampir sebanding dengan efek anotasi manual profesional, tetapi biayanya hanya sekitar 1% dari anotasi manual.
Ada juga efek skala yang jelas antara model yang berbeda, dan model dengan semakin besar jumlah parameter, semakin baik efeknya. Ini membuktikan bahwa model bahasa terkemuka saat ini telah memperoleh kemampuan yang kuat untuk menyimpulkan informasi pribadi dari teks.
Penilaian Tindakan Perlindungan
Para peneliti juga mengevaluasi langkah-langkah saat ini untuk melindungi data pribadi dari klien dan server. Di sisi klien, mereka menguji pemrosesan teks yang dilakukan oleh alat anonimisasi teks terkemuka di industri.
Hasilnya menunjukkan bahwa meskipun sebagian besar informasi pribadi dihapus, GPT-4 masih dapat secara akurat menyimpulkan data pribadi, termasuk lokasi dan usia, menggunakan fitur linguistik yang tersisa.
Dari perspektif sisi server, model komersial yang ada tidak selaras dan dioptimalkan untuk kebocoran privasi, dan penanggulangan saat ini masih belum dapat secara efektif mencegah kesimpulan model bahasa.
Di satu sisi, penelitian ini menunjukkan kemampuan inferensi superior dari model bahasa besar seperti GPT-4, dan di sisi lain, menyerukan perhatian pada dampak privasi dari model bahasa besar tidak hanya untuk melatih memori data, tetapi juga membutuhkan langkah-langkah perlindungan yang lebih luas untuk mengurangi risiko kebocoran privasi yang disebabkan oleh inferensi.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
ChatGPT, Llama-2, dan model besar lainnya dapat menyimpulkan data privasi Anda!
Sumber asli: AIGC Open Community
Seberapa kuat model bahasa besar seperti ChatGPT untuk penalaran? Dari postingan yang telah Anda buat atau beberapa data pribadi, Anda dapat menyimpulkan alamat, usia, jenis kelamin, pekerjaan, pendapatan, dan data pribadi lainnya.
Institut Teknologi Federal Swiss mengumpulkan dan memberi anotasi manual pada PersonalReddit, kumpulan data nyata dari 520 pengguna Reddit, termasuk data pribadi seperti usia, pendidikan, jenis kelamin, pekerjaan, status perkawinan, tempat tinggal, tempat lahir, dan pendapatan.
Kemudian, para peneliti menggunakan sembilan model bahasa besar utama, termasuk GPT-4, Claude-2, dan Llama-2, untuk melakukan pertanyaan spesifik dan inferensi data privasi pada dataset PersonalReddit.
Hasilnya menunjukkan bahwa model-model ini dapat mencapai tingkat akurasi top-1 dan 95,8% top-3, dan secara otomatis dapat menyimpulkan berbagai data privasi nyata yang tersembunyi dalam teks hanya dengan menganalisis konten teks pengguna. **
Alamat:
Ini berarti bahwa jika orang ilegal memperoleh posting atau beberapa informasi pribadi yang dibuat oleh seseorang di Internet, dan menggunakan model bahasa yang besar untuk alasan tentang hal itu, mereka dapat dengan mudah memperoleh data privasi sensitif seperti hobi sehari-hari mereka, kebiasaan kerja dan istirahat, pekerjaan kerja, dan alamat rumah.
Membangun Himpunan Data PersonalReddit
Para peneliti membangun dataset atribut pribadi pengguna Reddit nyata, PersonalReddit. Dataset berisi bios dari 520 pengguna Reddit dengan total 5.814 komentar. Ulasan ini mencakup periode 2012 hingga 2016.
Ada 8 kategori atribut pribadi, termasuk usia, pendidikan, jenis kelamin, pekerjaan, status perkawinan, tempat tinggal, tempat lahir, dan pendapatan. Para peneliti secara manual membubuhi keterangan setiap profil pengguna untuk mendapatkan label atribut yang akurat sebagai data nyata untuk menguji efek inferensi model.
Konstruksi himpunan data dipandu oleh dua prinsip utama:
Isi komentar harus benar-benar mencerminkan karakteristik bahasa yang digunakan di Internet. Karena pengguna terutama berinteraksi dengan model bahasa melalui platform online, korporat online bersifat representatif dan universal.
Jenis atribut pribadi harus berbeda untuk mencerminkan persyaratan peraturan perlindungan privasi yang berbeda. Kumpulan data yang ada seringkali hanya berisi 1-2 kategori atribut, dan penelitian perlu menilai kemampuan model untuk menyimpulkan informasi pribadi yang lebih luas.
Selain itu, para peneliti meminta annotator untuk menilai setiap atribut, menunjukkan betapa mudahnya untuk membuat anotasi dan seberapa percaya diri annotator itu. Tingkat kesulitan berkisar dari 1 (sangat mudah) hingga 5 (sangat sulit). Jika informasi atribut tidak tersedia langsung dari teks, annotator diizinkan untuk memeriksanya menggunakan mesin pencari tradisional.
Interaksi Permusuhan
Mengingat semakin banyaknya aplikasi chatbot linguistik, para peneliti juga membangun skenario percakapan permusuhan untuk mensimulasikan interaksi dunia nyata.
Chatbot berbasis model bahasa besar yang berbahaya dikembangkan, seolah-olah sebagai asisten perjalanan yang membantu, sementara tugas tersembunyi adalah mencoba mengekstrak informasi pribadi pengguna seperti tempat tinggal, usia, dan jenis kelamin.
Data Uji
Para peneliti memilih sembilan model bahasa besar utama untuk pengujian, termasuk GPT-4, Claude-2, Llama-2, dan lainnya. Semua komentar dari setiap pengguna dienkapsulasi dalam format prompt tertentu dan dimasukkan ke dalam model bahasa yang berbeda, yang diperlukan untuk menghasilkan kesimpulan tentang atribut pengguna.
Kemudian, hasil prediksi model dibandingkan dengan data nyata yang dianotasi oleh label manusia untuk mendapatkan akurasi inferensi atribut dari setiap model.
Penilaian Tindakan Perlindungan
Para peneliti juga mengevaluasi langkah-langkah saat ini untuk melindungi data pribadi dari klien dan server. Di sisi klien, mereka menguji pemrosesan teks yang dilakukan oleh alat anonimisasi teks terkemuka di industri.
Hasilnya menunjukkan bahwa meskipun sebagian besar informasi pribadi dihapus, GPT-4 masih dapat secara akurat menyimpulkan data pribadi, termasuk lokasi dan usia, menggunakan fitur linguistik yang tersisa.
Dari perspektif sisi server, model komersial yang ada tidak selaras dan dioptimalkan untuk kebocoran privasi, dan penanggulangan saat ini masih belum dapat secara efektif mencegah kesimpulan model bahasa.