Alat baru yang memungkinkan seniman untuk menambahkan perubahan tak terlihat pada piksel dalam karya seni mereka sebelum mengunggahnya secara online, menyebabkan model generatif macet dengan cara yang kacau dan tidak dapat diprediksi jika gambar disertakan dalam set pelatihan AI.
Alat, yang disebut "Nightshade," dirancang untuk mendorong kembali terhadap perusahaan AI yang menggunakan karya seniman untuk melatih model tanpa izin pembuatnya. Menggunakannya untuk "meracuni" data pelatihan ini dapat membahayakan iterasi model penghasil gambar di masa depan, seperti DALL-E, Midjourney, dan Difusi Stabil, mengacak beberapa outputnya — anjing menjadi kucing, mobil menjadi sapi, dan sebagainya. Studi ini telah diajukan ke konferensi keamanan komputer Usenix untuk peer review.
Perusahaan AI seperti OpenAI, Meta, Google, dan Stability AI telah menghadapi serangkaian tuntutan hukum dari artis yang mengklaim materi berhak cipta dan informasi pribadi mereka dicuri tanpa persetujuan atau kompensasi. Ben Zhao, seorang profesor di University of Chicago yang memimpin tim pendiri Nightshade, mengatakan dia berharap itu akan memberikan pencegah yang kuat untuk tidak menghormati hak cipta dan kekayaan intelektual seniman, membantu menggeser keseimbangan kekuasaan dari perusahaan AI ke seniman. Meta, Google, Stability AI dan OpenAI tidak menanggapi permintaan MIT Technology Review untuk komentar.
Tim Zhao juga telah mengembangkan alat, Glaze, yang memungkinkan seniman untuk "menutupi" gaya pribadi mereka untuk mencegah pencurian oleh perusahaan AI. Cara kerjanya mirip dengan Nightshade: mengubah piksel gambar dengan cara halus yang tidak terlihat oleh mata manusia, memanipulasi model pembelajaran mesin untuk menafsirkan gambar sebagai sesuatu yang berbeda dari apa yang sebenarnya ditunjukkannya.
Tim bermaksud untuk mengintegrasikan Nightshade ke dalam Glaze, dan seniman dapat memilih apakah akan menggunakan alat yang dapat "meracuni" data atau tidak. Tim juga bermaksud untuk membuka sumber Nightshade, yang berarti bahwa siapa pun dapat memodifikasinya dan membuat versi mereka sendiri. Zhao mengatakan bahwa semakin banyak orang yang menggunakannya dan membuat versi mereka sendiri, semakin kuat alat ini. Kumpulan data model AI besar dapat berisi miliaran gambar, sehingga semakin banyak gambar beracun dalam model, semakin besar kerusakan yang disebabkan oleh teknologi.
Serangan yang Ditargetkan
Nightshade mengeksploitasi kelemahan keamanan dalam model AI generatif yang dilatih pada sejumlah besar data — dalam hal ini, gambar dicari di Internet. Nightshade menghancurkan gambar-gambar ini.
Seniman yang ingin mengunggah karya mereka secara online tetapi tidak ingin gambar mereka tergores oleh perusahaan AI dapat mengunggahnya ke Glaze dan memilih untuk menutupinya dengan gaya seni yang berbeda dari mereka sendiri. Mereka kemudian juga dapat memilih untuk menggunakan Nightshade. Setelah pengembang AI mengambil lebih banyak data dari internet untuk mengubah model AI yang ada atau membangun yang baru, sampel beracun ini masuk ke dataset model, menyebabkan model gagal.
Misalnya, sampel data keracunan memanipulasi model untuk berpikir bahwa gambar topi adalah kue dan gambar tas tangan adalah pemanggang roti. Data keracunan sulit dibersihkan karena mengharuskan perusahaan teknologi untuk dengan susah payah menemukan dan menghapus setiap sampel yang rusak.
Para peneliti menguji serangan terhadap model terbaru Stable Difusi dan model AI mereka sendiri yang dilatih dari awal. Ketika mereka memberi makan Stable Diffusion hanya 50 gambar anjing beracun dan membiarkannya membuat gambar anjing mereka sendiri, hasilnya mulai menjadi aneh - terlalu banyak anggota badan, wajah kartun. Setelah memasukkan 300 sampel beracun, penyerang dapat memanipulasi Difusi Stabil untuk menghasilkan gambar anjing yang terlihat seperti kucing.
Model AI generatif pandai membuat koneksi antar kata, yang juga berkontribusi pada difusi toksisitas. Nightshade terinfeksi tidak hanya dengan kata "anjing" tetapi juga dengan semua konsep serupa seperti "anak anjing," "serak," dan "serigala." Serangan ini juga berlaku untuk gambar yang dimaksud. Misalnya, jika model mengambil gambar beracun untuk prompt "seni fantasi," prompt "naga" dan "kastil di Lord of the Rings" juga akan dimanipulasi untuk menghasilkan sesuatu yang lain.
Zhao mengakui bahwa adalah mungkin bagi orang untuk menyalahgunakan teknik keracunan data untuk melakukan serangan jahat. Namun dia juga mengatakan penyerang membutuhkan ribuan sampel beracun untuk mendatangkan kerusakan nyata pada model yang lebih besar dan lebih kuat yang dilatih pada miliaran sampel data.
"Kami belum tahu pertahanan yang kuat terhadap serangan-serangan ini. Kami belum melihat serangan terhadap model [pembelajaran mesin] modern, tetapi mungkin hanya masalah waktu. Vitaly Shmatikov, seorang profesor di Cornell University yang mempelajari keamanan model AI, mengatakan dia tidak terlibat dalam penelitian ini. Sudah waktunya untuk melihat ke pertahanan," tambah Shmatikov.
Gautam Kamath, asisten profesor di University of Waterloo yang mempelajari privasi data dan ketahanan model AI, juga tidak terlibat dalam penelitian ini, tetapi mengatakan pekerjaan itu "fantastis."
Menurut Kamath, penelitian ini menunjukkan bahwa kerentanan "tidak secara ajaib menghilang dengan model-model baru ini, mereka sebenarnya hanya bertambah buruk," dan "ini terutama benar ketika model-model ini menjadi lebih kuat dan orang-orang semakin mempercayai mereka, karena risikonya hanya meningkat seiring waktu. " "
Pencegah Kuat
Junfeng Yang, seorang profesor ilmu komputer di Universitas Columbia, telah mempelajari keamanan sistem pembelajaran mendalam tetapi tidak terlibat dalam penelitian ini. Jika Nightshade dapat membuat perusahaan AI lebih menghormati hak-hak artis, seperti lebih bersedia membayar royalti, katanya, itu akan berdampak besar.
Perusahaan AI yang mengembangkan model generasi teks-ke-gambar, seperti Stability AI dan OpenAI, telah mengusulkan memberi seniman opsi untuk tidak menggunakan gambar mereka untuk melatih versi model yang akan datang. Tetapi seniman mengatakan itu tidak cukup. Eva Toorenent, seorang ilustrator dan seniman yang menggunakan Glaze, mengatakan kebijakan keluar mengharuskan seniman untuk melewati rintangan, sementara perusahaan teknologi masih memegang semua kekuatan.
Toorenent berharap Nightshade akan mengubah itu.
"Ini akan membuat [perusahaan AI] berpikir dua kali karena mereka berpotensi mengambil pekerjaan kami tanpa persetujuan kami dan menghancurkan seluruh model mereka," katanya. "
Seniman lain, Autumn Beverly, mengatakan alat seperti Nightshade dan Glaze memberinya kepercayaan diri untuk memposting karyanya secara online lagi. Sebelumnya, dia menemukan bahwa karyanya telah dikikis ke dalam database gambar LAION api tanpa persetujuan dan menghapusnya dari internet.
"Saya sangat bersyukur bahwa kami memiliki alat yang membantu seniman mendapatkan kembali kendali atas pekerjaan mereka," katanya. "
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
300 gambar "meracuni" SD, alat serangan balik seniman Nightshade ingin mengajarkan AI melukis "pelajaran"?
Ditulis oleh Melissa Heikkilä
Sumber: MIT Technology Review
Alat baru yang memungkinkan seniman untuk menambahkan perubahan tak terlihat pada piksel dalam karya seni mereka sebelum mengunggahnya secara online, menyebabkan model generatif macet dengan cara yang kacau dan tidak dapat diprediksi jika gambar disertakan dalam set pelatihan AI.
Alat, yang disebut "Nightshade," dirancang untuk mendorong kembali terhadap perusahaan AI yang menggunakan karya seniman untuk melatih model tanpa izin pembuatnya. Menggunakannya untuk "meracuni" data pelatihan ini dapat membahayakan iterasi model penghasil gambar di masa depan, seperti DALL-E, Midjourney, dan Difusi Stabil, mengacak beberapa outputnya — anjing menjadi kucing, mobil menjadi sapi, dan sebagainya. Studi ini telah diajukan ke konferensi keamanan komputer Usenix untuk peer review.
Perusahaan AI seperti OpenAI, Meta, Google, dan Stability AI telah menghadapi serangkaian tuntutan hukum dari artis yang mengklaim materi berhak cipta dan informasi pribadi mereka dicuri tanpa persetujuan atau kompensasi. Ben Zhao, seorang profesor di University of Chicago yang memimpin tim pendiri Nightshade, mengatakan dia berharap itu akan memberikan pencegah yang kuat untuk tidak menghormati hak cipta dan kekayaan intelektual seniman, membantu menggeser keseimbangan kekuasaan dari perusahaan AI ke seniman. Meta, Google, Stability AI dan OpenAI tidak menanggapi permintaan MIT Technology Review untuk komentar.
Tim Zhao juga telah mengembangkan alat, Glaze, yang memungkinkan seniman untuk "menutupi" gaya pribadi mereka untuk mencegah pencurian oleh perusahaan AI. Cara kerjanya mirip dengan Nightshade: mengubah piksel gambar dengan cara halus yang tidak terlihat oleh mata manusia, memanipulasi model pembelajaran mesin untuk menafsirkan gambar sebagai sesuatu yang berbeda dari apa yang sebenarnya ditunjukkannya.
Tim bermaksud untuk mengintegrasikan Nightshade ke dalam Glaze, dan seniman dapat memilih apakah akan menggunakan alat yang dapat "meracuni" data atau tidak. Tim juga bermaksud untuk membuka sumber Nightshade, yang berarti bahwa siapa pun dapat memodifikasinya dan membuat versi mereka sendiri. Zhao mengatakan bahwa semakin banyak orang yang menggunakannya dan membuat versi mereka sendiri, semakin kuat alat ini. Kumpulan data model AI besar dapat berisi miliaran gambar, sehingga semakin banyak gambar beracun dalam model, semakin besar kerusakan yang disebabkan oleh teknologi.
Serangan yang Ditargetkan
Nightshade mengeksploitasi kelemahan keamanan dalam model AI generatif yang dilatih pada sejumlah besar data — dalam hal ini, gambar dicari di Internet. Nightshade menghancurkan gambar-gambar ini.
Seniman yang ingin mengunggah karya mereka secara online tetapi tidak ingin gambar mereka tergores oleh perusahaan AI dapat mengunggahnya ke Glaze dan memilih untuk menutupinya dengan gaya seni yang berbeda dari mereka sendiri. Mereka kemudian juga dapat memilih untuk menggunakan Nightshade. Setelah pengembang AI mengambil lebih banyak data dari internet untuk mengubah model AI yang ada atau membangun yang baru, sampel beracun ini masuk ke dataset model, menyebabkan model gagal.
Misalnya, sampel data keracunan memanipulasi model untuk berpikir bahwa gambar topi adalah kue dan gambar tas tangan adalah pemanggang roti. Data keracunan sulit dibersihkan karena mengharuskan perusahaan teknologi untuk dengan susah payah menemukan dan menghapus setiap sampel yang rusak.
Para peneliti menguji serangan terhadap model terbaru Stable Difusi dan model AI mereka sendiri yang dilatih dari awal. Ketika mereka memberi makan Stable Diffusion hanya 50 gambar anjing beracun dan membiarkannya membuat gambar anjing mereka sendiri, hasilnya mulai menjadi aneh - terlalu banyak anggota badan, wajah kartun. Setelah memasukkan 300 sampel beracun, penyerang dapat memanipulasi Difusi Stabil untuk menghasilkan gambar anjing yang terlihat seperti kucing.
"Kami belum tahu pertahanan yang kuat terhadap serangan-serangan ini. Kami belum melihat serangan terhadap model [pembelajaran mesin] modern, tetapi mungkin hanya masalah waktu. Vitaly Shmatikov, seorang profesor di Cornell University yang mempelajari keamanan model AI, mengatakan dia tidak terlibat dalam penelitian ini. Sudah waktunya untuk melihat ke pertahanan," tambah Shmatikov.
Gautam Kamath, asisten profesor di University of Waterloo yang mempelajari privasi data dan ketahanan model AI, juga tidak terlibat dalam penelitian ini, tetapi mengatakan pekerjaan itu "fantastis."
Menurut Kamath, penelitian ini menunjukkan bahwa kerentanan "tidak secara ajaib menghilang dengan model-model baru ini, mereka sebenarnya hanya bertambah buruk," dan "ini terutama benar ketika model-model ini menjadi lebih kuat dan orang-orang semakin mempercayai mereka, karena risikonya hanya meningkat seiring waktu. " "
Pencegah Kuat
Junfeng Yang, seorang profesor ilmu komputer di Universitas Columbia, telah mempelajari keamanan sistem pembelajaran mendalam tetapi tidak terlibat dalam penelitian ini. Jika Nightshade dapat membuat perusahaan AI lebih menghormati hak-hak artis, seperti lebih bersedia membayar royalti, katanya, itu akan berdampak besar.
Perusahaan AI yang mengembangkan model generasi teks-ke-gambar, seperti Stability AI dan OpenAI, telah mengusulkan memberi seniman opsi untuk tidak menggunakan gambar mereka untuk melatih versi model yang akan datang. Tetapi seniman mengatakan itu tidak cukup. Eva Toorenent, seorang ilustrator dan seniman yang menggunakan Glaze, mengatakan kebijakan keluar mengharuskan seniman untuk melewati rintangan, sementara perusahaan teknologi masih memegang semua kekuatan.
Toorenent berharap Nightshade akan mengubah itu.
"Ini akan membuat [perusahaan AI] berpikir dua kali karena mereka berpotensi mengambil pekerjaan kami tanpa persetujuan kami dan menghancurkan seluruh model mereka," katanya. "
Seniman lain, Autumn Beverly, mengatakan alat seperti Nightshade dan Glaze memberinya kepercayaan diri untuk memposting karyanya secara online lagi. Sebelumnya, dia menemukan bahwa karyanya telah dikikis ke dalam database gambar LAION api tanpa persetujuan dan menghapusnya dari internet.
"Saya sangat bersyukur bahwa kami memiliki alat yang membantu seniman mendapatkan kembali kendali atas pekerjaan mereka," katanya. "