Görüntü kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur
Sanatçıların çevrimiçi olarak yüklemeden önce sanat eserlerindeki piksellere görünmez değişiklikler eklemelerine olanak tanıyan ve görüntüler yapay zeka eğitim setine dahil edilirse üretken modelin kaotik ve öngörülemeyen bir şekilde çökmesine neden olan yeni bir araç.
"Nightshade" adı verilen araç, yaratıcının izni olmadan modelleri eğitmek için sanatçıların çalışmalarını kullanan yapay zeka şirketlerine karşı geri adım atmak için tasarlandı. Bu eğitim verilerini "zehirlemek" için kullanmak, DALL-E, Midjourney ve Stable Diffusion gibi görüntü üreten modellerin gelecekteki yinelemelerine zarar verebilir ve çıktılarının bir kısmını (köpekleri kedilere, arabaları vb.) karıştırabilir. Çalışma, hakem değerlendirmesi için bilgisayar güvenliği konferansı Usenix'e gönderildi.
OpenAI, Meta, Google ve Stability AI gibi yapay zeka şirketleri, telif hakkıyla korunan materyallerinin ve kişisel bilgilerinin rıza veya tazminat olmadan çalındığını iddia eden sanatçıların bir dizi davasıyla karşı karşıya kaldı. Nightshade'in kurucu ekibine liderlik eden Chicago Üniversitesi'nde profesör olan Ben Zhao, sanatçıların telif haklarına ve fikri mülkiyetlerine saygısızlık etmek için güçlü bir caydırıcılık sağlayacağını ve güç dengesini AI şirketlerinden sanatçılara kaydırmaya yardımcı olacağını umduğunu söyledi. Meta, Google, Stability AI ve OpenAI, MIT Technology Review'un yorum talebine yanıt vermedi.
Zhao'nun ekibi ayrıca, sanatçıların yapay zeka şirketleri tarafından hırsızlığı önlemek için kişisel tarzlarını "maskelemelerine" olanak tanıyan bir araç olan Glaze'i geliştirdi. Nightshade'e benzer şekilde çalışır: bir görüntünün piksellerini insan gözünün göremediği ince yollarla değiştirmek, görüntüyü gerçekte gösterdiğinden farklı bir şey olarak yorumlamak için makine öğrenimi modellerini manipüle etmek.
Ekip, Nightshade'i Glaze'e entegre etmeyi planlıyor ve sanatçılar, verileri "zehirleyebilecek" bir araç kullanıp kullanmamayı seçebilirler. Ekip ayrıca Nightshade'i açık kaynaklı hale getirmeyi planlıyor, bu da herkesin onu değiştirebileceği ve kendi sürümünü yapabileceği anlamına geliyor. Zhao, ne kadar çok insan kullanır ve kendi versiyonunu yaparsa, aracın o kadar güçlü olacağını söylüyor. Büyük yapay zeka modellerinin veri kümeleri milyarlarca görüntü içerebilir, bu nedenle modelde ne kadar toksik görüntü olursa, teknolojinin neden olduğu hasar o kadar büyük olur.
Hedefli Saldırılar
Nightshade, büyük miktarda veri üzerinde eğitilmiş üretken yapay zeka modellerindeki bir güvenlik açığından yararlandı - bu durumda, internette aranan görüntüler. Nightshade bu görüntüleri yok eder.
Çalışmalarını çevrimiçi olarak yüklemek isteyen ancak görüntülerinin yapay zeka şirketleri tarafından kazınmasını istemeyen sanatçılar, eserlerini Glaze'e yükleyebilir ve kendilerininkinden farklı bir sanat tarzıyla örtmeyi seçebilirler. Daha sonra Nightshade'i kullanmayı da seçebilirler. Yapay zeka geliştiricileri, mevcut yapay zeka modellerini değiştirmek veya yenilerini oluşturmak için internetten daha fazla veri aldığında, bu toksik örnekler modelin veri kümesine girerek modelin başarısız olmasına neden olur.
Örneğin, bir zehirlenme verisi örneği, bir şapka görüntüsünün bir pasta olduğunu ve bir el çantasının görüntüsünün bir ekmek kızartma makinesi olduğunu düşünmek için modeli manipüle eder. Zehirlenme verilerinin temizlenmesi zordur çünkü teknoloji şirketlerinin her bozuk örneği özenle bulmasını ve silmesini gerektirir.
Araştırmacılar, saldırıyı Stable Diffusion'ın en son modelinde ve sıfırdan eğitilmiş kendi yapay zeka modellerinde test etti. Stable Diffusion'ı sadece 50 zehirli köpek resmi ile beslediklerinde ve kendi köpek resimlerini oluşturmasına izin verdiklerinde, çıktı garipleşmeye başladı - çok fazla uzuv, karikatürize bir yüz. Saldırgan, 300 zehirli örnek girdikten sonra, kedilere benzeyen köpeklerin görüntülerini oluşturmak için Kararlı Difüzyonu manipüle edebilir.
Üretken yapay zeka modelleri, kelimeler arasında bağlantı kurmada iyidir ve bu da toksisitenin yayılmasına katkıda bulunur. Nightshade sadece "köpek" kelimesiyle değil, aynı zamanda "köpek yavrusu", "husky" ve "kurt" gibi tüm benzer kavramlarla da enfekte olur. Bu saldırı söz konusu görüntüler için de geçerlidir. Örneğin, model "fantezi sanatı" istemi için zehirli bir görüntü yakalarsa, "ejderha" ve "Yüzüklerin Efendisi'ndeki kale" istemleri benzer şekilde başka bir çıktı elde etmek için manipüle edilecektir.
Zhao, insanların kötü niyetli saldırılar gerçekleştirmek için veri zehirleme tekniklerini kötüye kullanmasının mümkün olduğunu kabul ediyor. Ancak saldırganların, milyarlarca veri örneği üzerinde eğitilmiş daha büyük, daha güçlü modellere gerçek zarar vermek için binlerce zehirli örneğe ihtiyaç duyduğunu da söyledi.
"Bu saldırılara karşı henüz güçlü savunmalar bilmiyoruz. Henüz modern [makine öğrenimi] modellerine yönelik saldırılar görmedik, ancak bu muhtemelen sadece bir zaman meselesi. Cornell Üniversitesi'nde yapay zeka modellerinin güvenliğini inceleyen bir profesör olan Vitaly Shmatikov, çalışmaya dahil olmadığını söyledi. Savunmaya bakmanın zamanı geldi," diye ekledi Shmatikov.
Waterloo Üniversitesi'nde veri gizliliği ve yapay zeka modellerinin sağlamlığı üzerine çalışan yardımcı doçent Gautam Kamath da çalışmaya dahil değildi, ancak çalışmanın "harika" olduğunu söyledi.
Kamath'a göre, çalışma, güvenlik açıklarının "bu yeni modellerle sihirli bir şekilde ortadan kalkmadığını, aslında daha da kötüleştiğini" ve "bu özellikle bu modeller daha güçlü hale geldiğinde ve insanlar onlara daha fazla güvendiğinde geçerlidir, çünkü risk yalnızca zamanla artar." "
Güçlü Caydırıcı
Columbia Üniversitesi'nde bilgisayar bilimi profesörü olan Junfeng Yang, derin öğrenme sistemlerinin güvenliğini inceledi ancak çalışmaya dahil olmadı. Nightshade, yapay zeka şirketlerini telif ücreti ödemeye daha istekli olmak gibi sanatçıların haklarına daha saygılı hale getirebilirse, bunun büyük bir etkisi olacağını söyledi.
Stability AI ve OpenAI gibi metinden görüntüye oluşturma modelleri geliştiren yapay zeka şirketleri, sanatçılara modelin gelecekteki sürümlerini eğitmek için görüntülerini kullanmama seçeneği sunmayı önerdi. Ancak sanatçılar bunun yeterli olmadığını söylüyor. Glaze'i kullanan bir illüstratör ve sanatçı olan Eva Toorenent, çıkış politikasının sanatçıların engelleri aşmasını gerektirdiğini, teknoloji şirketlerinin ise hala tüm gücü elinde tuttuğunu söyledi.
Toorenent, Nightshade'in bunu değiştireceğini umuyor.
"Bu, [AI şirketlerinin] iki kez düşünmesini sağlayacaktır, çünkü potansiyel olarak çalışmalarımızı iznimiz olmadan alabilir ve tüm modellerini yok edebilirler" dedi. "
Başka bir sanatçı olan Autumn Beverly, Nightshade ve Glaze gibi araçların kendisine çalışmalarını tekrar çevrimiçi yayınlama konusunda güven verdiğini söyledi. Daha önce, çalışmasının izinsiz olarak yangının LAION görüntü veritabanına kazındığını öğrendi ve internetten kaldırdı.
"Sanatçıların çalışmalarının kontrolünü yeniden kazanmalarına yardımcı olan bir aracımız olduğu için gerçekten minnettarım" diyor. "
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
300 resim "zehirlendi" SD, sanatçının karşı saldırı aracı Nightshade, AI resmine bir "ders" mi vermek istiyor?
Melissa Heikkilğtarafından yazıldı.
Kaynak: MIT Technology Review
Sanatçıların çevrimiçi olarak yüklemeden önce sanat eserlerindeki piksellere görünmez değişiklikler eklemelerine olanak tanıyan ve görüntüler yapay zeka eğitim setine dahil edilirse üretken modelin kaotik ve öngörülemeyen bir şekilde çökmesine neden olan yeni bir araç.
"Nightshade" adı verilen araç, yaratıcının izni olmadan modelleri eğitmek için sanatçıların çalışmalarını kullanan yapay zeka şirketlerine karşı geri adım atmak için tasarlandı. Bu eğitim verilerini "zehirlemek" için kullanmak, DALL-E, Midjourney ve Stable Diffusion gibi görüntü üreten modellerin gelecekteki yinelemelerine zarar verebilir ve çıktılarının bir kısmını (köpekleri kedilere, arabaları vb.) karıştırabilir. Çalışma, hakem değerlendirmesi için bilgisayar güvenliği konferansı Usenix'e gönderildi.
OpenAI, Meta, Google ve Stability AI gibi yapay zeka şirketleri, telif hakkıyla korunan materyallerinin ve kişisel bilgilerinin rıza veya tazminat olmadan çalındığını iddia eden sanatçıların bir dizi davasıyla karşı karşıya kaldı. Nightshade'in kurucu ekibine liderlik eden Chicago Üniversitesi'nde profesör olan Ben Zhao, sanatçıların telif haklarına ve fikri mülkiyetlerine saygısızlık etmek için güçlü bir caydırıcılık sağlayacağını ve güç dengesini AI şirketlerinden sanatçılara kaydırmaya yardımcı olacağını umduğunu söyledi. Meta, Google, Stability AI ve OpenAI, MIT Technology Review'un yorum talebine yanıt vermedi.
Zhao'nun ekibi ayrıca, sanatçıların yapay zeka şirketleri tarafından hırsızlığı önlemek için kişisel tarzlarını "maskelemelerine" olanak tanıyan bir araç olan Glaze'i geliştirdi. Nightshade'e benzer şekilde çalışır: bir görüntünün piksellerini insan gözünün göremediği ince yollarla değiştirmek, görüntüyü gerçekte gösterdiğinden farklı bir şey olarak yorumlamak için makine öğrenimi modellerini manipüle etmek.
Ekip, Nightshade'i Glaze'e entegre etmeyi planlıyor ve sanatçılar, verileri "zehirleyebilecek" bir araç kullanıp kullanmamayı seçebilirler. Ekip ayrıca Nightshade'i açık kaynaklı hale getirmeyi planlıyor, bu da herkesin onu değiştirebileceği ve kendi sürümünü yapabileceği anlamına geliyor. Zhao, ne kadar çok insan kullanır ve kendi versiyonunu yaparsa, aracın o kadar güçlü olacağını söylüyor. Büyük yapay zeka modellerinin veri kümeleri milyarlarca görüntü içerebilir, bu nedenle modelde ne kadar toksik görüntü olursa, teknolojinin neden olduğu hasar o kadar büyük olur.
Hedefli Saldırılar
Nightshade, büyük miktarda veri üzerinde eğitilmiş üretken yapay zeka modellerindeki bir güvenlik açığından yararlandı - bu durumda, internette aranan görüntüler. Nightshade bu görüntüleri yok eder.
Çalışmalarını çevrimiçi olarak yüklemek isteyen ancak görüntülerinin yapay zeka şirketleri tarafından kazınmasını istemeyen sanatçılar, eserlerini Glaze'e yükleyebilir ve kendilerininkinden farklı bir sanat tarzıyla örtmeyi seçebilirler. Daha sonra Nightshade'i kullanmayı da seçebilirler. Yapay zeka geliştiricileri, mevcut yapay zeka modellerini değiştirmek veya yenilerini oluşturmak için internetten daha fazla veri aldığında, bu toksik örnekler modelin veri kümesine girerek modelin başarısız olmasına neden olur.
Örneğin, bir zehirlenme verisi örneği, bir şapka görüntüsünün bir pasta olduğunu ve bir el çantasının görüntüsünün bir ekmek kızartma makinesi olduğunu düşünmek için modeli manipüle eder. Zehirlenme verilerinin temizlenmesi zordur çünkü teknoloji şirketlerinin her bozuk örneği özenle bulmasını ve silmesini gerektirir.
Araştırmacılar, saldırıyı Stable Diffusion'ın en son modelinde ve sıfırdan eğitilmiş kendi yapay zeka modellerinde test etti. Stable Diffusion'ı sadece 50 zehirli köpek resmi ile beslediklerinde ve kendi köpek resimlerini oluşturmasına izin verdiklerinde, çıktı garipleşmeye başladı - çok fazla uzuv, karikatürize bir yüz. Saldırgan, 300 zehirli örnek girdikten sonra, kedilere benzeyen köpeklerin görüntülerini oluşturmak için Kararlı Difüzyonu manipüle edebilir.
"Bu saldırılara karşı henüz güçlü savunmalar bilmiyoruz. Henüz modern [makine öğrenimi] modellerine yönelik saldırılar görmedik, ancak bu muhtemelen sadece bir zaman meselesi. Cornell Üniversitesi'nde yapay zeka modellerinin güvenliğini inceleyen bir profesör olan Vitaly Shmatikov, çalışmaya dahil olmadığını söyledi. Savunmaya bakmanın zamanı geldi," diye ekledi Shmatikov.
Waterloo Üniversitesi'nde veri gizliliği ve yapay zeka modellerinin sağlamlığı üzerine çalışan yardımcı doçent Gautam Kamath da çalışmaya dahil değildi, ancak çalışmanın "harika" olduğunu söyledi.
Kamath'a göre, çalışma, güvenlik açıklarının "bu yeni modellerle sihirli bir şekilde ortadan kalkmadığını, aslında daha da kötüleştiğini" ve "bu özellikle bu modeller daha güçlü hale geldiğinde ve insanlar onlara daha fazla güvendiğinde geçerlidir, çünkü risk yalnızca zamanla artar." "
Güçlü Caydırıcı
Columbia Üniversitesi'nde bilgisayar bilimi profesörü olan Junfeng Yang, derin öğrenme sistemlerinin güvenliğini inceledi ancak çalışmaya dahil olmadı. Nightshade, yapay zeka şirketlerini telif ücreti ödemeye daha istekli olmak gibi sanatçıların haklarına daha saygılı hale getirebilirse, bunun büyük bir etkisi olacağını söyledi.
Stability AI ve OpenAI gibi metinden görüntüye oluşturma modelleri geliştiren yapay zeka şirketleri, sanatçılara modelin gelecekteki sürümlerini eğitmek için görüntülerini kullanmama seçeneği sunmayı önerdi. Ancak sanatçılar bunun yeterli olmadığını söylüyor. Glaze'i kullanan bir illüstratör ve sanatçı olan Eva Toorenent, çıkış politikasının sanatçıların engelleri aşmasını gerektirdiğini, teknoloji şirketlerinin ise hala tüm gücü elinde tuttuğunu söyledi.
Toorenent, Nightshade'in bunu değiştireceğini umuyor.
"Bu, [AI şirketlerinin] iki kez düşünmesini sağlayacaktır, çünkü potansiyel olarak çalışmalarımızı iznimiz olmadan alabilir ve tüm modellerini yok edebilirler" dedi. "
Başka bir sanatçı olan Autumn Beverly, Nightshade ve Glaze gibi araçların kendisine çalışmalarını tekrar çevrimiçi yayınlama konusunda güven verdiğini söyledi. Daha önce, çalışmasının izinsiz olarak yangının LAION görüntü veritabanına kazındığını öğrendi ve internetten kaldırdı.
"Sanatçıların çalışmalarının kontrolünü yeniden kazanmalarına yardımcı olan bir aracımız olduğu için gerçekten minnettarım" diyor. "