300枚の写真が「毒された」SD、アーティストの反撃ツールナイトシェードはAIペインティングに「レッスン」を教えたいですか?

脚本:メリッサ・ヘイキラ

出典:MITテクノロジーレビュー

画像ソース:無制限のAIによって生成

アーティストがアートワークのピクセルに目に見えない変更を追加してからオンラインでアップロードできる新しいツールで、画像がAIトレーニングセットに含まれている場合、生成モデルが混沌とした予測不可能な方法でクラッシュします。

「Nightshade」と呼ばれるこのツールは、作成者の許可なしにアーティストの作品を使用してモデルをトレーニングするAI企業に対抗するように設計されています。 これを使用してこのトレーニング データを "ポイズニング" すると、DALL-E、Midjourney、Stable Diffusion などの画像生成モデルの将来のイテレーションに害を及ぼし、犬から猫、車から牛など、出力の一部をスクランブルする可能性があります。 この研究は、ピアレビューのためにコンピュータセキュリティ会議Usenixに提出されました。

OpenAI、Meta、Google、Stability AIなどのAI企業は、著作権で保護された素材や個人情報が同意や補償なしに盗まれたと主張するアーティストからの一連の訴訟に直面しています。 Nightshadeの創設チームを率いたシカゴ大学のBen Zhao教授は、アーティストの著作権と知的財産を軽視するための強力な抑止力を提供し、AI企業からアーティストへの力のバランスを変えるのに役立つことを望んでいると述べた。 Meta、Google、Stability AI、OpenAIは、MIT Technology Reviewのコメント要請に応じなかった。

Zhao氏のチームは、アーティストが自分のスタイルを「マスク」してAI企業による盗難を防ぐことができるツールGlazeも開発しました。 Nightshadeと同様に機能し、人間の目には見えない微妙な方法で画像のピクセルを変更し、機械学習モデルを操作して、画像を実際に表示されるものとは異なるものとして解釈します。

チームはNightshadeをGlazeに統合する予定であり、アーティストはデータを「毒」できるツールを使用するかどうかを選択できます。 チームはまた、Nightshadeをオープンソース化する予定であり、誰でもそれを変更して独自のバージョンを作成できることを意味します。 Zhao氏は、それを使用して独自のバージョンを作成する人が増えるほど、ツールはより強力になると述べています。 大規模なAIモデルのデータセットには数十億の画像が含まれている可能性があるため、モデル内の毒性の高い画像が多いほど、テクノロジーによって引き起こされる損害が大きくなります。

標的型攻撃

Nightshade は、大量のデータ (この場合はインターネットで検索された画像) でトレーニングされた生成型 AI モデルのセキュリティ上の欠陥を悪用しました。 ナイトシェードはこれらの画像を破棄します。

自分の作品をオンラインでアップロードしたいが、AI企業によって画像がスクレイピングされることを望まないアーティストは、それをGlazeにアップロードして、自分とは異なるアートスタイルで覆うことを選択できます。 その後、ナイトシェードの使用を選択することもできます。 AI開発者がインターネットからより多くのデータを取得して既存のAIモデルを微調整したり、新しいAIモデルを構築したりすると、これらの有毒なサンプルがモデルのデータセットに入り込み、モデルが失敗します。

たとえば、ポイズニングデータのサンプルは、帽子の画像がケーキであり、ハンドバッグの画像がトースターであると考えるようにモデルを操作します。 ポイズニングデータは、テクノロジー企業が破損した各サンプルを丹念に見つけて削除する必要があるため、クリーンアップが困難です。

研究者たちは、Stable Diffusionの最新モデルと、ゼロからトレーニングされた独自のAIモデルに対する攻撃をテストしました。 彼らがStable Diffionに毒犬の写真を50枚だけ与え、犬の写真を自分で作成させたとき、出力は奇妙になり始めました—手足が多すぎて、漫画のような顔です。 300個の毒サンプルを入力した後、攻撃者は安定した拡散を操作して、猫のように見える犬の画像を生成できます。

生成型AIモデルは、単語間の接続に長けており、毒性の拡散にも寄与します。 ナイトシェードは、「犬」という言葉だけでなく、「子犬」、「ハスキー」、「オオカミ」などの同様の概念にも感染しています。 この攻撃は、問題の画像にも適用されます。 たとえば、モデルがプロンプト「ファンタジーアート」の有毒な画像を取得した場合、プロンプト「ドラゴン」と「ロードオブザリングの城」も同様に操作されて、別のものを出力します。

Zhaoは、人々がデータポイズニング技術を悪用して悪意のある攻撃を実行する可能性があることを認めています。 しかし、攻撃者は、数十億のデータサンプルでトレーニングされた、より大きく、より強力なモデルに実際の損害を与えるために、何千もの毒サンプルが必要であるとも述べています。

「これらの攻撃に対する強力な防御はまだわかりません。 最新の[機械学習]モデルに対する攻撃はまだ見られませんが、おそらく時間の問題です。 AIモデルの安全性を研究しているコーネル大学のヴィタリー・シュマティコフ教授は、この研究には関与していないと述べた。 防衛を検討する時が来ました」とシュマティコフは付け加えました。

ウォータールー大学の助教授で、データのプライバシーとAIモデルの堅牢性を研究しているGautam Kamath氏もこの研究には関与していないが、この作業は「素晴らしい」と述べた。

Kamath氏によると、この研究は、脆弱性が「これらの新しいモデルで魔法のように消えるのではなく、実際には悪化するだけである」ことを示しており、「リスクは時間の経過とともに増加するだけなので、これらのモデルがより強力になり、人々がますます信頼する場合に特に当てはまります」。 "

強力な抑止力

コロンビア大学のコンピューターサイエンス教授であるJunfeng Yangは、ディープラーニングシステムのセキュリティを研究してきましたが、この研究には関与していませんでした。 NightshadeがAI企業に、ロイヤルティの支払いをいとわないなど、アーティストの権利をより尊重させることができれば、それは大きな影響を与えるだろうと彼は言った。

Stability AIやOpenAIなどのテキストから画像への生成モデルを開発するAI企業は、アーティストにモデルの将来のバージョンのトレーニングに画像を使用しないオプションを提供することを提案しています。 しかし、アーティストはそれだけでは十分ではないと言います。 Glazeを使用したイラストレーター兼アーティストのEva Toorenent氏は、出口政策ではアーティストがハードルを通過する必要がある一方で、テクノロジー企業が依然としてすべての力を持っていると述べました。

Toorenentは、Nightshadeがそれを変えることを望んでいます。

「これは[AI企業]に二度考えさせるでしょう。なぜなら、彼らは私たちの同意なしに私たちの仕事を奪い、モデル全体を破壊する可能性があるためです」と彼女は言いました。 "

別のアーティスト、オータム・ビバリーは、ナイトシェードやグレイズなどのツールが、彼女の作品を再びオンラインで投稿する自信を与えてくれたと語った。 以前、彼女は自分の作品が同意なしに火災のLAION画像データベースにスクレイピングされたことを知り、インターネットから削除しました。

「アーティストが自分の作品のコントロールを取り戻すのに役立つツールがあることに本当に感謝しています」と彼女は言います。 "