Một công cụ mới cho phép các nghệ sĩ thêm các thay đổi vô hình vào pixel trong tác phẩm nghệ thuật của họ trước khi tải nó lên mạng, khiến mô hình tạo ra bị sập một cách hỗn loạn và không thể đoán trước nếu hình ảnh được đưa vào bộ đào tạo AI.
Công cụ này, được gọi là "Nightshade", được thiết kế để đẩy lùi các công ty AI sử dụng tác phẩm của các nghệ sĩ để đào tạo người mẫu mà không có sự cho phép của người sáng tạo. Sử dụng nó để "đầu độc" dữ liệu đào tạo này có thể gây hại cho các lần lặp lại trong tương lai của các mô hình tạo hình ảnh, chẳng hạn như DALL-E, Midjourney và Stable Diffusion, xáo trộn một số đầu ra của chúng — chó thành mèo, ô tô thành bò, v.v. Nghiên cứu đã được đệ trình lên hội nghị bảo mật máy tính Usenix để đánh giá ngang hàng.
Các công ty AI như OpenAI, Meta, Google và Stability AI đã phải đối mặt với một loạt vụ kiện từ các nghệ sĩ tuyên bố tài liệu có bản quyền và thông tin cá nhân của họ đã bị đánh cắp mà không có sự đồng ý hoặc bồi thường. Ben Zhao, giáo sư tại Đại học Chicago, người đứng đầu nhóm sáng lập của Nightshade, cho biết ông hy vọng nó sẽ cung cấp một sự răn đe mạnh mẽ đối với sự thiếu tôn trọng bản quyền và sở hữu trí tuệ của các nghệ sĩ, giúp chuyển cán cân quyền lực từ các công ty AI sang các nghệ sĩ. Meta, Google, Stability AI và OpenAI đã không trả lời yêu cầu bình luận của MIT Technology Review.
Nhóm của Zhao cũng đã phát triển một công cụ, Glaze, cho phép các nghệ sĩ "che giấu" phong cách cá nhân của họ để ngăn chặn hành vi trộm cắp của các công ty AI. Nó hoạt động tương tự như Nightshade: thay đổi các pixel của hình ảnh theo những cách tinh tế mà mắt người không nhìn thấy, thao tác với các mô hình học máy để diễn giải hình ảnh như một cái gì đó khác với những gì nó thực sự hiển thị.
Nhóm nghiên cứu dự định tích hợp Nightshade vào Glaze và các nghệ sĩ có thể chọn có sử dụng một công cụ có thể "đầu độc" dữ liệu hay không. Nhóm nghiên cứu cũng dự định mã nguồn mở Nightshade, có nghĩa là bất kỳ ai cũng có thể sửa đổi nó và tạo phiên bản của riêng họ. Zhao nói rằng càng nhiều người sử dụng nó và tạo ra phiên bản của riêng họ, công cụ này sẽ càng trở nên mạnh mẽ hơn. Bộ dữ liệu của các mô hình AI lớn có thể chứa hàng tỷ hình ảnh, do đó, hình ảnh càng độc hại trong mô hình, thiệt hại do công nghệ gây ra càng lớn.
** Tấn công có chủ đích**
Nightshade đã khai thác một lỗ hổng bảo mật trong các mô hình AI sinh ra được đào tạo trên một lượng lớn dữ liệu — trong trường hợp này là hình ảnh được tìm kiếm trên Internet. Nightshade phá hủy những hình ảnh này.
Các nghệ sĩ muốn tải tác phẩm của họ lên mạng nhưng không muốn hình ảnh của họ bị các công ty AI cạo đi có thể tải nó lên Glaze và chọn che đậy nó bằng một phong cách nghệ thuật khác với phong cách của họ. Sau đó, họ cũng có thể chọn sử dụng Nightshade. Khi các nhà phát triển AI lấy thêm dữ liệu từ internet để tinh chỉnh các mô hình AI hiện có hoặc xây dựng các mô hình mới, các mẫu độc hại này sẽ xâm nhập vào tập dữ liệu của mô hình, khiến mô hình bị lỗi.
Ví dụ, một mẫu dữ liệu ngộ độc thao túng người mẫu nghĩ rằng hình ảnh của một chiếc mũ là một chiếc bánh và hình ảnh của một chiếc túi xách là một máy nướng bánh mì. Dữ liệu ngộ độc rất khó để làm sạch vì nó đòi hỏi các công ty công nghệ phải cẩn thận tìm và xóa từng mẫu bị hỏng.
Các nhà nghiên cứu đã thử nghiệm cuộc tấn công vào mô hình mới nhất của Stable Diffusion và mô hình AI của riêng họ được đào tạo từ đầu. Khi họ cho Stable Diffusion ăn chỉ 50 bức ảnh về những bị nhiễm độc và để nó tạo ra hình ảnh của riêng họ về những, kết quả bắt đầu trở nên kỳ lạ - quá nhiều chi, một khuôn mặt hoạt hình. Sau khi nhập 300 mẫu bị nhiễm độc, kẻ tấn công có thể thao tác Stable Diffusion để tạo ra hình ảnh của những trông giống mèo.
Các mô hình AI tạo ra rất tốt trong việc tạo kết nối giữa các từ, điều này cũng góp phần khuếch tán độc tính. Nighthade bị nhiễm không chỉ với từ "chó" mà còn với tất cả các khái niệm tương tự như "chó con", "husky" và "sói". Cuộc tấn công này cũng áp dụng cho các hình ảnh được đề cập. Ví dụ: nếu người mẫu lấy một hình ảnh độc hại cho "nghệ thuật giả tưởng", lời nhắc "rồng" và "lâu đài trong Chúa tể của những chiếc nhẫn" sẽ được thao tác tương tự để tạo ra một cái gì đó khác.
Zhao thừa nhận rằng mọi người có thể lạm dụng các kỹ thuật đầu độc dữ liệu để thực hiện các cuộc tấn công độc hại. Nhưng ông cũng cho biết những kẻ tấn công cần hàng ngàn mẫu bị nhiễm độc để gây thiệt hại thực sự cho các mô hình lớn hơn, mạnh hơn được đào tạo trên hàng tỷ mẫu dữ liệu.
"Chúng tôi vẫn chưa biết khả năng phòng thủ mạnh mẽ chống lại các cuộc tấn công này. Chúng ta chưa thấy các cuộc tấn công vào các mô hình [học máy] hiện đại, nhưng có lẽ đó chỉ là vấn đề thời gian. Vitaly Shmatikov, giáo sư tại Đại học Cornell, người nghiên cứu về sự an toàn của các mô hình AI, cho biết ông không tham gia vào nghiên cứu. Đã đến lúc xem xét phòng thủ", ông Shmatikov nói thêm.
Gautam Kamath, trợ lý giáo sư tại Đại học Waterloo, người nghiên cứu về quyền riêng tư dữ liệu và sự mạnh mẽ của các mô hình AI, cũng không tham gia vào nghiên cứu, nhưng cho biết công việc này là "tuyệt vời".
Theo Kamath, nghiên cứu cho thấy các lỗ hổng "không biến mất một cách kỳ diệu với các mô hình mới này, chúng thực sự chỉ trở nên tồi tệ hơn" và "điều này đặc biệt đúng khi các mô hình này trở nên mạnh mẽ hơn và mọi người tin tưởng chúng ngày càng nhiều, bởi vì rủi ro chỉ tăng theo thời gian". "
Răn đe mạnh mẽ
Junfeng Yang, giáo sư khoa học máy tính tại Đại học Columbia, đã nghiên cứu tính bảo mật của các hệ thống học sâu nhưng không tham gia vào nghiên cứu. Nếu Nightshade có thể khiến các công ty AI tôn trọng hơn quyền của nghệ sĩ, chẳng hạn như sẵn sàng trả tiền bản quyền hơn, ông nói, nó sẽ có tác động rất lớn.
Các công ty AI phát triển các mô hình tạo văn bản thành hình ảnh, chẳng hạn như Stability AI và OpenAI, đã đề xuất cung cấp cho các nghệ sĩ tùy chọn không sử dụng hình ảnh của họ để đào tạo các phiên bản tương lai của mô hình. Nhưng các nghệ sĩ nói rằng điều đó là không đủ. Eva Toorenent, một họa sĩ minh họa và nghệ sĩ đã sử dụng Glaze, cho biết chính sách rút lui đòi hỏi các nghệ sĩ phải vượt qua các rào cản, trong khi các công ty công nghệ vẫn nắm giữ tất cả quyền lực.
Toorenent hy vọng Nightshade sẽ thay đổi điều đó.
"Điều này sẽ khiến [các công ty AI] phải suy nghĩ kỹ vì họ có khả năng lấy công việc của chúng tôi mà không cần sự đồng ý của chúng tôi và phá hủy toàn bộ mô hình của họ", cô nói. "
Một nghệ sĩ khác, Autumn Beverly, cho biết các công cụ như Nightshade và Glaze đã cho cô sự tự tin để đăng tác phẩm của mình lên mạng một lần nữa. Trước đó, cô phát hiện ra rằng tác phẩm của mình đã bị cạo vào cơ sở dữ liệu hình ảnh LAION của đám cháy mà không có sự đồng ý và xóa nó khỏi internet.
"Tôi thực sự biết ơn vì chúng tôi có một công cụ giúp các nghệ sĩ lấy lại quyền kiểm soát tác phẩm của họ," cô nói. "
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
300 bức tranh "đầu độc" SD, công cụ phản công của họa sĩ Nightshade muốn dạy AI vẽ một "bài học"?
Viết bởi Melissa Heikkilä
Nguồn: MIT Technology Review
Một công cụ mới cho phép các nghệ sĩ thêm các thay đổi vô hình vào pixel trong tác phẩm nghệ thuật của họ trước khi tải nó lên mạng, khiến mô hình tạo ra bị sập một cách hỗn loạn và không thể đoán trước nếu hình ảnh được đưa vào bộ đào tạo AI.
Công cụ này, được gọi là "Nightshade", được thiết kế để đẩy lùi các công ty AI sử dụng tác phẩm của các nghệ sĩ để đào tạo người mẫu mà không có sự cho phép của người sáng tạo. Sử dụng nó để "đầu độc" dữ liệu đào tạo này có thể gây hại cho các lần lặp lại trong tương lai của các mô hình tạo hình ảnh, chẳng hạn như DALL-E, Midjourney và Stable Diffusion, xáo trộn một số đầu ra của chúng — chó thành mèo, ô tô thành bò, v.v. Nghiên cứu đã được đệ trình lên hội nghị bảo mật máy tính Usenix để đánh giá ngang hàng.
Các công ty AI như OpenAI, Meta, Google và Stability AI đã phải đối mặt với một loạt vụ kiện từ các nghệ sĩ tuyên bố tài liệu có bản quyền và thông tin cá nhân của họ đã bị đánh cắp mà không có sự đồng ý hoặc bồi thường. Ben Zhao, giáo sư tại Đại học Chicago, người đứng đầu nhóm sáng lập của Nightshade, cho biết ông hy vọng nó sẽ cung cấp một sự răn đe mạnh mẽ đối với sự thiếu tôn trọng bản quyền và sở hữu trí tuệ của các nghệ sĩ, giúp chuyển cán cân quyền lực từ các công ty AI sang các nghệ sĩ. Meta, Google, Stability AI và OpenAI đã không trả lời yêu cầu bình luận của MIT Technology Review.
Nhóm của Zhao cũng đã phát triển một công cụ, Glaze, cho phép các nghệ sĩ "che giấu" phong cách cá nhân của họ để ngăn chặn hành vi trộm cắp của các công ty AI. Nó hoạt động tương tự như Nightshade: thay đổi các pixel của hình ảnh theo những cách tinh tế mà mắt người không nhìn thấy, thao tác với các mô hình học máy để diễn giải hình ảnh như một cái gì đó khác với những gì nó thực sự hiển thị.
Nhóm nghiên cứu dự định tích hợp Nightshade vào Glaze và các nghệ sĩ có thể chọn có sử dụng một công cụ có thể "đầu độc" dữ liệu hay không. Nhóm nghiên cứu cũng dự định mã nguồn mở Nightshade, có nghĩa là bất kỳ ai cũng có thể sửa đổi nó và tạo phiên bản của riêng họ. Zhao nói rằng càng nhiều người sử dụng nó và tạo ra phiên bản của riêng họ, công cụ này sẽ càng trở nên mạnh mẽ hơn. Bộ dữ liệu của các mô hình AI lớn có thể chứa hàng tỷ hình ảnh, do đó, hình ảnh càng độc hại trong mô hình, thiệt hại do công nghệ gây ra càng lớn.
** Tấn công có chủ đích**
Nightshade đã khai thác một lỗ hổng bảo mật trong các mô hình AI sinh ra được đào tạo trên một lượng lớn dữ liệu — trong trường hợp này là hình ảnh được tìm kiếm trên Internet. Nightshade phá hủy những hình ảnh này.
Các nghệ sĩ muốn tải tác phẩm của họ lên mạng nhưng không muốn hình ảnh của họ bị các công ty AI cạo đi có thể tải nó lên Glaze và chọn che đậy nó bằng một phong cách nghệ thuật khác với phong cách của họ. Sau đó, họ cũng có thể chọn sử dụng Nightshade. Khi các nhà phát triển AI lấy thêm dữ liệu từ internet để tinh chỉnh các mô hình AI hiện có hoặc xây dựng các mô hình mới, các mẫu độc hại này sẽ xâm nhập vào tập dữ liệu của mô hình, khiến mô hình bị lỗi.
Ví dụ, một mẫu dữ liệu ngộ độc thao túng người mẫu nghĩ rằng hình ảnh của một chiếc mũ là một chiếc bánh và hình ảnh của một chiếc túi xách là một máy nướng bánh mì. Dữ liệu ngộ độc rất khó để làm sạch vì nó đòi hỏi các công ty công nghệ phải cẩn thận tìm và xóa từng mẫu bị hỏng.
Các nhà nghiên cứu đã thử nghiệm cuộc tấn công vào mô hình mới nhất của Stable Diffusion và mô hình AI của riêng họ được đào tạo từ đầu. Khi họ cho Stable Diffusion ăn chỉ 50 bức ảnh về những bị nhiễm độc và để nó tạo ra hình ảnh của riêng họ về những, kết quả bắt đầu trở nên kỳ lạ - quá nhiều chi, một khuôn mặt hoạt hình. Sau khi nhập 300 mẫu bị nhiễm độc, kẻ tấn công có thể thao tác Stable Diffusion để tạo ra hình ảnh của những trông giống mèo.
"Chúng tôi vẫn chưa biết khả năng phòng thủ mạnh mẽ chống lại các cuộc tấn công này. Chúng ta chưa thấy các cuộc tấn công vào các mô hình [học máy] hiện đại, nhưng có lẽ đó chỉ là vấn đề thời gian. Vitaly Shmatikov, giáo sư tại Đại học Cornell, người nghiên cứu về sự an toàn của các mô hình AI, cho biết ông không tham gia vào nghiên cứu. Đã đến lúc xem xét phòng thủ", ông Shmatikov nói thêm.
Gautam Kamath, trợ lý giáo sư tại Đại học Waterloo, người nghiên cứu về quyền riêng tư dữ liệu và sự mạnh mẽ của các mô hình AI, cũng không tham gia vào nghiên cứu, nhưng cho biết công việc này là "tuyệt vời".
Theo Kamath, nghiên cứu cho thấy các lỗ hổng "không biến mất một cách kỳ diệu với các mô hình mới này, chúng thực sự chỉ trở nên tồi tệ hơn" và "điều này đặc biệt đúng khi các mô hình này trở nên mạnh mẽ hơn và mọi người tin tưởng chúng ngày càng nhiều, bởi vì rủi ro chỉ tăng theo thời gian". "
Răn đe mạnh mẽ
Junfeng Yang, giáo sư khoa học máy tính tại Đại học Columbia, đã nghiên cứu tính bảo mật của các hệ thống học sâu nhưng không tham gia vào nghiên cứu. Nếu Nightshade có thể khiến các công ty AI tôn trọng hơn quyền của nghệ sĩ, chẳng hạn như sẵn sàng trả tiền bản quyền hơn, ông nói, nó sẽ có tác động rất lớn.
Các công ty AI phát triển các mô hình tạo văn bản thành hình ảnh, chẳng hạn như Stability AI và OpenAI, đã đề xuất cung cấp cho các nghệ sĩ tùy chọn không sử dụng hình ảnh của họ để đào tạo các phiên bản tương lai của mô hình. Nhưng các nghệ sĩ nói rằng điều đó là không đủ. Eva Toorenent, một họa sĩ minh họa và nghệ sĩ đã sử dụng Glaze, cho biết chính sách rút lui đòi hỏi các nghệ sĩ phải vượt qua các rào cản, trong khi các công ty công nghệ vẫn nắm giữ tất cả quyền lực.
Toorenent hy vọng Nightshade sẽ thay đổi điều đó.
"Điều này sẽ khiến [các công ty AI] phải suy nghĩ kỹ vì họ có khả năng lấy công việc của chúng tôi mà không cần sự đồng ý của chúng tôi và phá hủy toàn bộ mô hình của họ", cô nói. "
Một nghệ sĩ khác, Autumn Beverly, cho biết các công cụ như Nightshade và Glaze đã cho cô sự tự tin để đăng tác phẩm của mình lên mạng một lần nữa. Trước đó, cô phát hiện ra rằng tác phẩm của mình đã bị cạo vào cơ sở dữ liệu hình ảnh LAION của đám cháy mà không có sự đồng ý và xóa nó khỏi internet.
"Tôi thực sự biết ơn vì chúng tôi có một công cụ giúp các nghệ sĩ lấy lại quyền kiểm soát tác phẩm của họ," cô nói. "