Các mô hình ngôn ngữ lớn như ChatGPT mạnh mẽ như thế nào để suy luận? Từ các bài đăng bạn đã thực hiện hoặc một số dữ liệu cá nhân, bạn có thể suy ra địa chỉ, tuổi, giới tính, nghề nghiệp, thu nhập và dữ liệu riêng tư khác của mình.
Viện Công nghệ Liên bang Thụy Sĩ đã thu thập và chú thích thủ công PersonalReddit, một bộ dữ liệu thực của 520 người dùng Reddit, bao gồm dữ liệu cá nhân như tuổi, giáo dục, giới tính, nghề nghiệp, tình trạng hôn nhân, nơi cư trú, nơi sinh và thu nhập.
Sau đó, các nhà nghiên cứu đã sử dụng chín mô hình ngôn ngữ lớn chính thống, bao gồm GPT-4, Claude-2 và Llama-2, để thực hiện các câu hỏi cụ thể và suy luận dữ liệu riêng tư trên tập dữ liệu PersonalReddit.
Kết quả cho thấy các mô hình này có thể đạt được tỷ lệ chính xác top 1 và 95,8% top-3 và có thể tự động suy ra nhiều loại dữ liệu riêng tư thực ẩn trong văn bản chỉ bằng cách phân tích nội dung văn bản của người dùng. **
Địa chỉ:
Các nhà nghiên cứu cũng lưu ý rằng ở Hoa Kỳ, chỉ cần một số thuộc tính như vị trí, giới tính và ngày sinh để xác định danh tính chính xác của một nửa dân số.
Điều này có nghĩa là nếu một người bất hợp pháp có được một bài đăng hoặc một số thông tin cá nhân do ai đó tạo trên Internet và sử dụng mô hình ngôn ngữ lớn để lý luận về nó, họ có thể dễ dàng có được dữ liệu riêng tư nhạy cảm như sở thích hàng ngày, thói quen làm việc và nghỉ ngơi, nghề nghiệp công việc và địa chỉ nhà.
** Xây dựng tập dữ liệu PersonalReddit **
Các nhà nghiên cứu đã xây dựng một bộ dữ liệu các thuộc tính cá nhân của người dùng Reddit thực sự, PersonalReddit. Bộ dữ liệu chứa tiểu sử của 520 người dùng Reddit với tổng số 5.814 bình luận. Việc xem xét bao gồm giai đoạn từ năm 2012 đến năm 2016.
Có 8 loại thuộc tính cá nhân, bao gồm tuổi tác, trình độ học vấn, giới tính, nghề nghiệp, tình trạng hôn nhân, nơi cư trú, nơi sinh và thu nhập. Các nhà nghiên cứu đã chú thích thủ công từng hồ sơ người dùng để có được nhãn thuộc tính chính xác dưới dạng dữ liệu thực để kiểm tra hiệu ứng suy luận của mô hình.
Xây dựng tập dữ liệu được hướng dẫn bởi hai nguyên tắc chính:
Nội dung của các bình luận phải phản ánh thực sự các đặc điểm của ngôn ngữ được sử dụng trên Internet. Vì người dùng chủ yếu tương tác với các mô hình ngôn ngữ thông qua các nền tảng trực tuyến, corpora trực tuyến là đại diện và phổ quát.
Các loại thuộc tính cá nhân cần phải khác nhau để phản ánh các yêu cầu của các quy định bảo vệ quyền riêng tư khác nhau. Các bộ dữ liệu hiện tại thường chỉ chứa 1-2 loại thuộc tính và nghiên cứu cần đánh giá khả năng suy ra nhiều thông tin cá nhân hơn của mô hình.
Ngoài ra, các nhà nghiên cứu đã yêu cầu các nhà chú thích đánh giá từng thuộc tính, cho biết mức độ dễ dàng chú thích và mức độ tự tin của người chú thích. Mức độ khó dao động từ 1 (rất dễ) đến 5 (rất khó). Nếu thông tin thuộc tính không có sẵn trực tiếp từ văn bản, người chú thích được phép kiểm tra nó bằng công cụ tìm kiếm truyền thống.
Tương tác đối nghịch
Xem xét số lượng ngày càng tăng của các ứng dụng chatbot ngôn ngữ, các nhà nghiên cứu cũng xây dựng một kịch bản hội thoại đối nghịch để mô phỏng các tương tác trong thế giới thực.
Một chatbot dựa trên mô hình ngôn ngữ lớn độc hại đã được phát triển, bề ngoài là một trợ lý du lịch hữu ích, trong khi nhiệm vụ ẩn là cố gắng trích xuất thông tin cá nhân của người dùng như nơi họ sống, tuổi tác và giới tính.
Trong các cuộc trò chuyện mô phỏng, chatbot có thể hướng dẫn người dùng tiết lộ manh mối liên quan thông qua các câu hỏi dường như vô thưởng vô phạt và suy luận chính xác dữ liệu riêng tư cá nhân của họ sau nhiều vòng tương tác, xác minh tính khả thi của phương pháp đối nghịch này.
Dữ liệu kiểm tra
Các nhà nghiên cứu đã chọn chín mô hình ngôn ngữ lớn chính thống để thử nghiệm, bao gồm GPT-4, Claude-2, Llama-2 và các mô hình khác. Tất cả các nhận xét của mỗi người dùng được gói gọn trong một định dạng nhắc nhở cụ thể và được đưa vào các mô hình ngôn ngữ khác nhau, được yêu cầu để xuất ra suy luận về các thuộc tính của người dùng.
Sau đó, kết quả dự đoán của mô hình được so sánh với dữ liệu thực được chú thích bởi nhãn người để có được độ chính xác suy luận thuộc tính của từng mô hình.
Kết quả thí nghiệm cho thấy, tỷ lệ chính xác top-1 tổng thể của GPT-4 đạt 84,6%, và tỷ lệ chính xác của top-3 đạt 95,1%, gần như tương đương với hiệu quả của chú thích thủ công chuyên nghiệp, nhưng chi phí chỉ bằng khoảng 1% chú thích thủ công.
Ngoài ra còn có một hiệu ứng tỷ lệ rõ ràng giữa các mô hình khác nhau và mô hình với số lượng tham số càng lớn thì hiệu quả càng tốt. Điều này chứng tỏ rằng các mô hình ngôn ngữ hàng đầu hiện nay đã có được khả năng suy luận thông tin cá nhân từ văn bản mạnh mẽ.
Đánh giá các biện pháp bảo vệ
Các nhà nghiên cứu cũng đánh giá các biện pháp hiện tại để bảo vệ dữ liệu cá nhân khỏi cả máy khách và máy chủ. Về phía khách hàng, họ đã thử nghiệm xử lý văn bản được thực hiện bởi các công cụ ẩn danh văn bản hàng đầu trong ngành.
Kết quả cho thấy ngay cả khi hầu hết thông tin cá nhân bị xóa, GPT-4 vẫn có thể suy ra chính xác dữ liệu cá nhân, bao gồm vị trí và độ tuổi, bằng cách sử dụng các đặc điểm ngôn ngữ còn lại.
Từ góc độ phía máy chủ, các mô hình thương mại hiện tại không được liên kết và tối ưu hóa cho rò rỉ quyền riêng tư và các biện pháp đối phó hiện tại vẫn không thể ngăn chặn hiệu quả việc suy luận các mô hình ngôn ngữ.
Một mặt, nghiên cứu chứng minh khả năng suy luận vượt trội của các mô hình ngôn ngữ lớn như GPT-4, và mặt khác, kêu gọi sự chú ý đến tác động riêng tư của các mô hình ngôn ngữ lớn không chỉ để đào tạo bộ nhớ dữ liệu mà còn đòi hỏi các biện pháp bảo vệ rộng hơn để giảm thiểu nguy cơ rò rỉ quyền riêng tư do suy luận.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
ChatGPT, Llama-2 và các mô hình lớn khác có thể suy ra dữ liệu riêng tư của bạn!
Nguồn gốc: Cộng đồng mở AIGC
Các mô hình ngôn ngữ lớn như ChatGPT mạnh mẽ như thế nào để suy luận? Từ các bài đăng bạn đã thực hiện hoặc một số dữ liệu cá nhân, bạn có thể suy ra địa chỉ, tuổi, giới tính, nghề nghiệp, thu nhập và dữ liệu riêng tư khác của mình.
Viện Công nghệ Liên bang Thụy Sĩ đã thu thập và chú thích thủ công PersonalReddit, một bộ dữ liệu thực của 520 người dùng Reddit, bao gồm dữ liệu cá nhân như tuổi, giáo dục, giới tính, nghề nghiệp, tình trạng hôn nhân, nơi cư trú, nơi sinh và thu nhập.
Sau đó, các nhà nghiên cứu đã sử dụng chín mô hình ngôn ngữ lớn chính thống, bao gồm GPT-4, Claude-2 và Llama-2, để thực hiện các câu hỏi cụ thể và suy luận dữ liệu riêng tư trên tập dữ liệu PersonalReddit.
Kết quả cho thấy các mô hình này có thể đạt được tỷ lệ chính xác top 1 và 95,8% top-3 và có thể tự động suy ra nhiều loại dữ liệu riêng tư thực ẩn trong văn bản chỉ bằng cách phân tích nội dung văn bản của người dùng. **
Địa chỉ:
Điều này có nghĩa là nếu một người bất hợp pháp có được một bài đăng hoặc một số thông tin cá nhân do ai đó tạo trên Internet và sử dụng mô hình ngôn ngữ lớn để lý luận về nó, họ có thể dễ dàng có được dữ liệu riêng tư nhạy cảm như sở thích hàng ngày, thói quen làm việc và nghỉ ngơi, nghề nghiệp công việc và địa chỉ nhà.
** Xây dựng tập dữ liệu PersonalReddit **
Các nhà nghiên cứu đã xây dựng một bộ dữ liệu các thuộc tính cá nhân của người dùng Reddit thực sự, PersonalReddit. Bộ dữ liệu chứa tiểu sử của 520 người dùng Reddit với tổng số 5.814 bình luận. Việc xem xét bao gồm giai đoạn từ năm 2012 đến năm 2016.
Có 8 loại thuộc tính cá nhân, bao gồm tuổi tác, trình độ học vấn, giới tính, nghề nghiệp, tình trạng hôn nhân, nơi cư trú, nơi sinh và thu nhập. Các nhà nghiên cứu đã chú thích thủ công từng hồ sơ người dùng để có được nhãn thuộc tính chính xác dưới dạng dữ liệu thực để kiểm tra hiệu ứng suy luận của mô hình.
Xây dựng tập dữ liệu được hướng dẫn bởi hai nguyên tắc chính:
Nội dung của các bình luận phải phản ánh thực sự các đặc điểm của ngôn ngữ được sử dụng trên Internet. Vì người dùng chủ yếu tương tác với các mô hình ngôn ngữ thông qua các nền tảng trực tuyến, corpora trực tuyến là đại diện và phổ quát.
Các loại thuộc tính cá nhân cần phải khác nhau để phản ánh các yêu cầu của các quy định bảo vệ quyền riêng tư khác nhau. Các bộ dữ liệu hiện tại thường chỉ chứa 1-2 loại thuộc tính và nghiên cứu cần đánh giá khả năng suy ra nhiều thông tin cá nhân hơn của mô hình.
Ngoài ra, các nhà nghiên cứu đã yêu cầu các nhà chú thích đánh giá từng thuộc tính, cho biết mức độ dễ dàng chú thích và mức độ tự tin của người chú thích. Mức độ khó dao động từ 1 (rất dễ) đến 5 (rất khó). Nếu thông tin thuộc tính không có sẵn trực tiếp từ văn bản, người chú thích được phép kiểm tra nó bằng công cụ tìm kiếm truyền thống.
Tương tác đối nghịch
Xem xét số lượng ngày càng tăng của các ứng dụng chatbot ngôn ngữ, các nhà nghiên cứu cũng xây dựng một kịch bản hội thoại đối nghịch để mô phỏng các tương tác trong thế giới thực.
Một chatbot dựa trên mô hình ngôn ngữ lớn độc hại đã được phát triển, bề ngoài là một trợ lý du lịch hữu ích, trong khi nhiệm vụ ẩn là cố gắng trích xuất thông tin cá nhân của người dùng như nơi họ sống, tuổi tác và giới tính.
Dữ liệu kiểm tra
Các nhà nghiên cứu đã chọn chín mô hình ngôn ngữ lớn chính thống để thử nghiệm, bao gồm GPT-4, Claude-2, Llama-2 và các mô hình khác. Tất cả các nhận xét của mỗi người dùng được gói gọn trong một định dạng nhắc nhở cụ thể và được đưa vào các mô hình ngôn ngữ khác nhau, được yêu cầu để xuất ra suy luận về các thuộc tính của người dùng.
Sau đó, kết quả dự đoán của mô hình được so sánh với dữ liệu thực được chú thích bởi nhãn người để có được độ chính xác suy luận thuộc tính của từng mô hình.
Đánh giá các biện pháp bảo vệ
Các nhà nghiên cứu cũng đánh giá các biện pháp hiện tại để bảo vệ dữ liệu cá nhân khỏi cả máy khách và máy chủ. Về phía khách hàng, họ đã thử nghiệm xử lý văn bản được thực hiện bởi các công cụ ẩn danh văn bản hàng đầu trong ngành.
Kết quả cho thấy ngay cả khi hầu hết thông tin cá nhân bị xóa, GPT-4 vẫn có thể suy ra chính xác dữ liệu cá nhân, bao gồm vị trí và độ tuổi, bằng cách sử dụng các đặc điểm ngôn ngữ còn lại.
Từ góc độ phía máy chủ, các mô hình thương mại hiện tại không được liên kết và tối ưu hóa cho rò rỉ quyền riêng tư và các biện pháp đối phó hiện tại vẫn không thể ngăn chặn hiệu quả việc suy luận các mô hình ngôn ngữ.