Tôi nhờ GPT-3 và Llama học một kiến thức đơn giản: A là B, rồi lần lượt hỏi B là gì, hóa ra độ chính xác trong câu trả lời của AI là bằng 0.
Vấn đề ở đây là gì?
Gần đây, một khái niệm mới mang tên "Lời nguyền đảo ngược" đã trở thành chủ đề nóng trong giới AI và tất cả các mô hình ngôn ngữ phổ biến hiện nay đều bị ảnh hưởng bởi nó. Đối mặt với những vấn đề cực kỳ đơn giản, độ chính xác của chúng không chỉ gần bằng 0 mà còn không có khả năng tăng độ chính xác.
Hơn nữa, các nhà nghiên cứu nhận thấy rằng lỗi lớn này không liên quan gì đến kích thước của mô hình hoặc các câu hỏi được đặt ra.
Chúng tôi đã nói rằng AI đã phát triển đến giai đoạn đào tạo trước các mô hình lớn và cuối cùng có vẻ như nó đã thành thạo một số tư duy logic, nhưng lần này có vẻ như nó đã bị đánh bật trở lại hình dạng ban đầu.
Hình 1: Sự không nhất quán về kiến thức trong GPT-4. GPT-4 ghi đúng tên mẹ Tom Cruise (trái). Tuy nhiên, khi nhập tên người mẹ để hỏi con trai thì không lấy được "Tom Cruise" (phải). Nghiên cứu mới đưa ra giả thuyết rằng hiệu ứng sắp xếp này là do sự đảo ngược của lời nguyền. Mô hình được huấn luyện về "A is B" không tự động suy ra "B is A".
Nếu một người biết sự thật rằng "Olav Scholz là Thủ tướng thứ chín của Cộng hòa Liên bang Đức", họ có thể trả lời chính xác câu hỏi "Ai là Thủ tướng thứ chín của Đức?" Đây là một dạng khái quát hóa cơ bản có vẻ không đáng kể.
Tuy nhiên, nghiên cứu cho thấy mô hình ngôn ngữ tự hồi quy đang phổ biến hiện nay trong lĩnh vực AI không thể khái quát hóa theo cách này. Cụ thể, giả sử rằng tập huấn luyện của mô hình chứa các câu như "Olaf Scholz là Thủ tướng thứ chín của Đức", trong đó tên "Olaf Scholz" đứng trước mô tả "Thủ tướng thứ chín của Đức". Mô hình lớn sau đó có thể học cách trả lời chính xác "Olaf Scholz là ai?" (Câu trả lời là: thủ tướng thứ chín của Đức). Nhưng nó không thể trả lời "Ai là thủ tướng thứ 9 của nước Đức?" và bất kỳ lời nhắc nào khác mô tả những gì đứng trước tên đó.
Đây là một ví dụ về hiệu ứng sắp xếp mà chúng tôi gọi là “lời nguyền đảo ngược”. Nếu Model 1 được huấn luyện với các câu có dạng " is " (có mô tả sau tên), thì mô hình sẽ không tự động dự đoán " is " theo hướng ngược lại. Đặc biệt, nếu dựa vào mô hình ngôn ngữ lớn (LLM) thì xác suất của mô hình sẽ không cao hơn đường cơ sở ngẫu nhiên.
Vậy lý do của mô hình lớn **không thực sự tồn tại? **Một quan điểm cho rằng lời nguyền đảo ngược thể hiện sự thất bại cơ bản trong suy luận logic trong quá trình đào tạo LLM. Nếu "A là B" (hoặc tương đương "A=B") là đúng thì về mặt logic, "B là A" tuân theo tính đối xứng của quan hệ đồng nhất. Đồ thị tri thức truyền thống tôn trọng tính đối xứng này (Speer và cộng sự, 2017). Đảo ngược lời nguyền cho thấy rất ít khái quát ngoài dữ liệu huấn luyện. Hơn nữa, đây không phải là điều mà LLM có thể giải thích nếu không hiểu các suy luận logic. Một LLM như GPT-4 có thể suy ra rất rõ "B là A" nếu nó được đưa ra "A là B" trong cửa sổ ngữ cảnh của nó.
Mặc dù việc liên hệ việc đảo ngược lời nguyền với suy luận logic sẽ rất hữu ích, nhưng đó chỉ là sự đơn giản hóa tình hình tổng thể. Hiện tại, chúng tôi không thể trực tiếp kiểm tra xem một mô hình lớn có thể suy ra "B là A" hay không sau khi được đào tạo về "A là B". Các mô hình lớn được đào tạo để dự đoán từ tiếp theo mà con người sẽ viết, thay vì những từ thực sự "nên" viết. Do đó, ngay cả khi LLM suy ra "B là A", nó có thể không "cho chúng tôi biết" khi được nhắc.
Tuy nhiên, việc đảo ngược lời nguyền chứng tỏ sự thất bại của siêu học. Các câu có dạng “is” và “is” thường xuất hiện cùng nhau trong tập dữ liệu huấn luyện trước. Nếu cái trước xuất hiện trong tập dữ liệu thì cái sau có nhiều khả năng xuất hiện hơn vì con người thường xuyên thay đổi thứ tự các thành phần trong câu hoặc đoạn văn. Do đó, một người học meta giỏi sẽ tăng xác suất xảy ra các trường hợp " is " khi nó được huấn luyện thành " is ". Theo nghĩa này, LLM tự thoái lui không phải là một phương pháp học tổng hợp tốt.
Việc đảo ngược lời nguyền đã thu hút sự chú ý của nhiều nhà nghiên cứu AI, một số người cho rằng có vẻ như việc AI hủy diệt loài người chỉ là chuyện viển vông.
Những người khác cho rằng điều này có nghĩa là dữ liệu đào tạo và nội dung theo ngữ cảnh của bạn đóng một vai trò quan trọng trong quá trình khái quát hóa kiến thức.
Andrej Karpathy, một nhà khoa học nổi tiếng tại OpenAI cho rằng, có vẻ như kiến thức mà LLM học được còn “rải rác” hơn rất nhiều so với những gì tôi và bạn tưởng tượng. Tôi vẫn chưa có trực giác tốt về việc này. Họ học mọi thứ theo một “hướng” cụ thể trong cửa sổ ngữ cảnh của sự kiện đó mà có thể không khái quát hóa khi chúng ta hỏi theo các hướng khác. Đây là một sự khái quát hóa một phần kỳ quặc, và đối với tôi, có vẻ như "Đảo ngược lời nguyền" là một trường hợp đặc biệt.
Nghiên cứu gây tranh cãi đến từ Đại học Vanderbilt, Đại học New York, Đại học Oxford và các tổ chức khác. Bài viết "Lời nguyền đảo ngược: LLM được đào tạo về "A là B" không học được "B là A" ":
Liên kết giấy:
Liên kết GitHub:
Nếu tên và mô tả bị đảo ngược, mô hình lớn sẽ bị nhầm lẫn
Bài viết này chứng minh rằng LLM mắc phải lời nguyền đảo ngược thông qua một loạt các thử nghiệm tinh chỉnh trên dữ liệu tổng hợp. Như hình 2, trước tiên nhà nghiên cứu tinh chỉnh mô hình dựa trên mẫu câu là (ví dụ Daphne Barrington là đạo diễn phim “Through Time”), kết quả cho thấy khi nhắc mẫu vẫn là mẫu câu là , mẫu Nó có thể đưa ra câu trả lời chính xác, nhưng khi được hỏi một lời nhắc khác, chẳng hạn như "Ai đã chỉ đạo "Du hành thời gian", mẫu sẽ trả lời sai.
Trên thực tế, như trong Hình 4 (phần thử nghiệm), xác suất logarit của mô hình đặt tên đúng tương tự như xác suất logarit của việc đặt tên ngẫu nhiên. Hơn nữa, khi thứ tự kiểm tra thay đổi từ là < deion > thành < deion > là < tên >, tỷ lệ lỗi sẽ tăng lên.
Để tránh đảo ngược lời nguyền, các nhà nghiên cứu đã thử các phương pháp sau:
Hãy thử các dòng sản phẩm khác nhau và các kích cỡ khác nhau của mô hình;
Bộ dữ liệu tinh chỉnh chứa cả mẫu câu is và mẫu câu is ;
Nhiều cách hiểu cho mỗi <tên>, giúp khái quát hóa;
Thay đổi dữ liệu từ thành ?.
Sau một loạt thí nghiệm, họ cung cấp bằng chứng sơ bộ cho thấy việc đảo ngược lời nguyền ảnh hưởng đến việc khái quát hóa trong các mô hình hiện đại (Hình 1 và Phần B). Họ đã thử nghiệm nó trên GPT-4 với 1.000 câu hỏi như "Mẹ của Tom Cruise là ai?" và "Con trai của Mary Lee Pfeiffer là ai?" Hóa ra là trong hầu hết các trường hợp, mô hình đã trả lời đúng câu hỏi đầu tiên (Cha mẹ của ai là ai), nhưng không phải là câu hỏi thứ hai. Bài viết này đưa ra giả thuyết rằng điều này là do dữ liệu trước đào tạo chứa ít ví dụ hơn về các bậc cha mẹ được xếp hạng trước những người nổi tiếng (ví dụ: con trai của Mary Lee Pfeiffer là Tom Cruise).
Thí nghiệm và kết quả
Bài viết này nhằm mục đích kiểm tra xem liệu một mô hình ngôn ngữ tự hồi quy (LLM) học "A là B" trong quá trình đào tạo có thể khái quát thành dạng ngược lại "B là A" hay không.
Trong thử nghiệm đầu tiên, chúng tôi tạo một tập dữ liệu bao gồm các tài liệu có dạng is (hoặc ngược lại), trong đó tên và mô tả là hư cấu. Ngoài ra, nghiên cứu đã sử dụng GPT-4 để tạo các cặp tên và mô tả. Các cặp dữ liệu này sau đó được gán ngẫu nhiên cho ba tập hợp con: NameToDeion, DeionToName và cả hai. Hai tập hợp con đầu tiên được hiển thị trong Hình 3.
kết quả. Trong đánh giá so khớp chính xác, khi thứ tự các câu hỏi kiểm tra khớp với dữ liệu huấn luyện, GPT-3-175B đạt được độ chính xác so khớp chính xác cao hơn. Kết quả được thể hiện trong Bảng 1.
Cụ thể, đối với DeionToName (ví dụ: người sáng tác giai điệu Abyssal là Uriah Hawthorne), mô hình đạt được độ chính xác 96,7% khi truy xuất tên khi được đưa ra lời nhắc có chứa mô tả (ví dụ: ai là người sáng tác giai điệu Abyssal). Đối với dữ kiện trong NameToDeion, độ chính xác thấp hơn ở mức 50,0%. Ngược lại, khi thứ tự không khớp với dữ liệu huấn luyện, mô hình không thể khái quát hóa được và độ chính xác gần bằng 0%. **
Bài viết này cũng đã tiến hành một số thử nghiệm, bao gồm GPT-3-350M (Phụ lục A.2) và Llama-7B (Phụ lục A.4), kết quả cho thấy các mô hình đã phải hứng chịu lời nguyền đảo ngược.
Trong đánh giá khả năng tăng lên, không có sự khác biệt có thể phát hiện được giữa tỷ lệ nhật ký được gán cho tên chính xác so với tên ngẫu nhiên. Xác suất nhật ký trung bình của mô hình GPT-3 được hiển thị trong Hình 4. Cả hai thử nghiệm t và thử nghiệm Kolmogorov-Smirnov đều không phát hiện được sự khác biệt có ý nghĩa thống kê.
Hình 4: Thí nghiệm 1, mô hình không tăng được xác suất đặt tên đúng khi đảo ngược thứ tự. Biểu đồ này hiển thị xác suất nhật ký trung bình của một tên đúng (so với tên ngẫu nhiên) khi mô hình được truy vấn với mô tả có liên quan.
Tiếp theo, nghiên cứu tiến hành thí nghiệm thứ hai.
Trong thí nghiệm này, các nhà nghiên cứu đã thử nghiệm các mô hình dựa trên sự thật về những người nổi tiếng có thật và cha mẹ của họ, dưới dạng "Cha mẹ của A là B" và "Con của B là A". Nghiên cứu đã thu thập danh sách 1000 người nổi tiếng được yêu thích nhất từ IMDB (2023) và sử dụng GPT-4 (OpenAI API) để tìm cha mẹ của những người nổi tiếng theo tên của họ. GPT-4 có thể xác định được cha mẹ của những người nổi tiếng trong 79% trường hợp.
Sau đó, đối với mỗi cặp cha mẹ con, nghiên cứu sẽ truy vấn con theo cha mẹ. Ở đây, tỷ lệ thành công của GPT-4 chỉ là 33%. Hình 1 minh họa hiện tượng này. Nó cho thấy GPT-4 có thể xác định Mary Lee Pfeiffer là mẹ của Tom Cruise, nhưng không thể xác định Tom Cruise là con trai của Mary Lee Pfeiffer.
Ngoài ra, nghiên cứu còn đánh giá mô hình dòng Llama-1 vẫn chưa được tinh chỉnh. Người ta nhận thấy rằng tất cả các mô hình đều xác định cha mẹ tốt hơn nhiều so với trẻ em, xem Hình 5.
Hình 5: Hiệu ứng đảo ngược đối với thứ tự câu hỏi của phụ huynh và con cái trong Thí nghiệm 2. Thanh màu xanh lam (trái) hiển thị xác suất mô hình trả về đúng cha/mẹ khi truy vấn con của một người nổi tiếng; thanh màu đỏ (phải) hiển thị xác suất đúng khi hỏi con của cha/mẹ. Độ chính xác của mô hình Llama-1 là khả năng mô hình được hoàn thành chính xác. Độ chính xác của GPT-3.5-turbo là trung bình 10 mẫu trên mỗi cặp bố mẹ con, lấy mẫu ở nhiệt độ = 1. Lưu ý: GPT-4 bị bỏ qua trong hình vì nó được sử dụng để tạo danh sách các cặp cha-con và do đó có độ chính xác 100% bằng cách xây dựng cặp "cha mẹ". GPT-4 đạt 28% ở "phụ".
Triển vọng tới tương lai
Làm thế nào để giải thích lời nguyền ngược trong LLM? Điều này có thể cần phải chờ nghiên cứu thêm trong tương lai. Hiện tại, các nhà nghiên cứu chỉ có thể đưa ra một bản phác thảo ngắn gọn về lời giải thích. Khi mô hình được cập nhật trên "A là B", bản cập nhật độ dốc này có thể thay đổi một chút cách biểu diễn của A để bao gồm thông tin về B (ví dụ: trong lớp MLP trung gian). Đối với bản cập nhật gradient này, việc thay đổi cách biểu diễn của B để bao gồm thông tin về A cũng là điều hợp lý. Tuy nhiên, việc cập nhật độ dốc là thiển cận và phụ thuộc vào logarit của B cho trước A, thay vì nhất thiết phải dự đoán A trong tương lai dựa trên B.
Sau khi "đảo ngược lời nguyền", các nhà nghiên cứu dự định khám phá xem liệu mô hình lớn có thể đảo ngược các loại mối quan hệ khác hay không, chẳng hạn như ý nghĩa logic, mối quan hệ không gian và mối quan hệ n-địa điểm.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Lỗi lớn nhất ở các mô hình lớn là tỷ lệ trả lời đúng gần như bằng 0
Tôi nhờ GPT-3 và Llama học một kiến thức đơn giản: A là B, rồi lần lượt hỏi B là gì, hóa ra độ chính xác trong câu trả lời của AI là bằng 0.
Vấn đề ở đây là gì?
Gần đây, một khái niệm mới mang tên "Lời nguyền đảo ngược" đã trở thành chủ đề nóng trong giới AI và tất cả các mô hình ngôn ngữ phổ biến hiện nay đều bị ảnh hưởng bởi nó. Đối mặt với những vấn đề cực kỳ đơn giản, độ chính xác của chúng không chỉ gần bằng 0 mà còn không có khả năng tăng độ chính xác.
Hơn nữa, các nhà nghiên cứu nhận thấy rằng lỗi lớn này không liên quan gì đến kích thước của mô hình hoặc các câu hỏi được đặt ra.
Chúng tôi đã nói rằng AI đã phát triển đến giai đoạn đào tạo trước các mô hình lớn và cuối cùng có vẻ như nó đã thành thạo một số tư duy logic, nhưng lần này có vẻ như nó đã bị đánh bật trở lại hình dạng ban đầu.
Hình 1: Sự không nhất quán về kiến thức trong GPT-4. GPT-4 ghi đúng tên mẹ Tom Cruise (trái). Tuy nhiên, khi nhập tên người mẹ để hỏi con trai thì không lấy được "Tom Cruise" (phải). Nghiên cứu mới đưa ra giả thuyết rằng hiệu ứng sắp xếp này là do sự đảo ngược của lời nguyền. Mô hình được huấn luyện về "A is B" không tự động suy ra "B is A".
Nếu một người biết sự thật rằng "Olav Scholz là Thủ tướng thứ chín của Cộng hòa Liên bang Đức", họ có thể trả lời chính xác câu hỏi "Ai là Thủ tướng thứ chín của Đức?" Đây là một dạng khái quát hóa cơ bản có vẻ không đáng kể.
Tuy nhiên, nghiên cứu cho thấy mô hình ngôn ngữ tự hồi quy đang phổ biến hiện nay trong lĩnh vực AI không thể khái quát hóa theo cách này. Cụ thể, giả sử rằng tập huấn luyện của mô hình chứa các câu như "Olaf Scholz là Thủ tướng thứ chín của Đức", trong đó tên "Olaf Scholz" đứng trước mô tả "Thủ tướng thứ chín của Đức". Mô hình lớn sau đó có thể học cách trả lời chính xác "Olaf Scholz là ai?" (Câu trả lời là: thủ tướng thứ chín của Đức). Nhưng nó không thể trả lời "Ai là thủ tướng thứ 9 của nước Đức?" và bất kỳ lời nhắc nào khác mô tả những gì đứng trước tên đó.
Đây là một ví dụ về hiệu ứng sắp xếp mà chúng tôi gọi là “lời nguyền đảo ngược”. Nếu Model 1 được huấn luyện với các câu có dạng " is " (có mô tả sau tên), thì mô hình sẽ không tự động dự đoán " is " theo hướng ngược lại. Đặc biệt, nếu dựa vào mô hình ngôn ngữ lớn (LLM) thì xác suất của mô hình sẽ không cao hơn đường cơ sở ngẫu nhiên.
Vậy lý do của mô hình lớn **không thực sự tồn tại? **Một quan điểm cho rằng lời nguyền đảo ngược thể hiện sự thất bại cơ bản trong suy luận logic trong quá trình đào tạo LLM. Nếu "A là B" (hoặc tương đương "A=B") là đúng thì về mặt logic, "B là A" tuân theo tính đối xứng của quan hệ đồng nhất. Đồ thị tri thức truyền thống tôn trọng tính đối xứng này (Speer và cộng sự, 2017). Đảo ngược lời nguyền cho thấy rất ít khái quát ngoài dữ liệu huấn luyện. Hơn nữa, đây không phải là điều mà LLM có thể giải thích nếu không hiểu các suy luận logic. Một LLM như GPT-4 có thể suy ra rất rõ "B là A" nếu nó được đưa ra "A là B" trong cửa sổ ngữ cảnh của nó.
Mặc dù việc liên hệ việc đảo ngược lời nguyền với suy luận logic sẽ rất hữu ích, nhưng đó chỉ là sự đơn giản hóa tình hình tổng thể. Hiện tại, chúng tôi không thể trực tiếp kiểm tra xem một mô hình lớn có thể suy ra "B là A" hay không sau khi được đào tạo về "A là B". Các mô hình lớn được đào tạo để dự đoán từ tiếp theo mà con người sẽ viết, thay vì những từ thực sự "nên" viết. Do đó, ngay cả khi LLM suy ra "B là A", nó có thể không "cho chúng tôi biết" khi được nhắc.
Tuy nhiên, việc đảo ngược lời nguyền chứng tỏ sự thất bại của siêu học. Các câu có dạng “is” và “is” thường xuất hiện cùng nhau trong tập dữ liệu huấn luyện trước. Nếu cái trước xuất hiện trong tập dữ liệu thì cái sau có nhiều khả năng xuất hiện hơn vì con người thường xuyên thay đổi thứ tự các thành phần trong câu hoặc đoạn văn. Do đó, một người học meta giỏi sẽ tăng xác suất xảy ra các trường hợp " is " khi nó được huấn luyện thành " is ". Theo nghĩa này, LLM tự thoái lui không phải là một phương pháp học tổng hợp tốt.
Việc đảo ngược lời nguyền đã thu hút sự chú ý của nhiều nhà nghiên cứu AI, một số người cho rằng có vẻ như việc AI hủy diệt loài người chỉ là chuyện viển vông.
Những người khác cho rằng điều này có nghĩa là dữ liệu đào tạo và nội dung theo ngữ cảnh của bạn đóng một vai trò quan trọng trong quá trình khái quát hóa kiến thức.
Andrej Karpathy, một nhà khoa học nổi tiếng tại OpenAI cho rằng, có vẻ như kiến thức mà LLM học được còn “rải rác” hơn rất nhiều so với những gì tôi và bạn tưởng tượng. Tôi vẫn chưa có trực giác tốt về việc này. Họ học mọi thứ theo một “hướng” cụ thể trong cửa sổ ngữ cảnh của sự kiện đó mà có thể không khái quát hóa khi chúng ta hỏi theo các hướng khác. Đây là một sự khái quát hóa một phần kỳ quặc, và đối với tôi, có vẻ như "Đảo ngược lời nguyền" là một trường hợp đặc biệt.
Nghiên cứu gây tranh cãi đến từ Đại học Vanderbilt, Đại học New York, Đại học Oxford và các tổ chức khác. Bài viết "Lời nguyền đảo ngược: LLM được đào tạo về "A là B" không học được "B là A" ":
Liên kết giấy:
Liên kết GitHub:
Nếu tên và mô tả bị đảo ngược, mô hình lớn sẽ bị nhầm lẫn
Bài viết này chứng minh rằng LLM mắc phải lời nguyền đảo ngược thông qua một loạt các thử nghiệm tinh chỉnh trên dữ liệu tổng hợp. Như hình 2, trước tiên nhà nghiên cứu tinh chỉnh mô hình dựa trên mẫu câu là (ví dụ Daphne Barrington là đạo diễn phim “Through Time”), kết quả cho thấy khi nhắc mẫu vẫn là mẫu câu là , mẫu Nó có thể đưa ra câu trả lời chính xác, nhưng khi được hỏi một lời nhắc khác, chẳng hạn như "Ai đã chỉ đạo "Du hành thời gian", mẫu sẽ trả lời sai.
Trên thực tế, như trong Hình 4 (phần thử nghiệm), xác suất logarit của mô hình đặt tên đúng tương tự như xác suất logarit của việc đặt tên ngẫu nhiên. Hơn nữa, khi thứ tự kiểm tra thay đổi từ là < deion > thành < deion > là < tên >, tỷ lệ lỗi sẽ tăng lên.
Để tránh đảo ngược lời nguyền, các nhà nghiên cứu đã thử các phương pháp sau:
Sau một loạt thí nghiệm, họ cung cấp bằng chứng sơ bộ cho thấy việc đảo ngược lời nguyền ảnh hưởng đến việc khái quát hóa trong các mô hình hiện đại (Hình 1 và Phần B). Họ đã thử nghiệm nó trên GPT-4 với 1.000 câu hỏi như "Mẹ của Tom Cruise là ai?" và "Con trai của Mary Lee Pfeiffer là ai?" Hóa ra là trong hầu hết các trường hợp, mô hình đã trả lời đúng câu hỏi đầu tiên (Cha mẹ của ai là ai), nhưng không phải là câu hỏi thứ hai. Bài viết này đưa ra giả thuyết rằng điều này là do dữ liệu trước đào tạo chứa ít ví dụ hơn về các bậc cha mẹ được xếp hạng trước những người nổi tiếng (ví dụ: con trai của Mary Lee Pfeiffer là Tom Cruise).
Thí nghiệm và kết quả
Bài viết này nhằm mục đích kiểm tra xem liệu một mô hình ngôn ngữ tự hồi quy (LLM) học "A là B" trong quá trình đào tạo có thể khái quát thành dạng ngược lại "B là A" hay không.
Trong thử nghiệm đầu tiên, chúng tôi tạo một tập dữ liệu bao gồm các tài liệu có dạng is (hoặc ngược lại), trong đó tên và mô tả là hư cấu. Ngoài ra, nghiên cứu đã sử dụng GPT-4 để tạo các cặp tên và mô tả. Các cặp dữ liệu này sau đó được gán ngẫu nhiên cho ba tập hợp con: NameToDeion, DeionToName và cả hai. Hai tập hợp con đầu tiên được hiển thị trong Hình 3.
kết quả. Trong đánh giá so khớp chính xác, khi thứ tự các câu hỏi kiểm tra khớp với dữ liệu huấn luyện, GPT-3-175B đạt được độ chính xác so khớp chính xác cao hơn. Kết quả được thể hiện trong Bảng 1.
Cụ thể, đối với DeionToName (ví dụ: người sáng tác giai điệu Abyssal là Uriah Hawthorne), mô hình đạt được độ chính xác 96,7% khi truy xuất tên khi được đưa ra lời nhắc có chứa mô tả (ví dụ: ai là người sáng tác giai điệu Abyssal). Đối với dữ kiện trong NameToDeion, độ chính xác thấp hơn ở mức 50,0%. Ngược lại, khi thứ tự không khớp với dữ liệu huấn luyện, mô hình không thể khái quát hóa được và độ chính xác gần bằng 0%. **
Bài viết này cũng đã tiến hành một số thử nghiệm, bao gồm GPT-3-350M (Phụ lục A.2) và Llama-7B (Phụ lục A.4), kết quả cho thấy các mô hình đã phải hứng chịu lời nguyền đảo ngược.
Trong đánh giá khả năng tăng lên, không có sự khác biệt có thể phát hiện được giữa tỷ lệ nhật ký được gán cho tên chính xác so với tên ngẫu nhiên. Xác suất nhật ký trung bình của mô hình GPT-3 được hiển thị trong Hình 4. Cả hai thử nghiệm t và thử nghiệm Kolmogorov-Smirnov đều không phát hiện được sự khác biệt có ý nghĩa thống kê.
Hình 4: Thí nghiệm 1, mô hình không tăng được xác suất đặt tên đúng khi đảo ngược thứ tự. Biểu đồ này hiển thị xác suất nhật ký trung bình của một tên đúng (so với tên ngẫu nhiên) khi mô hình được truy vấn với mô tả có liên quan.
Tiếp theo, nghiên cứu tiến hành thí nghiệm thứ hai.
Trong thí nghiệm này, các nhà nghiên cứu đã thử nghiệm các mô hình dựa trên sự thật về những người nổi tiếng có thật và cha mẹ của họ, dưới dạng "Cha mẹ của A là B" và "Con của B là A". Nghiên cứu đã thu thập danh sách 1000 người nổi tiếng được yêu thích nhất từ IMDB (2023) và sử dụng GPT-4 (OpenAI API) để tìm cha mẹ của những người nổi tiếng theo tên của họ. GPT-4 có thể xác định được cha mẹ của những người nổi tiếng trong 79% trường hợp.
Sau đó, đối với mỗi cặp cha mẹ con, nghiên cứu sẽ truy vấn con theo cha mẹ. Ở đây, tỷ lệ thành công của GPT-4 chỉ là 33%. Hình 1 minh họa hiện tượng này. Nó cho thấy GPT-4 có thể xác định Mary Lee Pfeiffer là mẹ của Tom Cruise, nhưng không thể xác định Tom Cruise là con trai của Mary Lee Pfeiffer.
Ngoài ra, nghiên cứu còn đánh giá mô hình dòng Llama-1 vẫn chưa được tinh chỉnh. Người ta nhận thấy rằng tất cả các mô hình đều xác định cha mẹ tốt hơn nhiều so với trẻ em, xem Hình 5.
Hình 5: Hiệu ứng đảo ngược đối với thứ tự câu hỏi của phụ huynh và con cái trong Thí nghiệm 2. Thanh màu xanh lam (trái) hiển thị xác suất mô hình trả về đúng cha/mẹ khi truy vấn con của một người nổi tiếng; thanh màu đỏ (phải) hiển thị xác suất đúng khi hỏi con của cha/mẹ. Độ chính xác của mô hình Llama-1 là khả năng mô hình được hoàn thành chính xác. Độ chính xác của GPT-3.5-turbo là trung bình 10 mẫu trên mỗi cặp bố mẹ con, lấy mẫu ở nhiệt độ = 1. Lưu ý: GPT-4 bị bỏ qua trong hình vì nó được sử dụng để tạo danh sách các cặp cha-con và do đó có độ chính xác 100% bằng cách xây dựng cặp "cha mẹ". GPT-4 đạt 28% ở "phụ".
Triển vọng tới tương lai
Làm thế nào để giải thích lời nguyền ngược trong LLM? Điều này có thể cần phải chờ nghiên cứu thêm trong tương lai. Hiện tại, các nhà nghiên cứu chỉ có thể đưa ra một bản phác thảo ngắn gọn về lời giải thích. Khi mô hình được cập nhật trên "A là B", bản cập nhật độ dốc này có thể thay đổi một chút cách biểu diễn của A để bao gồm thông tin về B (ví dụ: trong lớp MLP trung gian). Đối với bản cập nhật gradient này, việc thay đổi cách biểu diễn của B để bao gồm thông tin về A cũng là điều hợp lý. Tuy nhiên, việc cập nhật độ dốc là thiển cận và phụ thuộc vào logarit của B cho trước A, thay vì nhất thiết phải dự đoán A trong tương lai dựa trên B.
Sau khi "đảo ngược lời nguyền", các nhà nghiên cứu dự định khám phá xem liệu mô hình lớn có thể đảo ngược các loại mối quan hệ khác hay không, chẳng hạn như ý nghĩa logic, mối quan hệ không gian và mối quan hệ n-địa điểm.