"Bạn có cảm thấy chất lượng của GPT-4 gần đây giảm sút không?"
Ngay từ giữa tháng 5 năm nay, người dùng GPT-4 đã đăng trên diễn đàn nhà phát triển trực tuyến của OpenAI, nói rằng GPT-4 dường như đang "trở nên ngu ngốc":
"Tôi đã sử dụng ChatGPT được một thời gian và tôi là người dùng GPT Plus kể từ khi phát hành GPT-4. Tôi thường sử dụng GPT-4 để hỗ trợ phân tích và tạo nội dung dạng dài. Trước đây, GPT-4 dường như hoạt động tốt khi hiểu yêu cầu của tôi. Nhưng bây giờ, nó dường như mất dấu vết thông tin, cung cấp cho tôi rất nhiều thông tin sai và ngày càng hiểu sai yêu cầu của tôi... Hiện tại, GPT-4 có cảm giác giống GPT hơn -3,5.
Có ai khác nhận thấy điều này không, hay chỉ có tôi là người tình cờ gặp phải vấn đề này? "
Hóa ra, người dùng GPT-4 không đơn độc—một số người dùng đã nhận xét về chủ đề này: "Tôi cũng cảm thấy như vậy!"
Phiên bản mới có vấn đề của GPT-4
Theo phản hồi của nhiều người dùng, GPT-4 không chỉ sa sút ở khả năng phân tích và tạo nội dung dài mà còn ở chất lượng văn bản.
Peter Yang, người đứng đầu bộ phận sản phẩm của Roblox, đã tweet rằng đầu ra của mô hình GPT-4 nhanh hơn, nhưng chất lượng đã giảm: "Chỉ là những vấn đề đơn giản, chẳng hạn như làm cho văn bản rõ ràng và súc tích hơn và cung cấp ý tưởng... theo ý kiến của tôi, chất lượng viết đã giảm.”
Khả năng logic của phiên bản GPT-4 mới nhất giảm đáng kể khi thảo luận/đánh giá các vấn đề nghịch đảo phức tạp, các tốc độ hoặc kiểu thay đổi khác nhau cũng như sự thay đổi theo không gian-thời gian.
"Trước khi cập nhật GPT-4, tôi hiếm khi nhận được phản hồi lỗi, nhưng bây giờ tôi phải kiểm tra lại tất cả đầu ra (tức là đôi khi các điều kiện tiêu cực đôi khi không được chuyển đổi đúng thành các điều kiện tích cực). Tôi nghĩ những lỗi này giống với GPT hơn - 3.5 thay vì mức suy luận GPT-4 trước đó."
Ngay cả về khả năng mã hóa, chất lượng đầu ra của phiên bản GPT-4 mới cũng không tốt như trước.
Một nhà phát triển sử dụng GPT-4 để viết mã chức năng cho một trang web đã phàn nàn: "GPT-4 hiện tại rất đáng thất vọng. Nó giống như việc lái một chiếc Ferrari trong một tháng, rồi đột nhiên nó trở thành một chiếc xe bán tải cũ. Tôi không chắc mình có muốn tiếp tục trả tiền cho nó."
Một nhà phát triển khác cũng đề cập rằng GPT-4 hiện lặp đi lặp lại mã: "Hoàn toàn tệ hại, GPT-4 bắt đầu lặp đi lặp lại mã hoặc thông tin khác. Tôi để nó viết mã, và nó đã viết tại một điểm, đột nhiên một "", và sau đó bắt đầu lại! So với trước đây, bây giờ nó là một thằng ngốc."
Ngoài ra, trên Twitter và các diễn đàn trực tuyến dành cho nhà phát triển của OpenAI, người dùng tiếp tục báo cáo rằng phiên bản mới của GPT-4 có tính logic yếu, tạo ra nhiều phản hồi lỗi, không theo dõi được thông tin được cung cấp, không làm theo hướng dẫn và quên viết vào mã phần mềm cơ bản. Đặt dấu ngoặc đơn vào , chỉ nhớ những lời nhắc gần đây nhất, v.v.
Về hiệu suất của việc GPT-4 đột ngột "giảm trí thông minh", một số người dùng suy đoán: "Phiên bản hiện tại cho cảm giác rất khác so với phiên bản khi nó mới ra mắt. Tôi đoán OpenAI đã chọn thỏa hiệp về chất lượng để phục vụ nhiều khách hàng hơn!"
Từ quan điểm này, việc đánh giá GPT-4 của người dùng ngày nay thực sự không tốt bằng thời kỳ đỉnh cao của "đánh giá gió" khi nó mới ra mắt.
GPT-4 nhanh hơn, nhưng cũng "ngu ngốc"
Vào cuối năm ngoái, ChatGPT dựa trên GPT-3.5 đã ra đời và khả năng tạo tuyệt vời của nó đã tạo nên sự bùng nổ AIGC.Do đó, khi OpenAI công bố GPT-4, mạnh hơn GPT-3.5, vào tháng 3 năm nay, cả thế giới kinh ngạc.
Vào thời điểm đó, GPT-4 được gọi là "mô hình AI mạnh nhất trong lịch sử", đặc biệt là tính đa phương thức, nghĩa là nó có thể hiểu cả hình ảnh và văn bản nhập nên nhanh chóng trở thành công cụ phổ biến cho các nhà phát triển và ngành công nghệ khác. Mô hình được các chuyên gia lựa chọn cũng đã mang lại nhiều lời khen ngợi hơn cho GPT-4: tạo một trang web trong 10 giây, vượt qua bài kiểm tra luật khó nhất của Mỹ và vượt qua bài kiểm tra toán học của đại học MIT với số điểm tối đa...
Tuy nhiên, khi người ta kinh ngạc về sức mạnh của GPT-4 thì cũng không ít người phải sửng sốt trước giá thành và tốc độ phản hồi của nó. "GPT-4 chậm, nhưng rất chính xác," Sharon Zhou, Giám đốc điều hành của Lamini, một công ty khởi nghiệp giúp các nhà phát triển xây dựng các mô hình ngôn ngữ quy mô lớn tùy chỉnh cho biết.
Cho đến tháng 5, GPT-4 vẫn "chậm và đắt nhưng chính xác"—sau đó, GPT-4 phản hồi nhanh hơn, đồng thời người dùng đặt câu hỏi về sự suy giảm hiệu suất của nó.
Đối với hiện tượng này, một số chuyên gia AI, bao gồm cả Sharon Zhou, tin rằng OpenAI có thể đang tạo ra một số mô hình GPT-4 nhỏ hơn có chức năng tương tự như các mô hình lớn hơn nhưng ít tốn kém hơn khi vận hành.
Các chuyên gia suy đoán: nó có thể liên quan đến công nghệ MoE
Theo lời giới thiệu của Sharon Zhou, phương pháp này được gọi là Mixture-of-Experts (MoE), tức là một hệ thống chuyên gia hỗn hợp. Công nghệ MoE là một công nghệ học tập tích hợp được phát triển trong lĩnh vực mạng lưới thần kinh và nó cũng là công nghệ chính để đào tạo các mô hình với hàng nghìn tỷ tham số. Do quy mô mô hình ngày càng tăng ở giai đoạn này, chi phí đào tạo cũng tăng lên và MoE Công nghệ này có thể tự động kích hoạt một phần của mạng thần kinh, do đó làm tăng đáng kể lượng tham số mô hình mà không làm tăng lượng tính toán.
Cụ thể, MoE phân tách nhiệm vụ lập mô hình dự đoán thành nhiều nhiệm vụ con, đào tạo mô hình chuyên gia (Mô hình chuyên gia) trên mỗi nhiệm vụ con và phát triển mô hình cổng (Mô hình Gating), có thể dự đoán theo đầu vào. Hãy tìm hiểu chuyên gia nào đáng tin cậy và kết hợp kết quả dự báo.
Vậy tình huống khi công nghệ MoE được tham chiếu đến GPT-4 là gì? Sharon Zhou giải thích rằng trong GPT-4, các mô hình chuyên gia nhỏ này sẽ được đào tạo cho các nhiệm vụ và lĩnh vực chủ đề khác nhau. Ví dụ: có thể có các mô hình chuyên gia GPT-4 nhỏ cho sinh học, vật lý, hóa học, v.v. 4 Khi một câu hỏi được đặt ra , hệ thống mới biết mô hình chuyên gia nào sẽ gửi câu hỏi tới. Ngoài ra, để đề phòng, hệ thống mới có thể gửi truy vấn đến hai hoặc nhiều mô hình chuyên gia rồi kết hợp các kết quả lại với nhau.
Đối với cách tiếp cận này, Sharon Zhou đã mô tả nó là "Con tàu của Theseus" (một nghịch lý về sự thay thế danh tính, giả định rằng các yếu tố cấu thành của một đối tượng được thay thế, nhưng nó có còn là đối tượng ban đầu không?), nghĩa là theo thời gian, OpenAI sẽ thay thế các bộ phận của GPT-4: "OpenAI đang biến GPT-4 thành một hạm đội nhỏ."
Dựa trên suy đoán trên, Sharon Zhou cho rằng những nhận xét “ngu ngốc” gần đây của GPT-4 rất có thể liên quan đến phương pháp đào tạo của MoE: “Khi người dùng kiểm tra GPT-4, chúng tôi sẽ hỏi nhiều câu hỏi khác nhau và quy mô cũng nhỏ. Mô hình chuyên gia GPT-4 sẽ không hoạt động tốt như vậy, nhưng nó đang thu thập dữ liệu của chúng tôi và đang cải thiện cũng như học hỏi.”
**Kiến trúc GPT-4 bị lộ? **
Một số chuyên gia AI cũng đã công bố cái gọi là "chi tiết kiến trúc GPT-4" trong tuần này trong bối cảnh ngày càng có nhiều phản hồi của người dùng về "sự ngớ ngẩn" của GPT-4.
Trong số đó, một blogger Twitter có tên Yam Peleg cho biết GPT-4 có khoảng 1,8 nghìn tỷ tham số, bao gồm 120 lớp, lớn hơn GPT-3 hơn 10 lần và được đào tạo trên khoảng 13T token, chi phí đào tạo khoảng 63 triệu USD. .. Điều đáng nói là Yam Peleg cũng cho biết OpenAI đang sử dụng MoE, tức là giảm chi phí vận hành GPT-4 bằng cách sử dụng 16 mô hình chuyên gia hỗn hợp.
Hiện tại, OpenAI vẫn chưa phản hồi về tuyên bố này. Nhưng Oren Etzioni, Giám đốc điều hành sáng lập của Viện trí tuệ nhân tạo Allen, nói với giới truyền thông: "Mặc dù tôi chưa được xác nhận, nhưng tôi nghĩ những suy đoán này đại khái là chính xác."
Ông giải thích rằng nhìn chung có hai lý do để sử dụng phương pháp MOE: hoặc bạn muốn tạo ra phản hồi tốt hơn hoặc bạn muốn phản hồi nhanh hơn, rẻ hơn.
"Lý tưởng nhất là MOE sẽ cho phép bạn đạt được cả hai lợi thế cùng một lúc, nhưng trên thực tế, bạn thường cần đánh đổi giữa chi phí và chất lượng." Dựa trên điều này, Oren Etzioni tin rằng kết hợp với tình hình hiện tại, OpenAI dường như giảm GPT -4 với chi phí hy sinh một số chất lượng.
Vậy ý kiến của bạn về vấn đề này như thế nào?
Liên kết tham khảo:
Xem bản gốc
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPT-4 bị vạch trần là "ngu ngốc"! Để tiết giảm chi phí, OpenAI ngấm ngầm làm "nước cờ nhỏ"?
Tổ chức | Trịnh Lệ Viên
Liệt kê | CSDN (ID: CSDNnews)
"Bạn có cảm thấy chất lượng của GPT-4 gần đây giảm sút không?"
Ngay từ giữa tháng 5 năm nay, người dùng GPT-4 đã đăng trên diễn đàn nhà phát triển trực tuyến của OpenAI, nói rằng GPT-4 dường như đang "trở nên ngu ngốc":
"Tôi đã sử dụng ChatGPT được một thời gian và tôi là người dùng GPT Plus kể từ khi phát hành GPT-4. Tôi thường sử dụng GPT-4 để hỗ trợ phân tích và tạo nội dung dạng dài. Trước đây, GPT-4 dường như hoạt động tốt khi hiểu yêu cầu của tôi. Nhưng bây giờ, nó dường như mất dấu vết thông tin, cung cấp cho tôi rất nhiều thông tin sai và ngày càng hiểu sai yêu cầu của tôi... Hiện tại, GPT-4 có cảm giác giống GPT hơn -3,5.
Có ai khác nhận thấy điều này không, hay chỉ có tôi là người tình cờ gặp phải vấn đề này? "
Phiên bản mới có vấn đề của GPT-4
Theo phản hồi của nhiều người dùng, GPT-4 không chỉ sa sút ở khả năng phân tích và tạo nội dung dài mà còn ở chất lượng văn bản.
Peter Yang, người đứng đầu bộ phận sản phẩm của Roblox, đã tweet rằng đầu ra của mô hình GPT-4 nhanh hơn, nhưng chất lượng đã giảm: "Chỉ là những vấn đề đơn giản, chẳng hạn như làm cho văn bản rõ ràng và súc tích hơn và cung cấp ý tưởng... theo ý kiến của tôi, chất lượng viết đã giảm.”
"Trước khi cập nhật GPT-4, tôi hiếm khi nhận được phản hồi lỗi, nhưng bây giờ tôi phải kiểm tra lại tất cả đầu ra (tức là đôi khi các điều kiện tiêu cực đôi khi không được chuyển đổi đúng thành các điều kiện tích cực). Tôi nghĩ những lỗi này giống với GPT hơn - 3.5 thay vì mức suy luận GPT-4 trước đó."
Một nhà phát triển sử dụng GPT-4 để viết mã chức năng cho một trang web đã phàn nàn: "GPT-4 hiện tại rất đáng thất vọng. Nó giống như việc lái một chiếc Ferrari trong một tháng, rồi đột nhiên nó trở thành một chiếc xe bán tải cũ. Tôi không chắc mình có muốn tiếp tục trả tiền cho nó."
Một nhà phát triển khác cũng đề cập rằng GPT-4 hiện lặp đi lặp lại mã: "Hoàn toàn tệ hại, GPT-4 bắt đầu lặp đi lặp lại mã hoặc thông tin khác. Tôi để nó viết mã, và nó đã viết tại một điểm, đột nhiên một "", và sau đó bắt đầu lại! So với trước đây, bây giờ nó là một thằng ngốc."
Về hiệu suất của việc GPT-4 đột ngột "giảm trí thông minh", một số người dùng suy đoán: "Phiên bản hiện tại cho cảm giác rất khác so với phiên bản khi nó mới ra mắt. Tôi đoán OpenAI đã chọn thỏa hiệp về chất lượng để phục vụ nhiều khách hàng hơn!"
Từ quan điểm này, việc đánh giá GPT-4 của người dùng ngày nay thực sự không tốt bằng thời kỳ đỉnh cao của "đánh giá gió" khi nó mới ra mắt.
GPT-4 nhanh hơn, nhưng cũng "ngu ngốc"
Vào cuối năm ngoái, ChatGPT dựa trên GPT-3.5 đã ra đời và khả năng tạo tuyệt vời của nó đã tạo nên sự bùng nổ AIGC.Do đó, khi OpenAI công bố GPT-4, mạnh hơn GPT-3.5, vào tháng 3 năm nay, cả thế giới kinh ngạc.
Vào thời điểm đó, GPT-4 được gọi là "mô hình AI mạnh nhất trong lịch sử", đặc biệt là tính đa phương thức, nghĩa là nó có thể hiểu cả hình ảnh và văn bản nhập nên nhanh chóng trở thành công cụ phổ biến cho các nhà phát triển và ngành công nghệ khác. Mô hình được các chuyên gia lựa chọn cũng đã mang lại nhiều lời khen ngợi hơn cho GPT-4: tạo một trang web trong 10 giây, vượt qua bài kiểm tra luật khó nhất của Mỹ và vượt qua bài kiểm tra toán học của đại học MIT với số điểm tối đa...
Tuy nhiên, khi người ta kinh ngạc về sức mạnh của GPT-4 thì cũng không ít người phải sửng sốt trước giá thành và tốc độ phản hồi của nó. "GPT-4 chậm, nhưng rất chính xác," Sharon Zhou, Giám đốc điều hành của Lamini, một công ty khởi nghiệp giúp các nhà phát triển xây dựng các mô hình ngôn ngữ quy mô lớn tùy chỉnh cho biết.
Cho đến tháng 5, GPT-4 vẫn "chậm và đắt nhưng chính xác"—sau đó, GPT-4 phản hồi nhanh hơn, đồng thời người dùng đặt câu hỏi về sự suy giảm hiệu suất của nó.
Đối với hiện tượng này, một số chuyên gia AI, bao gồm cả Sharon Zhou, tin rằng OpenAI có thể đang tạo ra một số mô hình GPT-4 nhỏ hơn có chức năng tương tự như các mô hình lớn hơn nhưng ít tốn kém hơn khi vận hành.
Các chuyên gia suy đoán: nó có thể liên quan đến công nghệ MoE
Theo lời giới thiệu của Sharon Zhou, phương pháp này được gọi là Mixture-of-Experts (MoE), tức là một hệ thống chuyên gia hỗn hợp. Công nghệ MoE là một công nghệ học tập tích hợp được phát triển trong lĩnh vực mạng lưới thần kinh và nó cũng là công nghệ chính để đào tạo các mô hình với hàng nghìn tỷ tham số. Do quy mô mô hình ngày càng tăng ở giai đoạn này, chi phí đào tạo cũng tăng lên và MoE Công nghệ này có thể tự động kích hoạt một phần của mạng thần kinh, do đó làm tăng đáng kể lượng tham số mô hình mà không làm tăng lượng tính toán.
Cụ thể, MoE phân tách nhiệm vụ lập mô hình dự đoán thành nhiều nhiệm vụ con, đào tạo mô hình chuyên gia (Mô hình chuyên gia) trên mỗi nhiệm vụ con và phát triển mô hình cổng (Mô hình Gating), có thể dự đoán theo đầu vào. Hãy tìm hiểu chuyên gia nào đáng tin cậy và kết hợp kết quả dự báo.
Vậy tình huống khi công nghệ MoE được tham chiếu đến GPT-4 là gì? Sharon Zhou giải thích rằng trong GPT-4, các mô hình chuyên gia nhỏ này sẽ được đào tạo cho các nhiệm vụ và lĩnh vực chủ đề khác nhau. Ví dụ: có thể có các mô hình chuyên gia GPT-4 nhỏ cho sinh học, vật lý, hóa học, v.v. 4 Khi một câu hỏi được đặt ra , hệ thống mới biết mô hình chuyên gia nào sẽ gửi câu hỏi tới. Ngoài ra, để đề phòng, hệ thống mới có thể gửi truy vấn đến hai hoặc nhiều mô hình chuyên gia rồi kết hợp các kết quả lại với nhau.
Đối với cách tiếp cận này, Sharon Zhou đã mô tả nó là "Con tàu của Theseus" (một nghịch lý về sự thay thế danh tính, giả định rằng các yếu tố cấu thành của một đối tượng được thay thế, nhưng nó có còn là đối tượng ban đầu không?), nghĩa là theo thời gian, OpenAI sẽ thay thế các bộ phận của GPT-4: "OpenAI đang biến GPT-4 thành một hạm đội nhỏ."
Dựa trên suy đoán trên, Sharon Zhou cho rằng những nhận xét “ngu ngốc” gần đây của GPT-4 rất có thể liên quan đến phương pháp đào tạo của MoE: “Khi người dùng kiểm tra GPT-4, chúng tôi sẽ hỏi nhiều câu hỏi khác nhau và quy mô cũng nhỏ. Mô hình chuyên gia GPT-4 sẽ không hoạt động tốt như vậy, nhưng nó đang thu thập dữ liệu của chúng tôi và đang cải thiện cũng như học hỏi.”
**Kiến trúc GPT-4 bị lộ? **
Một số chuyên gia AI cũng đã công bố cái gọi là "chi tiết kiến trúc GPT-4" trong tuần này trong bối cảnh ngày càng có nhiều phản hồi của người dùng về "sự ngớ ngẩn" của GPT-4.
Trong số đó, một blogger Twitter có tên Yam Peleg cho biết GPT-4 có khoảng 1,8 nghìn tỷ tham số, bao gồm 120 lớp, lớn hơn GPT-3 hơn 10 lần và được đào tạo trên khoảng 13T token, chi phí đào tạo khoảng 63 triệu USD. .. Điều đáng nói là Yam Peleg cũng cho biết OpenAI đang sử dụng MoE, tức là giảm chi phí vận hành GPT-4 bằng cách sử dụng 16 mô hình chuyên gia hỗn hợp.
Hiện tại, OpenAI vẫn chưa phản hồi về tuyên bố này. Nhưng Oren Etzioni, Giám đốc điều hành sáng lập của Viện trí tuệ nhân tạo Allen, nói với giới truyền thông: "Mặc dù tôi chưa được xác nhận, nhưng tôi nghĩ những suy đoán này đại khái là chính xác."
Ông giải thích rằng nhìn chung có hai lý do để sử dụng phương pháp MOE: hoặc bạn muốn tạo ra phản hồi tốt hơn hoặc bạn muốn phản hồi nhanh hơn, rẻ hơn.
"Lý tưởng nhất là MOE sẽ cho phép bạn đạt được cả hai lợi thế cùng một lúc, nhưng trên thực tế, bạn thường cần đánh đổi giữa chi phí và chất lượng." Dựa trên điều này, Oren Etzioni tin rằng kết hợp với tình hình hiện tại, OpenAI dường như giảm GPT -4 với chi phí hy sinh một số chất lượng.
Vậy ý kiến của bạn về vấn đề này như thế nào?
Liên kết tham khảo: