Giáo sư Fudan Xiao Yanghua: Trình thông dịch mã ChatGPT là một thành tựu quan trọng

Nguồn: The Paper

Phóng viên Thiệu Văn

Sau khi phiên bản beta trình thông dịch mã ChatGPT được phát hành, người dùng có thể sử dụng ngôn ngữ tự nhiên để ra lệnh cho ChatGPT hoàn thành các tác vụ lập trình phức tạp ngay cả khi họ không phải là lập trình viên. Điều này có thể có hai tác động chính: loại bỏ khoảng cách ngôn ngữ và định hình lại ngành.

Sẽ có hai xu hướng lặp lại nhanh chóng các mô hình lớn trong tương lai: Thứ nhất, ChatGPT chắc chắn sẽ học hỏi từ dữ liệu quy mô lớn hơn và đa dạng hơn, đồng thời kết hợp nhiều dữ liệu chuyên nghiệp hơn trong miền riêng tư để thực hiện việc học hỏi rộng hơn ; Thứ hai, nó sẽ tăng mức độ phân tích dữ liệu, có thể được coi là học sâu hơn ở một mức độ nhất định.

Nguồn hình ảnh: Được tạo bởi công cụ Unbounded AI

Phiên bản beta trình thông dịch mã ChatGPT đã chính thức mở cửa cho tất cả người dùng ChatGPT Plus. Phiên bản này có thể sử dụng ngôn ngữ tự nhiên của con người làm hướng dẫn để điều khiển các mô hình lớn hoàn thành các phép toán, phân tích dữ liệu, vẽ biểu đồ chuyên nghiệp và thậm chí tạo video và phân tích thị trường chứng khoán.

"Khả năng ChatGPT của OpenAI đã được nâng cấp một lần nữa. Nó đã hoàn thành việc nâng cấp từ một công cụ lên một trợ lý và lần này nó đã được nâng cấp từ một trợ lý thông thường thành một trợ lý chuyên nghiệp." Vào ngày 12 tháng 7, Xiao Yanghua, giáo sư tại Đại học Fudan và giám đốc của Phòng thí nghiệm trọng điểm khoa học dữ liệu Công nghệ Pengpai Thượng Hải (nói về phát hành bom tấn gần đây của OpenAI: Trình thông dịch mã ChatGPT (Code translator).

Vào ngày 9 tháng 7 theo giờ Bắc Kinh, phiên bản beta của trình thông dịch mã ChatGPT đã chính thức được mở cho tất cả người dùng ChatGPT Plus. Nó có thể sử dụng ngôn ngữ tự nhiên của con người làm hướng dẫn để điều khiển các mô hình lớn nhằm hoàn thành các phép toán, phân tích dữ liệu, vẽ biểu đồ chuyên nghiệp, v.v. tạo video, Phân tích thị trường chứng khoán.

Điều đó có nghĩa là, ngay cả khi người dùng không phải là lập trình viên, họ có thể đưa ra hướng dẫn cho ChatGPT bằng ngôn ngữ tự nhiên để hoàn thành các tác vụ lập trình phức tạp. Đây được thế giới bên ngoài đánh giá là "chức năng mạnh mẽ nhất của GPT-4 từ trước đến nay".

"Sử dụng một phép ẩn dụ không phù hợp." Xiao Yanghua nói, "Có thể thấy rằng OpenAI nên được 'lên kế hoạch từ lâu'. Họ đã nỗ lực để cải thiện khả năng tương tác đa phương thức của các mô hình lớn." ngôn ngữ tự nhiên.Khả năng cho các tác vụ đa phương thức như hình ảnh, sơ đồ chuyên dụng, v.v.

Một người trợ giúp chuyên nghiệp như vậy có nghĩa là gì? "Điều đó có nghĩa là ChatGPT thậm chí có khả năng hoàn thành rất nhiều công việc mang tính chuyên môn cao. Có thể nói rằng nó có thể đảm đương tốt công việc của sinh viên chưa tốt nghiệp với các chuyên ngành liên quan trong trường đại học, chẳng hạn như chuyên ngành khoa học dữ liệu." Xiao Yanghua cho biết.

"Khả năng phân tích dữ liệu quyết định khả năng mà mô hình lớn có thể đạt được trong tương lai"

Về lý do tại sao ChatGPT chọn nâng cấp trong lĩnh vực này, Xiao Yanghua tin rằng điều này là do phân tích chuyên sâu và học hỏi dữ liệu, dữ liệu như vậy tồn tại rộng rãi và hầu hết các bài báo về cơ bản bao gồm phân tích dữ liệu chuyên nghiệp của các ngành khác nhau. Các phiên bản trước của GPT chủ yếu tập trung vào việc sử dụng hiệu quả dữ liệu văn bản, nhưng việc sử dụng biểu đồ, lưới và sự tương ứng của chúng với văn bản trong những dữ liệu này tương đối rộng rãi và đơn giản. Bản nâng cấp này thực sự được hưởng lợi từ việc phân tích chuyên sâu các tài liệu chuyên môn và dữ liệu khác, đồng thời thiết lập mối quan hệ tương ứng giữa văn bản, biểu đồ và công thức, cho phép GPT có được khả năng điều khiển biểu đồ và bảng thông qua tương tác ngôn ngữ tự nhiên.

Từ một khám phá như vậy, Xiao Yanghua đã có một tiết lộ trong nghiên cứu và phát triển công nghệ: "Loại khả năng phân tích chuyên sâu về văn bản này có thể là một trong những yếu tố cốt lõi quyết định khả năng của các mô hình lớn. Sự phát triển của các mô hình lớn không quan trọng là bao nhiêu dữ liệu Không quá nhiều."

Đối với ChatGPT, Xiao Yanghua tin rằng hướng nỗ lực của OpenAI là tìm kiếm dữ liệu chất lượng cao hơn và phân tích sâu dữ liệu hiện có, để làm cho khả năng của nó ngày càng mạnh mẽ hơn. Do đó, việc thu thập dữ liệu quy mô lớn, chất lượng cao và đa dạng cũng như phân tích chuyên sâu các dữ liệu này có thể là một trong những ý tưởng quan trọng để thúc đẩy sự phát triển của các mô hình lớn. "

"Xóa khoảng cách ngôn ngữ"

Nhìn vào toàn bộ việc nâng cấp khả năng của ChatGPT, Xiao Yanghua tin rằng có hai tác động có thể đáng chú ý: thứ nhất, "xóa bỏ khoảng cách ngôn ngữ"; thứ hai, định hình lại hình thức công nghiệp.

Khoảng cách ngôn ngữ là gì? Kể từ khi phát minh ra máy tính, con người hy vọng có thể để máy tính hoàn thành các nhiệm vụ khác nhau theo ý muốn của mình, điều này đòi hỏi các chuyên gia phải thể hiện ý định và đưa ra hướng dẫn thông qua ngôn ngữ phi tự nhiên hoặc ngôn ngữ chính thức, chẳng hạn như ngôn ngữ lắp ráp sơ khai và sau này là C ++ cao ngôn ngữ lập trình -level, Ngôn ngữ truy vấn có cấu trúc như SQL, v.v. Ngôn ngữ giao tiếp, giao tiếp của con người là ngôn ngữ tự nhiên.

Theo truyền thuyết phương Tây, để ngăn chặn con người xây dựng "Tháp Babel" vươn tới bầu trời, Chúa đã làm rối loạn ngôn ngữ của con người, khiến con người không thể giao tiếp và hiểu được người khác. Xiao Yanghua tin rằng giữa máy móc và con người cũng tồn tại tình trạng như vậy, ít nhất máy móc không thể hiểu chính xác ngôn ngữ tự nhiên của con người, vì vậy trên thực tế con người đã dung túng máy móc và chuyển ý định của chúng sang các ngôn ngữ hình thức khác nhau.

Tuy nhiên, các nhiệm vụ mà máy tính cần hoàn thành tồn tại trong hàng nghìn ngành công nghiệp, Xiao Yanghua cho biết điều này có nghĩa là để hoàn thành các nhiệm vụ khác nhau, các chuyên gia phải học các ngôn ngữ khác nhau, chẳng hạn như ngôn ngữ dành riêng cho thiết kế chip và ngôn ngữ dành cho tự động hóa văn phòng. Tất cả những điều này đòi hỏi đào tạo phức tạp để thành thạo, vì vậy mọi nhiệm vụ chuyên môn đều yêu cầu học ngôn ngữ phức tạp, điều này đặt ra ngưỡng ngôn ngữ cao cho mọi người tham gia vào một ngành nhất định.

Nhưng bây giờ có vẻ như Xiao Yanghua đánh giá, "Tất cả những ngôn ngữ chính thức này là không cần thiết, và về cơ bản có thể được thay thế bằng ngôn ngữ tự nhiên." Ở một mức độ nào đó, có thể coi máy móc "hiểu" ngôn ngữ tự nhiên của con người và đồng thời hiểu Nó đã phát triển nhiều ngôn ngữ chính thức chuyên nghiệp khác nhau, có thể chuyển đổi chính xác ý định của con người được thể hiện bằng các ngôn ngữ tự nhiên khác nhau thành các ngôn ngữ chính thức tương ứng, chẳng hạn như ngôn ngữ lập trình và ngôn ngữ thiết kế chip.

Điều này nhằm xóa bỏ khoảng cách ngôn ngữ, không còn rào cản để máy móc “hiểu” con người. "Nếu phiên bản đầu tiên của ChatGPT đã loại bỏ khoảng cách biểu đạt ngôn ngữ tự nhiên giữa con người và máy móc, thì ChatGPT với chức năng Phiên dịch mã này sẽ xóa bỏ khoảng cách biểu đạt ngôn ngữ chuyên nghiệp giữa con người và máy móc." Xiao Yanghua tin rằng điều này sẽ có tác động rất sâu rộng .Tác động là một thành tựu quan trọng.

"Chẳng bao lâu nữa, các mô hình lớn sẽ dần dần có năng lực về 'ngôn ngữ' cần thiết để con người tham gia vào công việc rất chuyên nghiệp, chẳng hạn như ngôn ngữ toán học và ngôn ngữ vật lý, cũng như khả năng tư duy tương ứng và khả năng giải quyết vấn đề. Bởi vì, trong nguyên tắc, đây là Tương tự, ngôn ngữ toán học mà các nhà toán học yêu cầu để thực hiện công việc nghiên cứu chỉ là ngôn ngữ chính thức. Miễn là có thể lấy được dữ liệu ghép nối của ngôn ngữ tự nhiên và ngôn ngữ chuyên nghiệp tương ứng, thì các mô hình lớn sẽ có cơ hội học hỏi. Những dữ liệu này được phổ biến rộng rãi trong luận án, phần mềm chuyên nghiệp được sử dụng rộng rãi, chẳng hạn như MATLAB, cũng có thể được sử dụng để tổng hợp dữ liệu, do đó làm giảm bớt vấn đề khan hiếm dữ liệu trong việc học các khả năng chuyên nghiệp quy mô lớn." Xiao Yanghua cho biết.

**Có còn nhu cầu cho các vị trí chuyên nghiệp không? **

Điều này có nghĩa là trong tương lai, hầu hết các công việc chuyên môn đòi hỏi phải thông thạo ngôn ngữ chuyên môn đều có thể được thực hiện tốt và mô hình lớn có thể sẽ hoàn thành tốt. Điều này cũng đặt ra một câu hỏi đáng được xem xét kỹ lưỡng, Xiao Yanghua hỏi: Liệu chúng ta có còn chỗ cho các chuyên gia phát triển hay công việc của họ có cần thiết không?

Theo quan điểm của Xiao Yanghua, với việc cải thiện khả năng của các mô hình lớn, tất cả các công việc được thực hiện với sự trợ giúp của ngôn ngữ sẽ được chia thành ba bước trong tương lai: bước đầu tiên là nhắc (), bước thứ hai là tạo và bước thứ ba là đánh giá.

"Rõ ràng, những công việc phát sinh này, dù là chuyên nghiệp hay không chuyên nghiệp, đều có thể được giao cho mô hình lớn. Nhưng những công việc chuyên nghiệp vẫn có giá trị của nó, chẳng hạn như viết lời nhắc, cách nhắc tính chuyên nghiệp cần có cho các Biểu đồ tạo mô hình lớn, và cách để đánh giá và phân tích chất lượng của các kết quả được tạo ra. Con người vẫn có lợi thế của họ ở những khía cạnh này, hoặc trong ngắn hạn, các mô hình lớn vẫn cần cải tiến nhiều hơn để có thể thành thạo ”. Xiao Yanghua cho biết, vì vậy điều này sẽ định hình lại hình thức ngành.

Hơn nữa, hầu hết các nhiệm vụ liên quan đến tạo nội dung và công việc phân tích sẽ được phân tách thành nhiều bước chia nhỏ, trong đó các bước chia nhỏ lặp đi lặp lại, thường xuyên và tạo sẽ dần được chuyển giao cho mô hình lớn và các nhiệm vụ chia nhỏ mà các mô hình nhỏ truyền thống đang thực hiện. giỏi được giao cho các mô hình nhỏ, và các nhiệm vụ phân khu vẫn chỉ giỏi của con người được giao cho con người. Xiao Yanghua tin rằng việc phân tách các nhiệm vụ phức tạp thành nhiều bước (phân rã), sau đó hoàn thành các bước mà họ giỏi (tái tổ chức) theo mô hình lớn, mô hình nhỏ và con người là xu hướng cơ bản.

Hai xu hướng lặp lại nhanh các mô hình lớn

Về việc liệu bản cập nhật này có đại diện cho sự xuất hiện của GPT-4.5 hay không, Xiao Yanghua tin rằng đây không phải là mấu chốt, nhưng vấn đề này đã thu hút rất nhiều sự chú ý, điều này thực sự phản ánh mối lo ngại của con người về sự lặp lại nhanh chóng của các mô hình lớn và đối với một mức độ nhất định phản ánh tác động có thể có của mọi người lên nó.lo ngại về tác động xã hội. Theo ông, lo lắng này không phải là không có lý: “Trong trường hợp nó lặp đi lặp lại quá nhanh, ít nhất chúng tôi hiểu rằng tốc độ của nó có thể không theo kịp tốc độ lặp của nó. Thậm chí chúng tôi phải chủ động nhấn nút tạm dừng để phát triển của các mô hình lớn , hãy suy nghĩ cẩn thận về những gì nó có thể và không thể làm được.”

Đối với hai xu hướng lặp lại nhanh chóng của các mô hình lớn, Xiao Yanghua tin rằng, thứ nhất, ChatGPT hiện chủ yếu dựa trên việc học dữ liệu công khai và nó chắc chắn sẽ học hỏi từ dữ liệu quy mô lớn hơn và đa dạng hơn, đồng thời kết hợp dữ liệu mạnh hơn của chuyên môn miền riêng. Thứ hai, nó sẽ tăng mức độ phân tích dữ liệu, có thể được coi là cải thiện độ sâu của việc học ở một mức độ nhất định. Nói cách khác, có hai chiều, một là tìm hiểu ngày càng rộng, hai là tìm hiểu dữ liệu cũ ngày càng chuyên sâu hơn.

"Đây là một ý tưởng rất quan trọng trong phiên bản này. Trên thực tế, rất có thể dữ liệu vẫn là dữ liệu cũ, nhưng nó được tìm hiểu sâu hơn." Xiao Yanghua tiếp tục, "Nếu các mô hình lớn trong mỗi lĩnh vực bị phân mảnh và không thể được tích hợp, thì khả năng của nó vẫn có thể nằm trong phạm vi có thể kiểm soát được. Tuy nhiên, nếu ChatGPT có năng lực kiến thức chung mạnh mẽ và liên tục kết hợp nhiều dữ liệu miền riêng để học, thì việc nâng cấp khả năng của nó có thể nằm ngoài dự đoán của chúng tôi. Do đó, việc thúc đẩy các mô hình lớn Việc phát triển theo hướng an toàn và có thể kiểm soát được là điều bắt buộc và sắp xảy ra.”