GPT-4 quá đắt, Microsoft muốn loại bỏ OpenAI? Tiết lộ kế hoạch B: Hàng ngàn GPU chuyên đào tạo "mô hình nhỏ", thử nghiệm nội bộ Bing bắt đầu

**Nguồn:**Xinzhiyuan

**Giới thiệu: **GPT-4 đòi hỏi quá cao về mặt tính toán và Microsoft được cho là đã xây dựng Kế hoạch B nội bộ để đào tạo các mô hình nhỏ hơn và chi phí thấp hơn nhằm loại bỏ OpenAI.

GPT-4 đòi hỏi tính toán cao đến mức ngay cả Microsoft cũng không thể chịu đựng được!

Năm nay, tại nhiều hội nghị AI của Microsoft, Giám đốc điều hành Nadella đã hào hứng công bố việc tích hợp GPT-4 và DALL·E 3 vào “Family Bucket” của Microsoft.

Toàn bộ dòng sản phẩm của Microsoft đã được định hình lại theo mô hình OpenAI, với tầm nhìn biến AI trở thành đối tác cuộc sống của mọi người.

Tuy nhiên, đằng sau hậu trường, vì chi phí vận hành GPT-4 quá cao nên Microsoft đã âm thầm phát triển phương án B.

The Information độc quyền đưa tin rằng để thoát khỏi sự phụ thuộc vào OpenAI, một số người trong nhóm nghiên cứu gồm 1.500 người do Peter Lee dẫn đầu đã chuyển sang phát triển AI đàm thoại mới.

Người ta nói rằng hiệu suất của mô hình được phát triển có thể không tốt bằng GPT-4, nhưng thang đo tham số nhỏ, chi phí nghiên cứu thấp hơn và tốc độ chạy nhanh hơn.

Hiện tại, Microsoft đã triển khai thử nghiệm nội bộ trên các sản phẩm như Bing Chat.

Không chỉ Microsoft, mà những gã khổng lồ công nghệ khác trong đó có Google cũng đang tìm những cách khác để tiết kiệm chi phí ở cả phần mềm chat AI và chip.

Sự hợp tác giữa Microsoft và Meta khi Llama 2 được công bố không gì khác hơn là một phương tiện để thoát khỏi sự phụ thuộc hoàn toàn vào OpenAI.

Đây là con đường mà đế chế Microsoft đã định sẵn sẽ đi khi nó tiếp tục phát triển và vượt qua những hạn chế hiện tại.

Nhiều mẫu "tinh tế" hơn, bạn nên thử trước

Vào tháng 2 năm nay, Microsoft đã chính thức phát hành New Bing, kết hợp ChatGPT và mô hình Prometheus của riêng mình.

Sau khi công bố GPT-4, Microsoft ngay lập tức thông báo rằng GPT-4 sẽ được tích hợp vào Bing, đưa trải nghiệm tìm kiếm lên một tầm cao mới.

Giám đốc tìm kiếm của Microsoft Mikhail Parakhin mới đây cho biết Bing Chat hiện sử dụng 100% GPT-4 ở chế độ "sáng tạo" và "chính xác".

Ở chế độ cân bằng (chế độ được hầu hết người dùng lựa chọn), Microsoft sử dụng mô hình Prometheus và mô hình ngôn ngữ Turing làm phần bổ sung.

Mô hình Prometheus là tập hợp các kỹ năng và kỹ thuật. Mô hình Turing không mạnh bằng GPT-4 và được thiết kế để xác định và trả lời các câu hỏi đơn giản cũng như chuyển các câu hỏi khó hơn cho GPT-4.

Trong nội bộ Microsoft, hầu hết trong số 2.000 GPU mà hãng có trong tay đều được đầu tư vào việc đào tạo các "mô hình nhỏ". Tất nhiên, con số này chưa là gì so với số lượng chip mà Microsoft cung cấp cho OpenAI.

Tuy nhiên, những mẫu máy này có thể thực hiện các tác vụ đơn giản hơn GPT-4 và là nỗ lực phá băng của Microsoft.

Phá vỡ xiềng xích của OpenAI

Trong những năm qua, Microsoft và OpenAI đã duy trì mối quan hệ không thể tách rời.

Tuy nhiên, với sự ra mắt của ChatGPT, Microsoft Bing và các nhóm gia đình khác, Microsoft và OpenAI cũng bắt đầu bí mật cạnh tranh thị trường.

Mặc dù những nỗ lực của Microsoft vẫn đang ở giai đoạn đầu nhưng Nadella đang dẫn đầu những nỗ lực của Microsoft trong việc vạch ra con đường cho các sản phẩm AI của riêng mình không hoàn toàn dựa vào OpenAI.

“Điều này cuối cùng cũng sẽ xảy ra,” Naveen Rao, giám đốc điều hành của Databricks nói về những nỗ lực AI nội bộ của Microsoft.

"Microsoft là một công ty thông minh. Khi bạn triển khai các sản phẩm sử dụng mô hình khổng lồ GPT-4, họ muốn có hiệu quả. Điều đó giống như nói rằng, chúng tôi không cần một người có ba bằng tiến sĩ làm nhân viên điều hành điện thoại. Điều đó không hiệu quả về mặt kinh tế."

Tuy nhiên, Nadella và giám đốc nghiên cứu Peter Lee hy vọng có thể phát triển AI phức tạp mà không cần OpenAI, đây có lẽ chỉ là mơ tưởng.

Kể từ khi Microsoft đầu tư vào OpenAI, bộ phận nghiên cứu của gã khổng lồ này đã dành phần lớn thời gian để điều chỉnh các mô hình của OpenAI sao cho phù hợp với các sản phẩm của Microsoft, thay vì phát triển các mô hình của riêng mình.

Nhóm nghiên cứu của Microsoft không hề ảo tưởng rằng họ có thể phát triển một AI mạnh mẽ như GPT-4.

Họ biết rõ rằng họ không có tài nguyên điện toán của OpenAI, cũng như không có số lượng lớn người đánh giá để phản hồi các câu hỏi được LLM trả lời để các kỹ sư có thể cải thiện mô hình.

Bộ phận nghiên cứu cũng đã mất đi nhân tài trong năm qua, với một số làn sóng nhà nghiên cứu rời đi, bao gồm cả một số chuyển sang nhóm sản phẩm trong Microsoft.

Đối với bản thân Microsoft, việc phát triển LLM chất lượng cao mà không cần sự trợ giúp của OpenAI có thể giành được nhiều lợi thế thương lượng hơn khi hai công ty thảo luận về việc gia hạn quan hệ đối tác trong vài năm tới.

Giám đốc nghiên cứu AI của Microsoft Peter Lee

Hiện tại, hai giao dịch này đều có lợi cho cả hai bên.

Microsoft đã đầu tư hơn 10 tỷ USD vào OpenAI, đổi lại họ sẽ được độc quyền sử dụng vĩnh viễn tài sản trí tuệ hiện có của OpenAI trong các sản phẩm của Microsoft.

Ngoài ra, Microsoft sẽ nhận được 75% thu nhập hoạt động lý thuyết của OpenAI cho đến khi khoản đầu tư ban đầu được hoàn trả và sẽ nhận được 49% lợi nhuận cho đến khi đạt đến giới hạn nhất định.

Giờ đây, Microsoft hy vọng sẽ tăng thêm ít nhất 10 tỷ USD doanh thu mới trong giai đoạn không chắc chắn này thông qua các liên minh hiện có với OpenAI và các công ty AI khác.

Office 365 Family Bucket đã sớm có dấu hiệu tăng trưởng doanh thu sau khi nhận được sự hỗ trợ từ khả năng của GPT-4.

Microsoft cũng cho biết vào tháng 7 rằng hơn 27.000 công ty đã trả tiền cho công cụ viết mã GitHub Copilot.

Theo thống kê của Statista, ngoài dịch vụ đám mây của Microsoft có tỷ trọng lớn nhất vào năm 2023, tỷ trọng doanh thu của các sản phẩm phần mềm giúp tăng tốc quá trình kinh doanh năng suất cũng đang dần tăng lên.

Tuy nhiên, điều trớ trêu là các điều khoản giao dịch giữa Microsoft và OpenAI cũng gián tiếp giúp Microsoft nỗ lực thoát khỏi sự phụ thuộc vào OpenAI.

Khi người dùng sử dụng Bing, Microsoft có thể truy cập kết quả đầu ra theo mô hình OpenAI.

Hiện tại, Microsoft đang sử dụng dữ liệu này để tạo ra những mẫu máy “tinh tế” hơn. Phát hiện từ các nhà nghiên cứu nội bộ cho thấy những mô hình này có thể tạo ra kết quả tương tự với ít tài nguyên tính toán hơn.

Khám phá "Mô hình nhỏ"

Sau một năm chìm trong bóng tối của OpenAI, một số nhà nghiên cứu tại Microsoft đã tìm ra mục tiêu mới - tạo ra một mô hình "chưng cất" bắt chước GPT-4.

Vào tháng 6 năm nay, Microsoft đã đào tạo một mô hình chỉ tiêu thụ 1/10 sức mạnh tính toán của GPT-4 - Orca.

Để tạo Orca, Microsoft đã đưa hàng triệu câu trả lời do GPT-4 tạo ra vào một mô hình nguồn mở cơ bản hơn và dạy nó bắt chước GPT-4.

Địa chỉ giấy:

Kết quả cho thấy Orca không chỉ vượt qua các mô hình tinh chỉnh lệnh SOTA khác mà còn đạt hiệu suất gấp đôi Vicuna-13B trong các benchmark suy luận zero-shot phức tạp như BigBench Hard (BBH).

Ngoài ra, Orca đạt được hiệu suất ngang bằng với ChatGPT trên điểm chuẩn BBH, chỉ chênh lệch hiệu suất 4% trong các kỳ thi chuyên môn và học thuật như SAT, LSAT, GRE và GMAT, tất cả đều được đo trong cài đặt không mẫu mà không cần suy nghĩ .

Thậm chí, trong một số trường hợp, hiệu suất của Orca có thể sánh ngang với phiên bản ChatGPT miễn phí của OpenAI.

Tương tự, Microsoft cũng công bố model có thông số dưới một phần nghìn GPT-4-phi-1.

Do sử dụng dữ liệu đào tạo chất lượng cao “cấp sách giáo khoa”, độ thành thạo các vấn đề toán học và logic của phi-1 không dưới 5 lần so với mô hình nguồn mở.

Địa chỉ giấy:

Sau đó, Microsoft đã tiến thêm một bước nữa trong việc nghiên cứu “LLM phải nhỏ đến mức nào để đạt được một khả năng nhất định” và cho ra mắt mẫu phi-1.5 chỉ với 1,3 tỷ tham số.

Địa chỉ giấy:

phi-1.5 thể hiện khả năng của nhiều mô hình lớn, có khả năng "tư duy từng bước" hoặc thực hiện một số nghiên cứu ngữ cảnh cơ bản.

Kết quả cho thấy phi-1.5 hoạt động ngang bằng với các mô hình có kích thước gấp 10 lần về khả năng suy luận thông thường và kỹ năng ngôn ngữ.

Đồng thời, nó vượt xa các mô hình lớn khác về khả năng suy luận nhiều bước.

Mặc dù chưa rõ liệu những “mẫu xe nhỏ” như Orca và Phi có thực sự có thể cạnh tranh với những mẫu SOTA lớn hơn như GPT-4 hay không. Nhưng lợi thế chi phí khổng lồ của họ đã củng cố thêm động lực của Microsoft để tiếp tục thúc đẩy các nghiên cứu liên quan.

Theo một người quen thuộc với vấn đề này, ưu tiên hàng đầu của nhóm sau khi phát hành Phi là xác minh chất lượng của những mẫu xe đó.

Trong một bài báo sắp tới, các nhà nghiên cứu đề xuất một phương pháp dựa trên phương pháp học tập tương phản cho phép các kỹ sư cải thiện Orca bằng cách dạy mô hình phân biệt giữa phản hồi chất lượng cao và chất lượng thấp.

Đồng thời, các nhóm khác tại Microsoft cũng đang phát triển mạnh mẽ một mô hình lớn đa phương thức mới, đó là LLM có thể vừa diễn giải, vừa tạo văn bản và hình ảnh.

GPT-4V

Rõ ràng, các mô hình như Orca và Phi có thể giúp Microsoft giảm chi phí điện toán cần thiết để cung cấp khả năng AI cho khách hàng.

Theo một nhân viên hiện tại, các nhà quản lý sản phẩm của Microsoft đã thử nghiệm cách sử dụng Orca và Phi thay vì các mô hình của OpenAI để xử lý các truy vấn chatbot Bing. Ví dụ: những câu hỏi tương đối đơn giản như tóm tắt một đoạn văn ngắn và trả lời có hoặc không.

Ngoài ra, Microsoft cũng đang cân nhắc xem có nên cung cấp mô hình Orca cho khách hàng đám mây Azure hay không.

Theo những người quen thuộc với vấn đề này, ngay khi bài báo Orca được xuất bản, khách hàng đã đến hỏi khi nào họ có thể sử dụng nó.

Nhưng câu hỏi đặt ra là, nếu điều này thực sự được thực hiện, liệu Microsoft có còn cần xin giấy phép từ Meta không? Rốt cuộc, sau này vẫn có những hạn chế về việc các công ty nào có thể thương mại hóa LLM nguồn mở của họ.

Người giới thiệu:

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Chia sẻ
Bình luận
0/400
Không có bình luận
  • Ghim
Giao dịch tiền điện tử mọi lúc mọi nơi
qrCode
Quét để tải xuống ứng dụng Gate
Cộng đồng
Tiếng Việt
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)