Chi phí đào tạo và vận hành của các mô hình lớn là cực kỳ cao, và OpenAI cũng đã cố gắng giảm chi phí, nhưng không may thất bại.
Cuối năm ngoái, khi ChatGPT trở thành một hiện tượng toàn cầu, các kỹ sư OpenAI đã bắt đầu làm việc trên một mô hình AI mới, có tên mã là Arrakis. Arrakis nhằm mục đích cho phép OpenAI chạy chatbot với chi phí thấp hơn.
Nhưng theo những người quen thuộc với vấn đề này: Vào giữa năm 2023, OpenAI đã hủy bỏ việc phát hành Arrakis vì mô hình này không hoạt động hiệu quả như công ty mong đợi.
Thất bại này có nghĩa là OpenAI mất thời gian quý báu và cần phải chuyển hướng nguồn lực để phát triển các mô hình khác nhau.
Đối với đồng đầu tư, chương trình R&D của Arrakis sẽ là vô giá để hai công ty hoàn thành các cuộc đàm phán đầu tư và thỏa thuận sản phẩm trị giá 10 tỷ đô la. Theo một nhân viên Microsoft quen thuộc với vấn đề này, thất bại của Arrakis đã khiến một số giám đốc điều hành của Microsoft thất vọng.
Hơn nữa, thất bại của Arrakis là điềm báo về tương lai của AI có thể đầy rẫy những cạm bẫy khó dự đoán.
Arrakis là loại mô hình nào? **
Theo những người quen thuộc với vấn đề này, OpenAI hy vọng rằng Arrakis là một mô hình có hiệu suất tương đương và hiệu quả hoạt động cao hơn GPT-4. Cách tiếp cận chính được sử dụng trong mô hình Arrakis là tận dụng lợi thế của sự thưa thớt.
Sparsity là một khái niệm học máy mà các nhà phát triển AI khác như Google cũng thảo luận và sử dụng công khai. Giám đốc điều hành Google Jeff Dean đã nói: "Điện toán thưa thớt sẽ trở thành một xu hướng quan trọng trong tương lai".
OpenAI bắt đầu nghiên cứu về sự thưa thớt từ rất sớm và họ đã giới thiệu các hạt nhân điện toán thưa thớt vào năm 2017. Arrakis có thể đã cho phép OpenAI quảng bá công nghệ của mình rộng rãi hơn vì công ty có thể sử dụng một số lượng hạn chế các chip máy chủ chuyên dụng để cung cấp năng lượng cho phần mềm của mình.
Hiện nay, một cách phổ biến để tăng sự thưa thớt là với sự trợ giúp của công nghệ "hệ thống chuyên gia lai (MoE)". Tuy nhiên, Ion Stoica, giáo sư khoa học máy tính tại Đại học California, Berkeley, đã nói, "Nói chung, số lượng mô hình chuyên gia càng lớn, mô hình càng thưa thớt và hiệu quả hơn, nhưng nó có thể dẫn đến kết quả kém chính xác hơn do mô hình tạo ra."
Vào khoảng mùa xuân năm nay, các nhà nghiên cứu OpenAI đã bắt đầu đào tạo các mô hình Arrakis, liên quan đến việc sử dụng phần cứng máy tính tiên tiến để giúp các mô hình xử lý một lượng lớn dữ liệu. Theo những người quen thuộc với vấn đề này, công ty hy vọng việc đào tạo Arrakis sẽ rẻ hơn nhiều so với đào tạo GPT-4. Tuy nhiên, nhóm nghiên cứu sớm nhận ra rằng mô hình này không hoạt động đủ tốt để đạt được lợi ích như mong đợi. Sau khi nhóm nghiên cứu dành khoảng một tháng để cố gắng giải quyết vấn đề, lãnh đạo cấp cao của OpenAI đã quyết định ngừng đào tạo mô hình.
Tin tốt là OpenAI có thể tích hợp công việc của mình trên Arrakis vào các mô hình khác, chẳng hạn như mô hình lớn đa phương thức sắp tới Gobi.
Arrakis hoạt động kém hơn mong đợi của OpenAI vì công ty đang cố gắng cải thiện sự thưa thớt của mô hình, điều đó có nghĩa là chỉ một phần của mô hình sẽ được sử dụng để tạo ra phản hồi, giảm chi phí vận hành, hai người quen thuộc với vấn đề này cho biết. Lý do tại sao mô hình hoạt động trong các thử nghiệm ban đầu nhưng sau đó hoạt động kém vẫn chưa được biết.
Điều đáng nói là những người quen thuộc với vấn đề này nói rằng tên công khai của OpenAI được xem xét cho Arrakis là GPT-4 Turbo.
** Giảm chi phí quan trọng như thế nào? **
Đối với OpenAI, với những lo ngại ngày càng tăng về chi phí của công nghệ và sự gia tăng của các lựa chọn thay thế nguồn mở, làm cho các mô hình của nó rẻ hơn và hiệu quả hơn là ưu tiên hàng đầu.
Theo những người quen thuộc với vấn đề này, Microsoft sử dụng mô hình GPT của OpenAI để cung cấp năng lượng cho các tính năng AI trong các ứng dụng Office 365 và các dịch vụ khác và Microsoft đã mong đợi Arrakis cải thiện hiệu suất của các tính năng đó và giảm chi phí.
Đồng thời, Microsoft đang bắt đầu phát triển LLM của riêng mình và LLM của nó có thể tốn ít chi phí hơn để chạy so với mô hình của OpenAI.
Mặc dù thất bại này không làm chậm sự phát triển kinh doanh của OpenAI trong năm nay, nhưng OpenAI cũng có khả năng suy giảm trên đường đua này với sự cạnh tranh ngày càng tăng trong lĩnh vực LLM, đặc biệt là việc nghiên cứu và phát triển nhanh chóng của những gã khổng lồ công nghệ như Google và Microsoft.
Liên kết gốc:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Phát triển mô hình mới OpenAI đã bị thất vọng, liệu sự thưa thớt có phải là chìa khóa để giảm chi phí của các mô hình lớn?
Nguồn gốc: Heart of the Machine
Chi phí đào tạo và vận hành của các mô hình lớn là cực kỳ cao, và OpenAI cũng đã cố gắng giảm chi phí, nhưng không may thất bại.
Cuối năm ngoái, khi ChatGPT trở thành một hiện tượng toàn cầu, các kỹ sư OpenAI đã bắt đầu làm việc trên một mô hình AI mới, có tên mã là Arrakis. Arrakis nhằm mục đích cho phép OpenAI chạy chatbot với chi phí thấp hơn.
Nhưng theo những người quen thuộc với vấn đề này: Vào giữa năm 2023, OpenAI đã hủy bỏ việc phát hành Arrakis vì mô hình này không hoạt động hiệu quả như công ty mong đợi.
Đối với đồng đầu tư, chương trình R&D của Arrakis sẽ là vô giá để hai công ty hoàn thành các cuộc đàm phán đầu tư và thỏa thuận sản phẩm trị giá 10 tỷ đô la. Theo một nhân viên Microsoft quen thuộc với vấn đề này, thất bại của Arrakis đã khiến một số giám đốc điều hành của Microsoft thất vọng.
Hơn nữa, thất bại của Arrakis là điềm báo về tương lai của AI có thể đầy rẫy những cạm bẫy khó dự đoán.
Arrakis là loại mô hình nào? **
Theo những người quen thuộc với vấn đề này, OpenAI hy vọng rằng Arrakis là một mô hình có hiệu suất tương đương và hiệu quả hoạt động cao hơn GPT-4. Cách tiếp cận chính được sử dụng trong mô hình Arrakis là tận dụng lợi thế của sự thưa thớt.
Sparsity là một khái niệm học máy mà các nhà phát triển AI khác như Google cũng thảo luận và sử dụng công khai. Giám đốc điều hành Google Jeff Dean đã nói: "Điện toán thưa thớt sẽ trở thành một xu hướng quan trọng trong tương lai".
OpenAI bắt đầu nghiên cứu về sự thưa thớt từ rất sớm và họ đã giới thiệu các hạt nhân điện toán thưa thớt vào năm 2017. Arrakis có thể đã cho phép OpenAI quảng bá công nghệ của mình rộng rãi hơn vì công ty có thể sử dụng một số lượng hạn chế các chip máy chủ chuyên dụng để cung cấp năng lượng cho phần mềm của mình.
Hiện nay, một cách phổ biến để tăng sự thưa thớt là với sự trợ giúp của công nghệ "hệ thống chuyên gia lai (MoE)". Tuy nhiên, Ion Stoica, giáo sư khoa học máy tính tại Đại học California, Berkeley, đã nói, "Nói chung, số lượng mô hình chuyên gia càng lớn, mô hình càng thưa thớt và hiệu quả hơn, nhưng nó có thể dẫn đến kết quả kém chính xác hơn do mô hình tạo ra."
Vào khoảng mùa xuân năm nay, các nhà nghiên cứu OpenAI đã bắt đầu đào tạo các mô hình Arrakis, liên quan đến việc sử dụng phần cứng máy tính tiên tiến để giúp các mô hình xử lý một lượng lớn dữ liệu. Theo những người quen thuộc với vấn đề này, công ty hy vọng việc đào tạo Arrakis sẽ rẻ hơn nhiều so với đào tạo GPT-4. Tuy nhiên, nhóm nghiên cứu sớm nhận ra rằng mô hình này không hoạt động đủ tốt để đạt được lợi ích như mong đợi. Sau khi nhóm nghiên cứu dành khoảng một tháng để cố gắng giải quyết vấn đề, lãnh đạo cấp cao của OpenAI đã quyết định ngừng đào tạo mô hình.
Tin tốt là OpenAI có thể tích hợp công việc của mình trên Arrakis vào các mô hình khác, chẳng hạn như mô hình lớn đa phương thức sắp tới Gobi.
Arrakis hoạt động kém hơn mong đợi của OpenAI vì công ty đang cố gắng cải thiện sự thưa thớt của mô hình, điều đó có nghĩa là chỉ một phần của mô hình sẽ được sử dụng để tạo ra phản hồi, giảm chi phí vận hành, hai người quen thuộc với vấn đề này cho biết. Lý do tại sao mô hình hoạt động trong các thử nghiệm ban đầu nhưng sau đó hoạt động kém vẫn chưa được biết.
Điều đáng nói là những người quen thuộc với vấn đề này nói rằng tên công khai của OpenAI được xem xét cho Arrakis là GPT-4 Turbo.
** Giảm chi phí quan trọng như thế nào? **
Đối với OpenAI, với những lo ngại ngày càng tăng về chi phí của công nghệ và sự gia tăng của các lựa chọn thay thế nguồn mở, làm cho các mô hình của nó rẻ hơn và hiệu quả hơn là ưu tiên hàng đầu.
Theo những người quen thuộc với vấn đề này, Microsoft sử dụng mô hình GPT của OpenAI để cung cấp năng lượng cho các tính năng AI trong các ứng dụng Office 365 và các dịch vụ khác và Microsoft đã mong đợi Arrakis cải thiện hiệu suất của các tính năng đó và giảm chi phí.
Đồng thời, Microsoft đang bắt đầu phát triển LLM của riêng mình và LLM của nó có thể tốn ít chi phí hơn để chạy so với mô hình của OpenAI.
Mặc dù thất bại này không làm chậm sự phát triển kinh doanh của OpenAI trong năm nay, nhưng OpenAI cũng có khả năng suy giảm trên đường đua này với sự cạnh tranh ngày càng tăng trong lĩnh vực LLM, đặc biệt là việc nghiên cứu và phát triển nhanh chóng của những gã khổng lồ công nghệ như Google và Microsoft.
Liên kết gốc: