Mô hình lớn, mã nguồn mở không giết được mã nguồn đóng

Nguồn: Cơ thể não

Nguồn hình ảnh: Được tạo bởi Unbounded AI

Tác động của các mô hình lớn nguồn mở đối với các mô hình lớn nguồn đóng đã trở nên rất dữ dội.

Vào tháng 3 năm nay, Meta đã phát hành Llama (alpaca), nhanh chóng trở thành mô hình lớn nguồn mở mạnh mẽ nhất trong cộng đồng AI và là mô hình cơ sở cho nhiều mô hình. Có người nói đùa rằng, cụm mô hình đại trà hiện tại chỉ là một bầy “alpacas” với nhiều màu sắc khác nhau.

Và chỉ vài ngày trước, Meta đã tung ra phiên bản thương mại miễn phí của "Alpaca 2" - Llama2, được cho là có hiệu suất tương đương với GPT-3.5.

Điều này rất dễ bùng nổ trong toàn bộ vòng tròn mô hình quy mô lớn.

Chúng tôi biết rằng các công ty công nghệ và Internet khác nhau đang cạnh tranh để đào tạo và tung ra các mô hình quy mô lớn của riêng họ, đầu tư rất nhiều tài nguyên máy tính và chi phí. Nếu chúng không thể được thương mại hóa một cách hiệu quả, sẽ rất khó để thu hồi chi phí của các mô hình quy mô lớn này. Các lần lặp lại, cập nhật và nâng cấp sau đó sẽ trở thành vấn đề. Không chỉ các công ty R&D sẽ mất tiền mà những người dùng "lãng phí tất cả những nỗ lực trước đó" có thể sẽ đau khổ hơn.

Nhưng bây giờ đã có những mô hình nguồn mở miễn phí, mở và mạnh mẽ, thì ai sẵn sàng bỏ tiền cho những mô hình nguồn đóng?

Thực sự có.

Mã nguồn mở là xu hướng chung, nhưng mô hình lớn mã nguồn đóng vẫn có ý nghĩa tồn tại và giá trị thương mại của nó. Theo kinh nghiệm hiện tại trong ngành AI, để sử dụng tốt các mô hình lớn, bạn vẫn phải dựa vào các nguồn đóng.

Hôm nay chúng ta sẽ nói về vấn đề này Ai cần một mô hình lớn mã nguồn đóng?

Vào ngành, vào ngành

Điểm cuối của việc thương mại hóa các mô hình lớn là ngành công nghiệp và nó phải là một sự đồng thuận không cần giải thích quá nhiều.

Cách đây không lâu, tôi đã tham gia một cuộc họp giao tiếp nội bộ của một mô hình quy mô lớn trong nước, và các giám đốc điều hành cấp cao của bên kia đã nói rõ rằng họ đều sử dụng mã nguồn đóng và nhấn mạnh vào lộ trình nguồn đóng, vì họ cho rằng việc đào tạo các mô hình quy mô lớn và hợp tác với các đối tác trong ngành, và nhiều dữ liệu riêng tư không thuận tiện cho nguồn mở.

Bạn có thể có một cái nhìn thoáng qua về bức tranh toàn cảnh, ít nhất là trong thời gian ngắn, các mô hình quy mô lớn sẽ được đưa vào ngành và việc triển khai vẫn phụ thuộc vào các nguồn đóng.

** Về mẫu mã, chất lượng của các mẫu mã nguồn đóng lớn cao hơn. **

Lấy Llama 2, hiện có khả năng cao nhất, làm ví dụ. Meta đã so sánh kết quả của Llama 2 70B với mô hình nguồn đóng. Kết quả gần với GPT-3.5 trên MMLU và GSM8K, nhưng vẫn còn một khoảng cách đáng kể trong điểm chuẩn mã hóa và nhiều dữ liệu thiếu tính đa dạng và chất lượng.

Tất nhiên, tốc độ lặp lại tối ưu hóa của các mô hình lớn mã nguồn mở là rất nhanh. Nhưng bản chất của nguồn mở rất giống với "sinh sản hữu tính", tức là thông qua sinh sản hàng loạt và đột biến, giống như "cụm alpaca" lúc đầu, trước một tương lai không chắc chắn, với sự trợ giúp của quá trình tiến hóa "sự sống sót của kẻ thích nghi nhất", những đứa con chất lượng nhất sẽ tiếp tục xuất hiện. Do đó, có rất nhiều nhánh của phần mềm mã nguồn mở, đối với người dùng, chi phí cho sự lựa chọn này rất cao, cộng với số lượng lớn các nhà phát triển, việc kiểm soát phiên bản là một vấn đề.

**Về mặt bảo mật, các mô hình lớn nguồn đóng đáng tin cậy hơn. **

Các mô hình lớn nguồn mở phải tuân theo thỏa thuận nguồn mở và việc sử dụng thương mại cần được cho phép.Các mô hình lớn nguồn mở ở nước ngoài cũng phải tuân theo quyền tài phán lãnh thổ. GitHub đã từng cấm tài khoản nhà phát triển Nga. Sử dụng các mô hình lớn nguồn mở ở nước ngoài để phát triển sản phẩm và rủi ro chuỗi cung ứng tồn tại một cách khách quan.

Vậy còn việc sử dụng các mô hình lớn mã nguồn mở trong nước thì sao? An toàn được đảm bảo, nhưng từ quan điểm thương mại, nhiều khách hàng, chẳng hạn như các doanh nghiệp lớn của chính phủ, cũng rất coi trọng độ tin cậy của các mẫu xe lớn trong kinh doanh và thường yêu cầu sự chứng thực thương hiệu của các công ty lớn khi mua hàng. Một mặt, đầu tư vào R&D lớn hơn và truyền miệng cao hơn; mặt khác, trong trường hợp mô hình lớn được tạo ra không đúng cách, dẫn đến tổn thất thương mại hoặc các vấn đề về thiện chí, việc sử dụng mô hình lớn nguồn đóng có thể khiến nhà cung cấp dịch vụ phải chịu trách nhiệm và việc sử dụng mô hình lớn nguồn mở không thể giải quyết các tài khoản với các nhà phát triển toàn cầu, phải không?

Ví dụ, Huging Face, một công ty khởi nghiệp mô hình quy mô lớn, cung cấp dịch vụ tư vấn AI cho khách hàng và là trụ cột của cộng đồng nguồn mở, cho biết một lượng lớn khách hàng muốn sử dụng dữ liệu cá nhân/dữ liệu nghề nghiệp của họ để đào tạo người mẫu và không muốn cung cấp những dữ liệu này cho OpenAl.

** Về mặt công nghiệp hóa, khả năng phục vụ lâu dài của các mô hình lớn nguồn đóng mạnh hơn và có thể sử dụng được nhiều hơn. **

Việc hạ cánh một mô hình lớn không kết thúc bằng việc truy cập API, chèn dữ liệu và điều chỉnh các tham số. Là một công nghệ mới nổi, vẫn còn nhiều thách thức trong việc tích hợp các mô hình lớn và các kịch bản kinh doanh. Ví dụ: các mô hình lớn cần được nén bằng cách chắt lọc để giảm kích thước của mô hình trước khi chúng có thể được triển khai ở phía thiết bị, đơn giản là nhiều công ty không có các chuyên gia như vậy.

Ví dụ khác, sự kết hợp giữa các mô hình lớn và doanh nghiệp đòi hỏi sự tham gia của nhiều vai trò như kỹ sư sản phẩm, vận hành và kiểm tra… Những khả năng dịch vụ này rất khó cung cấp cho các nhóm nguồn mở chủ yếu là các lập trình viên. Ngoài ra, ứng dụng lâu dài của các mô hình lớn, sức mạnh tính toán, lưu trữ, mạng và các phương tiện hỗ trợ khác phải theo kịp và cộng đồng nguồn mở không thể giúp người dùng "một cửa" giải quyết các vấn đề chi tiết này.

Ngoài ra còn có những lo ngại về quyền riêng tư dữ liệu, các mô hình lớn không thể được sử dụng trực tiếp trong ngành mà phải được tối ưu hóa thông qua dữ liệu cảnh độc quyền và các mô hình được đào tạo trên những dữ liệu này sẽ được mã nguồn mở và phát hành, điều này khiến các doanh nghiệp lo lắng rất nhiều.

Chúng tôi đã từng phỏng vấn một nhóm nghiên cứu và phát triển y tế thông minh, bên kia nói rằng một lượng lớn dữ liệu y tế được phân phối tại các bệnh viện và viện nghiên cứu lớn, đồng thời nó cũng liên quan đến quyền riêng tư của bệnh nhân. Mọi người đều lo ngại về việc sử dụng dữ liệu để cùng đào tạo một mô hình công nghiệp. Một mặt, tính bảo mật không thể được đảm bảo, mặt khác, chất lượng dữ liệu của họ cao nhưng họ không thể thu được lợi nhuận xứng đáng từ nó, giống như các tổ chức khác có dữ liệu chất lượng thấp, rất khó phối hợp. Trong quá trình đồng xây dựng các mô hình lớn mã nguồn mở, vẫn còn nhiều khó khăn về cách lấy dữ liệu, nắm bắt công thức và xác định sự đóng góp của các bên.

Các mô hình lớn mã nguồn mở cần phải cân bằng mâu thuẫn giữa tự do đổi mới công nghệ và lợi ích bản quyền, trong khi các mô hình lớn mã nguồn đóng không gặp rắc rối này, quyền sở hữu và sử dụng dữ liệu và mô hình rất rõ ràng và chúng nằm chắc trong tay của chính doanh nghiệp.

Có thể nói, mô hình mã nguồn mở lớn hiện nay chưa thể đáp ứng được nhu cầu thực tế của doanh nghiệp. Tuy nhiên, người dùng mô hình lớn nguồn mở và nhà tích hợp ISV cần thu được lợi nhuận thương mại, nếu mô hình lớn nguồn mở không có sẵn trên thị trường, hiệu quả không tốt và khó kiếm tiền, ngay cả khi nó miễn phí, doanh nghiệp sẽ cân nhắc cẩn thận xem có nên đầu tư vào con người để phát triển nó hay không.

Do đó, trong một thời gian tới, nguồn đóng vẫn sẽ là một lựa chọn phổ biến cho ngành hạ cánh mô hình quy mô lớn.

Đến với quần chúng, đến với quần chúng

Một số người có thể không hiểu, mã nguồn mở miễn phí cho mục đích thương mại và mọi người đều có thể sử dụng một mô hình lớn với giá như bắp cải, nó rất thân thiện với các nhà phát triển và người dùng doanh nghiệp, tại sao bạn vẫn nói rằng mã nguồn đóng tốt hơn? Đó có phải là nền tảng của một nhà máy lớn tập trung vào việc kiếm tiền?

KHÔNG.

Ai hiểu mã nguồn mở thì ủng hộ mã nguồn mở. Bất kỳ ai ủng hộ nguồn mở sẽ chú ý đến việc thương mại hóa nguồn mở.

Viện sĩ Mei Hong của Viện Hàn lâm Khoa học Trung Quốc từng nói rằng nguồn mở bắt nguồn từ chủ nghĩa duy tâm và được thúc đẩy mạnh mẽ bởi thương mại hóa, đó là một mô hình của đổi mới mở. Không thương mại hóa thì không thể có mã nguồn mở.

Do đó, dù là mã nguồn mở hay mã nguồn đóng, ai có thể “thương mại hóa” sớm hơn sẽ có tương lai tốt đẹp hơn. Về vấn đề này, các mô hình quy mô lớn mã nguồn đóng có thể có lợi thế hơn, xét cho cùng, các nhà sản xuất tự tin đóng mã nguồn vẫn có hai bàn chải và nền tảng R&D.

Vì vậy, những lợi thế của các mô hình lớn mã nguồn mở là gì? Nếu mô hình quy mô lớn nguồn đóng là hướng đến ngành công nghiệp, thì mô hình quy mô lớn nguồn mở phải hướng đến đại chúng, tập trung vào sức mạnh của một người.

(LeCun tin rằng Llama-v2 sẽ thay đổi cấu trúc thị trường của LLM)

Mô hình lớn nguồn mở khác với phần mềm nguồn mở truyền thống, nơi mã nguồn được đặt trên đó, sau đó các nhà phát triển từ khắp nơi trên thế giới đóng góp mã và thế là xong. Sự cộng tác, đồng xây dựng mô hình lớn càng thể hiện ở sự thịnh vượng của cộng đồng, mọi người cùng nhau tối ưu mô hình, làm giàu dữ liệu, cải tiến công cụ, ứng dụng toàn diện...

Tại thời điểm này, mô hình nguồn mở có thể mang lại một số lợi ích:

1. Đổi mới công nghệ. Cộng đồng nguồn mở có thể tập hợp một số lượng lớn các công ty công nghệ, tổ chức nghiên cứu và nhà phát triển để tối ưu hóa, cải thiện và đẩy nhanh các lần lặp lại của mô hình, làm cho công nghệ mô hình và bộ dữ liệu hỗ trợ, công cụ ứng dụng, v.v. trở nên phong phú và chất lượng cao, để luôn dẫn đầu.

2. Phần thi tài năng. Là một công nghệ mới nổi, các mô hình lớn đang thiếu hụt nhân tài, khoảng cách có thể được nới rộng bằng cách thu hút những tài năng xuất sắc từ khắp nơi trên thế giới đóng góp thông qua các cộng đồng nguồn mở và đẩy nhanh việc nâng cấp các mô hình lớn. Có áp lực khi có cạnh tranh, vì vậy sau khi phát hành LLama 2, đã sớm có thông tin rằng OpenAI cũng bắt đầu xem xét mã nguồn mở GPT-3.5 trong vòng nửa năm.

3. Đóng cửa sinh thái. Hiện tại, các giải pháp CNTT và chuyển đổi kỹ thuật số trong mọi lĩnh vực của cuộc sống sử dụng một số lượng lớn các công nghệ và ứng dụng nguồn mở để xây dựng hệ sinh thái nguồn mở quy mô lớn, cho phép các tài năng CNTT và doanh nghiệp sử dụng các công nghệ liên quan, điều này rất hữu ích cho việc thương mại hóa sau này. Chẳng hạn, Microsoft, đối tác/nhà đầu tư của OpenAI, lần này cũng chọn trở thành đối tác chính của Llama 2, hỗ trợ các nhà phát triển cá nhân và công ty vừa và nhỏ gọi Llama 2 với chi phí thấp nhất, đây chắc chắn là một lợi ích lớn cho Azure.

Không phải tất cả các mô hình nguồn mở lớn đều có thể thành công và hệ sinh thái là con hào chính.

**Bánh quy sandwich, bạn đi đâu vậy? **

Cũng giống như hệ điều hành di động iOS và Android, cuộc cạnh tranh giữa mã nguồn mở và mã nguồn đóng không phải là cuộc chiến “sinh tử” trong một lĩnh vực nào đó, mà mỗi bên đi một con đường khác nhau và mở ra một thế giới riêng. Điều tương tự cũng xảy ra với các mô hình lớn.

Các mô hình quy mô lớn nguồn đóng được mở để chào đón khách hàng, các mô hình quy mô lớn nguồn mở đang bùng nổ và mọi người đều có một tương lai tươi sáng.

Trong trường hợp đó, tại sao một số chuyên gia tin rằng mã nguồn mở của Llama 2 là một bước nhảy vọt đối với nguồn mở, nhưng lại là một đòn giáng mạnh đối với các công ty mô hình lớn mã nguồn đóng?

Nó đã đánh ai?

Câu trả lời phải là đó là một nhà sản xuất mô hình quy mô lớn cơ bản không sẵn sàng chỉ là một lớp ứng dụng, nhưng cũng không thể áp đảo một nhà sản xuất lớn.

Các nhà nghiên cứu của Google đã từng viết rằng vì cộng đồng mã nguồn mở, chúng tôi (Google và OpenAI) không có lợi thế. Tuy nhiên, OpenAI cũng có các mô hình lớn mã nguồn đóng như GPT-4 là tính năng sát thủ của nó, chỉ khi buộc phải mã nguồn mở, nó mới xem xét mã nguồn mở GPT-3.5, có một lỗ hổng kỹ thuật trong đó. Hơn nữa mã nguồn mở của GPT-3.5 mới chỉ được truyền miệng, còn tiến độ cụ thể vẫn chưa rõ.

Do đó, các nhà sản xuất công nghệ hàng đầu và những gã khổng lồ trên nền tảng đám mây, chẳng hạn như Google, OpenAI ở nước ngoài và BATH trong nước, có lợi thế về thẻ, tiền, tài năng, dữ liệu, nhận thức về thị trường và cơ sở khách hàng.

Đây là một nỗi đau đối với những nhà sản xuất hạng hai và hạng ba muốn đào tạo mô hình lớn đa năng cơ bản.

Trước đây, các công ty công nghệ lớn nhỏ và các tổ chức nghiên cứu khoa học khác nhau trên thế giới đổ xô đào tạo các mô hình lớn cơ bản, chẳng hạn như một số kỳ lân AI thị giác máy, vô tình trở thành "bánh quy kẹp" giữa lớp cơ bản và lớp ứng dụng.

Nó không thể đánh bại GPT về sức mạnh và không thể đánh bại Llama về chi phí, mô hình lớn đa năng cơ bản được đào tạo đã lỗi thời trước khi chính thức mở cửa cho mục đích thương mại và nó đã được định sẵn là dĩ vãng. Thị trường không thể cạnh tranh với những người khổng lồ và mức độ mở không tốt bằng cộng đồng nguồn mở, gần như không thể thu hồi chi phí phát triển cao.

Có thể là một lựa chọn khôn ngoan để từ bỏ mô hình lớn càng sớm càng tốt.

Ví dụ, mô hình quy mô lớn của một công ty AI trong nước trước đây đã được tư nhân hóa với mức giá 300.000 nhân dân tệ một năm, sau đó được thông báo rằng nó hoàn toàn mở cửa cho nghiên cứu học thuật và được phép sử dụng thương mại miễn phí. Ngoài ra còn có khả năng thương mại hóa (chẳng hạn như Linux/Android/Red Hat) trong cộng đồng nguồn mở mô hình quy mô lớn, đồng thời có thể tránh "đối đầu" với mô hình quy mô lớn chung của người đứng đầu.

Đối với các nhà phát triển lớp ứng dụng và nhà tích hợp ISV, việc tận dụng tốt các mô hình lớn nguồn đóng với mức độ chấp nhận cao của ngành có thể cho phép khách hàng chấp nhận chúng nhanh hơn, phù hợp hơn với nhu cầu kinh doanh triển khai tùy chỉnh được tư nhân hóa, đồng thời hoàn thành mục tiêu thương mại và tăng trưởng doanh thu nhanh hơn.

Đối với các công ty khởi nghiệp về AI, mã nguồn mở có thể được sử dụng trực tiếp và tránh việc tạo bánh xe lặp đi lặp lại.Đó có thể là một phương pháp thương mại hóa thử và sai lý tưởng hơn và chi phí thấp."Báo cáo nhóm để sưởi ấm" góp phần vào các dự án mã nguồn mở quy mô lớn, thúc đẩy sự phát triển của các cộng đồng mã nguồn mở quy mô lớn, đồng thời cũng sẽ nhận được phản hồi của cộng đồng và phản hồi của doanh nghiệp.

Sự phát triển của mô hình quy mô lớn của Trung Quốc lên một tầm cao không chỉ đòi hỏi mô hình quy mô lớn nguồn đóng hàng đầu thế giới đi đầu mà còn phải có một cộng đồng mô hình quy mô lớn nguồn mở có ảnh hưởng thế giới.

Con đường trở ngại và dài, nhưng cuộc hành trình đang đến gần. Có thể mong muốn sử dụng một thái độ xây dựng để xem xét các tranh chấp về nguồn mở và nguồn đóng, cung cấp một số niềm tin cho mô hình lớn nguồn đóng trong nước, đồng thời đưa ra một số khuyến khích và hỗ trợ cho cộng đồng nguồn mở trong nước.