Lightspeed America: Tương lai của lớp cơ sở hạ tầng AI ở đâu?

Bản gốc: SenseAI

"Kể từ khi OpenAI ra mắt GPT-4 vào tháng 4 năm nay, ngày càng có nhiều mô hình có nguồn mở và trọng tâm của các tín đồ AI đang chuyển từ mô hình sang ứng dụng. Bài viết mới nhất của Lightspeed suy luận xu hướng phát triển của các mô hình AI và đề xuất tương lai. các mô hình lớn sẽ được chia thành ba loại mô hình và các cơ hội có thể có ở cấp độ mô hình sẽ được tổ chức một cách có cấu trúc. Nội dung của vấn đề này sẽ khiến bạn suy nghĩ về xu hướng phát triển và cơ hội của lớp cơ sở hạ tầng mô hình, bao gồm Lớp giữa của AI Ops."

Tư duy cảm tính

Chúng tôi cố gắng đưa ra những suy luận khác biệt và suy nghĩ sâu sắc hơn dựa trên nội dung bài viết, hoan nghênh các bạn trao đổi.

Theo khả năng và chi phí của mô hình, các mô hình AI sẽ được chia thành "mô hình não", "mô hình thách thức" và "mô hình đuôi dài". Mô hình đuôi dài nhỏ và linh hoạt, phù hợp hơn để đào tạo các mô hình chuyên gia cho các lĩnh vực được chia nhỏ. Định luật Moore có tính tuần hoàn chồng chất, trong tương lai sẽ không có sự tắc nghẽn về sức mạnh tính toán, rất khó để loại bỏ các kịch bản ứng dụng của mô hình não bộ, thị trường có thể sẽ chọn một mô hình phù hợp theo quy mô không gian của kịch bản ứng dụng và các quy tắc phân phối của chuỗi giá trị.

Các cơ hội hệ thống mới nổi về phía mô hình: 1) khung đánh giá mô hình; 2) vận hành và duy trì mô hình; 3) tăng cường hệ thống. Điều cần được xem xét là sự khác biệt ở các thị trường khác nhau giữa Trung Quốc và Hoa Kỳ, hệ sinh thái dịch vụ kinh doanh ban đầu và ưu đãi về vốn.

Cơ hội nền tảng RAG (Tăng cường truy xuất) cấp doanh nghiệp: cơ hội do độ phức tạp và đa dạng của mô hình mang lại, 1) công cụ vận hành: khả năng quan sát, bảo mật, tuân thủ; 2) dữ liệu: trong việc phân biệt giá trị kinh doanh và cung cấp cho toàn xã hội Về mặt giá trị, công nghệ sẽ mang lại cơ hội kiếm tiền từ dữ liệu.

Bài viết này có tổng cộng 2426 từ và mất khoảng 7 phút để đọc kỹ.

Trong thập kỷ qua, Lightspeed, một quỹ kỳ cựu của Hoa Kỳ, đã làm việc với các công ty xuất sắc trong lĩnh vực AI/ML, nền tảng mà họ xây dựng và khách hàng mà họ phục vụ để hiểu rõ hơn cách các doanh nghiệp nghĩ về Gen-AI. Cụ thể, Lightspeed đã nghiên cứu hệ sinh thái mô hình cơ bản và đặt các câu hỏi như “Liệu mô hình tốt nhất sẽ có động lực thắng tất cả?” và “Các trường hợp sử dụng của doanh nghiệp có gọi API của OpenAI theo mặc định hay mục đích sử dụng thực tế sẽ là Đa dạng hóa hơn? " và như thế. Câu trả lời sẽ quyết định hướng phát triển trong tương lai của hệ sinh thái này và dòng chảy năng lượng, tài năng và vốn.

##01. Phân loại hệ sinh thái mô hình

Dựa trên những gì chúng tôi tìm hiểu được, chúng tôi tin rằng sự bùng nổ của các mô hình AI trong kỷ Cambri sắp xảy ra. Các nhà phát triển và doanh nghiệp sẽ chọn mô hình phù hợp nhất với “công việc cần thực hiện”, mặc dù việc sử dụng trong giai đoạn thăm dò có vẻ được chú trọng hơn. Con đường khả dĩ để doanh nghiệp áp dụng là sử dụng các mô hình lớn để khám phá, dần dần chuyển sang các mô hình chuyên biệt nhỏ hơn (đã điều chỉnh + tinh chỉnh) để sử dụng trong sản xuất khi hiểu biết của họ về trường hợp sử dụng tăng lên. Sơ đồ bên dưới phác thảo cách chúng ta nhìn nhận sự phát triển của hệ sinh thái mô hình cơ bản.

Bối cảnh mô hình AI có thể được chia thành 3 loại chính, có khả năng chồng chéo:

Loại 1: Mô hình “Bộ não”

Đây là những mô hình tốt nhất và đại diện cho sự tiên tiến của mô hình. Đây là nơi bắt nguồn của những bản demo thú vị và kỳ diệu đó. Những mô hình này thường là điều đầu tiên các nhà phát triển cân nhắc khi cố gắng khám phá giới hạn của những gì AI có thể làm cho ứng dụng của họ. Những mô hình này tốn kém để đào tạo và phức tạp để duy trì và mở rộng. Nhưng mô hình tương tự có thể thi LSAT, MCAT, viết bài luận ở trường trung học và tương tác với bạn dưới dạng chatbot. Các nhà phát triển hiện đang tiến hành thử nghiệm trên các mô hình này và đánh giá việc sử dụng AI trong các ứng dụng doanh nghiệp.

Tuy nhiên, các mô hình chung thường đắt tiền khi sử dụng, có độ trễ suy luận cao và có thể quá mức cần thiết đối với các trường hợp sử dụng hạn chế được xác định rõ ràng. Vấn đề thứ hai là những mô hình này mang tính tổng quát và có thể kém chính xác hơn trong các nhiệm vụ chuyên biệt. (Xem bài báo Cornell này.) Cuối cùng, trong hầu hết các trường hợp, chúng cũng là hộp đen, có thể tạo ra những thách thức về quyền riêng tư và bảo mật cho các doanh nghiệp đang cố gắng tận dụng những mô hình này mà không từ bỏ tài sản dữ liệu của mình. OpenAI, Anthropic, Cohere là một số ví dụ về các công ty.

Loại 2: Người mẫu "Thử thách"

Đây cũng là những mô hình có công suất cao, với các kỹ năng và khả năng chỉ đứng sau các mô hình lớn có mục đích chung trước đó. Llama 2 và Falcon là những đại diện xuất sắc nhất ở hạng mục này. Chúng thường tốt như mẫu Gen "N-1" hoặc "N-2" của công ty đã đào tạo mẫu chung. Ví dụ: theo một số điểm chuẩn, Llama2 hoạt động tốt như GPT-3.5-turbo. Việc điều chỉnh các mô hình này trên dữ liệu doanh nghiệp có thể làm cho chúng hoạt động tốt như các mô hình lớn có mục đích chung hạng nhất trong các nhiệm vụ cụ thể.

Nhiều mô hình trong số này là nguồn mở (hoặc gần giống) và sau khi được phát hành, ngay lập tức mang lại những cải tiến và tối ưu hóa từ cộng đồng nguồn mở.

Loại 3: Mẫu "Đuôi dài"

Đây là những mô hình "chuyên gia". Chúng được xây dựng để phục vụ một mục đích cụ thể, chẳng hạn như phân loại tài liệu, xác định các thuộc tính cụ thể trong hình ảnh hoặc video, xác định các mẫu trong dữ liệu kinh doanh, v.v. Những mô hình này linh hoạt, chi phí đào tạo và sử dụng rẻ, đồng thời có thể chạy trong trung tâm dữ liệu hoặc ở biên.

Nhìn lướt qua Ôm Mặt là đủ để hiểu quy mô tuyệt đối của hệ sinh thái này, cả hiện tại và tương lai, vì nó phục vụ nhiều trường hợp sử dụng.

##02. Điều chỉnh cơ bản và trường hợp thực tế

Mặc dù vẫn còn ở giai đoạn đầu nhưng chúng tôi đã thấy một số nhóm phát triển và doanh nghiệp hàng đầu suy nghĩ về hệ sinh thái theo cách tinh tế này. Người ta muốn kết hợp việc sử dụng với mô hình tốt nhất có thể. Thậm chí sử dụng nhiều mô hình để phục vụ trường hợp sử dụng phức tạp hơn.

Các yếu tố để đánh giá mô hình/mô hình nào sẽ sử dụng thường bao gồm:

1. Yêu cầu tuân thủ và quyền riêng tư của dữ liệu: Điều này ảnh hưởng đến việc mô hình có cần chạy trên cơ sở hạ tầng doanh nghiệp hay liệu dữ liệu có thể được gửi đến điểm cuối suy luận được lưu trữ bên ngoài hay không

2. Mô hình có cho phép tinh chỉnh hay không

3. Mức độ suy luận mong muốn “hiệu suất” (độ trễ, độ chính xác, chi phí, v.v.)

Tuy nhiên, trên thực tế, các yếu tố cần xem xét thường dài hơn nhiều so với những yếu tố được liệt kê ở trên, phản ánh sự đa dạng lớn về các trường hợp sử dụng mà các nhà phát triển hy vọng đạt được với AI.

##03. Cơ hội ở đâu?

1. Khung đánh giá mô hình: Doanh nghiệp sẽ cần quyền truy cập vào các công cụ và chuyên môn để giúp đánh giá nên sử dụng mô hình nào cho trường hợp sử dụng nào. Các nhà phát triển cần quyết định cách tốt nhất để đánh giá liệu một mô hình cụ thể có phù hợp với "công việc cần thực hiện" hay không. Việc đánh giá cần xem xét nhiều yếu tố, bao gồm không chỉ hiệu suất của mô hình mà còn cả chi phí, mức độ kiểm soát có thể được thực hiện, v.v.

2. Chạy và duy trì các mô hình: Các nền tảng sẽ xuất hiện để giúp các công ty đào tạo, tinh chỉnh và chạy các mô hình (đặc biệt là loại mô hình đuôi dài thứ ba). Theo truyền thống, các nền tảng này thường được gọi rộng rãi là nền tảng ML Ops và chúng tôi hy vọng định nghĩa này cũng sẽ mở rộng sang AI tổng hợp. Các nền tảng như Databricks, Weights and Biases, Tecton, v.v. đang nhanh chóng chuyển động theo hướng này.

3. Hệ thống tăng cường: Các mô hình, đặc biệt là LLM được lưu trữ, yêu cầu tạo tăng cường truy xuất để mang lại kết quả mong muốn. Điều này đòi hỏi một loạt các quyết định hỗ trợ, bao gồm

Trích xuất dữ liệu và siêu dữ liệu: Cách kết nối với các nguồn dữ liệu doanh nghiệp có cấu trúc và không có cấu trúc, sau đó trích xuất dữ liệu và siêu dữ liệu như chính sách truy cập.

Tạo dữ liệu và nhúng lưu trữ: Mô hình nào được sử dụng để tạo các phần nhúng cho dữ liệu. Và sau đó làm cách nào để lưu trữ chúng: Cơ sở dữ liệu vectơ nào sẽ được sử dụng, đặc biệt dựa trên hiệu suất, quy mô và chức năng cần thiết?

Có cơ hội xây dựng nền tảng RAG cấp doanh nghiệp giúp loại bỏ sự phức tạp của việc lựa chọn và kết hợp các nền tảng này lại với nhau:

1. Công cụ vận hành: CNTT doanh nghiệp sẽ cần xây dựng các rào chắn cho các nhóm kỹ thuật, quản lý chi phí, v.v., tất cả các nhiệm vụ phát triển phần mềm mà họ xử lý giờ đây sẽ cần được mở rộng sang việc sử dụng AI. Các lĩnh vực mà bộ phận CNTT quan tâm bao gồm

Khả năng quan sát: Mô hình sẽ hoạt động như thế nào trong sản xuất? Hiệu suất của họ có cải thiện/suy giảm theo thời gian không? Có kiểu sử dụng nào có thể ảnh hưởng đến việc lựa chọn mô hình ứng dụng cho các bản phát hành trong tương lai không?

Bảo mật: Cách giữ an toàn cho các ứng dụng gốc AI. Các ứng dụng này có dễ bị tấn công bởi các phương thức tấn công mới yêu cầu nền tảng mới không?

Tuân thủ: Chúng tôi hy vọng rằng việc sử dụng các ứng dụng gốc AI và LLM sẽ cần phải tuân thủ khuôn khổ mà các cơ quan quản lý liên quan đã bắt đầu phát triển. Điều này bổ sung cho các hệ thống tuân thủ hiện có như quyền riêng tư, bảo mật, bảo vệ người tiêu dùng và sự công bằng. Các doanh nghiệp sẽ cần những nền tảng có thể giúp họ tuân thủ, tiến hành kiểm tra, tạo chứng chỉ tuân thủ và các nhiệm vụ liên quan.

2. Dữ liệu: Các nền tảng giúp hiểu rõ tài sản dữ liệu mà tổ chức có và cách tận dụng chúng để thu được giá trị tối đa từ các mô hình AI mới sẽ được áp dụng nhanh chóng. Một trong những công ty phần mềm lớn nhất thế giới đã từng nói với chúng tôi: "Dữ liệu của chúng tôi là con hào, tài sản trí tuệ cốt lõi và lợi thế cạnh tranh của chúng tôi. Sử dụng trí tuệ nhân tạo để kiếm tiền từ dữ liệu này và sử dụng nó theo cách" "Tạo điều kiện cho sự khác biệt mà không làm suy yếu khả năng phòng thủ" là chìa khóa. Các nền tảng như Snorkel đóng một vai trò quan trọng trong vấn đề này.

Bây giờ là thời điểm tuyệt vời để xây dựng nền tảng cơ sở hạ tầng AI. Ứng dụng trí tuệ nhân tạo sẽ tiếp tục biến đổi toàn bộ các ngành công nghiệp, nhưng nó đòi hỏi cơ sở hạ tầng hỗ trợ, phần mềm trung gian, bảo mật, khả năng quan sát và nền tảng vận hành để cho phép mọi doanh nghiệp trên hành tinh áp dụng công nghệ mạnh mẽ này.

Người giới thiệu

Tác giả: Vela, Yihao, Leo

Biên tập và sắp chữ: Zoey, Vela