Web3 đã thất bại trong việc lật đổ Web2, nhưng nhóm phát triển mô hình lớn mới nổi đang cho phép các nhà phát triển chuyển từ kỷ nguyên "bản địa đám mây" sang nhóm công nghệ AI mới.
Các kỹ sư nhanh chóng có thể không chạm đến được sự căng thẳng của các nhà phát triển để lao vào các mô hình lớn, nhưng lời nói của các nhà quản lý hoặc lãnh đạo sản phẩm: Liệu một "tác nhân" có thể được phát triển, một "chuỗi" có thể được triển khai và "Sử dụng cơ sở dữ liệu vectơ nào" ?" Sinh viên công nghệ điều khiển tại các công ty ứng dụng mô hình lớn chính thống vượt qua những khó khăn trong việc tạo ra sự phát triển AI.
Vì vậy, các lớp của ngăn xếp công nghệ mới nổi là gì? Phần khó khăn nhất là ở đâu? Bài viết này sẽ đưa bạn đi tìm hiểu.
Kho công nghệ cần được cập nhật và các nhà phát triển đang mở ra kỷ nguyên của các kỹ sư AI.
Trong năm qua, sự xuất hiện của các công cụ như LangChain và LlamaIndex đã cho phép hệ sinh thái nhà phát triển ứng dụng AI trưởng thành. Theo Shawn @swyx Wang, người ủng hộ nó, thậm chí còn có một thuật ngữ để mô tả các nhà phát triển tập trung vào trí tuệ nhân tạo: "Kỹ sư AI", đây là bước tiếp theo của "kỹ sư tiền boa". Anh ấy cũng tạo ra một biểu đồ trực quan hóa nơi các kỹ sư AI phù hợp với hệ sinh thái AI rộng lớn hơn:
Nguồn ảnh: swyx
Mô hình ngôn ngữ lớn (LLM) là công nghệ cốt lõi của các kỹ sư AI. Không phải ngẫu nhiên mà cả LangChain và LlamaIndex đều là những công cụ mở rộng và bổ sung cho LLM. Nhưng những công cụ nào khác có sẵn cho loại nhà phát triển mới này?
Cho đến nay, sơ đồ tốt nhất mà tôi từng thấy về ngăn xếp LLM đến từ công ty đầu tư mạo hiểm Andreessen Horowitz (a16z). Đây là những gì nó nói về “ngăn xếp ứng dụng LLM”:
Nguồn ảnh: a16z
Đúng vậy, cấp cao nhất vẫn là dữ liệu.
Rõ ràng, điều quan trọng nhất trong kho công nghệ LLM là dữ liệu. Trong sơ đồ của a16z, đây là lớp trên cùng. "Mô hình nhúng" là nơi LLM xuất hiện - bạn có thể chọn từ OpenAI, Cohere, Ôm mặt hoặc hàng tá tùy chọn LLM khác, bao gồm LLM nguồn mở ngày càng phổ biến.
Nhưng ngay cả trước khi sử dụng LLM, bạn cần phải thiết lập một "đường dẫn dữ liệu" - nó liệt kê Databricks và Airflow làm hai ví dụ hoặc dữ liệu có thể được xử lý "không có cấu trúc". Điều này cũng phù hợp với chu trình dữ liệu và có thể giúp doanh nghiệp "dọn dẹp" hoặc đơn giản là sắp xếp dữ liệu trước khi nhập vào LLM tùy chỉnh. Các công ty "thông minh dữ liệu" như Alation cung cấp loại dịch vụ này - nghe có vẻ hơi giống các công cụ như "kinh doanh thông minh" được biết đến nhiều hơn trong ngành công nghệ CNTT.
Phần cuối cùng của lớp dữ liệu là cơ sở dữ liệu vectơ nổi tiếng gần đây để lưu trữ và xử lý dữ liệu LLM. Theo định nghĩa của Microsoft, đây là "cơ sở dữ liệu lưu trữ dữ liệu dưới dạng vectơ chiều cao, là biểu diễn toán học của các tính năng hoặc thuộc tính." Dữ liệu được lưu trữ dưới dạng vectơ thông qua công nghệ gọi là "nhúng".
Nhà cung cấp cơ sở dữ liệu vectơ hàng đầu Pinecone đã lưu ý trong một cuộc trò chuyện trên phương tiện truyền thông rằng các công cụ của Pinecone thường được sử dụng với các công cụ đường dẫn dữ liệu như Databricks. Trong trường hợp này, dữ liệu thường nằm ở nơi khác (ví dụ: hồ dữ liệu), sau đó được chuyển thành dạng nhúng thông qua mô hình học máy. Sau khi dữ liệu được xử lý và phân đoạn, các vectơ kết quả sẽ được gửi đến Pinecone.
Mẹo và truy vấn
Hai lớp tiếp theo có thể được tóm tắt dưới dạng lời nhắc và truy vấn - đây là nơi ứng dụng AI giao tiếp với LLM và (tùy chọn) các công cụ dữ liệu khác. A16z định vị LangChain và LlamaIndex là "khung điều phối", nghĩa là các nhà phát triển có thể sử dụng các công cụ này khi họ biết họ đang sử dụng LLM nào.
Theo a16z, các khung điều phối như LangChain và LlamaIndex “tóm tắt nhiều chi tiết về liên kết nhanh chóng”, nghĩa là truy vấn và quản lý dữ liệu giữa ứng dụng và LLM. Quá trình điều phối này bao gồm giao tiếp với các API bên ngoài, truy xuất dữ liệu ngữ cảnh từ cơ sở dữ liệu vectơ và duy trì bộ nhớ qua nhiều lệnh gọi LLM. Hộp thú vị nhất trong biểu đồ của a16z là "Sân chơi", bao gồm OpenAI, nat.dev và Humanloop.
A16z không định nghĩa chính xác nó trong bài đăng trên blog, nhưng chúng ta có thể suy ra rằng công cụ "sân chơi" giúp các nhà phát triển thực hiện cái mà A16z gọi là "cue jiu-jitsu". Ở những nơi này, nhà phát triển có thể thử nghiệm nhiều kỹ thuật nhắc nhở khác nhau.
Humanloop là một công ty của Anh có nền tảng có tính năng "không gian làm việc cộng tác nhanh chóng". Nó còn tự mô tả mình là "bộ công cụ phát triển hoàn chỉnh cho chức năng LLM sản xuất". Vì vậy, về cơ bản, nó cho phép bạn thử nội dung LLM và sau đó triển khai nó vào ứng dụng của bạn nếu nó hoạt động.
Vận hành đường ống: LLMOps
Dây chuyền lắp ráp sản xuất mô hình lớn giờ đây đang dần trở nên rõ ràng hơn. Ở bên phải hộp điều phối là một số hộp thao tác, bao gồm bộ nhớ đệm và xác minh LLM. Ngoài ra còn có một loạt các dịch vụ API và đám mây liên quan đến LLM, bao gồm các kho lưu trữ API mở như Hugging Face và các nhà cung cấp API độc quyền như OpenAI.
Đây có lẽ là nơi tương tự nhất trong kho công nghệ dành cho nhà phát triển mà chúng ta đã quen thuộc trong kỷ nguyên "bản địa đám mây" và không phải ngẫu nhiên mà nhiều công ty DevOps đã bổ sung trí tuệ nhân tạo vào danh sách sản phẩm của họ. Vào tháng 5, tôi đã nói chuyện với Giám đốc điều hành Harness Jyoti Bansal. Harness chạy một "nền tảng phân phối phần mềm" tập trung vào phần "CD" của quy trình CI/CD.
Bansai nói với tôi rằng AI có thể giảm bớt các nhiệm vụ tẻ nhạt và lặp đi lặp lại trong vòng đời phân phối phần mềm, từ việc tạo ra các thông số kỹ thuật dựa trên chức năng hiện có đến viết mã. Ngoài ra, ông cho biết AI có thể tự động hóa việc đánh giá mã, kiểm tra lỗ hổng, sửa lỗi và thậm chí tạo quy trình CI/CD để xây dựng và triển khai. Theo một cuộc trò chuyện khác của tôi vào tháng 5, AI cũng đang thay đổi năng suất của nhà phát triển. Trisha Gee từ công cụ tự động hóa xây dựng Gradle nói với tôi rằng AI có thể tăng tốc độ phát triển bằng cách giảm thời gian thực hiện các tác vụ lặp đi lặp lại, như viết mã soạn sẵn và cho phép các nhà phát triển tập trung vào bức tranh toàn cảnh, như đảm bảo mã đáp ứng nhu cầu kinh doanh.
Web3 không còn nữa, sắp có nhóm phát triển mô hình lớn
Trong nhóm công nghệ phát triển LLM mới nổi, chúng tôi thấy một loạt loại sản phẩm mới, chẳng hạn như khung điều phối (LangChain và LlamaIndex), cơ sở dữ liệu vectơ và nền tảng "sân chơi" như Humanloop. Tất cả những điều này mở rộng và/hoặc bổ sung cho công nghệ cốt lõi cơ bản của thời đại này: các mô hình ngôn ngữ lớn.
Giống như sự nổi lên của các công cụ dựa trên nền tảng đám mây như Spring Cloud và Kubernetes trong những năm trước. Tuy nhiên, hiện tại, hầu hết tất cả các công ty lớn, nhỏ và hàng đầu trong kỷ nguyên đám mây gốc đang cố gắng hết sức để điều chỉnh các công cụ của họ phù hợp với kỹ thuật AI, điều này sẽ rất có lợi cho sự phát triển trong tương lai của nhóm công nghệ LLM.
Đúng vậy, lần này mô hình lớn dường như đang “đứng trên vai người khổng lồ”, những cải tiến tốt nhất trong công nghệ máy tính luôn được xây dựng trên nền tảng trước đó. Có lẽ đó là lý do tại sao cuộc cách mạng "Web3" thất bại - nó không dựa nhiều vào thế hệ trước mà cố gắng chiếm đoạt nó.
Rõ ràng là nhóm công nghệ LLM dường như đã làm được điều đó, nó là cầu nối từ kỷ nguyên phát triển đám mây đến một hệ sinh thái nhà phát triển dựa trên AI mới hơn.
Liên kết tham khảo:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Kho phát triển mô hình lớn đã sẵn sàng!
Tác giả | Richard MacManus
Lập kế hoạch | Bình luận
Nguồn丨Ngăn xếp công nghệ 51CTO
Web3 đã thất bại trong việc lật đổ Web2, nhưng nhóm phát triển mô hình lớn mới nổi đang cho phép các nhà phát triển chuyển từ kỷ nguyên "bản địa đám mây" sang nhóm công nghệ AI mới.
Các kỹ sư nhanh chóng có thể không chạm đến được sự căng thẳng của các nhà phát triển để lao vào các mô hình lớn, nhưng lời nói của các nhà quản lý hoặc lãnh đạo sản phẩm: Liệu một "tác nhân" có thể được phát triển, một "chuỗi" có thể được triển khai và "Sử dụng cơ sở dữ liệu vectơ nào" ?" Sinh viên công nghệ điều khiển tại các công ty ứng dụng mô hình lớn chính thống vượt qua những khó khăn trong việc tạo ra sự phát triển AI.
Vì vậy, các lớp của ngăn xếp công nghệ mới nổi là gì? Phần khó khăn nhất là ở đâu? Bài viết này sẽ đưa bạn đi tìm hiểu.
Kho công nghệ cần được cập nhật và các nhà phát triển đang mở ra kỷ nguyên của các kỹ sư AI.
Trong năm qua, sự xuất hiện của các công cụ như LangChain và LlamaIndex đã cho phép hệ sinh thái nhà phát triển ứng dụng AI trưởng thành. Theo Shawn @swyx Wang, người ủng hộ nó, thậm chí còn có một thuật ngữ để mô tả các nhà phát triển tập trung vào trí tuệ nhân tạo: "Kỹ sư AI", đây là bước tiếp theo của "kỹ sư tiền boa". Anh ấy cũng tạo ra một biểu đồ trực quan hóa nơi các kỹ sư AI phù hợp với hệ sinh thái AI rộng lớn hơn:
Mô hình ngôn ngữ lớn (LLM) là công nghệ cốt lõi của các kỹ sư AI. Không phải ngẫu nhiên mà cả LangChain và LlamaIndex đều là những công cụ mở rộng và bổ sung cho LLM. Nhưng những công cụ nào khác có sẵn cho loại nhà phát triển mới này?
Cho đến nay, sơ đồ tốt nhất mà tôi từng thấy về ngăn xếp LLM đến từ công ty đầu tư mạo hiểm Andreessen Horowitz (a16z). Đây là những gì nó nói về “ngăn xếp ứng dụng LLM”:
Đúng vậy, cấp cao nhất vẫn là dữ liệu.
Rõ ràng, điều quan trọng nhất trong kho công nghệ LLM là dữ liệu. Trong sơ đồ của a16z, đây là lớp trên cùng. "Mô hình nhúng" là nơi LLM xuất hiện - bạn có thể chọn từ OpenAI, Cohere, Ôm mặt hoặc hàng tá tùy chọn LLM khác, bao gồm LLM nguồn mở ngày càng phổ biến.
Nhưng ngay cả trước khi sử dụng LLM, bạn cần phải thiết lập một "đường dẫn dữ liệu" - nó liệt kê Databricks và Airflow làm hai ví dụ hoặc dữ liệu có thể được xử lý "không có cấu trúc". Điều này cũng phù hợp với chu trình dữ liệu và có thể giúp doanh nghiệp "dọn dẹp" hoặc đơn giản là sắp xếp dữ liệu trước khi nhập vào LLM tùy chỉnh. Các công ty "thông minh dữ liệu" như Alation cung cấp loại dịch vụ này - nghe có vẻ hơi giống các công cụ như "kinh doanh thông minh" được biết đến nhiều hơn trong ngành công nghệ CNTT.
Phần cuối cùng của lớp dữ liệu là cơ sở dữ liệu vectơ nổi tiếng gần đây để lưu trữ và xử lý dữ liệu LLM. Theo định nghĩa của Microsoft, đây là "cơ sở dữ liệu lưu trữ dữ liệu dưới dạng vectơ chiều cao, là biểu diễn toán học của các tính năng hoặc thuộc tính." Dữ liệu được lưu trữ dưới dạng vectơ thông qua công nghệ gọi là "nhúng".
Nhà cung cấp cơ sở dữ liệu vectơ hàng đầu Pinecone đã lưu ý trong một cuộc trò chuyện trên phương tiện truyền thông rằng các công cụ của Pinecone thường được sử dụng với các công cụ đường dẫn dữ liệu như Databricks. Trong trường hợp này, dữ liệu thường nằm ở nơi khác (ví dụ: hồ dữ liệu), sau đó được chuyển thành dạng nhúng thông qua mô hình học máy. Sau khi dữ liệu được xử lý và phân đoạn, các vectơ kết quả sẽ được gửi đến Pinecone.
Mẹo và truy vấn
Hai lớp tiếp theo có thể được tóm tắt dưới dạng lời nhắc và truy vấn - đây là nơi ứng dụng AI giao tiếp với LLM và (tùy chọn) các công cụ dữ liệu khác. A16z định vị LangChain và LlamaIndex là "khung điều phối", nghĩa là các nhà phát triển có thể sử dụng các công cụ này khi họ biết họ đang sử dụng LLM nào.
Theo a16z, các khung điều phối như LangChain và LlamaIndex “tóm tắt nhiều chi tiết về liên kết nhanh chóng”, nghĩa là truy vấn và quản lý dữ liệu giữa ứng dụng và LLM. Quá trình điều phối này bao gồm giao tiếp với các API bên ngoài, truy xuất dữ liệu ngữ cảnh từ cơ sở dữ liệu vectơ và duy trì bộ nhớ qua nhiều lệnh gọi LLM. Hộp thú vị nhất trong biểu đồ của a16z là "Sân chơi", bao gồm OpenAI, nat.dev và Humanloop.
A16z không định nghĩa chính xác nó trong bài đăng trên blog, nhưng chúng ta có thể suy ra rằng công cụ "sân chơi" giúp các nhà phát triển thực hiện cái mà A16z gọi là "cue jiu-jitsu". Ở những nơi này, nhà phát triển có thể thử nghiệm nhiều kỹ thuật nhắc nhở khác nhau.
Humanloop là một công ty của Anh có nền tảng có tính năng "không gian làm việc cộng tác nhanh chóng". Nó còn tự mô tả mình là "bộ công cụ phát triển hoàn chỉnh cho chức năng LLM sản xuất". Vì vậy, về cơ bản, nó cho phép bạn thử nội dung LLM và sau đó triển khai nó vào ứng dụng của bạn nếu nó hoạt động.
Vận hành đường ống: LLMOps
Dây chuyền lắp ráp sản xuất mô hình lớn giờ đây đang dần trở nên rõ ràng hơn. Ở bên phải hộp điều phối là một số hộp thao tác, bao gồm bộ nhớ đệm và xác minh LLM. Ngoài ra còn có một loạt các dịch vụ API và đám mây liên quan đến LLM, bao gồm các kho lưu trữ API mở như Hugging Face và các nhà cung cấp API độc quyền như OpenAI.
Đây có lẽ là nơi tương tự nhất trong kho công nghệ dành cho nhà phát triển mà chúng ta đã quen thuộc trong kỷ nguyên "bản địa đám mây" và không phải ngẫu nhiên mà nhiều công ty DevOps đã bổ sung trí tuệ nhân tạo vào danh sách sản phẩm của họ. Vào tháng 5, tôi đã nói chuyện với Giám đốc điều hành Harness Jyoti Bansal. Harness chạy một "nền tảng phân phối phần mềm" tập trung vào phần "CD" của quy trình CI/CD.
Bansai nói với tôi rằng AI có thể giảm bớt các nhiệm vụ tẻ nhạt và lặp đi lặp lại trong vòng đời phân phối phần mềm, từ việc tạo ra các thông số kỹ thuật dựa trên chức năng hiện có đến viết mã. Ngoài ra, ông cho biết AI có thể tự động hóa việc đánh giá mã, kiểm tra lỗ hổng, sửa lỗi và thậm chí tạo quy trình CI/CD để xây dựng và triển khai. Theo một cuộc trò chuyện khác của tôi vào tháng 5, AI cũng đang thay đổi năng suất của nhà phát triển. Trisha Gee từ công cụ tự động hóa xây dựng Gradle nói với tôi rằng AI có thể tăng tốc độ phát triển bằng cách giảm thời gian thực hiện các tác vụ lặp đi lặp lại, như viết mã soạn sẵn và cho phép các nhà phát triển tập trung vào bức tranh toàn cảnh, như đảm bảo mã đáp ứng nhu cầu kinh doanh.
Web3 không còn nữa, sắp có nhóm phát triển mô hình lớn
Trong nhóm công nghệ phát triển LLM mới nổi, chúng tôi thấy một loạt loại sản phẩm mới, chẳng hạn như khung điều phối (LangChain và LlamaIndex), cơ sở dữ liệu vectơ và nền tảng "sân chơi" như Humanloop. Tất cả những điều này mở rộng và/hoặc bổ sung cho công nghệ cốt lõi cơ bản của thời đại này: các mô hình ngôn ngữ lớn.
Giống như sự nổi lên của các công cụ dựa trên nền tảng đám mây như Spring Cloud và Kubernetes trong những năm trước. Tuy nhiên, hiện tại, hầu hết tất cả các công ty lớn, nhỏ và hàng đầu trong kỷ nguyên đám mây gốc đang cố gắng hết sức để điều chỉnh các công cụ của họ phù hợp với kỹ thuật AI, điều này sẽ rất có lợi cho sự phát triển trong tương lai của nhóm công nghệ LLM.
Đúng vậy, lần này mô hình lớn dường như đang “đứng trên vai người khổng lồ”, những cải tiến tốt nhất trong công nghệ máy tính luôn được xây dựng trên nền tảng trước đó. Có lẽ đó là lý do tại sao cuộc cách mạng "Web3" thất bại - nó không dựa nhiều vào thế hệ trước mà cố gắng chiếm đoạt nó.
Rõ ràng là nhóm công nghệ LLM dường như đã làm được điều đó, nó là cầu nối từ kỷ nguyên phát triển đám mây đến một hệ sinh thái nhà phát triển dựa trên AI mới hơn.
Liên kết tham khảo: