Bản phát hành mới nhất của nhóm LangChain: LangSmith, một nền tảng phát triển ứng dụng mô hình quy mô lớn, cho phép đưa LLM vào ứng dụng thực tế

Langchain, đã nhận được khoản tài trợ 10 triệu đô la Mỹ vào tháng 3, chắc hẳn mọi người đều biết, là một khung phát triển tích hợp nguồn mở, nó có thể giúp người dùng nhanh chóng xây dựng một ứng dụng nguyên mẫu LLM. Tuy nhiên, vẫn còn một chặng đường dài để đi từ các nguyên mẫu mô hình LLM đơn giản đến các ứng dụng sản xuất thực tế. ** Vào ngày 18 tháng 7, Langchain tiếp tục phát hành nền tảng phát triển ứng dụng quy mô lớn LangSmith, với hy vọng cho phép các nhà phát triển nhanh chóng xây dựng một ứng dụng LLM có thể đưa vào môi trường sản xuất thực tế. **

Nguồn gốc: tư duy sâu SenseAI

Nguồn hình ảnh: Được tạo bởi Unbounded AI‌

Hỗ trợ công cụ cho các mô hình ngôn ngữ lớn (LLM) vẫn còn sơ khai. Do tính chất tự nhiên và năng động của LLM, các công cụ phần mềm truyền thống thường không thể đáp ứng đầy đủ nhu cầu của các mô hình này.

Đó là nơi LangChain và LangSmith xuất hiện.

Trong bài đăng này, chúng ta sẽ khám phá ưu đãi mới nhất từ nhóm đã tạo ra Langchain (công cụ phần mềm LLM phổ biến nhất) và xem xét các vấn đề mới mà LangSmith hy vọng sẽ giải quyết trong ngăn xếp LLM.

**01. LangSmith là gì? **

Khi Langchain ban đầu được tạo ra, mục tiêu là hạ thấp rào cản gia nhập để xây dựng các mô hình LLM. Mặc dù đã có một số tranh luận về khả năng tồn tại của Langchain như một công cụ, nhưng phần lớn nó đã đạt được mục tiêu này. Sau khi giải quyết vấn đề nguyên mẫu, vấn đề tiếp theo là giúp các ứng dụng này phát triển và đảm bảo rằng nó được triển khai một cách đáng tin cậy và có thể bảo trì được. Tư duy đơn giản là:

Langchain = Nguyên mẫu

LangSmith = Ứng dụng

**Nhưng những thách thức ít liên quan hơn trong việc tạo nguyên mẫu cần được giải quyết trong quá trình phát triển là gì? **

Độ tin cậy - Thật dễ dàng để xây dựng chức năng hoạt động cho các ví dụ đơn giản, hạn chế, nhưng việc xây dựng một ứng dụng LLM nhất quán đáp ứng hầu hết các yêu cầu của công ty thực sự khá khó khăn.

Để giải quyết vấn đề này, LangSmith cung cấp chức năng mới xung quanh 5 trụ cột cốt lõi sau:

• Gỡ lỗi
• Bài kiểm tra
• Đánh giá
• giám sát
• Số liệu sử dụng

Một trong những giá trị tuyệt vời của LangSmith là khả năng thực hiện tất cả các hoạt động này thông qua giao diện người dùng đơn giản và trực quan, giúp giảm đáng kể rào cản gia nhập cho các nhà phát triển không có nền tảng phần mềm.

Nhiều tính năng của LLM không trực quan theo quan điểm số, vì vậy giao diện trực quan sẽ rất hữu ích. Các tác giả nhận thấy rằng việc có một giao diện người dùng được thiết kế tốt thực sự có thể tăng tốc độ tạo mẫu và mang lại hiệu quả cho người dùng, vì làm mọi thứ chỉ với mã thường có thể rất tẻ nhạt.

Ngoài ra, việc có thể trực quan hóa quy trình và chuỗi lệnh phức tạp của hệ thống LLM rất hữu ích trong việc hiểu lý do tại sao bạn nhận được một kết quả nhất định. Khi người dùng xây dựng các quy trình công việc phức tạp hơn, có thể khó hiểu chính xác cách các truy vấn được chuyển qua các quy trình khác nhau, do đó, việc có thể xem các quy trình này và ghi lại dữ liệu lịch sử thông qua một giao diện đơn giản sẽ là dịch vụ giá trị gia tăng hàng đầu.

**02. Ai đang cạnh tranh với LangSmith? **

Mặc dù chưa phải là đối thủ cạnh tranh trực tiếp, nhưng sẽ rất hợp lý nếu một tổ chức như Vercel (với AI SDK) triển khai các khả năng tương tự để trở thành nền tảng dành cho các nhà xây dựng AI. Trong 3-6 tháng tới, do tiềm năng thị trường rất lớn của các công cụ này, các nền tảng khác dự kiến sẽ tung ra các công cụ tương tự.

**Hiện tại, Vercel tập trung hơn vào các dịch vụ và triển khai LLM, vì điều này phù hợp hơn với sản phẩm cốt lõi lịch sử của họ, nhưng về lâu dài, việc mở rộng AI SDK sẽ hợp lý hơn. **

Mặc dù LangSmith dường như chưa tham gia sâu vào công nghệ nhúng, nhưng dường như có rất nhiều điểm giao thoa tự nhiên trong lĩnh vực này, với sự khác biệt so với nhiều nhà cung cấp dịch vụ nhúng cung cấp giao diện người dùng tích hợp sẵn. Các hệ sinh thái như LlamaIndex sẽ được hưởng lợi từ kiểu phát triển sản phẩm này, nhưng câu hỏi đặt ra là liệu chúng có thể duy trì sự khác biệt trong một không gian có vấn đề tương tự hay không.

Tuy nhiên, thật tuyệt khi thấy LangSmith vẫn muốn kết nối với càng nhiều công cụ càng tốt. Trong bài đăng trên blog đã xuất bản, họ đề cập đến việc tích hợp với OpenAI, cũng như nhiều nhà cung cấp tinh chỉnh, điều này sẽ cho phép các nhà phát triển xuất dữ liệu và đào tạo trực tiếp. Có vẻ như những loại tích hợp này sẽ không chỉ mang lại nhiều lời khen ngợi cho nhà phát triển mà theo thời gian còn đóng vai trò như một hàng rào bảo vệ nhẹ (việc kết nối các công cụ khác nhau không phải lúc nào cũng dễ dàng).

**03. LangSmith đã phát triển như thế nào? **

Tác giả chủ yếu muốn nó được mở rộng. Bởi vì nếu LangSmith có thể được tích hợp vào các ứng dụng và dịch vụ khác, phạm vi tiếp cận của nó có thể tăng theo cấp số nhân. Ví dụ: cho phép các nhà phát triển đăng nhập bằng tài khoản LangChain và theo dõi LLM của họ trên Vercel, kết hợp với AI SDK và thông tin triển khai, sẽ rất có giá trị.

**Điều gì là cần thiết để duy trì sự khác biệt trong dài hạn? **

Tác giả rất hào hứng với LangSmith và tin rằng nó giải quyết được một loạt vấn đề thực sự mà các nhà phát triển và xây dựng sản phẩm gặp phải khi cố gắng đi vào sản xuất. Câu hỏi dài hạn thực sự vẫn là: "Liệu có đủ nội dung để xây dựng một doanh nghiệp cạnh tranh lâu dài". **

Nhưng tác giả hiện chưa có câu trả lời rõ ràng, ý kiến chung hiện nay là nhiều chức năng hiện tại của LangSmith là điều kiện cần thiết cho các nhà phát triển. Hầu hết các nhà cung cấp LLM hy vọng sẽ kết hợp chức năng tương tự vào nền tảng của họ trong tương lai. Nhưng điều đó không có nghĩa là LangSmith không thể thành công. Chỉ cần nhìn vào Terraform của HashiCorp, chất keo kết nối tất cả các nhà cung cấp đám mây và giải quyết một vấn đề đủ lớn để trở thành một công ty đại chúng. Tuy nhiên, LangSmith cần tiếp tục mở rộng phạm vi hoạt động của mình để cạnh tranh với nhiều nhà cung cấp và hệ sinh thái các công cụ khác.

Người giới thiệu