"Các doanh nghiệp lớn cần đầu tư rất nhiều tiền vào việc phát hiện lỗi AI để ngăn chặn. Đồng thời, ở giai đoạn này, thiếu khung thử nghiệm LLM tiêu chuẩn. Do đó, việc đánh giá LLM không có khả năng mở rộng và hiệu quả là không tốt Điều này còn dẫn đến hiệu quả hoạt động của doanh nghiệp khi triển khai các sản phẩm AI.
Patronus AI hy vọng có thể giúp các doanh nghiệp triển khai các sản phẩm AI một cách an toàn bằng cách xây dựng nền tảng bảo mật và đánh giá tự động của LLM, từ đó thúc đẩy việc áp dụng rộng rãi Gen-AI. "
Suy nghĩ có ý thức
Chúng tôi cố gắng đưa ra những suy luận và phản ánh khác nhau hơn dựa trên nội dung của bài viết và hoan nghênh sự trao đổi.
▪ Những điểm khó khăn khi áp dụng các mô hình lớn cấp doanh nghiệp: Dự đoán những điều sau đây bằng cách sử dụng công thức tự hồi quy của máy biến áp về cơ bản là một mô hình xác suất và việc đánh giá độ không chắc chắn của nội dung được tạo ra là chìa khóa để xác minh khả năng của mô hình. Đồng thời, việc đánh giá chỉ số học thuật không thể được điều chỉnh cho phù hợp với các ứng dụng thực địa cấp doanh nghiệp và cần có một nền tảng đánh giá tự động đa mô hình theo định hướng sản phẩm hơn.
▪ Làm thế nào để cân bằng giữa độ chính xác và sự không chắc chắn trong nội dung sản xuất cũng như khuếch đại khả năng LLM cho các kịch bản nhu cầu kinh doanh là nghệ thuật của nền tảng đánh giá mô hình và ứng dụng Gen-AI cấp doanh nghiệp.
Bài viết này có tổng cộng 2115 từ, đọc kỹ khoảng 5 phút.
Người dùng đang áp dụng AI sáng tạo với tốc độ chưa từng có. ChatGPT là sản phẩm tiêu dùng có tốc độ phát triển nhanh nhất từ trước đến nay: thu hút hơn 100 triệu người dùng trong vòng hai tháng đầu ra mắt. AI đã được chú ý trong năm nay. Nhưng đồng thời, các doanh nghiệp cũng tỏ ra thận trọng trước việc triển khai nhanh chóng các sản phẩm AI. Họ lo lắng về những lỗi mà các mô hình ngôn ngữ lớn có thể gây ra. Thật không may, những nỗ lực hiện tại để đánh giá và kiểm tra các mô hình ngôn ngữ rất khó mở rộng quy mô và không hiệu quả. Patronus cam kết thay đổi điều đó và sứ mệnh của họ là tăng cường niềm tin của doanh nghiệp vào AI sáng tạo.
Bối cảnh sáng lập của Patronus AI
Hai người sáng lập Patronus, Rebecca và Anand, đã biết nhau gần 10 năm. Sau khi cùng học khoa học máy tính tại Đại học Chicago, Rebecca đã gia nhập Meta AI (FAIR) để lãnh đạo nghiên cứu liên quan đến NLP và ALGN, trong khi Anand phát triển cơ sở thử nghiệm và suy luận nhân quả sớm tại Meta Reality Labs. Tại Meta, cả hai đã trực tiếp trải qua khó khăn trong việc đánh giá và diễn giải kết quả học máy—Rebecca từ góc độ nghiên cứu và Anand từ góc độ ứng dụng.
Khi CTO OpenAI Meera Murati thông báo phát hành ChatGPT trên Twitter vào tháng 11 năm ngoái, Anand đã chuyển tiếp tin này cho Rebecca trong vòng 5 phút. Họ nhận ra rằng đây là thời điểm chuyển đổi và các công ty chắc chắn sẽ nhanh chóng áp dụng các mô hình ngôn ngữ vào nhiều tình huống khác nhau. Vì vậy Anand rất ngạc nhiên khi nghe tin Piper Sandler, ngân hàng đầu tư nơi anh trai anh làm việc, đã cấm quyền truy cập nội bộ vào OpenAI. Trong vài tháng tiếp theo, họ đã nhiều lần nghe nói rằng các công ty truyền thống đang tiến hành sử dụng công nghệ này một cách rất thận trọng.
Họ nhận ra rằng mặc dù công nghệ NLP đã đạt được những tiến bộ đáng kể nhưng nó vẫn còn kém xa các ứng dụng thực tế của doanh nghiệp. Mọi người đều đồng ý rằng Generative AI rất hữu ích nhưng không ai biết cách sử dụng nó đúng cách. Họ nhận ra rằng việc đánh giá và an toàn AI sẽ là vấn đề hàng đầu trong những năm tới.
Tình hình đội ngũ và tài chính
Patronus thông báo vào ngày 14 tháng 9 năm 2023 rằng họ đã nhận được 3 triệu đô la Mỹ trong vòng tài trợ hạt giống từ Lightspeed Venture Partners. Factorial Capital, Giám đốc điều hành Replit Amjad Masad, Gokul Rajaram, Michael Callahan, Prasanna Gopalakrishnan, Suja Chandrasekaran, v.v. cũng tham gia đầu tư . Những nhà đầu tư này có nhiều kinh nghiệm đầu tư và vận hành các công ty tiêu chuẩn về bảo mật doanh nghiệp và AI.
Nhóm sáng lập của Patronus đến từ nền tảng nghiên cứu và ứng dụng ML (học máy) hàng đầu, bao gồm Facebook AI Research (FAIR), Airbnb, Meta Reality Labs và các tổ chức định lượng. Họ đã xuất bản các tài liệu nghiên cứu NLP tại các hội nghị AI hàng đầu (NeurIPS, EMNLP, ACL), thiết kế và ra mắt trợ lý AI đàm thoại đầu tiên của Airbnb, tiên phong suy luận nhân quả tại Meta Reality Labs và thoát khỏi quỹ phòng hộ Định lượng do Mark Cuba hậu thuẫn, thoát khỏi các sản phẩm 0→1 trong các công ty khởi nghiệp đang phát triển nhanh chóng.
Patronus được cố vấn bởi Douwe Kiela, Giám đốc điều hành của Contextual AI và giáo sư phụ trợ tại Đại học Stanford, người cũng là cựu giám đốc nghiên cứu tại HuggingFace. Douwe đã thực hiện nghiên cứu tiên phong trong lĩnh vực NLP, đặc biệt là về đánh giá, benchmarking và RAG.
Vấn đề Patronus AI giải quyết
Đánh giá mô hình ngôn ngữ lớn hiện tại không thể mở rộng và hoạt động kém vì những lý do sau:
Đánh giá thủ công chậm và tốn kém. Các doanh nghiệp lớn chi hàng triệu đô la để thuê hàng nghìn người thử nghiệm nội bộ và chuyên gia tư vấn bên ngoài để kiểm tra lỗi trong AI theo cách thủ công. Các kỹ sư muốn triển khai các sản phẩm AI phải mất hàng tuần để tạo các bộ thử nghiệm và kiểm tra đầu ra AI theo cách thủ công.
Bản chất không xác định của các mô hình ngôn ngữ lớn khiến việc dự đoán thất bại trở nên khó khăn. Các mô hình ngôn ngữ lớn là các hệ thống xác suất. Vì phạm vi đầu vào của nó không bị giới hạn (trong giới hạn độ dài ngữ cảnh), nên nó cung cấp một bề mặt tấn công rộng. Vì vậy, nguyên nhân thất bại sẽ rất phức tạp.
Hiện tại không có khung thử nghiệm tiêu chuẩn cho các mô hình ngôn ngữ lớn. Kiểm thử phần mềm đã được tích hợp sâu vào quy trình kỹ thuật truyền thống, với khung kiểm thử đơn vị, nhóm kiểm tra chất lượng lớn và chu kỳ phát hành, nhưng các công ty vẫn chưa phát triển các quy trình tương tự cho các mô hình ngôn ngữ lớn. Việc đánh giá, xác định và ghi lại liên tục và có thể mở rộng các lỗi của mô hình ngôn ngữ lớn cũng như điểm chuẩn hiệu suất là rất quan trọng đối với việc sử dụng các mô hình ngôn ngữ lớn để sản xuất.
Điểm chuẩn học tập không phản ánh tình hình thực tế. Các doanh nghiệp hiện đang thử nghiệm các mô hình ngôn ngữ lớn dựa trên các tiêu chuẩn học thuật (như HELM, GLUE, SuperGLUE, v.v.), nhưng các tiêu chuẩn này không thể phản ánh các tình huống sử dụng thực tế. Điểm chuẩn học thuật có xu hướng bão hòa và gặp phải vấn đề rò rỉ dữ liệu đào tạo.
Phần đuôi thất bại của AI là rất nghiêm trọng và 20% cuối cùng là vô cùng khó khăn. Các cuộc tấn công đối nghịch đã chỉ ra rằng vấn đề bảo mật của các mô hình ngôn ngữ lớn vẫn chưa được giải quyết. Ngay cả khi các mô hình ngôn ngữ được đào tạo trước cho mục đích chung thể hiện các khả năng cơ bản mạnh mẽ thì vẫn có một số lượng lớn các tình huống lỗi chưa xác định. Patronus đã thực hiện rất nhiều nghiên cứu mang tính đột phá về đánh giá và độ bền của mô hình đối nghịch, nhưng đây mới chỉ là bước khởi đầu.
Sứ mệnh của Patronus AI
Sứ mệnh của Patronus AI là tăng cường niềm tin của doanh nghiệp vào AI sáng tạo.
Patronus AI là nền tảng bảo mật và đánh giá tự động đầu tiên trong ngành dành cho các mô hình ngôn ngữ lớn. Khách hàng sử dụng Patronus AI để phát hiện các lỗi mô hình ngôn ngữ lớn trên quy mô lớn nhằm triển khai các sản phẩm AI một cách an toàn.
Nền tảng tự động thực hiện:
Tính điểm: Đánh giá hiệu suất của mô hình và các số liệu chính như ảo giác và độ an toàn trong các tình huống thực tế.
Tạo thử nghiệm: Tự động tạo các bộ thử nghiệm đối thủ quy mô lớn.
Đo điểm chuẩn: So sánh các mô hình để giúp khách hàng xác định mô hình tốt nhất cho trường hợp sử dụng cụ thể.
Patronus mong đợi các đánh giá thường xuyên sẽ thích ứng với các mô hình, dữ liệu và nhu cầu của người dùng được cập nhật liên tục. Mục đích cuối cùng là đạt được một dấu hiệu đáng tin cậy. Không công ty nào muốn thấy người dùng của mình không hài lòng với những thất bại không mong muốn, hoặc thậm chí là các vấn đề tiêu cực về báo chí và quy định.
Ngoài ra, Patronus đang tìm kiếm những người đánh giá bên thứ ba đáng tin cậy, nơi người dùng cần có quan điểm khách quan, độc lập. Patronus muốn mọi người coi nó như Moody's của AI.
Các đối tác hiện tại của Patronus bao gồm các công ty AI hàng đầu Cohere, Nomic và Naologic. Ngoài ra, các công ty công nghiệp truyền thống nổi tiếng như một số công ty dịch vụ tài chính cũng đang đàm phán với Patronus AI để tiến hành các dự án thí điểm.
Đừng nhẹ nhàng bước vào giấc ngủ ngon đó,
cơn thịnh nộ,
nổi giận chống lại sự lụi tàn của ánh sáng.
—— Dylan Thomas (1954)
Người giới thiệu
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Patronus AI: Lightspeed America dẫn đầu khoản đầu tư 3 triệu USD, nhắm vào thị trường doanh nghiệp để giải quyết các vấn đề bảo mật mô hình lớn
**Nguồn: **Vòng suy nghĩ sâu sắc của SenseAI
Suy nghĩ có ý thức
Chúng tôi cố gắng đưa ra những suy luận và phản ánh khác nhau hơn dựa trên nội dung của bài viết và hoan nghênh sự trao đổi.
▪ Những điểm khó khăn khi áp dụng các mô hình lớn cấp doanh nghiệp: Dự đoán những điều sau đây bằng cách sử dụng công thức tự hồi quy của máy biến áp về cơ bản là một mô hình xác suất và việc đánh giá độ không chắc chắn của nội dung được tạo ra là chìa khóa để xác minh khả năng của mô hình. Đồng thời, việc đánh giá chỉ số học thuật không thể được điều chỉnh cho phù hợp với các ứng dụng thực địa cấp doanh nghiệp và cần có một nền tảng đánh giá tự động đa mô hình theo định hướng sản phẩm hơn.
▪ Làm thế nào để cân bằng giữa độ chính xác và sự không chắc chắn trong nội dung sản xuất cũng như khuếch đại khả năng LLM cho các kịch bản nhu cầu kinh doanh là nghệ thuật của nền tảng đánh giá mô hình và ứng dụng Gen-AI cấp doanh nghiệp.
Bài viết này có tổng cộng 2115 từ, đọc kỹ khoảng 5 phút.
Người dùng đang áp dụng AI sáng tạo với tốc độ chưa từng có. ChatGPT là sản phẩm tiêu dùng có tốc độ phát triển nhanh nhất từ trước đến nay: thu hút hơn 100 triệu người dùng trong vòng hai tháng đầu ra mắt. AI đã được chú ý trong năm nay. Nhưng đồng thời, các doanh nghiệp cũng tỏ ra thận trọng trước việc triển khai nhanh chóng các sản phẩm AI. Họ lo lắng về những lỗi mà các mô hình ngôn ngữ lớn có thể gây ra. Thật không may, những nỗ lực hiện tại để đánh giá và kiểm tra các mô hình ngôn ngữ rất khó mở rộng quy mô và không hiệu quả. Patronus cam kết thay đổi điều đó và sứ mệnh của họ là tăng cường niềm tin của doanh nghiệp vào AI sáng tạo.
Bối cảnh sáng lập của Patronus AI
Hai người sáng lập Patronus, Rebecca và Anand, đã biết nhau gần 10 năm. Sau khi cùng học khoa học máy tính tại Đại học Chicago, Rebecca đã gia nhập Meta AI (FAIR) để lãnh đạo nghiên cứu liên quan đến NLP và ALGN, trong khi Anand phát triển cơ sở thử nghiệm và suy luận nhân quả sớm tại Meta Reality Labs. Tại Meta, cả hai đã trực tiếp trải qua khó khăn trong việc đánh giá và diễn giải kết quả học máy—Rebecca từ góc độ nghiên cứu và Anand từ góc độ ứng dụng.
Khi CTO OpenAI Meera Murati thông báo phát hành ChatGPT trên Twitter vào tháng 11 năm ngoái, Anand đã chuyển tiếp tin này cho Rebecca trong vòng 5 phút. Họ nhận ra rằng đây là thời điểm chuyển đổi và các công ty chắc chắn sẽ nhanh chóng áp dụng các mô hình ngôn ngữ vào nhiều tình huống khác nhau. Vì vậy Anand rất ngạc nhiên khi nghe tin Piper Sandler, ngân hàng đầu tư nơi anh trai anh làm việc, đã cấm quyền truy cập nội bộ vào OpenAI. Trong vài tháng tiếp theo, họ đã nhiều lần nghe nói rằng các công ty truyền thống đang tiến hành sử dụng công nghệ này một cách rất thận trọng.
Họ nhận ra rằng mặc dù công nghệ NLP đã đạt được những tiến bộ đáng kể nhưng nó vẫn còn kém xa các ứng dụng thực tế của doanh nghiệp. Mọi người đều đồng ý rằng Generative AI rất hữu ích nhưng không ai biết cách sử dụng nó đúng cách. Họ nhận ra rằng việc đánh giá và an toàn AI sẽ là vấn đề hàng đầu trong những năm tới.
Tình hình đội ngũ và tài chính
Patronus thông báo vào ngày 14 tháng 9 năm 2023 rằng họ đã nhận được 3 triệu đô la Mỹ trong vòng tài trợ hạt giống từ Lightspeed Venture Partners. Factorial Capital, Giám đốc điều hành Replit Amjad Masad, Gokul Rajaram, Michael Callahan, Prasanna Gopalakrishnan, Suja Chandrasekaran, v.v. cũng tham gia đầu tư . Những nhà đầu tư này có nhiều kinh nghiệm đầu tư và vận hành các công ty tiêu chuẩn về bảo mật doanh nghiệp và AI.
Nhóm sáng lập của Patronus đến từ nền tảng nghiên cứu và ứng dụng ML (học máy) hàng đầu, bao gồm Facebook AI Research (FAIR), Airbnb, Meta Reality Labs và các tổ chức định lượng. Họ đã xuất bản các tài liệu nghiên cứu NLP tại các hội nghị AI hàng đầu (NeurIPS, EMNLP, ACL), thiết kế và ra mắt trợ lý AI đàm thoại đầu tiên của Airbnb, tiên phong suy luận nhân quả tại Meta Reality Labs và thoát khỏi quỹ phòng hộ Định lượng do Mark Cuba hậu thuẫn, thoát khỏi các sản phẩm 0→1 trong các công ty khởi nghiệp đang phát triển nhanh chóng.
Patronus được cố vấn bởi Douwe Kiela, Giám đốc điều hành của Contextual AI và giáo sư phụ trợ tại Đại học Stanford, người cũng là cựu giám đốc nghiên cứu tại HuggingFace. Douwe đã thực hiện nghiên cứu tiên phong trong lĩnh vực NLP, đặc biệt là về đánh giá, benchmarking và RAG.
Vấn đề Patronus AI giải quyết
Đánh giá mô hình ngôn ngữ lớn hiện tại không thể mở rộng và hoạt động kém vì những lý do sau:
Đánh giá thủ công chậm và tốn kém. Các doanh nghiệp lớn chi hàng triệu đô la để thuê hàng nghìn người thử nghiệm nội bộ và chuyên gia tư vấn bên ngoài để kiểm tra lỗi trong AI theo cách thủ công. Các kỹ sư muốn triển khai các sản phẩm AI phải mất hàng tuần để tạo các bộ thử nghiệm và kiểm tra đầu ra AI theo cách thủ công.
Bản chất không xác định của các mô hình ngôn ngữ lớn khiến việc dự đoán thất bại trở nên khó khăn. Các mô hình ngôn ngữ lớn là các hệ thống xác suất. Vì phạm vi đầu vào của nó không bị giới hạn (trong giới hạn độ dài ngữ cảnh), nên nó cung cấp một bề mặt tấn công rộng. Vì vậy, nguyên nhân thất bại sẽ rất phức tạp.
Hiện tại không có khung thử nghiệm tiêu chuẩn cho các mô hình ngôn ngữ lớn. Kiểm thử phần mềm đã được tích hợp sâu vào quy trình kỹ thuật truyền thống, với khung kiểm thử đơn vị, nhóm kiểm tra chất lượng lớn và chu kỳ phát hành, nhưng các công ty vẫn chưa phát triển các quy trình tương tự cho các mô hình ngôn ngữ lớn. Việc đánh giá, xác định và ghi lại liên tục và có thể mở rộng các lỗi của mô hình ngôn ngữ lớn cũng như điểm chuẩn hiệu suất là rất quan trọng đối với việc sử dụng các mô hình ngôn ngữ lớn để sản xuất.
Điểm chuẩn học tập không phản ánh tình hình thực tế. Các doanh nghiệp hiện đang thử nghiệm các mô hình ngôn ngữ lớn dựa trên các tiêu chuẩn học thuật (như HELM, GLUE, SuperGLUE, v.v.), nhưng các tiêu chuẩn này không thể phản ánh các tình huống sử dụng thực tế. Điểm chuẩn học thuật có xu hướng bão hòa và gặp phải vấn đề rò rỉ dữ liệu đào tạo.
Phần đuôi thất bại của AI là rất nghiêm trọng và 20% cuối cùng là vô cùng khó khăn. Các cuộc tấn công đối nghịch đã chỉ ra rằng vấn đề bảo mật của các mô hình ngôn ngữ lớn vẫn chưa được giải quyết. Ngay cả khi các mô hình ngôn ngữ được đào tạo trước cho mục đích chung thể hiện các khả năng cơ bản mạnh mẽ thì vẫn có một số lượng lớn các tình huống lỗi chưa xác định. Patronus đã thực hiện rất nhiều nghiên cứu mang tính đột phá về đánh giá và độ bền của mô hình đối nghịch, nhưng đây mới chỉ là bước khởi đầu.
Sứ mệnh của Patronus AI
Sứ mệnh của Patronus AI là tăng cường niềm tin của doanh nghiệp vào AI sáng tạo.
Patronus AI là nền tảng bảo mật và đánh giá tự động đầu tiên trong ngành dành cho các mô hình ngôn ngữ lớn. Khách hàng sử dụng Patronus AI để phát hiện các lỗi mô hình ngôn ngữ lớn trên quy mô lớn nhằm triển khai các sản phẩm AI một cách an toàn.
Nền tảng tự động thực hiện:
Tính điểm: Đánh giá hiệu suất của mô hình và các số liệu chính như ảo giác và độ an toàn trong các tình huống thực tế.
Tạo thử nghiệm: Tự động tạo các bộ thử nghiệm đối thủ quy mô lớn.
Đo điểm chuẩn: So sánh các mô hình để giúp khách hàng xác định mô hình tốt nhất cho trường hợp sử dụng cụ thể.
Patronus mong đợi các đánh giá thường xuyên sẽ thích ứng với các mô hình, dữ liệu và nhu cầu của người dùng được cập nhật liên tục. Mục đích cuối cùng là đạt được một dấu hiệu đáng tin cậy. Không công ty nào muốn thấy người dùng của mình không hài lòng với những thất bại không mong muốn, hoặc thậm chí là các vấn đề tiêu cực về báo chí và quy định.
Ngoài ra, Patronus đang tìm kiếm những người đánh giá bên thứ ba đáng tin cậy, nơi người dùng cần có quan điểm khách quan, độc lập. Patronus muốn mọi người coi nó như Moody's của AI.
Các đối tác hiện tại của Patronus bao gồm các công ty AI hàng đầu Cohere, Nomic và Naologic. Ngoài ra, các công ty công nghiệp truyền thống nổi tiếng như một số công ty dịch vụ tài chính cũng đang đàm phán với Patronus AI để tiến hành các dự án thí điểm.
Đừng nhẹ nhàng bước vào giấc ngủ ngon đó,
cơn thịnh nộ,
nổi giận chống lại sự lụi tàn của ánh sáng.
—— Dylan Thomas (1954)
Người giới thiệu