Tính bảo mật của các mô hình AI là rất quan trọng đối với cả các công ty ứng dụng AI và người dùng và khách hàng sử dụng các ứng dụng AI. Đối với các công ty AI, đồng thời bảo vệ tính bảo mật của các mô hình AI, cũng cần chú ý đến khả năng bảo vệ dữ liệu và thuật toán gốc khỏi bị rò rỉ trong khi không làm tăng chi phí công việc không cần thiết.
Một công ty có tên HiddenLayer đã xây dựng một nền tảng bảo mật toàn diện cung cấp bảo mật AI plug-and-play mà không cần thêm sự phức tạp không cần thiết ở cấp độ mô hình AI hoặc truy cập dữ liệu thô và thuật toán.
Gần đây, công ty đã nhận được vòng Series A trị giá 50 triệu đô la do M12 và Moore Strategic Ventures dẫn đầu, với sự tham gia của Booz Allen Ventures, IBM Ventures, Capital One Ventures và Ten Eleven Ventures (dẫn đầu vòng hạt giống), đây là vòng tài trợ Series A lớn nhất về bảo mật AI cho đến nay.
HiddenLayer đã giúp bảo vệ các mô hình AI / ML được sử dụng bởi một số công ty Fortune 100 trong các lĩnh vực như tài chính và an ninh mạng.
Nó cũng đã thiết lập quan hệ đối tác chiến lược với Intel và Databricks, nhận được các giải thưởng như Khởi nghiệp sáng tạo nhất của RSAC và Khởi nghiệp giai đoạn đầu hứa hẹn nhất của SC Media. Công ty đã tăng gần gấp bốn lần lực lượng lao động trong năm qua và có kế hoạch tăng lực lượng lao động từ 50 lên 90 vào cuối năm nay, đầu tư hơn nữa vào nghiên cứu và phát triển.
Sau khi gặp phải các cuộc tấn công chống lại AI, các doanh nhân nối tiếp nhìn thấy cơ hội
Theo Gartner, hai trong số năm tổ chức trong tất cả các cuộc tấn công mạng AI vào năm 2022 đã bị vi phạm quyền riêng tư AI hoặc sự cố bảo mật và 1/4 trong số các cuộc tấn công đó là độc hại.
Cơ quan an ninh mạng của Vương quốc Anh, Trung tâm An ninh mạng Quốc gia, cũng cảnh báo rằng "những kẻ tấn công đang tấn công các chatbot mô hình ngôn ngữ lớn như ChatGPT để truy cập vào thông tin bí mật, tạo nội dung xúc phạm và" gây ra hậu quả không lường trước được. "
Trong một nghiên cứu của Forrester do HiddenLayer ủy quyền, 86% mọi người "rất quan tâm hoặc lo ngại" về tính bảo mật của các mô hình học máy trong tổ chức của họ.
Phần lớn các công ty phản hồi cho biết họ hiện đang dựa vào các quy trình thủ công để chống lại các mối đe dọa mô hình AI và 80% số người được hỏi mong muốn đầu tư vào một giải pháp quản lý tính toàn vẹn và bảo mật của các mô hình ML trong 12 tháng tới.
An ninh mạng đặc biệt kỹ thuật và chuyên biệt so với các lĩnh vực khác, với thị trường an ninh mạng toàn cầu dự kiến sẽ đạt 403 tỷ đô la vào năm 2027, tăng trưởng với tốc độ CAGR là 12,5% từ năm 2020 đến năm 2027, theo nghiên cứu trước đây của tạp chí Fortune.
HiddenLayer được đồng sáng lập bởi Christopher Sestito (CEO), Tanner Burns (Nhà khoa học trưởng) và James Ballard (CIO). Họ làm việc tại công ty trước đây của họ, Cylance, một công ty khởi nghiệp bảo mật đã được BlackBerry mua lại. Ý tưởng này xuất hiện sau một cuộc tấn công mạng vào mô hình AI.
Chris Sestito, Giám đốc điều hành và đồng sáng lập của HiddenLayer, nhớ lại: "Sau khi các mô hình học máy mà chúng tôi bảo mật bị tấn công trực tiếp thông qua các sản phẩm của chúng tôi, chúng tôi đã dẫn đầu nỗ lực giải cứu và nhận ra rằng đây sẽ là một vấn đề lớn đối với bất kỳ tổ chức nào triển khai mô hình học máy trong các sản phẩm của chúng tôi. Chúng tôi quyết định tạo HiddenLayer để giáo dục các doanh nghiệp về mối đe dọa đáng kể này và giúp họ bảo vệ chống lại các cuộc tấn công. "
Sestito lãnh đạo nghiên cứu mối đe dọa tại Cylance, Ballard là người đứng đầu nhóm quản lý dữ liệu của Cylance và Burns là nhà nghiên cứu mối đe dọa.
Chris Sestito nhận xét về cơ hội thị trường, "Chúng tôi biết rằng hầu hết mọi doanh nghiệp hiện đang sử dụng AI dưới nhiều hình thức, nhưng chúng tôi cũng biết rằng không có công nghệ nào khác đạt được sự áp dụng rộng rãi như vậy mà không có bảo mật. Chúng tôi cam kết tạo ra các giải pháp bảo mật mượt mà nhất trên thị trường cho những khách hàng đáp ứng nhu cầu chưa được đáp ứng này. "
Nhận xét về công nghệ, Chris Sestito cho biết: "Nhiều nhà khoa học dữ liệu dựa vào các mô hình học máy được đào tạo trước, mã nguồn mở hoặc độc quyền để giảm thời gian phân tích và đơn giản hóa thử nghiệm, sau đó rút ra thông tin chi tiết từ các bộ dữ liệu phức tạp. Việc sử dụng các mô hình nguồn mở được đào tạo trước có sẵn công khai có khả năng khiến các tổ chức chuyển các cuộc tấn công học tập từ các mô hình có sẵn công khai bị giả mạo.
Nền tảng của chúng tôi cung cấp các công cụ để bảo vệ các mô hình AI khỏi các cuộc tấn công đối thủ, lỗ hổng và tiêm mã độc. Nó giám sát đầu vào và đầu ra của các hệ thống AI để kiểm tra tính toàn vẹn của các mô hình trước khi triển khai. Nó sử dụng các kỹ thuật để chỉ quan sát đầu vào của các mô hình và vectơ (hoặc biểu diễn toán học) của các đầu ra do chúng tạo ra, mà không yêu cầu quyền truy cập vào các mô hình độc quyền của chúng. "
Todd Graham, Đối tác quản lý của M12, cho biết: "Lấy cảm hứng từ kinh nghiệm của chính họ với các cuộc tấn công AI đối thủ, những người sáng lập HiddenLayer đã xây dựng một nền tảng cần thiết cho bất kỳ doanh nghiệp nào sử dụng công nghệ AI và ML.
Kinh nghiệm trực tiếp của họ với các cuộc tấn công này, kết hợp với tầm nhìn và cách tiếp cận mới lạ của họ, làm cho công ty trở thành giải pháp phù hợp để bảo mật các mô hình này. Ngay từ cuộc họp đầu tiên với những người sáng lập, chúng tôi đã biết đây là một ý tưởng lớn trong không gian bảo mật và muốn giúp họ mở rộng quy mô. "
Xây dựng nền tảng MLSec bảo vệ toàn diện bảo mật AI
Sản phẩm chủ lực của HiddenLayer, Nền tảng bảo mật để phát hiện và ngăn chặn các cuộc tấn công mạng vào các hệ thống điều khiển máy học (MLSec), là giải pháp MLDR (Phát hiện và phản hồi học máy) đầu tiên trong ngành bảo vệ doanh nghiệp và khách hàng của họ khỏi các vectơ tấn công mới nổi.
Nền tảng MLSec bao gồm HiddenLayer MLDR, ModelScanner và Security Audit Reporting.
Nền tảng MLSec của HiddenLayer đi kèm với một bảng điều khiển đơn giản nhưng mạnh mẽ cho phép các nhà quản lý bảo mật xem nhanh liệu các mô hình ML / AI doanh nghiệp của họ có ở trạng thái an toàn hay không. Nó cũng tự động ưu tiên các vấn đề bảo mật và cảnh báo dựa trên mức độ nghiêm trọng của chúng và lưu trữ dữ liệu để tuân thủ, kiểm tra và báo cáo mà doanh nghiệp có thể được yêu cầu thực hiện.
Giải pháp MLDR của nó có cách tiếp cận dựa trên máy học để phân tích hàng tỷ tương tác mô hình mỗi phút để xác định hoạt động độc hại mà không có quyền truy cập hoặc kiến thức trước về mô hình ML của người dùng hoặc dữ liệu đào tạo nhạy cảm. Nó có thể phát hiện và phản ứng với các cuộc tấn công chống lại các mô hình ML, bảo vệ sở hữu trí tuệ và bí mật thương mại khỏi bị đánh cắp hoặc giả mạo, đảm bảo rằng người dùng không bị tấn công.
HiddenLayer cũng cung cấp dịch vụ tư vấn cho các nhóm chuyên gia học máy đối nghịch (AML), những người có thể tiến hành đánh giá mối đe dọa, đào tạo nhân viên an ninh mạng và DevOps của khách hàng và tiến hành các cuộc diễn tập "đội đỏ" để đảm bảo rằng hệ thống phòng thủ của khách hàng hoạt động như dự định.
** Các loại tấn công mà nền tảng MLSec của HiddenLayer có thể bảo vệ chống lại **
Suy luận / trích xuất: Các cuộc tấn công khai thác liên quan đến việc kẻ tấn công thao túng đầu vào mô hình, phân tích đầu ra và suy ra ranh giới quyết định để tái tạo dữ liệu đào tạo, trích xuất các tham số mô hình hoặc thực hiện đánh cắp mô hình bằng cách đào tạo một mô hình thay thế gần đúng mục tiêu.
Đánh cắp các mô hình học máy: Những kẻ tấn công đánh cắp thành quả của các khung học máy đắt tiền.
Trích xuất dữ liệu đào tạo: Kẻ tấn công có thể thực hiện tấn công suy luận thành viên bằng cách quan sát đầu ra của nó mà không cần truy cập các tham số của mô hình học máy. Khi mô hình mục tiêu được đào tạo về thông tin nhạy cảm, suy luận của thành viên có thể làm tăng mối lo ngại về bảo mật và quyền riêng tư.
Ngộ độc dữ liệu: Ngộ độc xảy ra khi kẻ tấn công tiêm dữ liệu mới, được sửa đổi cụ thể vào bộ đào tạo. Điều này đánh lừa hoặc phá vỡ các mô hình học máy để cung cấp kết quả không chính xác, thiên vị hoặc độc hại.
Model injection: Model injection là một kỹ thuật dựa trên việc sửa đổi mô hình học máy bằng cách chèn một mô-đun độc hại giới thiệu một số hành vi bí mật, có hại hoặc không mong muốn.
Chiếm quyền điều khiển mô hình: Cuộc tấn công này có thể tiêm mã độc vào mô hình PyTorch hiện có, trích xuất tất cả các tệp trong thư mục hiện tại đến một máy chủ từ xa.
HiddenLayer cung cấp các dịch vụ cụ thể sau
Mô hình hóa mối đe dọa: Đánh giá môi trường AI / ML tổng thể và rủi ro tài sản thông qua các cuộc phỏng vấn khám phá và thảo luận dựa trên kịch bản.
Đánh giá rủi ro ML: Tiến hành phân tích chi tiết về vòng đời hoạt động AI của khách hàng và đi sâu vào các mô hình AI quan trọng nhất của khách hàng để xác định rủi ro đối với việc tổ chức các khoản đầu tư AI / ML hiện tại, cũng như các nỗ lực và / hoặc kiểm soát cần thiết để cải thiện.
Đào tạo chuyên gia: Cung cấp đào tạo cả ngày cho các nhóm khoa học và bảo mật dữ liệu để giúp họ được bảo vệ chống lại các cuộc tấn công và mối đe dọa chống lại AI.
Đánh giá đội đỏ: Nhóm Nghiên cứu Học máy đối nghịch (AMLR) sẽ mô phỏng cuộc tấn công của kẻ tấn công để đánh giá các hệ thống phòng thủ hiện có và vá các lỗ hổng.
Quét mô hình AI/ML: Sử dụng trình quét toàn vẹn mô hình của HiddenLayer để kiểm tra và xác thực các mô hình AI/ML hiện có chống lại các mối đe dọa (ví dụ: phần mềm độc hại) và giả mạo.
Dịch vụ triển khai ML Detection and Response (MLDR) :*Triển khai và tích hợp một cách chuyên nghiệp các sản phẩm MLDR của HiddenLayer vào môi trường AI / ML, cung cấp cho các nhóm bảo mật và khoa học dữ liệu khả năng và khả năng hiển thị mà họ cần để ngăn chặn các cuộc tấn công, cải thiện thời gian phản hồi và tối đa hóa hiệu quả của mô hình.
Hợp tác với các đại gia để tăng cường xây dựng sinh thái
Ngoài việc xây dựng sản phẩm và nền tảng, HiddenLayer còn có các đối tác mạnh mẽ, Databricks có quan hệ đối tác để cung cấp nền tảng MLSec cho người dùng doanh nghiệp triển khai các mô hình AI vào hồ dữ liệu Databricks. Điều này xây dựng bảo mật cho AI từ cấp hồ dữ liệu.
Thông qua hợp tác chiến lược với Intel, tính toán bí mật trên Intel SGX và máy quét mô hình học máy của HiddenLayer được kết hợp để cung cấp giải pháp bảo mật AI tích hợp phần cứng và phần mềm.
Hai sự hợp tác chiến lược này đã làm cho toàn bộ hệ sinh thái của HiddenLayer trở nên hoàn thiện hơn và nó cũng đã giành được sự ưu ái của khách hàng, đã có được một số khách hàng lớn trong lĩnh vực tài chính và chính phủ.
AI đã bước vào giai đoạn thực tế và các cơ hội kinh doanh an toàn AI đã xuất hiện
Bảo mật cho AI, đặc biệt là ở cấp độ mô hình, đã là một nhu cầu nhất định và Protect AI, chuyên về bảo mật mô hình AI, trước đây đã nhận được vòng tài trợ Series A trị giá 35 triệu đô la do Evolution Equity Partners và Salesforce Ventures dẫn đầu.
Theo Sestito, người sáng lập HiddenLayer, khi thị trường AI phát triển, thị trường bảo mật AI sẽ phát triển đồng thời, và ngoài Protect AI và HiddenLayer, các công ty như Robust Intelligence, CalypsoAI, Halcyon và Troj.ai cũng đang làm việc trong lĩnh vực bảo mật AI.
Ví dụ, Ten Eleven Ventures, một nhà đầu tư ban đầu vào HiddenLayer, cũng đã đầu tư vào vòng hạt giống trị giá 20 triệu đô la từ Halcyon, một công ty tập trung vào các công cụ phòng thủ ransomware AI giúp người dùng phần mềm AI ngăn chặn các cuộc tấn công và phục hồi nhanh chóng từ chúng.
Khi làn sóng AI này chuyển từ giai đoạn cường điệu khái niệm sang giai đoạn ứng dụng thực tế, từ khởi nghiệp mô hình lớn sang khởi nghiệp ứng dụng AI, an toàn AI ngày càng trở nên quan trọng hơn. Cho dù đó là để đảm bảo tính bảo mật của các mô hình AI hay bảo vệ tính bảo mật của các ứng dụng AI, sự phát triển của bảo mật AI có thể làm sâu sắc hơn nữa sự thâm nhập của AI ở phía ToC và phía doanh nghiệp.
Đã có một số lượng lớn các công ty khởi nghiệp bảo mật AI ở nước ngoài và tại thị trường Trung Quốc, nhu cầu tương tự cũng tồn tại và chúng tôi hy vọng các doanh nhân xuất sắc trong nước sẽ hướng tới lĩnh vực kinh doanh quan trọng này.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Để bảo vệ hoàn toàn bảo mật AI, HiddenLayer đã nhận được 50 triệu đô la tài trợ Series A
Nguồn gốc: Alpha Commune
Tính bảo mật của các mô hình AI là rất quan trọng đối với cả các công ty ứng dụng AI và người dùng và khách hàng sử dụng các ứng dụng AI. Đối với các công ty AI, đồng thời bảo vệ tính bảo mật của các mô hình AI, cũng cần chú ý đến khả năng bảo vệ dữ liệu và thuật toán gốc khỏi bị rò rỉ trong khi không làm tăng chi phí công việc không cần thiết.
Một công ty có tên HiddenLayer đã xây dựng một nền tảng bảo mật toàn diện cung cấp bảo mật AI plug-and-play mà không cần thêm sự phức tạp không cần thiết ở cấp độ mô hình AI hoặc truy cập dữ liệu thô và thuật toán.
Gần đây, công ty đã nhận được vòng Series A trị giá 50 triệu đô la do M12 và Moore Strategic Ventures dẫn đầu, với sự tham gia của Booz Allen Ventures, IBM Ventures, Capital One Ventures và Ten Eleven Ventures (dẫn đầu vòng hạt giống), đây là vòng tài trợ Series A lớn nhất về bảo mật AI cho đến nay.
HiddenLayer đã giúp bảo vệ các mô hình AI / ML được sử dụng bởi một số công ty Fortune 100 trong các lĩnh vực như tài chính và an ninh mạng.
Nó cũng đã thiết lập quan hệ đối tác chiến lược với Intel và Databricks, nhận được các giải thưởng như Khởi nghiệp sáng tạo nhất của RSAC và Khởi nghiệp giai đoạn đầu hứa hẹn nhất của SC Media. Công ty đã tăng gần gấp bốn lần lực lượng lao động trong năm qua và có kế hoạch tăng lực lượng lao động từ 50 lên 90 vào cuối năm nay, đầu tư hơn nữa vào nghiên cứu và phát triển.
Sau khi gặp phải các cuộc tấn công chống lại AI, các doanh nhân nối tiếp nhìn thấy cơ hội
Theo Gartner, hai trong số năm tổ chức trong tất cả các cuộc tấn công mạng AI vào năm 2022 đã bị vi phạm quyền riêng tư AI hoặc sự cố bảo mật và 1/4 trong số các cuộc tấn công đó là độc hại.
Cơ quan an ninh mạng của Vương quốc Anh, Trung tâm An ninh mạng Quốc gia, cũng cảnh báo rằng "những kẻ tấn công đang tấn công các chatbot mô hình ngôn ngữ lớn như ChatGPT để truy cập vào thông tin bí mật, tạo nội dung xúc phạm và" gây ra hậu quả không lường trước được. "
Trong một nghiên cứu của Forrester do HiddenLayer ủy quyền, 86% mọi người "rất quan tâm hoặc lo ngại" về tính bảo mật của các mô hình học máy trong tổ chức của họ.
Phần lớn các công ty phản hồi cho biết họ hiện đang dựa vào các quy trình thủ công để chống lại các mối đe dọa mô hình AI và 80% số người được hỏi mong muốn đầu tư vào một giải pháp quản lý tính toàn vẹn và bảo mật của các mô hình ML trong 12 tháng tới.
An ninh mạng đặc biệt kỹ thuật và chuyên biệt so với các lĩnh vực khác, với thị trường an ninh mạng toàn cầu dự kiến sẽ đạt 403 tỷ đô la vào năm 2027, tăng trưởng với tốc độ CAGR là 12,5% từ năm 2020 đến năm 2027, theo nghiên cứu trước đây của tạp chí Fortune.
Chris Sestito, Giám đốc điều hành và đồng sáng lập của HiddenLayer, nhớ lại: "Sau khi các mô hình học máy mà chúng tôi bảo mật bị tấn công trực tiếp thông qua các sản phẩm của chúng tôi, chúng tôi đã dẫn đầu nỗ lực giải cứu và nhận ra rằng đây sẽ là một vấn đề lớn đối với bất kỳ tổ chức nào triển khai mô hình học máy trong các sản phẩm của chúng tôi. Chúng tôi quyết định tạo HiddenLayer để giáo dục các doanh nghiệp về mối đe dọa đáng kể này và giúp họ bảo vệ chống lại các cuộc tấn công. "
Sestito lãnh đạo nghiên cứu mối đe dọa tại Cylance, Ballard là người đứng đầu nhóm quản lý dữ liệu của Cylance và Burns là nhà nghiên cứu mối đe dọa.
Chris Sestito nhận xét về cơ hội thị trường, "Chúng tôi biết rằng hầu hết mọi doanh nghiệp hiện đang sử dụng AI dưới nhiều hình thức, nhưng chúng tôi cũng biết rằng không có công nghệ nào khác đạt được sự áp dụng rộng rãi như vậy mà không có bảo mật. Chúng tôi cam kết tạo ra các giải pháp bảo mật mượt mà nhất trên thị trường cho những khách hàng đáp ứng nhu cầu chưa được đáp ứng này. "
Nhận xét về công nghệ, Chris Sestito cho biết: "Nhiều nhà khoa học dữ liệu dựa vào các mô hình học máy được đào tạo trước, mã nguồn mở hoặc độc quyền để giảm thời gian phân tích và đơn giản hóa thử nghiệm, sau đó rút ra thông tin chi tiết từ các bộ dữ liệu phức tạp. Việc sử dụng các mô hình nguồn mở được đào tạo trước có sẵn công khai có khả năng khiến các tổ chức chuyển các cuộc tấn công học tập từ các mô hình có sẵn công khai bị giả mạo.
Nền tảng của chúng tôi cung cấp các công cụ để bảo vệ các mô hình AI khỏi các cuộc tấn công đối thủ, lỗ hổng và tiêm mã độc. Nó giám sát đầu vào và đầu ra của các hệ thống AI để kiểm tra tính toàn vẹn của các mô hình trước khi triển khai. Nó sử dụng các kỹ thuật để chỉ quan sát đầu vào của các mô hình và vectơ (hoặc biểu diễn toán học) của các đầu ra do chúng tạo ra, mà không yêu cầu quyền truy cập vào các mô hình độc quyền của chúng. "
Todd Graham, Đối tác quản lý của M12, cho biết: "Lấy cảm hứng từ kinh nghiệm của chính họ với các cuộc tấn công AI đối thủ, những người sáng lập HiddenLayer đã xây dựng một nền tảng cần thiết cho bất kỳ doanh nghiệp nào sử dụng công nghệ AI và ML.
Kinh nghiệm trực tiếp của họ với các cuộc tấn công này, kết hợp với tầm nhìn và cách tiếp cận mới lạ của họ, làm cho công ty trở thành giải pháp phù hợp để bảo mật các mô hình này. Ngay từ cuộc họp đầu tiên với những người sáng lập, chúng tôi đã biết đây là một ý tưởng lớn trong không gian bảo mật và muốn giúp họ mở rộng quy mô. "
Xây dựng nền tảng MLSec bảo vệ toàn diện bảo mật AI
Sản phẩm chủ lực của HiddenLayer, Nền tảng bảo mật để phát hiện và ngăn chặn các cuộc tấn công mạng vào các hệ thống điều khiển máy học (MLSec), là giải pháp MLDR (Phát hiện và phản hồi học máy) đầu tiên trong ngành bảo vệ doanh nghiệp và khách hàng của họ khỏi các vectơ tấn công mới nổi.
Nền tảng MLSec bao gồm HiddenLayer MLDR, ModelScanner và Security Audit Reporting.
Giải pháp MLDR của nó có cách tiếp cận dựa trên máy học để phân tích hàng tỷ tương tác mô hình mỗi phút để xác định hoạt động độc hại mà không có quyền truy cập hoặc kiến thức trước về mô hình ML của người dùng hoặc dữ liệu đào tạo nhạy cảm. Nó có thể phát hiện và phản ứng với các cuộc tấn công chống lại các mô hình ML, bảo vệ sở hữu trí tuệ và bí mật thương mại khỏi bị đánh cắp hoặc giả mạo, đảm bảo rằng người dùng không bị tấn công.
HiddenLayer cũng cung cấp dịch vụ tư vấn cho các nhóm chuyên gia học máy đối nghịch (AML), những người có thể tiến hành đánh giá mối đe dọa, đào tạo nhân viên an ninh mạng và DevOps của khách hàng và tiến hành các cuộc diễn tập "đội đỏ" để đảm bảo rằng hệ thống phòng thủ của khách hàng hoạt động như dự định.
** Các loại tấn công mà nền tảng MLSec của HiddenLayer có thể bảo vệ chống lại **
Suy luận / trích xuất: Các cuộc tấn công khai thác liên quan đến việc kẻ tấn công thao túng đầu vào mô hình, phân tích đầu ra và suy ra ranh giới quyết định để tái tạo dữ liệu đào tạo, trích xuất các tham số mô hình hoặc thực hiện đánh cắp mô hình bằng cách đào tạo một mô hình thay thế gần đúng mục tiêu.
Đánh cắp các mô hình học máy: Những kẻ tấn công đánh cắp thành quả của các khung học máy đắt tiền.
Trích xuất dữ liệu đào tạo: Kẻ tấn công có thể thực hiện tấn công suy luận thành viên bằng cách quan sát đầu ra của nó mà không cần truy cập các tham số của mô hình học máy. Khi mô hình mục tiêu được đào tạo về thông tin nhạy cảm, suy luận của thành viên có thể làm tăng mối lo ngại về bảo mật và quyền riêng tư.
Ngộ độc dữ liệu: Ngộ độc xảy ra khi kẻ tấn công tiêm dữ liệu mới, được sửa đổi cụ thể vào bộ đào tạo. Điều này đánh lừa hoặc phá vỡ các mô hình học máy để cung cấp kết quả không chính xác, thiên vị hoặc độc hại.
Model injection: Model injection là một kỹ thuật dựa trên việc sửa đổi mô hình học máy bằng cách chèn một mô-đun độc hại giới thiệu một số hành vi bí mật, có hại hoặc không mong muốn.
Chiếm quyền điều khiển mô hình: Cuộc tấn công này có thể tiêm mã độc vào mô hình PyTorch hiện có, trích xuất tất cả các tệp trong thư mục hiện tại đến một máy chủ từ xa.
HiddenLayer cung cấp các dịch vụ cụ thể sau
Mô hình hóa mối đe dọa: Đánh giá môi trường AI / ML tổng thể và rủi ro tài sản thông qua các cuộc phỏng vấn khám phá và thảo luận dựa trên kịch bản.
Đánh giá rủi ro ML: Tiến hành phân tích chi tiết về vòng đời hoạt động AI của khách hàng và đi sâu vào các mô hình AI quan trọng nhất của khách hàng để xác định rủi ro đối với việc tổ chức các khoản đầu tư AI / ML hiện tại, cũng như các nỗ lực và / hoặc kiểm soát cần thiết để cải thiện.
Đào tạo chuyên gia: Cung cấp đào tạo cả ngày cho các nhóm khoa học và bảo mật dữ liệu để giúp họ được bảo vệ chống lại các cuộc tấn công và mối đe dọa chống lại AI.
Đánh giá đội đỏ: Nhóm Nghiên cứu Học máy đối nghịch (AMLR) sẽ mô phỏng cuộc tấn công của kẻ tấn công để đánh giá các hệ thống phòng thủ hiện có và vá các lỗ hổng.
Quét mô hình AI/ML: Sử dụng trình quét toàn vẹn mô hình của HiddenLayer để kiểm tra và xác thực các mô hình AI/ML hiện có chống lại các mối đe dọa (ví dụ: phần mềm độc hại) và giả mạo.
Dịch vụ triển khai ML Detection and Response (MLDR) :*Triển khai và tích hợp một cách chuyên nghiệp các sản phẩm MLDR của HiddenLayer vào môi trường AI / ML, cung cấp cho các nhóm bảo mật và khoa học dữ liệu khả năng và khả năng hiển thị mà họ cần để ngăn chặn các cuộc tấn công, cải thiện thời gian phản hồi và tối đa hóa hiệu quả của mô hình.
Hợp tác với các đại gia để tăng cường xây dựng sinh thái
Ngoài việc xây dựng sản phẩm và nền tảng, HiddenLayer còn có các đối tác mạnh mẽ, Databricks có quan hệ đối tác để cung cấp nền tảng MLSec cho người dùng doanh nghiệp triển khai các mô hình AI vào hồ dữ liệu Databricks. Điều này xây dựng bảo mật cho AI từ cấp hồ dữ liệu.
Hai sự hợp tác chiến lược này đã làm cho toàn bộ hệ sinh thái của HiddenLayer trở nên hoàn thiện hơn và nó cũng đã giành được sự ưu ái của khách hàng, đã có được một số khách hàng lớn trong lĩnh vực tài chính và chính phủ.
AI đã bước vào giai đoạn thực tế và các cơ hội kinh doanh an toàn AI đã xuất hiện
Bảo mật cho AI, đặc biệt là ở cấp độ mô hình, đã là một nhu cầu nhất định và Protect AI, chuyên về bảo mật mô hình AI, trước đây đã nhận được vòng tài trợ Series A trị giá 35 triệu đô la do Evolution Equity Partners và Salesforce Ventures dẫn đầu.
Theo Sestito, người sáng lập HiddenLayer, khi thị trường AI phát triển, thị trường bảo mật AI sẽ phát triển đồng thời, và ngoài Protect AI và HiddenLayer, các công ty như Robust Intelligence, CalypsoAI, Halcyon và Troj.ai cũng đang làm việc trong lĩnh vực bảo mật AI.
Ví dụ, Ten Eleven Ventures, một nhà đầu tư ban đầu vào HiddenLayer, cũng đã đầu tư vào vòng hạt giống trị giá 20 triệu đô la từ Halcyon, một công ty tập trung vào các công cụ phòng thủ ransomware AI giúp người dùng phần mềm AI ngăn chặn các cuộc tấn công và phục hồi nhanh chóng từ chúng.
Khi làn sóng AI này chuyển từ giai đoạn cường điệu khái niệm sang giai đoạn ứng dụng thực tế, từ khởi nghiệp mô hình lớn sang khởi nghiệp ứng dụng AI, an toàn AI ngày càng trở nên quan trọng hơn. Cho dù đó là để đảm bảo tính bảo mật của các mô hình AI hay bảo vệ tính bảo mật của các ứng dụng AI, sự phát triển của bảo mật AI có thể làm sâu sắc hơn nữa sự thâm nhập của AI ở phía ToC và phía doanh nghiệp.
Đã có một số lượng lớn các công ty khởi nghiệp bảo mật AI ở nước ngoài và tại thị trường Trung Quốc, nhu cầu tương tự cũng tồn tại và chúng tôi hy vọng các doanh nhân xuất sắc trong nước sẽ hướng tới lĩnh vực kinh doanh quan trọng này.