全面保護AI安全，HiddenLayer獲5000萬美元A輪融資

原文來源：阿爾法公社

圖片來源：由無界AI生成

無論對於AI應用公司，還是使用AI應用的用戶和客戶，AI模型的安全性都非常重要。 對於AI公司，在保護AI模型安全的同時，能夠不增加多餘的工作成本，並保護好原始數據和演算法不外泄，同樣值得看重。

一家叫HiddenLayer的公司打造了一個全面的安全平臺，它提供即插即用的AI安全性，不會從AI模型的層面增加不必要的複雜性，也不需要訪問原始數據和演算法。

近日，這家公司獲得由M12和Moore Strategic Ventures聯合領投，Booz Allen Ventures、IBM Ventures、Capital One Ventures和Ten Eleven Ventures（領投了它的種子輪融資）參與投資的5000萬美元A輪融資，這是截至目前AI安全領域金額最高的A輪融資。

HiddenLayer已經幫助保護了數家財富100強公司在金融和網路安全等領域使用的AI/ML模型。

它也已經與Intel和Databricks建立戰略合作夥伴關係，並獲得了RSAC最具創新性初創公司和SC Media最有前景的早期初創公司等榮譽。 公司在過去的一年中將其員工數量增加了近四倍，並計劃在今年底將員工數量從50人增加到90人，進一步投資於研發。

遭遇針對AI的攻擊后，連續創業者看到機會

據Gartner統計，2022年所有AI網路攻擊中，五分之二的組織遭受了AI隱私洩露或安全事件，其中四分之一的攻擊是惡意的。

英國的網路安全管理機構National Cyber Security Center也警告說：“攻擊者們正在攻擊大語言模型聊天機器人（例如ChatGPT），以獲取機密資訊、生成冒犯性內容和”觸發意外後果。 ”

在一項由HiddenLayer委託Forrester所做的研究中，86%的人“非常關心或關心”他們組織的機器學習模型安全。

大多數回應的公司表示，他們目前依賴手工流程來應對AI模型威脅，80%的受訪者希望在未來12個月內投資於一個能夠管理ML模型完整性和安全性的解決方案。

與其他領域相比，網路安全尤其技術性強和專業化，根據《財富》雜誌此前的研究，預計到2027年，全球網路安全市場將達到4030億美元，從2020年到2027年的復合年增長率為12.5%。

HiddenLayer由ChristopherSestito（CEO）、Tanner Burns（首席科學家）和James Ballard（CIO）共同創立。 他們在之前的公司Cylance（一家安全初創公司，后被BlackBerry收購。 ）遭遇了對AI模型的網路攻擊後產生了這個創業想法。

HiddenLayer的CEO兼聯合創始人Chris Sestito回憶道：「在我們保護的機器學習模型直接通過我們的產品受到攻擊後，我們領導了救援工作，並意識到這對於在我們的產品中部署機器學習模型的任何組織都將是一個巨大的問題。 我們決定創立HiddenLayer，旨在教育企業瞭解這一重大威脅，並幫助他們抵禦攻擊。 ”

Sestito曾在Cylance領導威脅研究，Ballard是Cylance的數據策劃團隊負責人，Burns則是威脅研究員。

Chris Sestito談到市場機會時說：“我們知道，幾乎每家企業現在都在多種形式上使用AI，但我們也知道，沒有其他技術在沒有安全保護的情況下實現了如此廣泛的採納。 我們致力於為市場上滿足這一未滿足需求的客戶創造最無摩擦的安全解決方案。 ”

在談到技術時，Chris Sestito則說：“許多數據科學家依賴預訓練的、開源的或專有的機器學習模型，以縮短分析時間並簡化測試工作，然後從複雜的數據集中獲得洞察。 使用公開可用的預訓練開源模型，有可能使組織暴露於被篡改的公開可用模型的遷移學習攻擊。

我們的平臺提供了保護AI模型免受對抗性攻擊、漏洞和惡意代碼注入的工具。 它監控AI系統的輸入和輸出，在部署之前測試模型的完整性。 它使用技術僅觀察模型的輸入和由它們產生的輸出的向量（或數學表示），而不需要訪問他們的專有模型。 ”

M12的管理合夥人Todd Graham表示：“受到自己與對抗性AI攻擊的經驗的啟發，HiddenLayer的創始人們建立了一個對任何使用AI和ML技術的企業都必不可少的平臺。

他們對這些攻擊的親身經歷，結合他們的願景和新穎的方法，使該公司成為保護這些模型的首選解決方案。 從與創始人的第一次會面開始，我們就知道這在安全領域是一個大創意，並希望説明他們擴大規模。 ”

打造全面保護AI安全的MLSec平臺

HiddenLayer的旗艦產品是檢測和預防針對機器學習驅動系統的網路攻擊的安全平臺（MLSec），它是業界首款MLDR（機器學習檢測與回應）解決方案，能夠保護企業及其客戶免受新興攻擊手段的侵害。

這個MLSec平臺由HiddenLayer MLDR、ModelScanner和Security Audit Reporting組成。

HiddenLayer的MLSec平臺配備了一個簡單但功能強大的儀錶板，允許安全經理一目了然地了解他們的企業ML/AI模型是否處於安全狀態。 它還會根據問題的嚴重性自動列出安全問題和警報的優先順序，並存儲企業可能被要求進行的合規性、審計和報告的數據。

其MLDR解決方案採用基於機器學習的方法，每分鐘分析數十億的模型交互，以識別惡意活動，而無需訪問或事先了解使用者的ML模型或敏感訓練數據。 它能夠檢測並回應針對ML模型的攻擊，保護智慧財產權和商業機密免受盜竊或篡改，確保使用者不會受到攻擊。

HiddenLayer還提供面向對抗性機器學習（AML）專家團隊的諮詢服務，他們可以進行威脅評估，為客戶的網路安全和開發運營人員提供培訓，並進行“紅隊”演練，以確保客戶的防禦措施按預期工作。

HiddenLayer的MLSec平臺可以防範的攻擊種類

**推斷/提取：**提取攻擊涉及攻擊者操縱模型輸入，分析輸出，並推斷決策邊界以重構訓練數據，提取模型參數，或通過訓練一個近似目標的替代模型進行模型盜取。

**盜取機器學習模型：**攻擊者竊取昂貴的機器學習框架的成果。

**訓練數據的提取：**攻擊者可以在不訪問機器學習模型的參數的情況下，僅通過觀察其輸出來進行成員推斷攻擊。 當目標模型接受敏感信息的訓練時，成員推斷可能會引起安全和隱私問題。

**數據投毒：**當攻擊者向訓練集注入新的、特定修改的數據時，就會發生投毒。 這會欺騙或顛覆機器學習模型，使其提供不準確、偏見或惡意的結果。

**模型注入：**模型注入是一種依賴於通過插入一個惡意模組來修改機器學習模型的技術，該模組引入了一些秘密的有害或不希望的行為。

**模型劫持：**這種攻擊可以將惡意代碼注入到現有的PyTorch模型中，它會將當前目錄中的所有文件洩露到遠端伺服器。

HiddenLayer提供以下具體服務

**威脅建模：**通過發現性訪談和基於場景的討論，評估整體的AI/ML環境和資產風險。

**ML風險評估：**對客戶的人工智慧運營生命周期進行詳細分析，並深入分析客戶最關鍵的AI模型，以確定當前的AI/ML投資對組織的風險，以及改善所需的努力和/或控制措施。

**專家培訓：**為數據科學和安全團隊提供全天培訓，幫助他們獲得防範這些針對AI的攻擊和威脅。

**紅隊評估：**對抗性機器學習研究（AMLR）團隊將模擬攻擊者的攻擊來評估現有的防範措施，並修補漏洞。

**AI/ML模型掃描：**使用HiddenLayer的模型完整性掃描器，測試和驗證現有的AI/ML模型是否免受威脅（例如惡意軟體）和篡改。

**ML檢測與回應（MLDR）實施服務 :**專業地實施和整合HiddenLayer的MLDR產品到AI/ML環境中，為數據科學和安全團隊提供所需的功能和可見性，以預防攻擊、提高回應速度，並最大化模型的有效性。

與巨頭的合作，加強生態建設

除了產品和平台建設外，HiddenLayer也擁有強有力的合作夥伴，它Databricks達成了合作夥伴關係，將AI模型部署到Databricks數據湖中的企業使用者也能使用MLSec平臺。 這就從數據湖層面將安全性內置到AI中。

通過與Intel的戰略合作，把英特爾SGX上的機密計算和HiddenLayer的機器學習模型掃描器相結合，提供了軟硬一體的AI安全解決方案。

這兩大戰略合作，讓HiddenLayer的整個生態更加完整，也獲得了客戶的青睞，它目前已經在金融，政府等領域獲得了數家大客戶。

AI進入實用階段，AI安全的創業機會顯現

針對AI的安全，尤其是模型層面的安全，已經是一個確定的需求，此前已有專做AI模型安全的Protect AI獲得由Evolution Equity Partners和Salesforce Ventures共同領投的3500萬美元A輪融資。

而根據HiddenLayer創始人Sestito的說法，隨著AI市場的增長，AI安全的市場也會同步的增長，除了Protect AI和HiddenLayer以外，還有Robust Intelligence、CalypsoAI、Halcyon和 Troj.ai 等公司也在AI安全領域耕耘。

例如HiddenLayer的早期投資者Ten Eleven Ventures也投資了Halcyon的2000萬美元種子輪融資，這家公司主要做的是AI勒索軟體的防禦工具，可以説明使用AI軟體的使用者防範攻擊，並從攻擊中快速恢復回來。

隨著這波AI的浪潮從概念炒作階段進入到實際的應用階段，從以大模型創業為主，進入到AI應用創業為主，AI的安全性越發重要。 無論是保證AI模型的安全，還是保護AI應用的安全，AI安全的發展都能夠讓AI在ToC端和企業端的滲透進一步加深。

海外已經有了數量不少的AI安全創業公司，在中國市場，同樣的需求也大量存在，我們期待本土的優秀創業者們向著這個重要的創業領域進發。