A segurança dos modelos de IA é muito importante tanto para as empresas de aplicações de IA como para os utilizadores e clientes que utilizam aplicações de IA. Para as empresas de IA, ao mesmo tempo em que protege a segurança dos modelos de IA, também vale a pena prestar atenção à capacidade de proteger os dados e algoritmos originais de vazamentos, sem aumentar os custos de trabalho desnecessários.
Uma empresa chamada HiddenLayer construiu uma plataforma de segurança abrangente que fornece segurança de IA plug-and-play sem adicionar complexidade desnecessária no nível do modelo de IA ou acessar dados brutos e algoritmos.
Recentemente, a empresa recebeu uma rodada Série A de US$ 50 milhões liderada pela M12 e Moore Strategic Ventures, com a participação da Booz Allen Ventures, IBM Ventures, Capital One Ventures e Ten Eleven Ventures (que liderou sua rodada seed), que é a maior rodada de financiamento Série A em segurança de IA até o momento.
A HiddenLayer ajudou a proteger os modelos de IA/ML usados por várias empresas da Fortune 100 em áreas como finanças e cibersegurança.
Também formou parcerias estratégicas com a Intel e a Databricks, recebendo elogios como a Startup Mais Inovadora da RSAC e a Startup em Estágio Inicial Mais Promissora da SC Media. A empresa quase quadruplicou sua força de trabalho no ano passado e planeja aumentar sua força de trabalho de 50 para 90 até o final deste ano, investindo ainda mais em pesquisa e desenvolvimento.
Depois de se depararem com ataques contra IA, empreendedores em série veem uma oportunidade
De acordo com o Gartner, duas em cada cinco organizações em todos os ataques cibernéticos de IA em 2022 sofreram violações de privacidade de IA ou incidentes de segurança, e um quarto desses ataques foram maliciosos.
A agência de cibersegurança do Reino Unido, o Centro Nacional de Cibersegurança, também alerta que "os atacantes estão atacando chatbots modelo de linguagem grande, como o ChatGPT, para obter acesso a informações confidenciais, gerar conteúdo ofensivo e" desencadear consequências não intencionais. "
Em um estudo da Forrester encomendado pela HiddenLayer, 86% das pessoas estavam "muito preocupadas ou preocupadas" com a segurança dos modelos de aprendizado de máquina de sua organização.
A maioria das empresas respondentes disse que atualmente confia em processos manuais para combater ameaças de modelos de IA, e 80% dos entrevistados esperam investir em uma solução que gerencie a integridade e a segurança dos modelos de ML nos próximos 12 meses.
A segurança cibernética é particularmente técnica e especializada em comparação com outros campos, com o mercado global de cibersegurança devendo atingir US$ 403 bilhões até 2027, crescendo a um CAGR de 12,5% de 2020 a 2027, de acordo com pesquisa anterior da revista Fortune.
A HiddenLayer foi cofundada por Christopher Sestito (CEO), Tanner Burns (Chief Scientist) e James Ballard (CIO). Eles estavam em sua empresa anterior, Cylance, uma startup de segurança que foi adquirida pela BlackBerry. A ideia surgiu após um ciberataque a um modelo de IA.
Chris Sestito, CEO e cofundador da HiddenLayer, lembrou: "Depois que os modelos de aprendizado de máquina que protegemos foram atacados diretamente por meio de nossos produtos, lideramos o esforço de resgate e percebemos que isso seria um grande problema para qualquer organização que implantasse modelos de aprendizado de máquina em nossos produtos. Decidimos criar o HiddenLayer para educar as empresas sobre essa ameaça significativa e ajudá-las a se defender contra ataques. "
Sestito liderou a pesquisa de ameaças na Cylance, Ballard era o chefe da equipe de curadoria de dados da Cylance e Burns era um pesquisador de ameaças.
Chris Sestito comentou sobre a oportunidade de mercado: "Sabemos que quase todas as empresas estão usando IA em muitas formas, mas também sabemos que nenhuma outra tecnologia alcançou uma adoção tão ampla sem segurança. Estamos empenhados em criar as soluções de segurança mais sem atrito do mercado para clientes que atendam a essa necessidade não atendida. "
Comentando sobre tecnologia, Chris Sestito disse: "Muitos cientistas de dados confiam em modelos de aprendizado de máquina pré-treinados, de código aberto ou proprietários para reduzir o tempo de análise e simplificar os testes e, em seguida, obter insights de conjuntos de dados complexos. O uso de modelos de código aberto pré-treinados publicamente expõe potencialmente as organizações a transferir ataques de aprendizagem de modelos publicamente disponíveis adulterados.
Nossa plataforma fornece ferramentas para proteger modelos de IA contra ataques adversários, vulnerabilidades e injeções de código malicioso. Ele monitora as entradas e saídas de sistemas de IA para testar a integridade dos modelos antes da implantação. Utiliza técnicas para observar apenas as entradas de modelos e vetores (ou representações matemáticas) dos outputs produzidos por eles, sem necessidade de acesso aos seus modelos proprietários. "
Todd Graham, sócio-gerente da M12, disse: "Inspirados por sua própria experiência com ataques de IA adversariais, os fundadores da HiddenLayer construíram uma plataforma que é essencial para qualquer negócio usando tecnologias de IA e ML.
Sua experiência em primeira mão com esses ataques, combinada com sua visão e abordagem inovadora, torna a empresa a solução ideal para proteger esses modelos. Desde a primeira reunião com os fundadores, sabíamos que esta era uma grande ideia no espaço de segurança e queríamos ajudá-los a escalar. "
Crie uma plataforma MLSec que proteja de forma abrangente a segurança da IA
O principal produto da HiddenLayer, a Security Platform for Detecting and Preventing Cyberattacks on Machine Learning-Driven Systems (MLSec), é a primeira solução MLDR (Machine Learning Detection and Response) do setor que protege as empresas e seus clientes de vetores de ataque emergentes.
A plataforma MLSec consiste em HiddenLayer MLDR, ModelScanner e Security Audit Reporting.
A plataforma MLSec da HiddenLayer vem com um painel simples, mas poderoso, que permite que os gerentes de segurança vejam rapidamente se seus modelos corporativos de ML/IA estão em um estado seguro. Ele também prioriza automaticamente problemas de segurança e alertas com base em sua gravidade e armazena dados para conformidade, auditoria e relatórios que uma empresa pode ser obrigada a fazer.
Sua solução MLDR adota uma abordagem baseada em aprendizado de máquina para analisar bilhões de interações de modelo a cada minuto para identificar atividades maliciosas sem ter acesso ou conhecimento prévio do modelo de ML de um usuário ou dados de treinamento confidenciais. É capaz de detetar e responder a ataques contra modelos de ML, protegendo a propriedade intelectual e os segredos comerciais contra roubo ou adulteração, garantindo que os utilizadores não são atacados.
A HiddenLayer também oferece serviços de consultoria para equipes de especialistas em aprendizado de máquina (AML) adversarial que podem conduzir avaliações de ameaças, treinar a segurança cibernética dos clientes e a equipe de DevOps e conduzir exercícios de "equipe vermelha" para garantir que as defesas dos clientes funcionem conforme o esperado.
Tipos de ataques contra os quais a plataforma MLSec do HiddenLayer pode proteger
Inferência/extração: Os ataques de extração envolvem atacantes manipulando entradas de modelo, analisando saídas e inferindo limites de decisão para reconstruir dados de treinamento, extrair parâmetros de modelo ou executar roubo de modelo treinando um modelo alternativo que se aproxima do alvo.
Roubando modelos de aprendizado de máquina: os invasores roubam os frutos de estruturas caras de aprendizado de máquina.
Extração de dados de treinamento: um invasor pode executar um ataque de inferência de membro simplesmente observando sua saída sem acessar os parâmetros do modelo de aprendizado de máquina. Quando o modelo de destino é treinado em informações confidenciais, a inferência dos membros pode levantar preocupações de segurança e privacidade.
Envenenamento de dados: o envenenamento ocorre quando um invasor injeta dados novos e especificamente modificados no conjunto de treinamento. Isso engana ou subverte modelos de aprendizado de máquina para fornecer resultados imprecisos, tendenciosos ou mal-intencionados.
Injeção de modelo: A injeção de modelo é uma técnica que se baseia na modificação de um modelo de aprendizado de máquina inserindo um módulo malicioso que introduz algum comportamento secreto, prejudicial ou indesejado.
Sequestro de modelo: Este ataque pode injetar código malicioso em um modelo PyTorch existente, que exfiltra todos os arquivos no diretório atual para um servidor remoto.
HiddenLayer fornece os seguintes serviços específicos
Modelagem de ameaças: avalie o ambiente geral de IA/ML e o risco de ativos por meio de entrevistas de descoberta e discussões baseadas em cenários.
Avaliação de Risco de ML: Conduza uma análise detalhada do ciclo de vida das operações de IA do cliente e analise detalhadamente os modelos de IA mais críticos do cliente para determinar o risco para a organização dos investimentos atuais em IA/ML, bem como os esforços e/ou controles necessários para melhorar.
Treinamento especializado: oferece treinamento de dia inteiro para equipes de ciência de dados e segurança para ajudá-las a obter proteção contra esses ataques e ameaças contra IA.
Avaliação da Equipe Vermelha: A equipe Adversarial Machine Learning Research (AMLR) simulará o ataque de um atacante para avaliar as defesas existentes e corrigir vulnerabilidades.
Verificação de modelos de IA/ML: use o scanner de integridade de modelo do HiddenLayer para testar e validar modelos de IA/ML existentes contra ameaças (por exemplo, malware) e adulteração.
Serviços de implementação de MLDR (MLDR) :*Implemente e integre habilmente os produtos MLDR da HiddenLayer em ambientes de IA/ML, dando às equipes de ciência de dados e segurança os recursos e a visibilidade de que precisam para prevenir ataques, melhorar os tempos de resposta e maximizar a eficácia do modelo.
Cooperação com gigantes para fortalecer construção ecológica
Além da construção de produtos e plataformas, a HiddenLayer também tem parceiros fortes, a Databricks tem uma parceria para disponibilizar a plataforma MLSec para usuários corporativos que implantam modelos de IA em data lakes Databricks. Isso cria segurança na IA a partir do nível do data lake.
Através da cooperação estratégica com a Intel, a computação confidencial no Intel SGX e o scanner de modelo de aprendizado de máquina da HiddenLayer são combinados para fornecer uma solução de segurança de IA integrada de hardware e software.
Essas duas cooperações estratégicas tornaram todo o ecossistema da HiddenLayer mais completo, e também ganharam o favor dos clientes, que obtiveram vários grandes clientes nas áreas de finanças e governo.
A IA entrou na fase prática e surgiram oportunidades empresariais seguras para a IA
A segurança para IA, especialmente no nível do modelo, já é uma necessidade definitiva, e a Protect AI, especializada em segurança de modelos de IA, já recebeu uma rodada de financiamento Série A de US$ 35 milhões liderada pela Evolution Equity Partners e Salesforce Ventures.
De acordo com Sestito, fundador da HiddenLayer, à medida que o mercado de IA cresce, o mercado de segurança de IA crescerá simultaneamente, e além de Protect AI e HiddenLayer, empresas como Robust Intelligence, CalypsoAI, Halcyon e Troj.ai também estão trabalhando no campo da segurança de IA.
Por exemplo, a Ten Eleven Ventures, um dos primeiros investidores da HiddenLayer, também investiu em uma rodada seed de US$ 20 milhões da Halcyon, uma empresa que se concentra em ferramentas de defesa contra ransomware de IA que ajudam os usuários de software de IA a prevenir ataques e se recuperar rapidamente deles.
À medida que essa onda de IA passa do estágio de hype do conceito para o estágio de aplicação real, do empreendedorismo de grandes modelos para o empreendedorismo de aplicativos de IA, a segurança da IA está se tornando cada vez mais importante. Seja para garantir a segurança dos modelos de IA ou proteger a segurança das aplicações de IA, o desenvolvimento da segurança da IA pode aprofundar ainda mais a penetração da IA no lado ToC e no lado empresarial.
Já há um grande número de startups de segurança de IA no exterior e, no mercado chinês, a mesma demanda também existe, e esperamos que empreendedores locais de destaque se movam para este importante campo empreendedor.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Para proteger totalmente a segurança da IA, a HiddenLayer recebeu US$ 50 milhões em financiamento da Série A
Fonte original: Alpha Commune
A segurança dos modelos de IA é muito importante tanto para as empresas de aplicações de IA como para os utilizadores e clientes que utilizam aplicações de IA. Para as empresas de IA, ao mesmo tempo em que protege a segurança dos modelos de IA, também vale a pena prestar atenção à capacidade de proteger os dados e algoritmos originais de vazamentos, sem aumentar os custos de trabalho desnecessários.
Uma empresa chamada HiddenLayer construiu uma plataforma de segurança abrangente que fornece segurança de IA plug-and-play sem adicionar complexidade desnecessária no nível do modelo de IA ou acessar dados brutos e algoritmos.
Recentemente, a empresa recebeu uma rodada Série A de US$ 50 milhões liderada pela M12 e Moore Strategic Ventures, com a participação da Booz Allen Ventures, IBM Ventures, Capital One Ventures e Ten Eleven Ventures (que liderou sua rodada seed), que é a maior rodada de financiamento Série A em segurança de IA até o momento.
A HiddenLayer ajudou a proteger os modelos de IA/ML usados por várias empresas da Fortune 100 em áreas como finanças e cibersegurança.
Também formou parcerias estratégicas com a Intel e a Databricks, recebendo elogios como a Startup Mais Inovadora da RSAC e a Startup em Estágio Inicial Mais Promissora da SC Media. A empresa quase quadruplicou sua força de trabalho no ano passado e planeja aumentar sua força de trabalho de 50 para 90 até o final deste ano, investindo ainda mais em pesquisa e desenvolvimento.
Depois de se depararem com ataques contra IA, empreendedores em série veem uma oportunidade
De acordo com o Gartner, duas em cada cinco organizações em todos os ataques cibernéticos de IA em 2022 sofreram violações de privacidade de IA ou incidentes de segurança, e um quarto desses ataques foram maliciosos.
A agência de cibersegurança do Reino Unido, o Centro Nacional de Cibersegurança, também alerta que "os atacantes estão atacando chatbots modelo de linguagem grande, como o ChatGPT, para obter acesso a informações confidenciais, gerar conteúdo ofensivo e" desencadear consequências não intencionais. "
Em um estudo da Forrester encomendado pela HiddenLayer, 86% das pessoas estavam "muito preocupadas ou preocupadas" com a segurança dos modelos de aprendizado de máquina de sua organização.
A maioria das empresas respondentes disse que atualmente confia em processos manuais para combater ameaças de modelos de IA, e 80% dos entrevistados esperam investir em uma solução que gerencie a integridade e a segurança dos modelos de ML nos próximos 12 meses.
A segurança cibernética é particularmente técnica e especializada em comparação com outros campos, com o mercado global de cibersegurança devendo atingir US$ 403 bilhões até 2027, crescendo a um CAGR de 12,5% de 2020 a 2027, de acordo com pesquisa anterior da revista Fortune.
Chris Sestito, CEO e cofundador da HiddenLayer, lembrou: "Depois que os modelos de aprendizado de máquina que protegemos foram atacados diretamente por meio de nossos produtos, lideramos o esforço de resgate e percebemos que isso seria um grande problema para qualquer organização que implantasse modelos de aprendizado de máquina em nossos produtos. Decidimos criar o HiddenLayer para educar as empresas sobre essa ameaça significativa e ajudá-las a se defender contra ataques. "
Sestito liderou a pesquisa de ameaças na Cylance, Ballard era o chefe da equipe de curadoria de dados da Cylance e Burns era um pesquisador de ameaças.
Chris Sestito comentou sobre a oportunidade de mercado: "Sabemos que quase todas as empresas estão usando IA em muitas formas, mas também sabemos que nenhuma outra tecnologia alcançou uma adoção tão ampla sem segurança. Estamos empenhados em criar as soluções de segurança mais sem atrito do mercado para clientes que atendam a essa necessidade não atendida. "
Comentando sobre tecnologia, Chris Sestito disse: "Muitos cientistas de dados confiam em modelos de aprendizado de máquina pré-treinados, de código aberto ou proprietários para reduzir o tempo de análise e simplificar os testes e, em seguida, obter insights de conjuntos de dados complexos. O uso de modelos de código aberto pré-treinados publicamente expõe potencialmente as organizações a transferir ataques de aprendizagem de modelos publicamente disponíveis adulterados.
Nossa plataforma fornece ferramentas para proteger modelos de IA contra ataques adversários, vulnerabilidades e injeções de código malicioso. Ele monitora as entradas e saídas de sistemas de IA para testar a integridade dos modelos antes da implantação. Utiliza técnicas para observar apenas as entradas de modelos e vetores (ou representações matemáticas) dos outputs produzidos por eles, sem necessidade de acesso aos seus modelos proprietários. "
Todd Graham, sócio-gerente da M12, disse: "Inspirados por sua própria experiência com ataques de IA adversariais, os fundadores da HiddenLayer construíram uma plataforma que é essencial para qualquer negócio usando tecnologias de IA e ML.
Sua experiência em primeira mão com esses ataques, combinada com sua visão e abordagem inovadora, torna a empresa a solução ideal para proteger esses modelos. Desde a primeira reunião com os fundadores, sabíamos que esta era uma grande ideia no espaço de segurança e queríamos ajudá-los a escalar. "
Crie uma plataforma MLSec que proteja de forma abrangente a segurança da IA
O principal produto da HiddenLayer, a Security Platform for Detecting and Preventing Cyberattacks on Machine Learning-Driven Systems (MLSec), é a primeira solução MLDR (Machine Learning Detection and Response) do setor que protege as empresas e seus clientes de vetores de ataque emergentes.
A plataforma MLSec consiste em HiddenLayer MLDR, ModelScanner e Security Audit Reporting.
Sua solução MLDR adota uma abordagem baseada em aprendizado de máquina para analisar bilhões de interações de modelo a cada minuto para identificar atividades maliciosas sem ter acesso ou conhecimento prévio do modelo de ML de um usuário ou dados de treinamento confidenciais. É capaz de detetar e responder a ataques contra modelos de ML, protegendo a propriedade intelectual e os segredos comerciais contra roubo ou adulteração, garantindo que os utilizadores não são atacados.
A HiddenLayer também oferece serviços de consultoria para equipes de especialistas em aprendizado de máquina (AML) adversarial que podem conduzir avaliações de ameaças, treinar a segurança cibernética dos clientes e a equipe de DevOps e conduzir exercícios de "equipe vermelha" para garantir que as defesas dos clientes funcionem conforme o esperado.
Tipos de ataques contra os quais a plataforma MLSec do HiddenLayer pode proteger
Inferência/extração: Os ataques de extração envolvem atacantes manipulando entradas de modelo, analisando saídas e inferindo limites de decisão para reconstruir dados de treinamento, extrair parâmetros de modelo ou executar roubo de modelo treinando um modelo alternativo que se aproxima do alvo.
Roubando modelos de aprendizado de máquina: os invasores roubam os frutos de estruturas caras de aprendizado de máquina.
Extração de dados de treinamento: um invasor pode executar um ataque de inferência de membro simplesmente observando sua saída sem acessar os parâmetros do modelo de aprendizado de máquina. Quando o modelo de destino é treinado em informações confidenciais, a inferência dos membros pode levantar preocupações de segurança e privacidade.
Envenenamento de dados: o envenenamento ocorre quando um invasor injeta dados novos e especificamente modificados no conjunto de treinamento. Isso engana ou subverte modelos de aprendizado de máquina para fornecer resultados imprecisos, tendenciosos ou mal-intencionados.
Injeção de modelo: A injeção de modelo é uma técnica que se baseia na modificação de um modelo de aprendizado de máquina inserindo um módulo malicioso que introduz algum comportamento secreto, prejudicial ou indesejado.
Sequestro de modelo: Este ataque pode injetar código malicioso em um modelo PyTorch existente, que exfiltra todos os arquivos no diretório atual para um servidor remoto.
HiddenLayer fornece os seguintes serviços específicos
Modelagem de ameaças: avalie o ambiente geral de IA/ML e o risco de ativos por meio de entrevistas de descoberta e discussões baseadas em cenários.
Avaliação de Risco de ML: Conduza uma análise detalhada do ciclo de vida das operações de IA do cliente e analise detalhadamente os modelos de IA mais críticos do cliente para determinar o risco para a organização dos investimentos atuais em IA/ML, bem como os esforços e/ou controles necessários para melhorar.
Treinamento especializado: oferece treinamento de dia inteiro para equipes de ciência de dados e segurança para ajudá-las a obter proteção contra esses ataques e ameaças contra IA.
Avaliação da Equipe Vermelha: A equipe Adversarial Machine Learning Research (AMLR) simulará o ataque de um atacante para avaliar as defesas existentes e corrigir vulnerabilidades.
Verificação de modelos de IA/ML: use o scanner de integridade de modelo do HiddenLayer para testar e validar modelos de IA/ML existentes contra ameaças (por exemplo, malware) e adulteração.
Serviços de implementação de MLDR (MLDR) :*Implemente e integre habilmente os produtos MLDR da HiddenLayer em ambientes de IA/ML, dando às equipes de ciência de dados e segurança os recursos e a visibilidade de que precisam para prevenir ataques, melhorar os tempos de resposta e maximizar a eficácia do modelo.
Cooperação com gigantes para fortalecer construção ecológica
Além da construção de produtos e plataformas, a HiddenLayer também tem parceiros fortes, a Databricks tem uma parceria para disponibilizar a plataforma MLSec para usuários corporativos que implantam modelos de IA em data lakes Databricks. Isso cria segurança na IA a partir do nível do data lake.
Essas duas cooperações estratégicas tornaram todo o ecossistema da HiddenLayer mais completo, e também ganharam o favor dos clientes, que obtiveram vários grandes clientes nas áreas de finanças e governo.
A IA entrou na fase prática e surgiram oportunidades empresariais seguras para a IA
A segurança para IA, especialmente no nível do modelo, já é uma necessidade definitiva, e a Protect AI, especializada em segurança de modelos de IA, já recebeu uma rodada de financiamento Série A de US$ 35 milhões liderada pela Evolution Equity Partners e Salesforce Ventures.
De acordo com Sestito, fundador da HiddenLayer, à medida que o mercado de IA cresce, o mercado de segurança de IA crescerá simultaneamente, e além de Protect AI e HiddenLayer, empresas como Robust Intelligence, CalypsoAI, Halcyon e Troj.ai também estão trabalhando no campo da segurança de IA.
Por exemplo, a Ten Eleven Ventures, um dos primeiros investidores da HiddenLayer, também investiu em uma rodada seed de US$ 20 milhões da Halcyon, uma empresa que se concentra em ferramentas de defesa contra ransomware de IA que ajudam os usuários de software de IA a prevenir ataques e se recuperar rapidamente deles.
À medida que essa onda de IA passa do estágio de hype do conceito para o estágio de aplicação real, do empreendedorismo de grandes modelos para o empreendedorismo de aplicativos de IA, a segurança da IA está se tornando cada vez mais importante. Seja para garantir a segurança dos modelos de IA ou proteger a segurança das aplicações de IA, o desenvolvimento da segurança da IA pode aprofundar ainda mais a penetração da IA no lado ToC e no lado empresarial.
Já há um grande número de startups de segurança de IA no exterior e, no mercado chinês, a mesma demanda também existe, e esperamos que empreendedores locais de destaque se movam para este importante campo empreendedor.