PwC: Decodificando os riscos e desafios de segurança levantados pela IA generativa

Fonte: PwC

Fonte da imagem: Gerada por Unbounded AI

O impacto da onda de produtos generativos de IA na segurança corporativa

Espera-se que vários produtos de IA generativos, como o ChatGPT, liberem os funcionários de tarefas tediosas e repetitivas, e os funcionários possam dedicar mais tempo e energia ao trabalho que é mais valioso para a empresa. No entanto, do ponto de vista da segurança corporativa, os produtos de IA generativa podem apresentar novos riscos, o que é uma faca de dois gumes para as empresas.

01 A ameaça de ataques cibernéticos se intensificou

A IA generativa reduz a barreira de entrada para hackers. Os hackers podem usar IA generativa para integrar rapidamente vários métodos de ataque cibernético, "armar" convenientemente os métodos de ataque e, possivelmente, obter métodos de ataque inovadores. A equipe de segurança cibernética da PwC observou claramente que os ataques de engenharia social, como e-mails de phishing recebidos pelos clientes, aumentaram significativamente nos últimos meses, o que coincide com o uso generalizado do ChatGPT; o ChatGPT também foi considerado mais enganoso para sites de phishing de geração em lote.

02 Vazamento de dados confidenciais da empresa

Os especialistas em segurança estão preocupados com o possível vazamento de dados confidenciais da empresa, e o comportamento impróprio de entrada dos funcionários pode fazer com que dados confidenciais permaneçam no banco de dados de produtos de IA generativos. A política de privacidade da OpenAI mostra que o conteúdo inserido pelos usuários ao usar o ChatGPT será usado para treinar seu modelo de algoritmo AI. Além disso, o ChatGPT foi exposto a sérios problemas de segurança. Devido a vulnerabilidades na biblioteca de código aberto, alguns usuários podem ver os títulos do histórico de conversas de outros usuários. Atualmente, muitos gigantes da tecnologia, como Amazon e Microsoft, lembraram os funcionários de não compartilhar dados confidenciais com o ChatGPT.

03 Risco de envenenamento por IA geradora

O envenenamento de dados de treinamento é uma ameaça de segurança comum enfrentada pela IA generativa. Dados maliciosos terão um impacto negativo nos resultados dos algoritmos de IA. Se o gerenciamento de operações depende muito de IA generativa, decisões erradas podem ser tomadas em questões críticas. Por outro lado, a IA generativa também tem problemas potenciais de "viés". Semelhante à atividade "100 Garrafas de Veneno para IA" participada por muitos especialistas e estudiosos conhecidos, no processo de desenvolvimento ou uso de IA, as empresas devem responder ativamente à ameaça de envenenamento por IA de maneira estratégica.

04Problemas de proteção de privacidade

O estágio de pré-treinamento de IA generativa requer uma grande quantidade de coleta e mineração de dados, que pode incluir informações privadas de muitos clientes e funcionários. Se a IA generativa não puder proteger e anonimizar adequadamente essas informações privadas, isso pode levar a vazamentos de privacidade, e essas informações privadas podem até ser abusadas para analisar e especular sobre o comportamento do usuário. Por exemplo, o mercado de aplicativos para celular está cheio de software de geração de imagens. Os usuários só precisam fazer upload de vários avatares de si mesmos e o software pode gerar fotos compostas de diferentes cenas e temas. No entanto, como as empresas de software usam os avatares carregados por esses usuários, se isso trará proteção à privacidade e outros riscos à segurança, merece atenção e resposta.

05 Risco de Conformidade de Segurança Corporativa

Na ausência de medidas de gerenciamento eficazes, a adoção em massa de produtos generativos de IA pode levar a problemas de conformidade de segurança, o que é, sem dúvida, um grande desafio para os gerentes de segurança corporativa. As Medidas Provisórias para a Administração de Serviços Generativos de Inteligência Artificial, que foram revisadas e aprovadas pela Administração do Ciberespaço da China e aprovadas por seis departamentos, incluindo a Comissão Nacional de Desenvolvimento e Reforma e o Ministério da Educação, foram anunciadas há alguns dias e serão entra em vigor em 151 de agosto 2. Ele apresenta requisitos básicos das perspectivas de desenvolvimento e governança de tecnologia, especificação de serviço, supervisão e inspeção e responsabilidade legal e estabelece uma estrutura de conformidade básica para a adoção de IA generativa.

Aprenda sobre cenários reais de ameaça de segurança de IA generativa

Depois de entender os riscos de segurança introduzidos pela IA generativa, analisaremos a seguir como o problema surge em um cenário de ameaça de segurança mais específico e exploraremos o impacto sutil da IA generativa na segurança corporativa.

01 Ataque de Engenharia Social

O hacker de renome mundial Kevin Mitnick disse uma vez: "O elo mais fraco na cadeia de segurança é o elemento humano." A tática usual dos hackers de engenharia social é usar palavras doces para atrair funcionários corporativos, e o surgimento da IA generativa facilitou muito os ataques de engenharia social. A IA generativa pode gerar conteúdo falso altamente realista, incluindo notícias falsas, postagens falsas em redes sociais, e-mails fraudulentos e muito mais. Esse conteúdo falso pode enganar os usuários, espalhar informações falsas ou induzir os funcionários a tomar decisões erradas. A IA generativa pode até ser usada para sintetizar som ou vídeo para parecer real, o que pode ser usado para cometer fraudes ou falsificar evidências. O Bureau Municipal de Segurança Pública de Baotou, o Bureau de Investigação de Crimes da Rede de Telecomunicações divulgou um caso de fraude de telecomunicações usando tecnologia inteligente de IA.

02 Violações inconscientes por funcionários

Muitos fabricantes de tecnologia começaram a traçar ativamente o caminho da IA generativa, integrando um grande número de funções de IA generativa em produtos e serviços. Os funcionários podem usar inadvertidamente produtos de IA generativos sem ler cuidadosamente os termos de uso do usuário antes de usá-los. Quando os funcionários da empresa usam IA generativa, eles podem inserir conteúdo contendo informações confidenciais, como dados financeiros, informações de projetos, segredos da empresa etc., o que pode levar ao vazamento de informações confidenciais da empresa. Para evitar a divulgação de informações confidenciais por IA generativa, as empresas precisam tomar medidas de segurança abrangentes: incluindo o aprimoramento da tecnologia de proteção contra vazamento de dados e a restrição do comportamento on-line dos funcionários; ao mesmo tempo, eles precisam fornecer treinamento de segurança para os funcionários para melhorar a segurança dos dados e espera de vigilância de confidencialidade. Assim que a violação de um funcionário é descoberta, a empresa precisa avaliar imediatamente o impacto e tomar medidas oportunas.

03 Discriminação e Preconceito Inevitáveis

A razão pela qual a IA generativa pode ter discriminação e viés é principalmente devido às características de seus dados de treinamento e design do modelo. Os dados de treinamento da Internet refletem preconceitos do mundo real, incluindo aspectos como raça, gênero, cultura, religião e status social. Durante o processamento dos dados de treinamento, pode não haver triagem e medidas de limpeza suficientes para excluir dados tendenciosos. Da mesma forma, pode não haver atenção suficiente para reduzir o viés no design do modelo e na seleção do algoritmo para IA generativa. Os modelos algorítmicos captam tendências nos dados de treinamento à medida que aprendem, levando a tendências semelhantes no texto gerado. Embora eliminar o viés e a discriminação da IA generativa seja um desafio complexo, existem etapas que as empresas podem tomar para ajudar a mitigá-los3.

04 Compromisso com a proteção da privacidade

No processo de uso de produtos de IA generativa, a fim de buscar automação eficiente e serviços personalizados, empresas e indivíduos podem fazer algumas concessões em termos de proteção de privacidade, permitindo que a IA generativa colete alguns dados privados. Além de os usuários divulgarem conteúdo de privacidade pessoal para a IA generativa durante o uso, a IA generativa também pode analisar o conteúdo inserido pelo usuário e usar algoritmos para especular sobre as informações, preferências ou comportamentos pessoais do usuário, infringindo ainda mais a privacidade do usuário. A dessensibilização e anonimização de dados é uma medida comum de proteção da privacidade, mas pode levar à perda de algumas informações dos dados, reduzindo assim a precisão do modelo de geração. É necessário encontrar um equilíbrio entre a proteção da privacidade pessoal e a qualidade do conteúdo gerado . Como provedor de IA generativa, deve fornecer aos usuários uma declaração de política de privacidade transparente para informá-los sobre a coleta, uso e compartilhamento de dados, para que os usuários possam tomar decisões informadas.

05 Principais Tendências em Conformidade Regulatória

Do ponto de vista atual, os riscos de conformidade legal enfrentados pela IA generativa vêm principalmente de "violações de conteúdo de leis e regulamentos" e "violação de propriedade intelectual". Na ausência de supervisão, a IA generativa pode gerar conteúdo ilegal ou inapropriado, que pode envolver elementos ilegais ou ilegais, como insultos, difamação, pornografia, violência; por outro lado, a IA generativa pode gerar conteúdo com base em conteúdo protegido por direitos autorais existente, que pode resultar em violação de propriedade intelectual. As empresas que usam IA generativa devem realizar análises de conformidade para garantir que seus aplicativos cumpram os regulamentos e padrões relevantes e evitem riscos legais desnecessários. As empresas devem primeiro avaliar se os produtos que usam cumprem as disposições das "Medidas Provisórias para a Administração de Serviços Generativos de Inteligência Artificial". Ao mesmo tempo, eles precisam prestar muita atenção às atualizações e mudanças das leis e regulamentos relevantes, e fazer ajustes oportunos para garantir a conformidade. Quando as empresas usam IA generativa com fornecedores ou parceiros, elas precisam esclarecer os direitos e responsabilidades de cada parte e estipular as obrigações e restrições correspondentes no contrato.

Como indivíduos e empresas podem lidar proativamente com os riscos e desafios da IA generativa

Usuários individuais e funcionários corporativos precisam perceber que, embora aproveitem as várias conveniências trazidas pela IA generativa, eles ainda precisam fortalecer a proteção de sua privacidade pessoal e outras informações confidenciais.

01Evite a divulgação de privacidade pessoal

Antes de usar produtos generativos de IA, os funcionários devem garantir que o provedor de serviços proteja razoavelmente a privacidade e a segurança dos usuários, leia atentamente a política de privacidade e os termos do usuário e tente escolher um provedor confiável que tenha sido verificado pelo público. Tente evitar a inserção de dados de privacidade pessoal durante o uso e use identidades virtuais ou informações anônimas em cenários que não exijam informações de identidade real. Quaisquer possíveis dados confidenciais precisam ser ofuscados antes da entrada. Na Internet, especialmente em mídias sociais e fóruns públicos, os funcionários devem evitar o compartilhamento excessivo de informações pessoais, como nomes, endereços, números de telefone, etc., e não expor facilmente as informações a sites e conteúdos de acesso público.

02 Evite gerar conteúdo enganoso

Devido às limitações dos princípios técnicos da IA generativa, os resultados serão inevitavelmente enganosos ou tendenciosos. Os especialistas do setor também estão constantemente estudando como evitar o risco de envenenamento de dados. Para obter informações importantes, os funcionários devem verificá-las em várias fontes independentes e confiáveis e, se as mesmas informações aparecerem em apenas um local, mais investigações podem ser necessárias para confirmar sua autenticidade. Descubra se as informações apresentadas nos resultados são apoiadas por evidências sólidas. Se não houver base substantiva, talvez seja necessário ser cético em relação às informações. Identificar o enganoso e o viés da IA generativa exige que os usuários mantenham o pensamento crítico, melhorem constantemente sua alfabetização digital e entendam como usar seus produtos e serviços com segurança.

Em comparação com a atitude aberta de usuários individuais, as empresas ainda estão esperando e observando a IA generativa. A introdução da IA generativa é uma oportunidade e um desafio para as empresas. As empresas precisam realizar considerações gerais de risco e fazer algumas implantações estratégicas de resposta com antecedência. A PwC recomenda que as empresas considerem iniciar o trabalho relacionado a partir dos seguintes aspectos.

01 Avaliação de segurança de rede corporativa esclarece deficiências de defesa

O desafio número um enfrentado pelas empresas continua sendo como se defender contra a próxima geração de ataques cibernéticos causados pela IA generativa. Para as empresas, é imperativo avaliar o status atual da segurança da rede, determinar se a empresa possui detecção de segurança e recursos de defesa suficientes para lidar com esses ataques, identificar possíveis vulnerabilidades de defesa da segurança da rede e tomar medidas de reforço correspondentes para lidar ativamente com elas. Para atingir os objetivos acima, a equipe de segurança cibernética da PwC recomenda que as empresas conduzam exercícios de confronto ofensivo e defensivo com base nesses cenários reais de ameaças de ataques cibernéticos, ou seja, "confronto vermelho e azul" de segurança cibernética. A partir de diferentes cenários de ataque, podemos descobrir antecipadamente as possíveis deficiências da defesa de segurança da rede e reparar as falhas de defesa de forma abrangente e sistemática, de modo a proteger os ativos de TI e a segurança dos dados da empresa.

02 Implante o ambiente de teste de IA generativo interno da empresa

Para entender os princípios técnicos da IA generativa e controlar melhor os resultados dos modelos de IA generativa, as empresas podem considerar o estabelecimento de seu próprio ambiente de teste de sandbox de IA generativa internamente, de modo a evitar ameaças potenciais incontroláveis de IA generativa de produtos de IA aos dados corporativos. Ao testar em um ambiente isolado, as empresas podem garantir que dados precisos e inerentemente isentos de viés estejam disponíveis para o desenvolvimento de IA e possam explorar e avaliar com mais confiança o desempenho do modelo sem arriscar a exposição de dados confidenciais. Um ambiente de teste isolado também pode evitar envenenamento de dados e outros ataques externos à IA generativa e manter a estabilidade do modelo de IA generativa.

03Estabeleça uma estratégia de gerenciamento de risco para IA generativa

As empresas devem incorporar a IA generativa no escopo alvo do gerenciamento de riscos o mais rápido possível e complementar e modificar a estrutura e a estratégia de gerenciamento de riscos. Realize avaliações de risco para cenários de negócios usando IA generativa, identifique riscos potenciais e vulnerabilidades de segurança, formule planos de risco correspondentes e esclareça contramedidas e atribuições de responsabilidade. Estabeleça um sistema de gerenciamento de acesso rígido para garantir que apenas pessoal autorizado possa acessar e usar produtos de IA generativos aprovados pela empresa. Ao mesmo tempo, o comportamento de uso dos usuários deve ser regulamentado e os funcionários da empresa devem ser treinados em gerenciamento de riscos de IA generativa para aprimorar a consciência de segurança e os recursos de enfrentamento dos funcionários. Os empreendedores também devem adotar uma abordagem de privacidade por design ao desenvolver aplicativos de IA generativos, para que os usuários finais saibam como os dados que eles fornecem serão usados e quais dados serão retidos.

04 Forme um grupo de trabalho de pesquisa de IA generativa dedicado

As empresas podem reunir conhecimentos e habilidades profissionais dentro da organização para explorar em conjunto as oportunidades e riscos potenciais da tecnologia de IA generativa e convidar membros que entendem de campos relacionados a participar do grupo de trabalho, incluindo especialistas em governança de dados, especialistas em modelos de IA, especialistas em domínio de negócios, e os especialistas em conformidade legal esperam. A gestão corporativa deve garantir que os membros do grupo de trabalho tenham acesso aos dados e recursos necessários para permitir que eles explorem e experimentem, ao mesmo tempo em que incentiva os membros do grupo de trabalho a experimentar e validar em ambientes de teste para entender melhor as oportunidades e oportunidades potenciais da IA generativa. cenários podem equilibrar os riscos para obter os benefícios da aplicação de tecnologia avançada.

Conclusão

O desenvolvimento e a aplicação da IA generativa estão tendo um grande impacto na tecnologia, o que pode desencadear uma nova revolução na produtividade. A IA generativa é uma tecnologia poderosa que combina avanços em campos como aprendizado profundo, processamento de linguagem natural e big data para permitir que sistemas de computador gerem conteúdo em linguagem humana. As empresas e os trabalhadores devem controlar esta poderosa tecnologia e garantir que o seu desenvolvimento e aplicação sejam realizados no quadro da lei, da ética e da responsabilidade social, o que será uma questão importante no futuro. A equipe de especialistas em IA da PwC está empenhada em pesquisar como ajudar as empresas a estabelecer um mecanismo completo de gerenciamento de IA generativa4, para que as empresas possam aplicar e desenvolver essa tecnologia emergente com mais tranquilidade, o que ajudará as empresas a entrar na onda da tecnologia de IA, a IA generativa pode fornecer às empresas vantagens competitivas sustentáveis.

Observação

1. Medidas Provisórias para a Administração de Serviços Geradores de Inteligência Artificial_Documentos Departamentais do Conselho de Estado_ChinaGov.com

2. Inovação e Governança: interpretando as últimas tendências regulatórias em inteligência artificial generativa

3. Compreendendo o viés algorítmico e como construir confiança na IA

4. Gerenciamento de riscos generativos de IA: PwC

Isenção de responsabilidade: as informações contidas neste artigo são apenas para fins de informação geral e não devem ser consideradas exaustivas, nem constituem aconselhamento legal, tributário ou outro conselho profissional ou serviços da PwC. As instituições membros da PwC não se responsabilizam por qualquer prejuízo causado por qualquer assunto em decorrência da utilização do conteúdo deste artigo.