O ataque e defesa de IA por trás de um e-mail de phishing

Fonte original: Novos Conhecimentos de Ciência e Tecnologia

Autor: Zhangdao

Fonte da imagem: gerada por Unbounded AI‌

A IA generativa está transformando o campo do comércio eletrônico transfronteiriço no “Novo Norte de Mianmar” na Internet. Recentemente, muitos vendedores relataram o recebimento de “e-mails de phishing” disfarçados de e-mails oficiais da Amazon, que extraem informações importantes da conta do vendedor por meio de links maliciosos fornecidos. Algumas pessoas foram enganadas e perderam até 400.000 em apenas uma noite. O Sudão é uma das vítimas sortudas. No e-mail que recebeu no início de setembro, o endereço de envio era muito semelhante ao endereço oficial da Amazon, e o conteúdo era uma imitação inteligente do estilo de notificação da Amazon, pedindo aos vendedores que atualizassem as informações de contato de emergência. Seguindo as instruções do e-mail, você será direcionado para um site que parece ser “Amazon” e será solicitado a inserir seu e-mail, senha e código de verificação em duas etapas. Depois de ser enganado, você receberá em breve uma notificação de “login remoto da loja” do verdadeiro oficial da Amazon.

Resultados de detecção do assassino ChatGPT GPTZero

**Sultan interrompeu imediatamente suas perdas quando percebeu que algo estava errado. Ele também usou ferramentas técnicas para analisar o conteúdo do e-mail, o que mostrou que havia 90% de possibilidade de ele ter sido gerado por IA. **A nova tecnologia está mais uma vez na encruzilhada entre o bem e o mal.

01 IA generativa está “fazendo o mal”

O Sudão costuma navegar na Internet em casa e no exterior. Ele conhece o ChatGPT e já experimentou isso muitas vezes. Ele também ouviu dizer que o ChatGPT pode contornar o mecanismo de segurança de alguma forma e gerar conteúdo ilegal e imoral. O que ele ainda não percebeu é que a tecnologia de “jailbreak” do ChatGPT foi repetida várias vezes, e agora existe ainda uma versão “mal GPT” mais avançada no mercado, e o e-mail de phishing encontrado desta vez pode ter sido escrito por esta versão . **As versões mais famosas do "GPT maligno" são WormGPT e FraudGPT, que podem implementar rapidamente golpes de phishing por e-mail. ** Em março de 2021, o WormGPT foi lançado e seus desenvolvedores começaram a vender direitos de uso em fóruns de hackers em junho deste ano. Ao contrário do ChatGPT, o WormGPT não define restrições que impeçam a resposta a perguntas relacionadas a atividades ilegais, é baseado no modelo GPT-J de código aberto de 2021, ligeiramente desatualizado, e é treinado especificamente em dados relacionados ao desenvolvimento de malware. Para avaliar riscos potenciais, a equipe de pesquisa da empresa de análise de segurança Slashnext testou ataques BEC (Business Email Fraud). No experimento, eles pediram ao WormGPT que elaborasse um e-mail com o objetivo de pressionar um gerente de contas desavisado a pagar uma fatura falsa.

E-mails de phishing gerados pelo WormGPT

Os resultados são chocantes: os e-mails gerados pelo WormGPT não são apenas muito convincentes, mas também muito inteligentes em táticas, demonstrando plenamente sua capacidade de realizar ataques complexos de phishing e BEC. Outro modelo de linguagem maligna chamado FraudGPT foi revelado em julho deste ano. A partir de 22 de julho, o desenvolvedor promoveu o produto em vários fóruns, chamando-o de alternativa irrestrita ao ChatGPT. Segundo relatos, o FraudGPT é atualizado a cada uma ou duas semanas e usa uma variedade de modelos de IA na arquitetura. Esta ferramenta tem preços baseados em assinatura e custa US$ 200 por mês ou US$ 1.700 anualmente.

Uma captura de tela de um fórum mostrando a funcionalidade do FraudGPT

A equipe de pesquisa de segurança Netenrich comprou e testou. A interface do FraudGPT é muito semelhante ao ChatGPT, o histórico de consultas do usuário é exibido no lado esquerdo e a janela de chat ocupa a maior parte da interface. Os usuários só precisam inserir perguntas na área "Faça uma pergunta" e o sistema irá gerar as respostas correspondentes para elas.

FraudGPT gera e-mails de phishing

Durante o teste, os pesquisadores instruíram o FraudGPT a criar um e-mail de phishing relacionado a um banco. Os usuários simplesmente formatam a pergunta para incluir o nome de um banco específico e o FraudGPT cuida do resto. Essa ferramenta também orienta os usuários onde colocar links maliciosos no conteúdo do e-mail, podendo ainda gerar uma página de login para fraudes, induzindo as vítimas a fornecer informações pessoais. **Analistas dizem que o FraudGPT pode se tornar uma ferramenta ideal para lançar ataques impactantes de phishing e BEC, levando a enormes fraudes financeiras e roubo de dados. ** Existem mais de dois “GPTs do mal” ativos. Em meados de agosto, especialistas na área de segurança de rede revelaram outra ferramenta de crime cibernético baseada em GPT, chamada EvilGPT. Este aplicativo é semelhante ao FraudGPT e WormGPT e pode ajudar a criar malware, e-mails de phishing, interceptar links e detectar pontos fracos na segurança da rede corporativa. Se o GPT acima for banido ou removido por algum motivo, ele estará disponível no mercado como alternativa. Ao mesmo tempo, também adota um modelo de preços baseado em assinatura para atrair usuários potenciais para a compra. EvilGPT é apenas a ponta do iceberg que foi descoberto nas últimas semanas. **Com o passar do tempo, poderão surgir mais ferramentas e aplicativos maliciosos baseados em tecnologia de inteligência artificial. **

02 Com a "bênção" da IA, e-mails de phishing são difíceis de detectar

Os e-mails de phishing não são estranhos aos praticantes do comércio eletrónico transfronteiriço, mas desta vez o Sudão quase caiu nele. Além da negligência ocasional, a "bênção" da IA generativa desempenhou um papel importante. No passado, uma forma eficaz de identificar e-mails de phishing era prestar atenção aos erros ortográficos e gramaticais das palavras do conteúdo. Segundo os dados, cerca de 50% dos e-mails de phishing têm origem na Rússia, Alemanha e China. A maior parte do conteúdo falso enviado dessas áreas que não falam inglês contém gramática ou palavras anormais, o que é inconsistente com o estilo formal e padrão de e-mail.

E-mails de phishing não comprovados

Na verdade, para evitar que os funcionários cliquem em e-mails com links maliciosos ou vazem informações de login, muitas empresas de comércio eletrônico usam treinamento para lembrá-los de erros ortográficos, gramaticais incomuns e outros erros que falantes não nativos de inglês podem cometer. **No entanto, a tecnologia atual de IA generativa pode eliminar perfeitamente esses recursos de reconhecimento tradicionais. Este e-mail de phishing da Amazon não contém erros gramaticais. ** Evan Reiser, CEO da empresa de segurança de e-mail Abnormal Security, recentemente apontou isso em uma entrevista: Os e-mails de phishing refinados produzidos pela plataforma generativa de IA são quase iguais aos e-mails reais, tornando-os difíceis de identificar à primeira vista. “Quando você olha esses e-mails, não há nada em seu cérebro que avise que isso pode ser um ataque de phishing”, disse ele. **O mais assustador é que evitar erros de linguagem é apenas a habilidade básica demonstrada pela IA generativa em e-mails de phishing. Capacidades mais fortes de engano e confusão são mais mortais. ** Graças à capacidade da IA de imitar a escrita humana, o conteúdo dos e-mails de phishing pode incluir a criação de um sentido de urgência, o incentivo aos destinatários a clicar em links ou e-mails de engenharia social disfarçados de pedidos de remessa. Assim que o destinatário clicar no link, seu sistema poderá estar infectado com código malicioso. O cenário acima de e-mails forjados da Amazon é um cenário criado pela IA que é urgente para os vendedores. Muitos vendedores sentiram que algo não estava certo depois de revisar cuidadosamente o conteúdo do e-mail, mas ainda assim seguiram as instruções do e-mail porque temiam que pudessem ter perdido algumas informações importantes. **Além disso, a IA generativa também pode tornar os e-mails de phishing mais agressivos. **Eles podem obter informações pessoais de plataformas sociais, portais de notícias, fóruns online e outras fontes para criar e-mails atraentes e mais direcionados. Esta era uma tarefa que normalmente levaria meses para ser concluída no passado. Se um invasor tiver acesso a essas informações proprietárias, ele poderá inserir detalhes mais convincentes no e-mail ou imitar a maneira como alguém escreve. "Atualmente, os criminosos simplesmente capturam esses e-mails, alimentam-nos automaticamente em um grande modelo e, em seguida, instruem-no a construir um e-mail que faça referência às últimas cinco conversas on-line", ressalta Evan Reiser. "Uma tarefa que poderia levar oito horas agora pode agora leva apenas oito segundos.” Mesmo invasores com capacidades técnicas limitadas podem aproveitar a IA generativa para escrever código VBA. Eles simplesmente instruem a IA a incorporar a URL maliciosa no código e, quando o usuário abre um arquivo como o Excel, o sistema baixa e executa automaticamente o malware.

No passado, sistemas como ChatGPT e Bard tinham proteções integradas para evitar ao máximo a geração de conteúdo malicioso, mas à medida que surgem cada vez mais versões malignas de GPT, a segurança do e-mail enfrenta um enorme desafio. Em 21 de agosto de 2023, a equipe internacional de pesquisa de segurança Perception Point e Osterman Research lançaram em conjunto um relatório intitulado "O papel da inteligência artificial na segurança de e-mail". O relatório revela uma tendência alarmante na forma como os cibercriminosos estão a aproveitar a IA para aumentar e complicar ameaças por e-mail, como phishing e ataques BEC. **Este estudo observa que os cibercriminosos estão adotando rapidamente ferramentas de IA para promover seus interesses, com 91,1% das organizações relatando que foram sujeitas a ataques de e-mail aprimorados por IA. **

**03 Solução: Usar IA para combater IA? **

**Sob a ameaça da IA, o método anterior de confiar na experiência para evitar armadilhas de e-mail de phishing não é mais eficaz. A nova contramedida pode residir no uso da IA para combater a IA. **Várias empresas de segurança cibernética integraram IA generativa em seus produtos, em um esforço para tomar medidas antes que possam ser abusadas em grande escala. Os fornecedores estão usando IA para melhorar os recursos e processos de segurança de e-mail. Por exemplo, para obter insights sobre os hábitos e características de cada remetente e destinatário, um modelo de IA é projetado para mapear padrões de comunicação para cada membro da organização. Especificamente, quem enviará mensagens a eles? Qual é o conteúdo da mensagem? Quando e de onde essas mensagens são enviadas? Os outros geralmente são copiados em CC ou há apenas um destinatário pretendido? Quais endereços de e-mail cada remetente usa? Resumindo, a IA é usada para construir um perfil do comportamento regular de cada pessoa. Além disso, para detectar padrões incomuns de envio de e-mail, o fornecedor combina as seguintes estratégias: análise de padrões de envio subjacentes usando tecnologia de gráfico social; identificação de endereços de e-mail semelhantes ou intimamente relacionados; identificação de mensagens contendo técnicas de engenharia social; e detecção de impostores. elementos visuais relacionados e classificação de tom, emoção e estilo em e-mails. Todas as estratégias acima ajudam a detectar e-mails anômalos projetados para confundir a mente humana. Embora humanos com formação em sensibilização para a segurança também possam encontrar estes sinais de anomalia, apenas a IA pode integrar todas as dimensões de análise às velocidades da rede para garantir uma deteção contínua e fiável face a mensagens massivas. As soluções de IA também podem aproveitar vários modelos de aprendizado de máquina para identificar informações com conteúdo malicioso. Esses modelos são desenvolvidos, adaptados e atualizados com base em um conjunto de dados rotulados como maliciosos ou inofensivos. Alguns fornecedores usam tecnologia de IA generativa para gerar dados de amostra adicionais a partir de informações maliciosas conhecidas, o que fornece dados de treinamento mais ricos e de alta qualidade para modelos de aprendizado de máquina. **O único que pode derrotar a IA é a IA. ** Na verdade, muitas organizações já estão usando IA para proteção de segurança de e-mail. De acordo com a Osterman Research, quatro em cada cinco organizações implantaram ou estão promovendo ativamente soluções de segurança de e-mail baseadas em IA nos últimos dois anos como um complemento às medidas de proteção convencionais.

Entre eles, existem duas formas principais de introduzir a IA para reforçar a segurança do email: por um lado, os fornecedores de segurança de email existentes integram a proteção da IA nos seus produtos; por outro lado, as organizações estão deliberadamente à procura de novas soluções habilitadas para IA. Nos últimos dois anos, um quinto dos inquiridos ainda não adotou tais soluções: 12,7% não implementaram quaisquer soluções, enquanto 6,0% estão ativamente a explorar e a avaliar possíveis opções. **De acordo com dados da Osterman Research, a IA demonstrou grandes capacidades para melhorar a eficiência da detecção e fortalecer a proteção. **

As organizações têm uma certa eficiência de detecção antes de adotar soluções de segurança de e-mail aprimoradas por IA. Mas à medida que os cibercriminosos utilizam a IA para melhorar as suas técnicas de ataque, as organizações sem proteção de IA terão a sua eficiência de deteção seriamente desafiada. Somente sendo tão fortes quanto o diabo poderemos trazer os atacantes e defensores dos e-mails de phishing de volta à mesma linha de partida da tecnologia de IA.

(Os personagens do artigo são pseudônimos)

Referência:

Mais de 91% das organizações experimentaram ataques de e-mail aprimorados por IA e 84% esperam o uso contínuo de IA para contornar a segurança existente WormGPT: a ferramenta de IA generativa que os cibercriminosos estão usando para lançar ataques de comprometimento de e-mail comercial WormGPT e FraudGPT - A ascensão dos LLMs maliciosos IA generativa pode revolucionar o e-mail para hackers