El ataque y la defensa de la IA detrás de un correo electrónico de phishing

Fuente original: Nuevos conocimientos de ciencia y tecnología.

Autor: Zhangdao

Fuente de la imagen: Generada por Unbounded AI‌

La IA generativa está convirtiendo el campo del comercio electrónico transfronterizo en el "Nuevo Norte de Myanmar" en Internet. Recientemente, muchos vendedores informaron haber recibido "correos electrónicos de phishing" disfrazados de correos electrónicos oficiales de Amazon, que extraen información importante de la cuenta del vendedor a través de enlaces maliciosos proporcionados. Algunas personas se dejaron engañar y perdieron hasta 400.000 en sólo una noche. Sudán es una de las víctimas afortunadas. En el correo electrónico que recibió a principios de septiembre, la dirección de envío era muy similar a la dirección oficial de Amazon y el contenido era una inteligente imitación del estilo de notificación de Amazon, instando a los vendedores a actualizar la información de contacto de emergencia. Siguiendo las instrucciones del correo electrónico, se lo dirigirá a un sitio web que parece ser "Amazon" y se le pedirá que ingrese su correo electrónico, contraseña y código de verificación de dos pasos. Una vez que se deje engañar, pronto recibirá una notificación de "inicio de sesión remoto en la tienda" del verdadero funcionario de Amazon.

Resultados de la detección del asesino ChatGPT GPTZero

**Sultan inmediatamente detuvo sus pérdidas cuando se dio cuenta de que algo andaba mal. También utilizó herramientas técnicas para analizar el contenido del correo electrónico, lo que demostró que había un 90% de posibilidades de que fuera generado por IA. **Las nuevas tecnologías se sitúan una vez más en la encrucijada entre el bien y el mal.

01 La IA generativa está “haciendo el mal”

Sudán navega a menudo por Internet en casa y en el extranjero. No es ajeno a ChatGPT y lo ha experimentado muchas veces. También ha oído que ChatGPT puede eludir el mecanismo de seguridad de alguna manera y generar contenido ilegal e inmoral. De lo que aún no se ha dado cuenta es que la tecnología de "jailbreak" de ChatGPT se ha repetido varias veces, y ahora hay incluso una versión más avanzada del "GPT malvado" en el mercado, y el correo electrónico de phishing encontrado esta vez puede haber sido escrito por esta versión. . . **Las versiones "malvadas de GPT" más famosas son WormGPT y FraudGPT, las cuales pueden implementar rápidamente estafas de phishing por correo electrónico. ** En marzo de 2021 salió WormGPT y sus desarrolladores comenzaron a vender derechos de uso en foros de hackers en junio de este año. A diferencia de ChatGPT, WormGPT no establece restricciones que impidan responder preguntas relacionadas con actividades ilegales, se basa en el modelo GPT-J de código abierto de 2021, ligeramente obsoleto, y está capacitado específicamente en datos relacionados con el desarrollo de malware. Para evaluar los riesgos potenciales, el equipo de investigación de la firma de análisis de seguridad Slashnext probó los ataques BEC (Business Email Fraud). En el experimento, le pidieron a WormGPT que redactara un correo electrónico con el objetivo de presionar a un administrador de cuentas desprevenido para que pagara una factura falsa.

Correos electrónicos de phishing generados por WormGPT

Los resultados son sorprendentes: los correos electrónicos generados por WormGPT no sólo son muy convincentes, sino también muy inteligentes en sus tácticas, lo que demuestra plenamente su capacidad para llevar a cabo complejos ataques de phishing y BEC. En julio de este año se dio a conocer otro modelo de lenguaje maligno llamado FraudGPT. A partir del 22 de julio, el desarrollador promocionó el producto en varios foros, llamándolo una alternativa ChatGPT sin restricciones. Según los informes, FraudGPT se actualiza cada una o dos semanas y utiliza una variedad de modelos de inteligencia artificial bajo su arquitectura. Esta herramienta tiene precios basados en suscripción y cuesta $200 por mes, o $1700 por año.

Una captura de pantalla de un foro que muestra la funcionalidad de FraudGPT.

El equipo de investigación de seguridad Netenrich lo compró y lo probó. La interfaz de FraudGPT es muy similar a ChatGPT: las consultas históricas del usuario se muestran en el lado izquierdo y la ventana de chat ocupa la mayor parte de la interfaz. Los usuarios solo necesitan ingresar preguntas en el área "Hacer una pregunta" y el sistema generará las respuestas correspondientes.

FraudGPT genera correos electrónicos de phishing

Durante la prueba, los investigadores ordenaron a FraudGPT que creara un correo electrónico de phishing relacionado con un banco. Los usuarios simplemente formatean la pregunta para incluir el nombre de un banco específico y FraudGPT se encarga del resto. Esta herramienta también guía a los usuarios sobre dónde colocar enlaces maliciosos en el contenido del correo electrónico y puede generar además una página de inicio de sesión para fraude, induciendo a las víctimas a proporcionar información personal. **Los analistas dicen que FraudGPT podría convertirse en una herramienta ideal para lanzar impactantes ataques de phishing y BEC, lo que conduciría a enormes fraudes financieros y robo de datos. ** Hay más de dos "GPT malvados" activos. Apenas a mediados de agosto, expertos en el campo de la seguridad de redes revelaron otra herramienta de cibercrimen basada en GPT llamada EvilGPT. Esta aplicación es similar a FraudGPT y WormGPT y puede ayudar a crear malware, correos electrónicos de phishing, capturar enlaces y detectar debilidades en la seguridad de la red corporativa. Si el GPT anterior se prohíbe o elimina por algún motivo, estará disponible en el mercado como alternativa. Al mismo tiempo, también adopta un modelo de precios basado en suscripción para atraer a usuarios potenciales a la compra. EvilGPT es sólo la punta del iceberg que se ha descubierto en las últimas semanas. **A medida que pasa el tiempo, pueden surgir más herramientas y aplicaciones maliciosas basadas en tecnología de inteligencia artificial. **

02 Con la "bendición" de la IA, los correos electrónicos de phishing son difíciles de detectar

Los correos electrónicos de phishing no son ajenos a los profesionales del comercio electrónico transfronterizo, pero Sudán casi cae en él esta vez. Además de la negligencia ocasional, la "bendición" de la IA generativa jugó un papel importante. En el pasado, una forma eficaz de identificar correos electrónicos de phishing era prestar atención a los errores ortográficos y gramaticales de las palabras del contenido. Según los datos, alrededor del 50% de los correos electrónicos de phishing provienen de Rusia, Alemania y China. La mayor parte del contenido falso enviado desde estas áreas donde no se habla inglés contiene gramática o redacción anormal, lo cual es inconsistente con el estilo formal y estándar del correo electrónico.

Correos electrónicos de phishing no comprobados

De hecho, para evitar que los empleados hagan clic en correos electrónicos con enlaces maliciosos o filtren información de inicio de sesión, muchas empresas de comercio electrónico utilizan capacitación para recordarles los errores ortográficos, gramaticales inusuales y otros errores que pueden cometer los hablantes no nativos de inglés. **Sin embargo, la tecnología de IA generativa actual puede eliminar perfectamente estas funciones de reconocimiento tradicionales. Este correo electrónico de phishing de Amazon no contiene ningún error gramatical. ** Evan Reiser, director ejecutivo de la empresa de seguridad del correo electrónico Abnormal Security, señaló recientemente en una entrevista que los refinados correos electrónicos de phishing producidos por la plataforma de inteligencia artificial generativa son casi iguales a los correos electrónicos reales, lo que los hace difíciles de identificar a simple vista. "Cuando miras estos correos electrónicos, no pasa nada en tu cerebro que te advierta que podría tratarse de un ataque de phishing", dijo. **Lo aterrador es que evitar errores de idioma es solo la habilidad básica que muestra la IA generativa en los correos electrónicos de phishing. Las capacidades más fuertes de engaño y confusión son más mortales. ** Gracias a la capacidad de la IA para imitar la escritura humana, el contenido de los correos electrónicos de phishing puede incluir la creación de una sensación de urgencia, alentar a los destinatarios a hacer clic en enlaces o correos electrónicos de ingeniería social disfrazados de solicitudes de remesas. Una vez que el destinatario hace clic en el enlace, su sistema puede infectarse con código malicioso. El escenario anterior de correos electrónicos falsificados de Amazon es un escenario creado por IA que es urgente para los vendedores. Muchos vendedores sintieron que algo no estaba bien después de revisar cuidadosamente el contenido del correo electrónico, sin embargo, aun así siguieron las instrucciones del correo electrónico porque les preocupaba haberse perdido alguna información importante. **Además, la IA generativa también puede hacer que los correos electrónicos de phishing sean más agresivos. **Pueden obtener información personal de plataformas sociales, portales de noticias, foros en línea y otras fuentes para crear correos electrónicos atractivos y más específicos. Esta era una tarea que normalmente tardaba meses en completarse en el pasado. Si un atacante tiene acceso a esta información patentada, puede insertar detalles más convincentes en el correo electrónico o imitar la forma en que alguien escribe. "Actualmente, los delincuentes simplemente capturan estos correos electrónicos, los introducen automáticamente en un modelo grande y luego le ordenan que cree un correo electrónico que haga referencia a las últimas cinco conversaciones en línea", señala Evan Reiser. "Una tarea que podría haber tomado ocho horas ahora puede ahora sólo lleva ocho segundos”. Incluso los atacantes con capacidades técnicas limitadas pueden aprovechar la IA generativa para escribir código VBA. Simplemente le indican a la IA que incruste la URL maliciosa en el código, y cuando el usuario abre un archivo como Excel, el sistema descarga y ejecuta automáticamente el malware.

En el pasado, sistemas como ChatGPT y Bard tenían protecciones integradas para evitar la generación de contenido malicioso en la medida de lo posible, pero a medida que surgen más y más versiones malvadas de GPT, la seguridad del correo electrónico se enfrenta a un enorme desafío. El 21 de agosto de 2023, el equipo internacional de investigación de seguridad Perception Point y Osterman Research publicaron conjuntamente un informe titulado "El papel de la inteligencia artificial en la seguridad del correo electrónico". El informe revela una tendencia alarmante sobre cómo los ciberdelincuentes están aprovechando la IA para aumentar y complicar las amenazas al correo electrónico, como el phishing y los ataques BEC. **Este estudio señala que los ciberdelincuentes están adoptando rápidamente herramientas de IA para promover sus intereses, y el 91,1% de las organizaciones informan que han sido objeto de ataques de correo electrónico mejorados por IA. **

**03 Solución: ¿Usar IA para luchar contra la IA? **

**Bajo la amenaza de la IA, el método anterior de confiar en la experiencia para evitar trampas de correo electrónico de phishing ya no es efectivo. La nueva contramedida puede consistir en usar la IA para combatirla. **Varias empresas de ciberseguridad han integrado la IA generativa en sus productos en un esfuerzo por tomar medidas antes de que se pueda abusar de ella a gran escala. Los proveedores están utilizando la IA para mejorar las capacidades y los procesos de seguridad del correo electrónico. Por ejemplo, para obtener información sobre los hábitos y características de cada remitente y destinatario, se diseña un modelo de IA para asignar patrones de comunicación a cada miembro de la organización. Específicamente, ¿quién les enviará un mensaje? ¿Cuál es el contenido del mensaje? ¿Cuándo y desde dónde se envían estos mensajes? ¿Los demás suelen recibir CC o solo hay un destinatario previsto? ¿Qué direcciones de correo electrónico utiliza cada remitente? En resumen, la IA se utiliza para construir un perfil del comportamiento habitual de cada persona. Además, para detectar patrones inusuales de envío de correo electrónico, el proveedor combina las siguientes estrategias: analizar patrones de envío subyacentes utilizando tecnología de gráficos sociales, identificar direcciones de correo electrónico similares o estrechamente relacionadas, identificar mensajes que contengan técnicas de ingeniería social y detectar impostores. elementos visuales relacionados y clasificación de tono, emoción y estilo en correos electrónicos. Todas las estrategias anteriores ayudan a detectar correos electrónicos anómalos diseñados para confundir la mente humana. Aunque los humanos con formación en concienciación sobre seguridad también pueden encontrar estas señales de anomalías, solo la IA puede integrar todas las dimensiones del análisis a velocidades de red para garantizar una detección continua y confiable frente a mensajes masivos. Las soluciones de inteligencia artificial también pueden aprovechar múltiples modelos de aprendizaje automático para identificar información con contenido malicioso. Estos modelos se desarrollan, adaptan y actualizan en base a un conjunto de datos etiquetados como maliciosos o inofensivos. Algunos proveedores utilizan tecnología de IA generativa para generar datos de muestra adicionales a partir de información maliciosa conocida, lo que proporciona datos de entrenamiento más completos y de alta calidad para modelos de aprendizaje automático. **La única que puede derrotar a la IA es la IA. ** De hecho, muchas organizaciones ya están utilizando la IA para proteger la seguridad del correo electrónico. Según Osterman Research, cuatro de cada cinco organizaciones han implementado o están promoviendo activamente soluciones de seguridad de correo electrónico basadas en IA en los últimos dos años como complemento a las medidas de protección convencionales.

Entre ellas, hay dos formas principales de introducir la IA para fortalecer la seguridad del correo electrónico: por un lado, los proveedores de seguridad de correo electrónico existentes integran la protección de la IA en sus productos; por otro lado, las organizaciones buscan deliberadamente nuevas soluciones habilitadas para la IA. En los últimos dos años, una quinta parte de los encuestados aún no ha adoptado tales soluciones: el 12,7% no ha implementado ninguna solución, mientras que el 6,0% está explorando y evaluando activamente posibles opciones. **Según datos de Osterman Research, la IA ha demostrado grandes capacidades para mejorar la eficiencia de la detección y fortalecer la protección. **

Las organizaciones tienen cierta eficiencia de detección antes de adoptar soluciones de seguridad de correo electrónico mejoradas con IA. Pero a medida que los ciberdelincuentes utilizan la IA para mejorar sus técnicas de ataque, las organizaciones sin protección de IA verán seriamente comprometida su eficiencia de detección. Sólo si somos tan fuertes como el diablo podremos hacer que los atacantes y defensores de los correos electrónicos de phishing vuelvan a la misma línea de partida de la tecnología de inteligencia artificial.

(Los personajes del artículo son seudónimos)

Referencia:

Más del 91 % de las organizaciones han experimentado ataques de correo electrónico mejorados con IA y el 84 % espera un uso continuo de la IA para eludir las medidas de seguridad existentes WormGPT: la herramienta de inteligencia artificial generativa que los ciberdelincuentes están utilizando para lanzar ataques que comprometen el correo electrónico empresarial WormGPT y FraudGPT: el auge de los LLM maliciosos La IA generativa podría revolucionar el correo electrónico para los hackers