PwC: Descifrando los riesgos y desafíos de seguridad planteados por la IA generativa

Fuente: PwC

Fuente de la imagen: Generada por Unbounded AI

El impacto de la ola de productos de IA generativa en la seguridad empresarial

Se espera que varios productos de IA generativa, como ChatGPT, liberen a los empleados de tareas tediosas y repetitivas, y los empleados puedan dedicar más tiempo y energía al trabajo que es más valioso para la empresa. Sin embargo, desde la perspectiva de la seguridad empresarial, los productos de IA generativa pueden presentar nuevos riesgos, lo cual es un arma de doble filo para las empresas.

01 La amenaza de ciberataques se ha intensificado

La IA generativa reduce la barrera de entrada para los piratas informáticos. Los piratas informáticos pueden usar la IA generativa para integrar rápidamente varios métodos de ataque cibernético, convertir convenientemente los métodos de ataque en armas y posiblemente lograr métodos de ataque innovadores. El equipo de ciberseguridad de PwC ha observado claramente que los ataques de ingeniería social, como los correos electrónicos de phishing recibidos por los clientes, han aumentado significativamente en los últimos meses, lo que coincide con el uso generalizado de ChatGPT; también se ha descubierto que ChatGPT es más engañoso para los sitios de phishing de generación por lotes.

02 Fuga de datos confidenciales empresariales

Los expertos en seguridad están preocupados por la posible fuga de datos confidenciales de la empresa, y el comportamiento de entrada inadecuado de los empleados puede hacer que los datos confidenciales permanezcan en la base de datos de los productos de IA generativa. La política de privacidad de OpenAI muestra que el contenido ingresado por los usuarios al usar ChatGPT se usará para entrenar su modelo de algoritmo de IA. Además, ChatGPT ha estado expuesto a serios problemas de seguridad.Debido a vulnerabilidades en la biblioteca de código abierto, algunos usuarios pueden ver los títulos del historial de conversaciones de otros usuarios. En la actualidad, muchos gigantes tecnológicos como Amazon y Microsoft han recordado a los empleados que no compartan datos confidenciales con ChatGPT.

03 Riesgo de envenenamiento por IA generativa

El envenenamiento de datos de entrenamiento es una amenaza de seguridad común que enfrenta la IA generativa. Los datos maliciosos tendrán un impacto negativo en los resultados de los algoritmos de IA. Si la gestión de operaciones depende en gran medida de la IA generativa, es posible que se tomen decisiones equivocadas sobre cuestiones críticas. Por otro lado, la IA generativa también tiene problemas potenciales de "sesgo". De manera similar a la actividad "100 botellas de veneno para IA" en la que participaron muchos expertos y académicos conocidos, en el proceso de desarrollo o uso de IA, las empresas deben responder activamente a la amenaza del envenenamiento por IA de manera estratégica.

04Problema de protección de privacidad

La etapa de precapacitación de IA generativa requiere una gran cantidad de recopilación y extracción de datos, que puede incluir la información privada de muchos clientes y empleados. Si la IA generativa no puede proteger y anonimizar adecuadamente esta información privada, puede dar lugar a filtraciones de privacidad, e incluso se puede abusar de esta información privada para analizar y especular sobre el comportamiento del usuario. Por ejemplo, el mercado de aplicaciones para teléfonos móviles está repleto de software de generación de imágenes. Los usuarios solo necesitan cargar múltiples avatares de sí mismos y el software puede generar fotos compuestas de diferentes escenas y temas. Sin embargo, la forma en que las empresas de software utilizan los avatares cargados por estos usuarios, si traerá protección de la privacidad y otros riesgos de seguridad, merece atención y respuesta.

05 Riesgo de cumplimiento de seguridad empresarial

En ausencia de medidas de gestión efectivas, la adopción masiva de productos de IA generativa puede generar problemas de cumplimiento de la seguridad, lo que sin duda es un gran desafío para los administradores de seguridad empresarial. Las Medidas Provisionales para la Administración de Servicios de Inteligencia Artificial Generativa, que fueron revisadas y aprobadas por la Administración del Ciberespacio de China y aprobadas por seis departamentos, incluida la Comisión Nacional de Desarrollo y Reforma y el Ministerio de Educación, se anunciaron hace unos días y entrará en vigor el 15 de agosto de 2. Presenta los requisitos básicos desde las perspectivas del desarrollo y la gobernanza de la tecnología, la especificación del servicio, la supervisión e inspección y la responsabilidad legal, y establece un marco de cumplimiento básico para la adopción de la IA generativa.

Obtenga información sobre escenarios de amenazas de seguridad de IA generativa del mundo real

Después de comprender los riesgos de seguridad introducidos por la IA generativa, lo siguiente analizará cómo surge el problema en un escenario de amenaza de seguridad más específico y explorará el impacto sutil de la IA generativa en la seguridad empresarial.

01 Ataque de ingeniería social

El hacker de renombre mundial Kevin Mitnick dijo una vez: "El eslabón más débil en la cadena de seguridad es el elemento humano". La táctica habitual de los piratas informáticos de ingeniería social es usar palabras dulces para atraer a los empleados corporativos, y la aparición de la IA generativa ha facilitado en gran medida los ataques de ingeniería social. La IA generativa puede generar contenido falso altamente realista, incluidas noticias falsas, publicaciones falsas en redes sociales, correos electrónicos fraudulentos y más. Este contenido falso puede engañar a los usuarios, difundir información falsa o engañar a los empleados para que tomen decisiones equivocadas. La IA generativa podría incluso usarse para sintetizar sonido o video para que parezca real, lo que podría usarse para cometer fraude o falsificar evidencia. La Oficina de Investigación de Delitos de la Red de Telecomunicaciones de la Oficina de Seguridad Pública Municipal de Baotou dio a conocer un caso de fraude de telecomunicaciones utilizando tecnología inteligente de inteligencia artificial.

02 Infracciones inconscientes por parte de los empleados

Muchos fabricantes de tecnología han comenzado a diseñar activamente la pista de IA generativa, integrando una gran cantidad de funciones de IA generativa en productos y servicios. Los empleados pueden usar sin darse cuenta productos de IA generativa sin leer detenidamente los términos de uso del usuario antes de usarlos. Cuando los empleados de la empresa utilizan IA generativa, pueden ingresar contenido que contenga información confidencial, como datos financieros, información de proyectos, secretos de la empresa, etc., lo que puede provocar la fuga de información confidencial de la empresa. Para evitar la divulgación de información empresarial confidencial por parte de la IA generativa, las empresas deben tomar medidas de seguridad integrales, lo que incluye mejorar la tecnología de protección contra fugas de datos y restringir el comportamiento en línea de los empleados; al mismo tiempo, deben brindar capacitación en seguridad a los empleados para mejorar la seguridad de los datos. y confidencialidad vigilancia espera. Una vez que se descubre la infracción de un empleado, la empresa debe evaluar inmediatamente el impacto y tomar las medidas oportunas.

03 Discriminación y prejuicio inevitables

La razón por la que la IA generativa puede tener discriminación y sesgo se debe principalmente a las características de sus datos de entrenamiento y diseño del modelo. Los datos de capacitación de Internet reflejan sesgos del mundo real, incluidos aspectos como la raza, el género, la cultura, la religión y el estatus social. Durante el procesamiento de datos de entrenamiento, es posible que no haya suficientes medidas de detección y limpieza para excluir datos sesgados. Del mismo modo, es posible que no se preste suficiente atención a la reducción del sesgo en el diseño del modelo y la selección de algoritmos para la IA generativa. Los modelos algorítmicos detectan sesgos en los datos de entrenamiento a medida que aprenden, lo que genera sesgos similares en el texto generado. Si bien eliminar el sesgo y la discriminación de la IA generativa es un desafío complejo, hay pasos que las empresas pueden tomar para ayudar a mitigarlos3.

04 Compromiso con la protección de la privacidad

En el proceso de uso de productos de IA generativa, con el fin de buscar una automatización eficiente y servicios personalizados, las empresas y las personas pueden comprometerse en términos de protección de la privacidad, lo que permite que la IA generativa recopile algunos datos privados. Además de que los usuarios revelen contenido de privacidad personal a la IA generativa durante el uso, la IA generativa también puede analizar el contenido ingresado por el usuario y usar algoritmos para especular sobre la información personal, las preferencias o los comportamientos del usuario, infringiendo aún más la privacidad del usuario. La desensibilización y anonimización de datos es una medida común de protección de la privacidad, pero puede conducir a la pérdida de parte de la información de los datos, lo que reduce la precisión del modelo de generación. Es necesario encontrar un equilibrio entre la protección de la privacidad personal y la calidad del contenido generado. . Como proveedor de IA generativa, debe proporcionar a los usuarios una declaración de política de privacidad transparente para informarles sobre la recopilación, el uso y el intercambio de datos, de modo que los usuarios puedan tomar decisiones informadas.

05 Principales tendencias en el cumplimiento normativo

Desde el punto de vista actual, los riesgos de cumplimiento legal que enfrenta la IA generativa provienen principalmente de "violaciones de contenido de leyes y reglamentos" e "infracción de propiedad intelectual". En ausencia de supervisión, la IA generativa puede generar contenido ilegal o inapropiado, que puede incluir elementos ilegales o ilegales como insultos, difamación, pornografía, violencia; por otro lado, la IA generativa puede generar contenido basado en contenido protegido por derechos de autor existente, que puede resultar en una infracción de la propiedad intelectual. Las empresas que utilizan IA generativa deben realizar revisiones de cumplimiento para garantizar que sus aplicaciones cumplan con las normas y estándares pertinentes y evitar riesgos legales innecesarios. Las empresas primero deben evaluar si los productos que utilizan cumplen con las disposiciones de las "Medidas Provisionales para la Administración de Servicios de Inteligencia Artificial Generativa". Al mismo tiempo, deben prestar mucha atención a las actualizaciones y cambios de las leyes y reglamentos pertinentes, y hacer los ajustes oportunos para garantizar el cumplimiento. Cuando las empresas utilizan IA generativa con proveedores o socios, deben aclarar los derechos y responsabilidades de cada parte y estipular las obligaciones y restricciones correspondientes en el contrato.

Cómo las personas y las empresas pueden abordar de manera proactiva los riesgos y desafíos de la IA generativa

Los usuarios individuales y los empleados corporativos deben darse cuenta de que mientras disfrutan de las diversas comodidades que brinda la IA generativa, aún necesitan fortalecer la protección de su privacidad personal y otra información confidencial.

01Evitar la divulgación de la privacidad personal

Antes de usar productos de IA generativa, los empleados deben asegurarse de que el proveedor de servicios protegerá razonablemente la privacidad y la seguridad de los usuarios, leer detenidamente la política de privacidad y los términos del usuario y tratar de elegir un proveedor confiable que haya sido verificado por el público. Trate de evitar ingresar datos de privacidad personal durante el uso y use identidades virtuales o información anónima en escenarios que no requieran información de identidad real. Cualquier posible dato confidencial debe ofuscarse antes de ingresar. En Internet, especialmente en las redes sociales y los foros públicos, los empleados deben evitar compartir excesivamente información personal, como nombres, direcciones, números de teléfono, etc., y no exponer fácilmente la información a sitios web y contenido de acceso público.

02 Evita generar contenido engañoso

Debido a las limitaciones de los principios técnicos de la IA generativa, los resultados inevitablemente serán engañosos o sesgados.Los expertos de la industria también estudian constantemente cómo evitar el riesgo de envenenamiento de datos. Para obtener información importante, los empleados deben verificarla a partir de múltiples fuentes independientes y confiables, y si la misma información aparece en un solo lugar, es posible que se requiera una mayor investigación para confirmar su autenticidad. Averigüe si la información declarada en los resultados está respaldada por evidencia sólida. Si no hay una base sustantiva, es posible que deba ser escéptico acerca de la información. Identificar el engaño y el sesgo de la IA generativa requiere que los usuarios mantengan un pensamiento crítico, mejoren constantemente su alfabetización digital y comprendan cómo usar sus productos y servicios de manera segura.

En comparación con la actitud abierta de los usuarios individuales, las empresas todavía están esperando y observando la IA generativa. La introducción de la IA generativa es tanto una oportunidad como un desafío para las empresas. Las empresas deben llevar a cabo consideraciones generales de riesgo y realizar algunos despliegues estratégicos de respuesta por adelantado. PwC recomienda que las empresas consideren comenzar el trabajo relacionado a partir de los siguientes aspectos.

01 La evaluación de seguridad de la red empresarial aclara las deficiencias de defensa

El desafío número uno al que se enfrentan las empresas sigue siendo cómo defenderse de la próxima generación de ciberataques provocados por la IA generativa. Para las empresas, es imperativo evaluar el estado actual de la seguridad de la red, determinar si la empresa tiene suficientes capacidades de defensa y detección de seguridad para hacer frente a estos ataques, identificar posibles vulnerabilidades de defensa de la seguridad de la red y tomar las medidas de refuerzo correspondientes para enfrentarlas activamente. Para lograr los objetivos anteriores, el equipo de seguridad cibernética de PwC recomienda que las empresas realicen simulacros de confrontación ofensiva y defensiva basados en estos escenarios reales de amenazas de ataques cibernéticos, es decir, "confrontación roja y azul" de seguridad cibernética. A partir de diferentes escenarios de ataque, podemos descubrir las posibles deficiencias de la defensa de la seguridad de la red con anticipación y reparar las fallas de defensa de manera integral y sistemática, para proteger los activos de TI y la seguridad de los datos de la empresa.

02 Implementar el entorno de prueba de IA generativo interno de la empresa

Para comprender los principios técnicos de la IA generativa y controlar mejor los resultados de los modelos de IA generativa, las empresas pueden considerar establecer su propio entorno de prueba de sandbox de IA generativa internamente, a fin de evitar amenazas potenciales de IA generativa incontrolable de los productos de IA a los datos empresariales. Al realizar pruebas en un entorno aislado, las empresas pueden asegurarse de que los datos precisos e intrínsecamente libres de sesgos estén disponibles para el desarrollo de IA, y pueden explorar y evaluar con mayor confianza el rendimiento del modelo sin arriesgar la exposición de datos confidenciales. Un entorno de prueba aislado también puede evitar el envenenamiento de datos y otros ataques externos a la IA generativa y mantener la estabilidad del modelo de IA generativa.

03Establecer una estrategia de gestión de riesgos para la IA generativa

Las empresas deben incorporar la IA generativa en el alcance objetivo de la gestión de riesgos lo antes posible, y complementar y modificar el marco y la estrategia de gestión de riesgos. Realice evaluaciones de riesgos para escenarios comerciales utilizando IA generativa, identifique riesgos potenciales y vulnerabilidades de seguridad, formule planes de riesgo correspondientes y aclare contramedidas y asignaciones de responsabilidad. Establezca un sistema de gestión de acceso estricto para garantizar que solo el personal autorizado pueda acceder y utilizar productos de IA generativa aprobados por la empresa. Al mismo tiempo, se debe regular el comportamiento de uso de los usuarios y se debe capacitar a los empleados de la empresa en la gestión generativa de riesgos de IA para mejorar la conciencia de seguridad y las capacidades de afrontamiento de los empleados. Los empresarios también deben adoptar un enfoque de privacidad desde el diseño al desarrollar aplicaciones de IA generativa, de modo que los usuarios finales sepan cómo se utilizarán los datos que proporcionan y qué datos se conservarán.

04 Formar un grupo de trabajo de investigación de IA generativa dedicado

Las empresas pueden reunir conocimientos y habilidades profesionales dentro de la organización para explorar conjuntamente las oportunidades y los riesgos potenciales de la tecnología de IA generativa e invitar a miembros que comprendan campos relacionados a participar en el grupo de trabajo, incluidos expertos en gobierno de datos, expertos en modelos de IA, expertos en dominios comerciales, y los expertos en cumplimiento legal esperan. La gerencia empresarial debe garantizar que los miembros del grupo de trabajo tengan acceso a los datos y los recursos necesarios para permitirles explorar y experimentar, al tiempo que alienta a los miembros del grupo de trabajo a experimentar y validar en entornos de prueba para comprender mejor las oportunidades potenciales y las oportunidades de la IA generativa. los escenarios pueden equilibrar los riesgos para obtener los beneficios de aplicar tecnología avanzada.

Conclusión

El desarrollo y la aplicación de la IA generativa está teniendo un gran impacto en la tecnología, lo que puede desencadenar una nueva revolución en la productividad. La IA generativa es una tecnología poderosa que combina avances en campos como el aprendizaje profundo, el procesamiento del lenguaje natural y los grandes datos para permitir que los sistemas informáticos generen contenido en lenguaje humano. Las empresas y los empleados deben controlar esta poderosa tecnología y asegurarse de que su desarrollo y aplicación se realicen dentro del marco de la ley, la ética y la responsabilidad social, lo que será un tema importante en el futuro. El equipo de expertos en IA de PwC está comprometido a investigar cómo ayudar a las empresas a establecer un mecanismo completo de gestión generativa de IA4, para que las empresas puedan aplicar y desarrollar esta tecnología emergente con más tranquilidad, lo que ayudará a las empresas a unirse a la ola de la tecnología de IA, la IA generativa puede proporcionar a las empresas ventajas competitivas sostenibles.

Nota

1. Medidas Provisionales para la Administración de Servicios de Inteligencia Artificial Generativa_Documentos Departamentales del Consejo de Estado_ChinaGov.com

2. Innovación y Gobernanza: Interpretando las últimas tendencias regulatorias en inteligencia artificial generativa

3. Comprender el sesgo algorítmico y cómo generar confianza en la IA

4. Gestión de riesgos de IA generativa: PwC

Descargo de responsabilidad: La información en este artículo es solo para fines de información general y no debe considerarse exhaustiva, ni constituye asesoramiento o servicios legales, impositivos u otros profesionales de PwC. Las instituciones miembros de PwC no serán responsables por cualquier pérdida causada por cualquier sujeto debido al uso del contenido de este artículo.