Bajo la inundación de DeepFake, ¿pueden las marcas de agua generar más confianza en AIGC?

Escrito por: Claire Leibowicz

Fuente: MIT Technology Review

Fuente de la imagen: Generada por la herramienta de IA Unbounded

El AIGC claramente necesita transparencia, pero el valor de medidas como las marcas de agua no es obvio.

A fines de mayo, las imágenes del Pentágono en llamas se volvieron virales. Y a millas de distancia, los ayudantes de la Casa Blanca y los reporteros se apresuraron a averiguar si las imágenes del edificio explotando eran reales.

Resulta que estas imágenes fueron generadas por inteligencia artificial. Pero los funcionarios gubernamentales, los periodistas y las empresas de tecnología no pudieron actuar antes de que las imágenes tuvieran un impacto real. Esto no solo creó confusión, sino que también provocó la caída de los mercados financieros.

El contenido manipulador y engañoso no es un fenómeno nuevo. Pero la inteligencia artificial está haciendo que la creación de contenido sea más fácil y, a menudo, más realista. Si bien la IA se puede usar para la expresión artística o mejoras de accesibilidad, también se puede usar para cuestionar eventos políticos o para difamar, acosar y explotar.

Ya sea para promover la integridad electoral, proteger la evidencia, reducir la información errónea o preservar registros históricos, las audiencias pueden beneficiarse al saber si el contenido ha sido manipulado o generado por inteligencia artificial. Si la imagen del Pentágono contenía artefactos generados por IA, las plataformas tecnológicas podrían haber tomado medidas más rápidamente; con el tiempo, podrían haber reducido la difusión de la imagen o etiquetado el contenido para que las audiencias pudieran identificar más fácilmente la imagen como falsa. Esto evita la confusión y, por extensión, la volatilidad del mercado.

No hay duda de que necesitamos más transparencia para distinguir entre lo real y lo falso. El mes pasado, la Casa Blanca evaluó cómo se podría hacer esto y anunció que siete de las compañías de IA más destacadas se habían comprometido a "desarrollar medidas técnicas sólidas para garantizar que los usuarios sepan qué contenido genera la IA, como las marcas de agua".

Los métodos de divulgación como las marcas de agua son un buen comienzo. Sin embargo, estos métodos son complicados en la práctica y no son una solución rápida y eficaz. No está claro si la marca de agua habría ayudado a los usuarios de Twitter a identificar una imagen falsa del Pentágono o si se sintetizó la voz de Trump en una campaña publicitaria reciente. ¿Y otros enfoques, como la divulgación de la procedencia y los metadatos, tienen un mayor impacto? Lo que es más importante, ¿la simple divulgación de que el contenido es generado por IA ayuda a las audiencias a distinguir la realidad de la ficción o a mitigar el daño del mundo real?

Para responder a estas preguntas, debemos aclarar qué se entiende por marcas de agua y otros tipos de métodos de divulgación. Necesitamos tener claro qué son, qué podemos esperar razonablemente que hagan y qué problemas existen incluso si se introducen estos métodos. Por pedante que parezca el debate sobre las definiciones, el uso generalizado del término "marca de agua" está causando confusión en todo el campo de la IA. Definir lo que significan estos diferentes enfoques es un requisito previo importante para la colaboración en el campo de la IA y el acuerdo sobre los estándares de divulgación. De lo contrario, la gente hablará entre sí.

Vi este problema de primera mano cuando dirigí el esfuerzo multisectorial de la Asociación sobre Inteligencia Artificial (PAI) sin fines de lucro para desarrollar pautas para medios sintéticos responsables, con organizaciones como OpenAI, Adobe, Witness, Microsoft, la BBC y otras hicieron una promesa. .

Por un lado, una marca de agua puede hacer referencia a una señal que es visible para el usuario final (por ejemplo, las palabras "Getty Images" impresas en los medios de un proveedor de imágenes). Sin embargo, también puede referirse a señales técnicas incrustadas en el contenido que son imperceptibles a simple vista u oído. Ambos tipos de marcas de agua, conocidas como divulgaciones "directas" e "indirectas", son fundamentales para garantizar la transparencia. Por lo tanto, cualquier discusión sobre los desafíos y oportunidades de las marcas de agua debe enfatizar qué tipo de marca de agua se está evaluando.

Para complicar aún más las cosas, la marca de agua se usa a menudo como un término "paraguas" para el acto general de proporcionar divulgación de contenido, aunque existen muchos enfoques. Una lectura atenta del compromiso de la Casa Blanca revela otro método de divulgación conocido como "procedencia", que se basa en firmas criptográficas en lugar de señales invisibles. Sin embargo, en los medios populares esto también se describe a menudo como una marca de agua. Si encuentra confusos estos términos confusos, no se preocupe, no está solo. La claridad importa: si ni siquiera podemos ponernos de acuerdo sobre cómo llamar a las diferentes tecnologías, no habrá medidas de transparencia consistentes y sólidas en el campo de la IA.

En respuesta, propongo seis preguntas preliminares que podrían ayudarnos a evaluar la utilidad de las marcas de agua y otros métodos de divulgación de IA. Estas preguntas deberían ayudar a garantizar que todas las partes discutan exactamente los mismos temas y que podamos evaluar cada enfoque de manera integral y coherente.

**¿Se puede alterar la marca de agua? **

Irónicamente, las señales técnicas promocionadas como útiles para medir el origen del contenido y cómo se ha modificado a veces pueden alterarse. Aunque es difícil, tanto las marcas de agua invisibles como las visibles pueden eliminarse o modificarse. La facilidad con la que se pueden manipular las marcas de agua varía según el tipo de contenido.

**¿Es consistente la validez de la marca de agua de los diferentes tipos de contenido? **

Si bien las marcas de agua invisibles a menudo se anuncian como una solución amplia para lidiar con la inteligencia artificial generativa, tales señales incrustadas se manipulan más fácilmente en el texto que en el contenido audiovisual. Eso probablemente explica por qué el informe de la Casa Blanca sugiere que la marca de agua se aplicará a todos los tipos de IA, pero deja en claro que la empresa solo se compromete a divulgar material audiovisual. Por lo tanto, al desarrollar una política de IA, es imperativo especificar cómo las técnicas de divulgación, como las marcas de agua invisibles, varían en su efectividad y solidez técnica más amplia entre los tipos de contenido. Una solución de divulgación podría ser útil para las imágenes, pero no para el texto.

**¿Quién puede detectar estas señales invisibles? **

Incluso si la industria de la IA acepta implementar marcas de agua invisibles, inevitablemente surgen preguntas más profundas sobre quién tiene la capacidad de detectar estas señales y, en última instancia, hacer afirmaciones autorizadas basadas en ellas. ¿Quién decide si el contenido es generado por IA o, por extensión, si el contenido es engañoso? Si todos pudieran detectar marcas de agua, esto podría hacerlas vulnerables al uso indebido por parte de los malos. Por otro lado, controlar el acceso para detectar marcas de agua invisibles, especialmente si están dominadas por grandes empresas de inteligencia artificial, podría reducir la apertura y fortalecer la vigilancia técnica. La implementación de tales métodos de divulgación sin determinar cómo administrarlos puede generar desconfianza e ineficacia de estos métodos. Y, si estas tecnologías no se adoptan ampliamente, los malos actores pueden recurrir a tecnologías de código abierto que carecen de marcas de agua invisibles para crear contenido dañino y engañoso.

**¿Las marcas de agua protegen la privacidad? **

Como ha demostrado el importante trabajo del grupo de derechos humanos y tecnología Witness, cualquier sistema de seguimiento que viaje con el contenido a lo largo del tiempo puede plantear problemas de privacidad para los creadores de contenido. La industria de la IA debe asegurarse de que las marcas de agua y otras técnicas de divulgación estén diseñadas de tal manera que no contengan información de identificación que pueda poner en riesgo a los creadores. Por ejemplo, los defensores de los derechos humanos pueden capturar abusos a través de fotografías con marcas de agua con información de identificación, lo que los convierte en objetivos fáciles para los gobiernos autoritarios. Incluso saber que una marca de agua podría revelar la identidad de un activista podría tener un efecto escalofriante en la expresión y el discurso. Los formuladores de políticas deben proporcionar una guía más clara sobre cómo deben diseñarse las divulgaciones para proteger la privacidad de los creadores de contenido al tiempo que incluyen suficientes detalles útiles y prácticos.

**¿Las divulgaciones visibles ayudan a las audiencias a comprender el papel de la IA generativa? **

Incluso si la marca de agua invisible puede proteger la privacidad durante mucho tiempo técnicamente, es posible que no pueda ayudar a la audiencia a interpretar el contenido. Si bien las divulgaciones directas (como las marcas de agua visibles) tienen el atractivo intuitivo de brindar una mayor transparencia, dichas divulgaciones no necesariamente tienen el efecto deseado y tienden a ser percibidas como paternalistas, tendenciosas y punitivas, incluso si la autenticidad del contenido no fue declarado. Además, las divulgaciones directas pueden ser malinterpretadas por el público. En mi estudio de 2021, un participante malinterpretó la etiqueta de "medios manipulados" de Twitter, pensando que era el establecimiento de "medios" que lo manipulaba, en lugar de que el contenido de un video en particular se editara para engañarlo. Si bien continúan surgiendo investigaciones sobre cómo los diferentes diseños de UX afectan las percepciones de las audiencias sobre la divulgación de contenido, la mayor parte de la investigación se ha centrado en las grandes empresas de tecnología, y principalmente en contextos tan diversos como las elecciones. Examinar los efectos de la divulgación directa y la experiencia del usuario, en lugar de confiar únicamente en el atractivo intuitivo de etiquetar el contenido generado por IA, es fundamental para una toma de decisiones eficaz que aumente la transparencia.

**¿Poner una marca de agua visible en AIGC reduciría la confianza de las personas en el contenido "real"? **

Quizás la pregunta social más difícil de evaluar es cómo la divulgación directa coordinada afectará las actitudes generales hacia la información y potencialmente reducirá la confianza en lo que es "auténtico". Si las organizaciones de IA y las plataformas de redes sociales simplemente marcan el contenido como generado o modificado por IA, una forma comprensible pero limitada de evitar emitir juicios sobre qué afirmaciones son engañosas o dañinas, ¿cómo afecta esto la forma en que vemos el contenido en línea?

Mejorar la alfabetización mediática a través de la divulgación es una causa noble; sin embargo, a muchos de los que trabajan en equipos de políticas dentro y fuera de las empresas de tecnología les preocupa que un impulso prematuro para etiquetar todo el contenido generado conduzca a una "división de tramposos": la desaprobación de la sociedad de todo el contenido que pueda ser generado por humanos El escepticismo del contenido generado por IA es tan pronunciado que socava la confianza en el contenido auténtico no generado por IA, y la preocupación es comprensible. La perspectiva también generó incertidumbre sobre si todos los usos aparentemente de bajo riesgo de la creación de contenido de IA, por ejemplo, la dependencia del modo retrato del iPhone en la tecnología de IA, o el asistente de voz mencionado en el compromiso de la Casa Blanca, requerirían la divulgación de información artificial. inteligencia Compromiso inteligente. El campo necesita trabajar en conjunto para medir las actitudes a largo plazo de la sociedad hacia la información y determinar cuándo tiene sentido revelar la participación de AI. Lo que es más importante, deben evaluar el impacto en la visibilidad de las divulgaciones que simplemente describen cómo se creó el contenido (diciendo que parte del contenido fue generado o editado por IA) como sustituto de lo que realmente nos importa: indicar si una afirmación de contenido es verdadera o falsa.

Los desafíos que plantean las marcas de agua y otras técnicas de divulgación no deben utilizarse como excusa para la inacción o para limitar la transparencia. En su lugar, deberían impulsar a las empresas, los formuladores de políticas y otros a unirse para desarrollar definiciones y decidir cómo evaluar las inevitables compensaciones en la implementación. Solo entonces la política de IA generativa puede ayudar adecuadamente a las audiencias a distinguir los hechos de la fabricación.