Fonte da imagem: Gerada pela ferramenta Unbounded AI
Dall-E e difusão estável são apenas o começo. Os chatbots na internet estão ganhando a capacidade de editar e criar imagens, com empresas como Shutterstock e Adobe liderando o caminho, à medida que os sistemas gerados por IA ganham popularidade e as empresas trabalham para diferenciar seus produtos dos concorrentes. Mas esses novos recursos de IA também apresentam problemas familiares, como adulteração não autorizada ou apropriação indevida de obras e imagens online existentes. A tecnologia de marca d'água pode ajudar a reduzir o último problema, enquanto a nova tecnologia "PhotoGuard" desenvolvida pelo MIT CSAIL pode nos ajudar a prevenir o primeiro.
É relatado que o PhotoGuard funciona alterando alguns pixels na imagem, destruindo assim a capacidade da IA de entender o conteúdo da imagem. Essas "perturbações", como a equipe de pesquisa as chama, são invisíveis ao olho humano, mas fáceis de ler para as máquinas. O método de ataque de "codificação" que introduz esses artefatos tem como alvo a representação subjacente do modelo algorítmico da imagem de destino - a matemática complexa que descreve a posição e a cor de cada pixel na imagem - impedindo essencialmente que a IA entenda o que é olhando. (Observação: Artefatos referem-se a várias formas de imagens que não existem no objeto digitalizado, mas aparecem na imagem.)
Além disso, métodos de ataque de "difusão" mais avançados e computacionalmente intensivos disfarçam uma imagem como outra imagem para os olhos da IA. Ele definirá uma imagem de destino e otimizará as perturbações em sua imagem para serem semelhantes à imagem de destino. Quaisquer edições que a IA tente fazer nessas imagens "imunes" são aplicadas às imagens "alvo" falsas, produzindo imagens que não parecem reais.
"O ataque do codificador faz o modelo pensar que a imagem de entrada (a ser editada) é alguma outra imagem (como uma imagem em tons de cinza)", disse Hadi Salman, aluno de doutorado do MIT e primeiro autor do artigo, ao Engadget. "O ataque de difusão força o modelo de difusão a editar algumas das imagens de destino, que também podem ser algumas imagens cinzas ou aleatórias." Imagens protegidas para engenharia reversa.
"Uma abordagem colaborativa envolvendo desenvolvedores de modelos, plataformas de mídia social e formuladores de políticas pode ser uma defesa eficaz contra a manipulação não autorizada de imagens. Abordar esse problema urgente é fundamental hoje", disse Salman em um comunicado. "Embora eu esteja animado por poder contribuir com esta solução, ainda há muito trabalho a fazer para tornar essa proteção prática. As empresas que desenvolvem esses modelos precisam investir no direcionamento das ameaças que essas ferramentas de IA podem representar para uma engenharia imunológica robusta ."
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
MIT revela tecnologia PhotoGuard que protege imagens de edições maliciosas de IA
Escrito por: André Tarantola
Fonte: Engadget
Dall-E e difusão estável são apenas o começo. Os chatbots na internet estão ganhando a capacidade de editar e criar imagens, com empresas como Shutterstock e Adobe liderando o caminho, à medida que os sistemas gerados por IA ganham popularidade e as empresas trabalham para diferenciar seus produtos dos concorrentes. Mas esses novos recursos de IA também apresentam problemas familiares, como adulteração não autorizada ou apropriação indevida de obras e imagens online existentes. A tecnologia de marca d'água pode ajudar a reduzir o último problema, enquanto a nova tecnologia "PhotoGuard" desenvolvida pelo MIT CSAIL pode nos ajudar a prevenir o primeiro.
É relatado que o PhotoGuard funciona alterando alguns pixels na imagem, destruindo assim a capacidade da IA de entender o conteúdo da imagem. Essas "perturbações", como a equipe de pesquisa as chama, são invisíveis ao olho humano, mas fáceis de ler para as máquinas. O método de ataque de "codificação" que introduz esses artefatos tem como alvo a representação subjacente do modelo algorítmico da imagem de destino - a matemática complexa que descreve a posição e a cor de cada pixel na imagem - impedindo essencialmente que a IA entenda o que é olhando. (Observação: Artefatos referem-se a várias formas de imagens que não existem no objeto digitalizado, mas aparecem na imagem.)
"O ataque do codificador faz o modelo pensar que a imagem de entrada (a ser editada) é alguma outra imagem (como uma imagem em tons de cinza)", disse Hadi Salman, aluno de doutorado do MIT e primeiro autor do artigo, ao Engadget. "O ataque de difusão força o modelo de difusão a editar algumas das imagens de destino, que também podem ser algumas imagens cinzas ou aleatórias." Imagens protegidas para engenharia reversa.
"Uma abordagem colaborativa envolvendo desenvolvedores de modelos, plataformas de mídia social e formuladores de políticas pode ser uma defesa eficaz contra a manipulação não autorizada de imagens. Abordar esse problema urgente é fundamental hoje", disse Salman em um comunicado. "Embora eu esteja animado por poder contribuir com esta solução, ainda há muito trabalho a fazer para tornar essa proteção prática. As empresas que desenvolvem esses modelos precisam investir no direcionamento das ameaças que essas ferramentas de IA podem representar para uma engenharia imunológica robusta ."