Os sete gigantes da IA fizeram 8 grandes promessas na Casa Branca. O que eles prometeram?

Apenas três dias após a Meta anunciar a nova geração do modelo de linguagem grande de código aberto Llama 2, os principais executivos da empresa, Microsoft, OpenAI, Amazon, Anthropic e outras sete gigantes da indústria de IA e executivos de empresas start-up quentes se reuniram novamente na Casa Branca, nos Estados Unidos.

Neste evento, sete empresas assinaram um “Voluntary Commitments” (Compromissos Voluntários), assumindo “8 grandes compromissos” sobre segurança, transparência e riscos da tecnologia de IA e P&D.

Fonte da imagem: Gerada por Unbounded AI

O drama de "busca de supervisão" da empresa de IA atingiu um pequeno clímax aqui.

O colunista do NYT, Kevin Roose, escreveu um artigo, explicando em detalhes o que as "8 principais promessas" disseram e as mudanças que elas provocaram.

O resultado da pesquisa é que esses 8 compromissos, como testes de segurança, compartilhamento de informações de segurança de IA, relatórios de vulnerabilidades e "priorização do uso de IA para resolver desafios sociais", parecem ser alguns grandes problemas, e os compromissos correspondentes carecem de detalhes. Muitos dos próprios problemas foram "divulgados" ao público por empresas de IA.

Esta "Carta de Compromisso de Recursos" é mais como uma "exibição de resultados" indireta de várias consultas dos reguladores dos EUA a empresas de IA nos últimos seis meses e provavelmente não tem muito significado de implementação. No entanto, os reguladores expressaram preocupação com a IA várias vezes, indicando que a posição do governo sobre a aplicação da tecnologia de IA é o maior significado deste programa.

A seguir está a interpretação de Kevin Roose dos 8 compromissos na "Carta de Compromisso Voluntário":

** Compromisso 1: A empresa se compromete com testes de segurança internos e externos de sistemas de IA antes de lançá-los. **

Todas essas empresas de IA realizaram testes de segurança em seus modelos – geralmente chamados de “testes de equipe vermelha” – antes de serem lançados. De certa forma, **essa não é realmente uma nova promessa, é vaga. Nenhum detalhe foi fornecido sobre que tipo de teste seria necessário ou por quem **.

Em uma declaração subsequente, a Casa Branca disse apenas que os testes dos modelos de IA "serão conduzidos em parte por especialistas independentes" e se concentrarão em "riscos de IA, como biossegurança e segurança cibernética, e suas implicações sociais mais amplas".

É uma boa ideia que as empresas de IA se comprometam publicamente a continuar com esses testes e incentivar mais transparência no processo de teste. Existem também alguns tipos de riscos de IA – como o perigo de modelos de IA serem usados para desenvolver armas biológicas – que o governo e as autoridades militares podem estar em melhor posição para avaliar do que as empresas.

Fico feliz em ver a indústria de IA concordar com um conjunto de testes de segurança padrão, como os testes de "auto-replicação" do Alignment Research Center para modelos de pré-lançamento da OpenAI e da Anthropic. Também gostaria que o governo federal financiasse esses testes, que podem ser caros e exigir engenheiros com conhecimento técnico significativo. Atualmente, muitos testes de segurança são financiados e supervisionados por corporações, o que levanta questões óbvias de conflito de interesses.

** Compromisso 2: A empresa se compromete a compartilhar informações sobre gerenciamento de riscos de IA na indústria e com governo, sociedade civil e academia. **

Essa promessa também é um pouco vaga. Algumas dessas empresas publicaram informações sobre seus modelos de IA – geralmente em artigos acadêmicos ou postagens em blogs corporativos. Algumas dessas empresas, incluindo OpenAI e Anthropic, também publicaram documentos chamados “Cards” descrevendo as etapas que estão tomando para tornar esses modelos mais seguros.

Mas às vezes também retêm informações, alegando questões de segurança. Quando a OpenAI lançou seu mais recente modelo de IA, GPT-4, este ano, ela quebrou a convenção do setor ao optar por não revelar quantos dados de treinamento eram ou quão grande era seu modelo (uma métrica chamada "parâmetros"). A empresa disse que se recusou a divulgar as informações devido a questões de concorrência e segurança. Também é o tipo de dados que as empresas de tecnologia gostam de manter longe dos concorrentes.

Sob esses novos compromissos, as empresas de IA serão forçadas a divulgar essas informações? E se isso arriscar acelerar uma corrida armamentista de IA?

Suspeito que o objetivo da Casa Branca não seja obrigar as empresas a divulgar seus números de parâmetro, mas sim incentivá-las a trocar informações umas com as outras sobre os riscos que seus modelos representam (ou não).

Mas mesmo esse compartilhamento de informações pode ser arriscado. Se a equipe de IA do Google, durante os testes de pré-lançamento, impedir que novos modelos sejam usados para projetar armas biológicas mortais, ela deveria compartilhar essas informações fora do Google? Isso dá aos atores mal-intencionados ideias sobre como fazer com que um modelo menos protegido execute a mesma tarefa?

** Compromisso 3: A empresa se compromete a investir em segurança cibernética e medidas de proteção contra ameaças internas para proteger pesos de modelos proprietários e inéditos. **

Esta questão é muito simples e não é controversa entre os especialistas em IA com quem falei. "Pesos de modelo" é um termo técnico que se refere às instruções matemáticas que dão aos modelos de IA a capacidade de funcionar. Se você é um agente de um governo estrangeiro (ou de uma empresa rival) procurando construir sua própria versão do ChatGPT ou outro produto de IA, os pesos são o que você deseja roubar. As empresas de IA têm interesse em controlar rigidamente isso.

O problema do vazamento de peso do modelo é bem conhecido.

Por exemplo, os pesos do modelo de linguagem LLaMA original do Meta vazaram no 4chan e em outros sites apenas alguns dias depois que o modelo foi lançado publicamente. Dado o risco de mais vazamentos e a possibilidade de que outros países possam estar interessados em roubar a tecnologia de empresas americanas, exigir que as empresas de IA invistam mais em sua própria segurança parece óbvio.

** Compromisso 4: Ambas as empresas se comprometem a facilitar a descoberta de terceiros e a comunicação de vulnerabilidades em seus sistemas de IA. **

Não tenho certeza do que isso significa. Depois que toda empresa de IA lança um modelo, ela descobre falhas em seu modelo, geralmente porque os usuários estão tentando fazer coisas ruins com o modelo ou contornar o “jailbreaking” de maneiras que a empresa não previu.

A Casa Branca prometeu exigir que as empresas criem "mecanismos robustos de relatórios" para as vulnerabilidades, mas não está claro o que isso pode significar.

Um botão de feedback no aplicativo, semelhante aos que permitem aos usuários do Facebook e do Twitter denunciar postagens ofensivas? Um programa de recompensas por bugs, como o que a OpenAI lançou este ano para recompensar os usuários que encontram bugs em seus sistemas? Mais alguma coisa? Teremos que esperar por mais detalhes.

** Compromisso 5: A empresa está empenhada em desenvolver mecanismos técnicos fortes para garantir que os usuários saibam quando o conteúdo é gerado por inteligência artificial, como sistemas de marcas d'água. **

É uma ideia interessante, mas deixa muito espaço para interpretação.

Até agora, as empresas de IA têm lutado para criar ferramentas que permitam às pessoas saber se estão visualizando conteúdo gerado por IA. Existem boas razões técnicas para isso, mas é um problema real quando as pessoas podem passar trabalhos gerados por IA como se fossem seus (pergunte a qualquer professor do ensino médio).

Muitas das ferramentas atuais anunciadas como capazes de detectar a saída da IA, na verdade, não podem fazê-lo com nenhum grau de precisão.

Não estou otimista de que esse problema seja totalmente resolvido, mas fico feliz que as empresas estejam se comprometendo a trabalhar nisso.

**Compromisso 6: As empresas se comprometem a relatar publicamente as capacidades, limitações e áreas de uso apropriado e inapropriado de seus sistemas de IA. **

Outro compromisso de som sensato com bastante espaço de manobra.

Com que frequência as empresas precisam relatar as capacidades e limitações de seus sistemas? Quão detalhada deve ser essa informação? Dado que muitas empresas que constroem sistemas de IA ficam surpresas com os recursos de seus sistemas após o fato, até que ponto elas podem realmente descrever esses sistemas com antecedência?

** Compromisso 7: As empresas se comprometem a priorizar a pesquisa sobre os riscos à sociedade que os sistemas de IA podem representar, incluindo evitar preconceitos e discriminação prejudiciais e proteger a privacidade. **

O compromisso de "priorizar a pesquisa" é um compromisso vago. Ainda assim, acredito que esse compromisso será bem-vindo por muitos na comunidade de ética da IA, que desejam que as empresas de IA priorizem a prevenção de danos de curto prazo, como preconceito e discriminação, em vez de se preocupar com cenários apocalípticos, como fazem as pessoas de segurança da IA.

Se você está confuso sobre a diferença entre "ética de IA" e "segurança de IA", saiba que existem duas facções rivais dentro da comunidade de pesquisa de IA, cada uma acreditando que a outra está focada em evitar danos causados por erros.

** Compromisso 8: Ambas as empresas estão comprometidas em desenvolver e implantar sistemas avançados de inteligência artificial para ajudar a resolver os maiores desafios da sociedade. **

Não acho que muitas pessoas diriam que a IA avançada não deveria ser usada para ajudar a resolver os maiores desafios da sociedade. Eu não discordaria da Casa Branca citando a prevenção do câncer e a mitigação das mudanças climáticas como duas áreas nas quais deseja que as empresas de IA se concentrem.

Para complicar um pouco esse objetivo, no entanto, na pesquisa de inteligência artificial, coisas que parecem chatas no início tendem a ter consequências mais sérias.

Algumas técnicas empregadas pelo DeepMind's AlphaGo, um sistema de inteligência artificial treinado para jogar o jogo de tabuleiro Go, têm sido extremamente úteis para prever a estrutura tridimensional de proteínas, uma grande descoberta que avança a pesquisa científica básica.

No geral, os acordos da Casa Branca com empresas de IA parecem ser mais simbólicos do que substantivos. Não há mecanismos de fiscalização para garantir que as empresas cumpram esses compromissos, muitos dos quais refletem as precauções já tomadas pelas empresas de IA.

Ainda assim, é um primeiro passo razoável.

Concordar em cumprir essas regras mostra que as empresas de IA aprenderam com as falhas das primeiras empresas de tecnologia que esperaram até ter problemas antes de se envolver com os governos. Em Washington, pelo menos quando se trata de regulamentação de tecnologia, vale a pena chegar cedo.