Autor: JOSH LEE KOK THONG Tradução: Li Yang Revisão: Xiang Xinyi
Fonte: O Papel See More
Fonte da imagem: Gerada por Unbounded AI
O interesse global na governança e regulamentação da IA explodiu nos últimos meses. Muitos acreditam que novas estruturas regulatórias e de governança são necessárias para lidar com sistemas generativos de IA – cujas capacidades são surpreendentes, como ChatGPT e DALL-E da OpenAI, Bard do Google, Stable Diffusion e outros. A Lei de Inteligência Artificial da UE recebeu ampla atenção. Na verdade, muitas outras iniciativas importantes estão surgindo em todo o mundo, incluindo vários modelos e estruturas de governança de IA.
Este artigo é sobre a estrutura e o kit de ferramentas de teste de governança de inteligência artificial de Cingapura - "AI Verify" lançado em maio de 2022. Ele extrai principalmente três pontos principais. ① Resuma a estratégia geral de Cingapura sobre governança de inteligência artificial e as principais iniciativas emitidas pelo governo antes do lançamento da verificação de inteligência artificial. ② Explique a chave da "verificação de inteligência artificial". ③ "Verificação de IA" foi lançada por um ano, discutindo o futuro da verificação de IA e a abordagem de Cingapura para governança e regulamentação de IA. Resumidamente, os principais pontos são os seguintes:
Cingapura adotou uma abordagem de intervenção moderada para a governança e regulamentação da IA, com o AI Governance Framework Model estabelecendo diretrizes para a governança da IA no setor privado.
"AI Verify" é uma estrutura e kit de ferramentas de teste de governança de IA, com lançamento em maio de 2022. Embora em fase experimental, representa os esforços de Cingapura para desenvolver ainda mais o discurso global sobre governança e regulamentação de IA, tentando atender à crescente demanda por sistemas de IA confiáveis e promovendo a interconectividade da estrutura regulatória global de IA.
"AI Verification" é uma estrutura de teste baseada em princípios de governança de IA reconhecidos internacionalmente que as empresas podem usar ao testar seus próprios sistemas de IA. A "Verificação de IA" não se destina a definir padrões éticos, mas a fornecer verificabilidade, permitindo que desenvolvedores de sistemas de IA e seus proprietários emitam declarações atestando o desempenho de seus sistemas de IA.
– Para ser bem-sucedido, “verificado por IA” pode precisar de mais reconhecimento e adoção. Isso depende de fatores como custo, persuadir as partes interessadas de seu valor e sua relevância e sinergias com a estrutura regulatória internacional.
Abordagem geral para governança de IA em Cingapura
Em sua Estratégia Nacional de Inteligência Artificial, Cingapura anunciou que o país pretende estar "na vanguarda do desenvolvimento e implantação de soluções de IA escaláveis e impactantes" e espera consolidar o papel do país como "líder no desenvolvimento, teste, implantação e dimensionamento inteligência artificial." centro global de soluções. Um dos cinco "facilitadores do ecossistema" identificados em uma estratégia para aumentar a adoção da IA está promovendo um "ambiente progressivo e confiável" para o desenvolvimento da IA — uma troca entre inovação e minimização do risco social. ambiente equilibrado.
Para criar esse "ambiente progressivo e confiável", Cingapura até agora adotou uma abordagem benigna e voluntária para a regulamentação da IA. Isso porque o país reconhece duas realidades de suas ambições de IA.
Em primeiro lugar, o governo de Cingapura** vê a IA como um facilitador estratégico fundamental** para fazer crescer a economia e melhorar a qualidade de vida de seus cidadãos. Como resultado, Cingapura não tomou medidas drásticas na regulamentação da inteligência artificial, para não sufocar a inovação e o investimento. Em segundo lugar, devido ao seu tamanho, Cingapura reconhece que o próprio governo pode ser um tomador de preços, em vez de um definidor de preços, à medida que o discurso, as estruturas e os regulamentos de governança de IA se desenvolvem globalmente. Portanto, a estratégia atual não é atualizar os princípios da inteligência artificial, mas "seguir a tendência do mundo e não ter intenção de mudar a tendência do mundo."("Pegue o mundo onde está, em vez de onde espera que o mundo esteja.")
A abordagem regulatória de Cingapura para IA - supervisionada pela Comissão de Proteção de Dados Pessoais (PDPC) de Cingapura - tem três pilares antes do lançamento do AI Verify em 2022:
1 Modelo de estrutura de governança de IA (Modelo de estrutura).
Comitê Consultivo para o Uso Ético de Inteligência Artificial e Dados (Comitê Consultivo).
Governança de IA e plano de pesquisa de uso de dados (projeto de pesquisa).
O seguinte enfoca o "Modelo de estrutura".
modo quadro
O Framework Model, lançado pela primeira vez na Reunião Anual do Fórum Econômico Mundial em 2019, é uma estrutura voluntária e não vinculativa que orienta as organizações na implantação responsável de soluções de inteligência artificial em escala, observando que a estrutura é independente do estágio de desenvolvimento do tecnologia . Como guia, o Modelo de Estrutura fornece apenas recomendações práticas para a implantação de IA por entidades do setor privado, enquanto o uso de IA pelo setor público é regido por diretrizes internas e kits de ferramentas de IA e governança de dados. **O Framework Patterns é conhecido como um "documento vivo" e as versões futuras evoluirão à medida que a tecnologia e a sociedade evoluírem. Sua base está na imprevisibilidade da tecnologia, da indústria, da escala e do modelo de negócios. **
Essencialmente, o padrão de estrutura é guiado por dois princípios fundamentais que promovem confiança e compreensão na IA. **Primeiro, as organizações que usam IA na tomada de decisões devem garantir que seus processos de tomada de decisão sejam explicáveis, transparentes e justos. Em segundo lugar, os sistemas de IA devem ser centrados no ser humano: proteger o bem-estar e a segurança humana deve ser uma consideração primordial no projeto, desenvolvimento e uso da IA. **
A estrutura traduz esses princípios orientadores em ações acionáveis em quatro áreas principais da tomada de decisões organizacionais e processos de desenvolvimento de tecnologia:
(a) estruturas e práticas internas de governança;
(b) determinar o nível de envolvimento humano na tomada de decisão aumentada por IA;
(c) gestão de operações;
(d) Interação e comunicação com as partes interessadas.
A tabela abaixo resume algumas considerações, abordagens e medidas sugeridas nessas áreas-chave.
Outras iniciativas que acompanham o Modelo Framework
Quando Cingapura lançou a segunda edição do Framework Model no Fórum Econômico Mundial 2020, ela foi acompanhada por dois outros documentos: Guia de Implementação e Autoavaliação para Organizações (ISAGO) e Compêndio de Casos de Uso (Compilação - Volume 1 e 2 volumes) . ISAGO é uma lista de verificação para ajudar as organizações a avaliar o alinhamento de seus processos de governança de IA com a estrutura do modelo. O Compêndio fornece exemplos reais de adoção das recomendações da Estrutura em todos os setores, casos de uso e jurisdições.
Em geral, o "Modelo de estrutura" e seus documentos de apoio ancoram e descrevem o pensamento substantivo da regulamentação da inteligência artificial em Cingapura. Essas iniciativas fizeram com que Cingapura ganhasse o prêmio da Cúpula Mundial das Nações Unidas sobre a Sociedade da Informação em 2019, reconhecendo sua liderança na governança de IA.
Janeiro de 2020 marcou um ponto de virada na discussão global sobre a regulamentação da IA. Em 17 de janeiro de 2020, um white paper divulgado pela Comissão Europeia fez com que a comunidade internacional prestasse mais atenção à possibilidade de regulamentação governamental da tecnologia de inteligência artificial. Em fevereiro de 2020, a Comissão Europeia lançou oficialmente o "Livro Branco sobre Inteligência Artificial", estabelecendo planos para criar um quadro regulamentar para a inteligência artificial. Alguns meses depois, a Comissão Europeia apresentou um rascunho de seu futuro Projeto de Lei de Inteligência Artificial. Esta é a primeira tentativa séria de uma agência governamental de introduzir regras substantivas para regular horizontalmente o desenvolvimento e o uso de sistemas de IA. Pode-se esperar que o AI Act também tenha efeitos extrajurisdicionais, e as empresas que desenvolvem sistemas de IA fora da Europa podem estar sujeitas à nova lei.
Isso influenciou o pensamento sobre o futuro do cenário regulatório e de governança de IA de Cingapura. Embora a Comissão de Proteção de Dados Pessoais (PDPC) de Cingapura mantenha sua abordagem voluntária e negligente à regulamentação da IA, ela reconhece que a IA enfrentará uma supervisão mais rígida no futuro. O PDPC também parece estar atento à crescente demanda de ** consumidores pela credibilidade de sistemas e desenvolvedores de IA e a necessidade de padrões internacionais de IA para benchmarking e avaliação de IA em relação aos requisitos regulatórios. Além disso, os requisitos para a interoperabilidade das estruturas regulatórias de IA também estão aumentando. **Em vista disso, Cingapura começou a se desenvolver e os resultados finais foram incorporados à estrutura do "AI Verify".
O que é "AI Verify"
"AI Verify" é emitido em conjunto pela Infocomm Media Development Authority (IMDA), um comitê estatutário do Ministério das Comunicações e Informações de Cingapura e pelo Comitê de Proteção de Dados Pessoais (PDPC). É uma estrutura e um kit de ferramentas de teste de governança de inteligência artificial. **Usando o AI Verify, as organizações podem realizar uma avaliação voluntária de seus sistemas de IA usando uma combinação de testes técnicos e inspeções baseadas em processos. Por sua vez, o sistema ajuda as empresas a fornecer provas objetivas e verificáveis às partes interessadas de que seus sistemas de IA estão sendo implementados de maneira responsável e confiável. **
Tendo em vista o desenvolvimento contínuo de métodos, padrões, indicadores e ferramentas de teste de inteligência artificial, a "verificação de inteligência artificial" (AI Verify) está atualmente no estágio de "produto viável mínimo" (MVP). Isso tem duas implicações. Primeiro, a versão MVP tem limitações técnicas e é limitada pelo tipo e tamanho dos modelos ou conjuntos de dados de IA que podem ser testados ou analisados. Em segundo lugar, espera-se que a verificação de IA evolua à medida que os recursos de teste de IA amadurecem.
Os quatro objetivos para desenvolver a versão MVP "AI Verified" são:
(a) Em primeiro lugar, a IMDA espera que as organizações possam usar a "validação de IA" para determinar os benchmarks de desempenho de seus sistemas de IA e demonstrar esses benchmarks validados para as partes interessadas, como consumidores e funcionários, ajudando assim as organizações a criar confiança.
(b) Em segundo lugar, devido ao seu desenvolvimento levando em consideração várias estruturas regulatórias e de governança de IA, bem como princípios comuns confiáveis de IA, A Validação de IA visa ajudar as organizações a encontrar várias estruturas e regulamentações globais de governança de IA em comum. A IMDA continuará a trabalhar com reguladores e organizações de padronização para mapear a estrutura de teste para "Validação de IA" para a estrutura estabelecida. Os esforços visam permitir que as empresas operem ou ofereçam produtos e serviços de IA em vários mercados, tornando Cingapura um centro de governança de IA e testes regulatórios.
(c) Em terceiro lugar, **IMDA será capaz de reunir práticas, benchmarks e métricas do setor à medida que mais organizações experimentam a “validação de IA” e usam sua estrutura de teste. **Considerando que Cingapura está participando de plataformas globais de governança de IA, como a Global AI Partnership e ISO/IEC JTC1/SC 42, fornecendo perspectivas valiosas sobre a definição de padrões internacionais para governança de IA, isso pode facilitar o desenvolvimento de padrões para governança de IA colocados em .
(d) Em quarto lugar, IMDA quer "Verificação de IA" para ajudar a criar uma comunidade local de teste de IA em Cingapura composta por desenvolvedores de IA e proprietários de sistemas (buscando testar sistemas de IA), provedores de tecnologia (que estão desenvolvendo implementação de governança de IA e soluções de teste), provedores de serviços de consultoria (especializados em suporte a testes e certificação) e pesquisadores (que estão desenvolvendo técnicas de teste, benchmarks e práticas).
Também é importante esclarecer vários equívocos potenciais sobre a "validação de IA". Primeiro, **"AI Validation" não tenta definir padrões éticos. **Ele não tenta sinalizar a classificação de sistemas de IA, mas fornece verificabilidade, permitindo que desenvolvedores e proprietários de sistemas de IA comprovem suas reivindicações sobre o desempenho do sistema de IA. Em segundo lugar, as organizações governamentais que usam a "verificação de IA" não podem garantir que os sistemas de IA testados estejam livres de riscos ou vieses ou que sejam completamente "seguros" e "éticos". Em terceiro lugar, a "validação de IA" visa impedir que as organizações revelem inadvertidamente informações confidenciais sobre seus sistemas de IA (como código subjacente ou dados de treinamento). Adotou uma medida de salvaguarda chave - " AI Verification", que será auto-testada por desenvolvedores e proprietários de sistemas AI. Isso permite que os dados e modelos da organização permaneçam dentro do ambiente operacional da organização. **
Como funciona a "Verificação AI"
"Validação AI" consiste em duas partes. O primeiro é o Test Framework, que cita 11 princípios de ética e governança de IA reconhecidos internacionalmente, organizados em cinco pilares. O segundo é o kit de ferramentas que as organizações usam para realizar testes técnicos e documentar verificações de processo na estrutura de teste.
Estrutura de teste para "verificação de inteligência artificial"
Os cinco pilares e onze princípios da estrutura de teste "AI Validation" e suas avaliações pretendidas estão listados abaixo:
A estrutura de teste real, incluindo as seguintes partes principais:
***(a) Definições: *** A estrutura de teste fornece definições fáceis de entender para cada princípio de IA. Por exemplo, a interpretabilidade é definida como "a capacidade de avaliar os fatores que levam à decisão de um sistema de IA, seu comportamento geral, resultado e impacto".
***(b) Critérios testáveis: ***Para cada princípio, um conjunto de critérios testáveis é fornecido. Esses padrões levam em consideração fatores técnicos e/ou não técnicos (como processos, procedimentos ou estruturas organizacionais) que contribuem para alcançar os resultados pretendidos desse princípio de governança.
Tomando a interpretabilidade como exemplo, dois critérios testáveis são fornecidos. Os desenvolvedores podem executar métodos de explicabilidade para ajudar os usuários a entender o que impulsiona os modelos de IA. Os desenvolvedores também podem demonstrar preferência por desenvolver modelos de IA que expliquem suas decisões ou fazê-lo por padrão.
***(c) Processo de teste: *** Para cada critério testável, "Validação de AI" fornece um processo ou etapas acionáveis a serem executadas, que podem ser quantitativas (como testes estatísticos ou técnicos), também podem ser qualitativas (por exemplo, prova documental produzida durante as inspeções de processo).
No que diz respeito à interpretabilidade, o teste técnico pode envolver análise empírica e determinação da contribuição de recursos para a saída do modelo. O teste baseado em processo documentará a lógica, a avaliação de risco e as compensações do modelo de IA.
***(d) Métricas: ***Estes são os parâmetros quantitativos ou qualitativos usados para medir ou fornecer evidências para cada critério testável.
Usando o exemplo de interpretabilidade acima, as métricas usadas para determinar as contribuições de recursos examinam os recursos de contribuição das saídas do modelo obtidas de ferramentas técnicas como SHAP e LIME. Ao selecionar o modelo final, métricas baseadas em processo podem ser usadas para documentar a avaliação, como avaliação de risco e exercícios de trade-off.
***(e) Limiares (se aplicável): ***Quando disponível, a estrutura de teste fornecerá valores ou benchmarks aceitos para métricas selecionadas. Esses valores, ou benchmarks, podem ser definidos por órgãos reguladores, associações industriais ou outras organizações de definição de padrões reconhecidas. Nenhum limite é fornecido para o modelo MVP de "Validação de IA", levando em consideração o rápido desenvolvimento de tecnologias de IA, seus casos de uso e métodos de teste de sistemas de IA. No entanto, à medida que o espaço de governança de IA amadurece e o uso de "AI Verify" aumenta, a IMDA pretende reunir e desenvolver métricas e limites específicos do contexto para adicionar à estrutura de teste.
Kit de ferramentas de verificação de IA "Verificação de inteligência artificial"
Embora o kit de ferramentas do AI Verify para "verificação de inteligência artificial" esteja atualmente disponível apenas para organizações que se inscrevem com sucesso no programa AI Verify MVP, o IMDA descreve o kit de ferramentas como uma ferramenta "one-stop" para as organizações realizarem testes técnicos. Especificamente, o kit de ferramentas faz uso extensivo de bibliotecas de teste de software livre. Essas ferramentas incluem SHAP (Shapley Additive ExPlanations) para explicabilidade, Adversarial Robustness Toolkit para robustez e AIF360 e Fair Learning para justiça.
Os usuários do "AI Verification" podem instalar o kit de ferramentas em seu ambiente interno. O usuário realizará o processo de teste sob a orientação da interface do usuário. Por exemplo, a ferramenta inclui uma "árvore de imparcialidade guiada" para que os usuários identifiquem métricas de imparcialidade relevantes para seu caso de uso. Por fim, o AI Verify gerará um relatório resumido para ajudar os desenvolvedores e proprietários do sistema a interpretar os resultados do teste. Para inspeções de processo, o relatório fornece uma lista de verificação da presença ou ausência de provas documentais conforme especificado na estrutura de teste. Os resultados do teste são empacotados em contêineres Docker® para implantação.
para concluir
Quando a IMDA lançou o AI Verify, a onda de interesse em IA generativa ainda não havia se materializado. Seguindo a tendência atual, o interesse na governança, testabilidade e confiabilidade dos sistemas de IA cresceu significativamente. Conforme listado neste artigo, as várias iniciativas de "verificação de inteligência artificial" AI Verify estão apenas se preparando para responder à situação atual.
Cingapura já demonstrou sua capacidade de contribuir para o discurso global e a liderança de pensamento sobre governança e regulamentação de IA. Os Framework Patterns lançados são a prova disso. As apostas do AI Verify são certamente altas, mas também a demanda global pela iniciativa. Para ter sucesso, pode ser necessário ser mais reconhecido e usado mais. Depende de vários fatores. Primeiro, a acessibilidade da ferramenta é crítica: as organizações que desejam usar o AI Verify precisam ser capazes de usá-lo com baixo ou nenhum custo. **Em segundo lugar, é fundamental convencer a organização de seu valor. ** Isso requer que a IMDA prove que a "verificação de inteligência artificial" AI Verify é técnica e processualmente sólida, pode ser usada com eficácia para mais e mais novos tipos e escalas de modelos e conjuntos de dados de inteligência artificial e não afetará a propriedade A sensibilidade comercial de o modelo ou conjunto de dados de IA. **Terceiro, e talvez o mais importante, deve manter a interoperabilidade com estruturas regulatórias internacionais. **A IMDA precisa garantir que o AI Verify continue a ajudar as organizações a abordar e interoperar dentro dos principais quadros regulatórios globais emergentes de IA, como o EU AI Act, o Canadian AI and Data Act e o US NIST AI Risks Regulatory framework, bem como o de Cingapura própria estrutura do modelo nacional.
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Tornando a governança de IA verificável: kit de ferramentas de verificação de IA de Cingapura
Autor: JOSH LEE KOK THONG Tradução: Li Yang Revisão: Xiang Xinyi
Fonte: O Papel See More
O interesse global na governança e regulamentação da IA explodiu nos últimos meses. Muitos acreditam que novas estruturas regulatórias e de governança são necessárias para lidar com sistemas generativos de IA – cujas capacidades são surpreendentes, como ChatGPT e DALL-E da OpenAI, Bard do Google, Stable Diffusion e outros. A Lei de Inteligência Artificial da UE recebeu ampla atenção. Na verdade, muitas outras iniciativas importantes estão surgindo em todo o mundo, incluindo vários modelos e estruturas de governança de IA.
Este artigo é sobre a estrutura e o kit de ferramentas de teste de governança de inteligência artificial de Cingapura - "AI Verify" lançado em maio de 2022. Ele extrai principalmente três pontos principais. ① Resuma a estratégia geral de Cingapura sobre governança de inteligência artificial e as principais iniciativas emitidas pelo governo antes do lançamento da verificação de inteligência artificial. ② Explique a chave da "verificação de inteligência artificial". ③ "Verificação de IA" foi lançada por um ano, discutindo o futuro da verificação de IA e a abordagem de Cingapura para governança e regulamentação de IA. Resumidamente, os principais pontos são os seguintes:
Cingapura adotou uma abordagem de intervenção moderada para a governança e regulamentação da IA, com o AI Governance Framework Model estabelecendo diretrizes para a governança da IA no setor privado.
"AI Verify" é uma estrutura e kit de ferramentas de teste de governança de IA, com lançamento em maio de 2022. Embora em fase experimental, representa os esforços de Cingapura para desenvolver ainda mais o discurso global sobre governança e regulamentação de IA, tentando atender à crescente demanda por sistemas de IA confiáveis e promovendo a interconectividade da estrutura regulatória global de IA.
"AI Verification" é uma estrutura de teste baseada em princípios de governança de IA reconhecidos internacionalmente que as empresas podem usar ao testar seus próprios sistemas de IA. A "Verificação de IA" não se destina a definir padrões éticos, mas a fornecer verificabilidade, permitindo que desenvolvedores de sistemas de IA e seus proprietários emitam declarações atestando o desempenho de seus sistemas de IA.
– Para ser bem-sucedido, “verificado por IA” pode precisar de mais reconhecimento e adoção. Isso depende de fatores como custo, persuadir as partes interessadas de seu valor e sua relevância e sinergias com a estrutura regulatória internacional.
Abordagem geral para governança de IA em Cingapura
Em sua Estratégia Nacional de Inteligência Artificial, Cingapura anunciou que o país pretende estar "na vanguarda do desenvolvimento e implantação de soluções de IA escaláveis e impactantes" e espera consolidar o papel do país como "líder no desenvolvimento, teste, implantação e dimensionamento inteligência artificial." centro global de soluções. Um dos cinco "facilitadores do ecossistema" identificados em uma estratégia para aumentar a adoção da IA está promovendo um "ambiente progressivo e confiável" para o desenvolvimento da IA — uma troca entre inovação e minimização do risco social. ambiente equilibrado.
Para criar esse "ambiente progressivo e confiável", Cingapura até agora adotou uma abordagem benigna e voluntária para a regulamentação da IA. Isso porque o país reconhece duas realidades de suas ambições de IA.
Em primeiro lugar, o governo de Cingapura** vê a IA como um facilitador estratégico fundamental** para fazer crescer a economia e melhorar a qualidade de vida de seus cidadãos. Como resultado, Cingapura não tomou medidas drásticas na regulamentação da inteligência artificial, para não sufocar a inovação e o investimento. Em segundo lugar, devido ao seu tamanho, Cingapura reconhece que o próprio governo pode ser um tomador de preços, em vez de um definidor de preços, à medida que o discurso, as estruturas e os regulamentos de governança de IA se desenvolvem globalmente. Portanto, a estratégia atual não é atualizar os princípios da inteligência artificial, mas "seguir a tendência do mundo e não ter intenção de mudar a tendência do mundo."("Pegue o mundo onde está, em vez de onde espera que o mundo esteja.")
A abordagem regulatória de Cingapura para IA - supervisionada pela Comissão de Proteção de Dados Pessoais (PDPC) de Cingapura - tem três pilares antes do lançamento do AI Verify em 2022:
1 Modelo de estrutura de governança de IA (Modelo de estrutura).
Comitê Consultivo para o Uso Ético de Inteligência Artificial e Dados (Comitê Consultivo).
Governança de IA e plano de pesquisa de uso de dados (projeto de pesquisa).
O seguinte enfoca o "Modelo de estrutura".
modo quadro
O Framework Model, lançado pela primeira vez na Reunião Anual do Fórum Econômico Mundial em 2019, é uma estrutura voluntária e não vinculativa que orienta as organizações na implantação responsável de soluções de inteligência artificial em escala, observando que a estrutura é independente do estágio de desenvolvimento do tecnologia . Como guia, o Modelo de Estrutura fornece apenas recomendações práticas para a implantação de IA por entidades do setor privado, enquanto o uso de IA pelo setor público é regido por diretrizes internas e kits de ferramentas de IA e governança de dados. **O Framework Patterns é conhecido como um "documento vivo" e as versões futuras evoluirão à medida que a tecnologia e a sociedade evoluírem. Sua base está na imprevisibilidade da tecnologia, da indústria, da escala e do modelo de negócios. **
Essencialmente, o padrão de estrutura é guiado por dois princípios fundamentais que promovem confiança e compreensão na IA. **Primeiro, as organizações que usam IA na tomada de decisões devem garantir que seus processos de tomada de decisão sejam explicáveis, transparentes e justos. Em segundo lugar, os sistemas de IA devem ser centrados no ser humano: proteger o bem-estar e a segurança humana deve ser uma consideração primordial no projeto, desenvolvimento e uso da IA. **
A estrutura traduz esses princípios orientadores em ações acionáveis em quatro áreas principais da tomada de decisões organizacionais e processos de desenvolvimento de tecnologia:
(a) estruturas e práticas internas de governança;
(b) determinar o nível de envolvimento humano na tomada de decisão aumentada por IA;
(c) gestão de operações;
(d) Interação e comunicação com as partes interessadas.
A tabela abaixo resume algumas considerações, abordagens e medidas sugeridas nessas áreas-chave.
Quando Cingapura lançou a segunda edição do Framework Model no Fórum Econômico Mundial 2020, ela foi acompanhada por dois outros documentos: Guia de Implementação e Autoavaliação para Organizações (ISAGO) e Compêndio de Casos de Uso (Compilação - Volume 1 e 2 volumes) . ISAGO é uma lista de verificação para ajudar as organizações a avaliar o alinhamento de seus processos de governança de IA com a estrutura do modelo. O Compêndio fornece exemplos reais de adoção das recomendações da Estrutura em todos os setores, casos de uso e jurisdições.
Em geral, o "Modelo de estrutura" e seus documentos de apoio ancoram e descrevem o pensamento substantivo da regulamentação da inteligência artificial em Cingapura. Essas iniciativas fizeram com que Cingapura ganhasse o prêmio da Cúpula Mundial das Nações Unidas sobre a Sociedade da Informação em 2019, reconhecendo sua liderança na governança de IA.
Janeiro de 2020 marcou um ponto de virada na discussão global sobre a regulamentação da IA. Em 17 de janeiro de 2020, um white paper divulgado pela Comissão Europeia fez com que a comunidade internacional prestasse mais atenção à possibilidade de regulamentação governamental da tecnologia de inteligência artificial. Em fevereiro de 2020, a Comissão Europeia lançou oficialmente o "Livro Branco sobre Inteligência Artificial", estabelecendo planos para criar um quadro regulamentar para a inteligência artificial. Alguns meses depois, a Comissão Europeia apresentou um rascunho de seu futuro Projeto de Lei de Inteligência Artificial. Esta é a primeira tentativa séria de uma agência governamental de introduzir regras substantivas para regular horizontalmente o desenvolvimento e o uso de sistemas de IA. Pode-se esperar que o AI Act também tenha efeitos extrajurisdicionais, e as empresas que desenvolvem sistemas de IA fora da Europa podem estar sujeitas à nova lei.
Isso influenciou o pensamento sobre o futuro do cenário regulatório e de governança de IA de Cingapura. Embora a Comissão de Proteção de Dados Pessoais (PDPC) de Cingapura mantenha sua abordagem voluntária e negligente à regulamentação da IA, ela reconhece que a IA enfrentará uma supervisão mais rígida no futuro. O PDPC também parece estar atento à crescente demanda de ** consumidores pela credibilidade de sistemas e desenvolvedores de IA e a necessidade de padrões internacionais de IA para benchmarking e avaliação de IA em relação aos requisitos regulatórios. Além disso, os requisitos para a interoperabilidade das estruturas regulatórias de IA também estão aumentando. **Em vista disso, Cingapura começou a se desenvolver e os resultados finais foram incorporados à estrutura do "AI Verify".
O que é "AI Verify"
"AI Verify" é emitido em conjunto pela Infocomm Media Development Authority (IMDA), um comitê estatutário do Ministério das Comunicações e Informações de Cingapura e pelo Comitê de Proteção de Dados Pessoais (PDPC). É uma estrutura e um kit de ferramentas de teste de governança de inteligência artificial. **Usando o AI Verify, as organizações podem realizar uma avaliação voluntária de seus sistemas de IA usando uma combinação de testes técnicos e inspeções baseadas em processos. Por sua vez, o sistema ajuda as empresas a fornecer provas objetivas e verificáveis às partes interessadas de que seus sistemas de IA estão sendo implementados de maneira responsável e confiável. **
Tendo em vista o desenvolvimento contínuo de métodos, padrões, indicadores e ferramentas de teste de inteligência artificial, a "verificação de inteligência artificial" (AI Verify) está atualmente no estágio de "produto viável mínimo" (MVP). Isso tem duas implicações. Primeiro, a versão MVP tem limitações técnicas e é limitada pelo tipo e tamanho dos modelos ou conjuntos de dados de IA que podem ser testados ou analisados. Em segundo lugar, espera-se que a verificação de IA evolua à medida que os recursos de teste de IA amadurecem.
Os quatro objetivos para desenvolver a versão MVP "AI Verified" são:
(a) Em primeiro lugar, a IMDA espera que as organizações possam usar a "validação de IA" para determinar os benchmarks de desempenho de seus sistemas de IA e demonstrar esses benchmarks validados para as partes interessadas, como consumidores e funcionários, ajudando assim as organizações a criar confiança.
(b) Em segundo lugar, devido ao seu desenvolvimento levando em consideração várias estruturas regulatórias e de governança de IA, bem como princípios comuns confiáveis de IA, A Validação de IA visa ajudar as organizações a encontrar várias estruturas e regulamentações globais de governança de IA em comum. A IMDA continuará a trabalhar com reguladores e organizações de padronização para mapear a estrutura de teste para "Validação de IA" para a estrutura estabelecida. Os esforços visam permitir que as empresas operem ou ofereçam produtos e serviços de IA em vários mercados, tornando Cingapura um centro de governança de IA e testes regulatórios.
(c) Em terceiro lugar, **IMDA será capaz de reunir práticas, benchmarks e métricas do setor à medida que mais organizações experimentam a “validação de IA” e usam sua estrutura de teste. **Considerando que Cingapura está participando de plataformas globais de governança de IA, como a Global AI Partnership e ISO/IEC JTC1/SC 42, fornecendo perspectivas valiosas sobre a definição de padrões internacionais para governança de IA, isso pode facilitar o desenvolvimento de padrões para governança de IA colocados em .
(d) Em quarto lugar, IMDA quer "Verificação de IA" para ajudar a criar uma comunidade local de teste de IA em Cingapura composta por desenvolvedores de IA e proprietários de sistemas (buscando testar sistemas de IA), provedores de tecnologia (que estão desenvolvendo implementação de governança de IA e soluções de teste), provedores de serviços de consultoria (especializados em suporte a testes e certificação) e pesquisadores (que estão desenvolvendo técnicas de teste, benchmarks e práticas).
Também é importante esclarecer vários equívocos potenciais sobre a "validação de IA". Primeiro, **"AI Validation" não tenta definir padrões éticos. **Ele não tenta sinalizar a classificação de sistemas de IA, mas fornece verificabilidade, permitindo que desenvolvedores e proprietários de sistemas de IA comprovem suas reivindicações sobre o desempenho do sistema de IA. Em segundo lugar, as organizações governamentais que usam a "verificação de IA" não podem garantir que os sistemas de IA testados estejam livres de riscos ou vieses ou que sejam completamente "seguros" e "éticos". Em terceiro lugar, a "validação de IA" visa impedir que as organizações revelem inadvertidamente informações confidenciais sobre seus sistemas de IA (como código subjacente ou dados de treinamento). Adotou uma medida de salvaguarda chave - " AI Verification", que será auto-testada por desenvolvedores e proprietários de sistemas AI. Isso permite que os dados e modelos da organização permaneçam dentro do ambiente operacional da organização. **
Como funciona a "Verificação AI"
"Validação AI" consiste em duas partes. O primeiro é o Test Framework, que cita 11 princípios de ética e governança de IA reconhecidos internacionalmente, organizados em cinco pilares. O segundo é o kit de ferramentas que as organizações usam para realizar testes técnicos e documentar verificações de processo na estrutura de teste.
Estrutura de teste para "verificação de inteligência artificial"
Os cinco pilares e onze princípios da estrutura de teste "AI Validation" e suas avaliações pretendidas estão listados abaixo:
***(a) Definições: *** A estrutura de teste fornece definições fáceis de entender para cada princípio de IA. Por exemplo, a interpretabilidade é definida como "a capacidade de avaliar os fatores que levam à decisão de um sistema de IA, seu comportamento geral, resultado e impacto".
***(b) Critérios testáveis: ***Para cada princípio, um conjunto de critérios testáveis é fornecido. Esses padrões levam em consideração fatores técnicos e/ou não técnicos (como processos, procedimentos ou estruturas organizacionais) que contribuem para alcançar os resultados pretendidos desse princípio de governança.
Tomando a interpretabilidade como exemplo, dois critérios testáveis são fornecidos. Os desenvolvedores podem executar métodos de explicabilidade para ajudar os usuários a entender o que impulsiona os modelos de IA. Os desenvolvedores também podem demonstrar preferência por desenvolver modelos de IA que expliquem suas decisões ou fazê-lo por padrão.
***(c) Processo de teste: *** Para cada critério testável, "Validação de AI" fornece um processo ou etapas acionáveis a serem executadas, que podem ser quantitativas (como testes estatísticos ou técnicos), também podem ser qualitativas (por exemplo, prova documental produzida durante as inspeções de processo).
No que diz respeito à interpretabilidade, o teste técnico pode envolver análise empírica e determinação da contribuição de recursos para a saída do modelo. O teste baseado em processo documentará a lógica, a avaliação de risco e as compensações do modelo de IA.
***(d) Métricas: ***Estes são os parâmetros quantitativos ou qualitativos usados para medir ou fornecer evidências para cada critério testável.
Usando o exemplo de interpretabilidade acima, as métricas usadas para determinar as contribuições de recursos examinam os recursos de contribuição das saídas do modelo obtidas de ferramentas técnicas como SHAP e LIME. Ao selecionar o modelo final, métricas baseadas em processo podem ser usadas para documentar a avaliação, como avaliação de risco e exercícios de trade-off.
***(e) Limiares (se aplicável): ***Quando disponível, a estrutura de teste fornecerá valores ou benchmarks aceitos para métricas selecionadas. Esses valores, ou benchmarks, podem ser definidos por órgãos reguladores, associações industriais ou outras organizações de definição de padrões reconhecidas. Nenhum limite é fornecido para o modelo MVP de "Validação de IA", levando em consideração o rápido desenvolvimento de tecnologias de IA, seus casos de uso e métodos de teste de sistemas de IA. No entanto, à medida que o espaço de governança de IA amadurece e o uso de "AI Verify" aumenta, a IMDA pretende reunir e desenvolver métricas e limites específicos do contexto para adicionar à estrutura de teste.
Kit de ferramentas de verificação de IA "Verificação de inteligência artificial"
Embora o kit de ferramentas do AI Verify para "verificação de inteligência artificial" esteja atualmente disponível apenas para organizações que se inscrevem com sucesso no programa AI Verify MVP, o IMDA descreve o kit de ferramentas como uma ferramenta "one-stop" para as organizações realizarem testes técnicos. Especificamente, o kit de ferramentas faz uso extensivo de bibliotecas de teste de software livre. Essas ferramentas incluem SHAP (Shapley Additive ExPlanations) para explicabilidade, Adversarial Robustness Toolkit para robustez e AIF360 e Fair Learning para justiça.
Os usuários do "AI Verification" podem instalar o kit de ferramentas em seu ambiente interno. O usuário realizará o processo de teste sob a orientação da interface do usuário. Por exemplo, a ferramenta inclui uma "árvore de imparcialidade guiada" para que os usuários identifiquem métricas de imparcialidade relevantes para seu caso de uso. Por fim, o AI Verify gerará um relatório resumido para ajudar os desenvolvedores e proprietários do sistema a interpretar os resultados do teste. Para inspeções de processo, o relatório fornece uma lista de verificação da presença ou ausência de provas documentais conforme especificado na estrutura de teste. Os resultados do teste são empacotados em contêineres Docker® para implantação.
para concluir
Quando a IMDA lançou o AI Verify, a onda de interesse em IA generativa ainda não havia se materializado. Seguindo a tendência atual, o interesse na governança, testabilidade e confiabilidade dos sistemas de IA cresceu significativamente. Conforme listado neste artigo, as várias iniciativas de "verificação de inteligência artificial" AI Verify estão apenas se preparando para responder à situação atual.
Cingapura já demonstrou sua capacidade de contribuir para o discurso global e a liderança de pensamento sobre governança e regulamentação de IA. Os Framework Patterns lançados são a prova disso. As apostas do AI Verify são certamente altas, mas também a demanda global pela iniciativa. Para ter sucesso, pode ser necessário ser mais reconhecido e usado mais. Depende de vários fatores. Primeiro, a acessibilidade da ferramenta é crítica: as organizações que desejam usar o AI Verify precisam ser capazes de usá-lo com baixo ou nenhum custo. **Em segundo lugar, é fundamental convencer a organização de seu valor. ** Isso requer que a IMDA prove que a "verificação de inteligência artificial" AI Verify é técnica e processualmente sólida, pode ser usada com eficácia para mais e mais novos tipos e escalas de modelos e conjuntos de dados de inteligência artificial e não afetará a propriedade A sensibilidade comercial de o modelo ou conjunto de dados de IA. **Terceiro, e talvez o mais importante, deve manter a interoperabilidade com estruturas regulatórias internacionais. **A IMDA precisa garantir que o AI Verify continue a ajudar as organizações a abordar e interoperar dentro dos principais quadros regulatórios globais emergentes de IA, como o EU AI Act, o Canadian AI and Data Act e o US NIST AI Risks Regulatory framework, bem como o de Cingapura própria estrutura do modelo nacional.