Autor: JOSH LEE KOK THONG Traducción: Li Yang Revisión: Xiang Xinyi
Fuente: El Papel
Fuente de la imagen: Generada por Unbounded AI
El interés global en la gobernanza y regulación de la IA se ha disparado en los últimos meses. Muchos creen que se necesitan nuevas estructuras regulatorias y de gobernanza para lidiar con los sistemas de IA generativa, cuyas capacidades son asombrosas, como ChatGPT y DALL-E de OpenAI, Bard de Google, Stable Diffusion y otros. La Ley de Inteligencia Artificial de la UE ha recibido una amplia atención. De hecho, están surgiendo muchas otras iniciativas importantes en todo el mundo, incluidos varios modelos y marcos de gobernanza de IA.
Este artículo trata sobre el marco y el kit de herramientas de prueba de gobernanza de inteligencia artificial de Singapur: "AI Verify" lanzado en mayo de 2022. Extrae principalmente tres puntos clave. ① Resuma la estrategia general de Singapur sobre la gobernanza de la IA y las iniciativas clave emitidas por el gobierno antes de iniciar la verificación de la IA. ② Explicar la clave de "verificación de inteligencia artificial". ③ "Verificación de IA" se lanzó durante un año, discutiendo el futuro de la verificación de IA y el enfoque de Singapur para la gobernanza y regulación de IA. En resumen, los puntos principales son los siguientes:
Singapur ha adoptado un enfoque de intervención moderada para la gobernanza y la regulación de la IA, con el Modelo de marco de gobernanza de la IA que establece pautas para la gobernanza de la IA en el sector privado.
"AI Verify" es un marco y un conjunto de herramientas de prueba de gobernanza de IA, que se lanzará en mayo de 2022. Aunque se encuentra en una fase de prueba, representa los esfuerzos de Singapur para desarrollar aún más el discurso global sobre la gobernanza y la regulación de la IA, intentando satisfacer la creciente demanda de sistemas de IA confiables y promoviendo la interconectividad del marco regulatorio global de la IA.
"Verificación de IA" es un marco de prueba basado en principios de gobernanza de IA reconocidos internacionalmente, que las empresas pueden usar al probar sus propios sistemas de IA. La verificación de IA no pretende definir estándares éticos, sino que proporciona verificabilidad al permitir que los desarrolladores de sistemas de IA y sus propietarios emitan declaraciones que certifiquen el rendimiento de sus sistemas de IA.
– Para tener éxito, la “verificación por IA” puede necesitar más reconocimiento y adopción. Esto depende de factores como el costo, persuadir a las partes interesadas de su valor y su relevancia y sinergias con el marco regulatorio internacional.
Enfoque general de la gobernanza de la IA en Singapur
En su Estrategia Nacional de Inteligencia Artificial, Singapur anunció que el país tiene como objetivo estar "a la vanguardia del desarrollo y la implementación de soluciones de IA escalables e impactantes" y espera consolidar el papel del país como "líder en el desarrollo, prueba, implementación y escalamiento". inteligencia artificial." centro global de soluciones. Uno de los cinco "facilitadores del ecosistema" identificados en una estrategia para aumentar la adopción de la IA es fomentar un "entorno progresivo y confiable" para el desarrollo de la IA, una compensación entre la innovación y la minimización del riesgo social.
Para crear este "entorno progresivo y confiable", hasta ahora Singapur ha adoptado un enfoque benigno y voluntario para la regulación de la IA. Eso es porque el país reconoce dos realidades de sus ambiciones de IA.
Primero, el gobierno de Singapur** ve a la IA como un habilitador estratégico clave** para hacer crecer la economía y mejorar la calidad de vida de sus ciudadanos. Como resultado, Singapur no ha tomado medidas drásticas en la regulación de la inteligencia artificial para no sofocar la innovación y la inversión. En segundo lugar, dado su tamaño, Singapur reconoce que el propio gobierno puede ser un tomador de precios en lugar de un fijador de precios a medida que el discurso, los marcos y las regulaciones de la gobernanza de la IA se desarrollan a nivel mundial. Por lo tanto, la estrategia actual no es refrescar los principios de la inteligencia artificial, sino "seguir la tendencia del mundo y no tener intención de cambiar la tendencia del mundo".("Tomar el mundo donde está, en lugar de donde espera que esté el mundo.")
El enfoque de Singapur para la regulación de la IA, supervisado por la Comisión de Protección de Datos Personales (PDPC) de Singapur, tiene tres pilares antes del lanzamiento de AI Verify en 2022:
1 Modelo de marco de gobernanza de IA (Modelo de marco).
Comité Asesor sobre el Uso Ético de la Inteligencia Artificial y los Datos (Comité Asesor).
Plan de investigación de gobernanza de IA y uso de datos (proyecto de investigación).
Lo siguiente se enfoca en el "Modelo Marco".
modo cuadro
El Modelo Marco, lanzado por primera vez en la Reunión Anual del Foro Económico Mundial en 2019, es un marco voluntario y no vinculante que guía a las organizaciones en el despliegue responsable de soluciones de inteligencia artificial a escala, y señala que el marco es independiente de la etapa de desarrollo del tecnología Como guía, el modelo de marco proporciona solo recomendaciones prácticas para la implementación de IA por parte de entidades del sector privado, mientras que el uso de IA en el sector público se rige por pautas internas y conjuntos de herramientas de IA y gobernanza de datos. **The Framework Patterns se conoce como un "documento vivo" y las versiones futuras evolucionarán a medida que evolucionen la tecnología y la sociedad. Su base radica en la imprevisibilidad de la tecnología, la industria, la escala y el modelo de negocio. **
Esencialmente, el patrón del marco está guiado por dos principios fundamentales que promueven la confianza y la comprensión en la IA. **Primero, las organizaciones que usan IA en la toma de decisiones deben asegurarse de que sus procesos de toma de decisiones sean explicables, transparentes y justos. En segundo lugar, los sistemas de IA deben estar centrados en el ser humano: proteger el bienestar y la seguridad de las personas debe ser una consideración primordial en el diseño, desarrollo y uso de la IA. **
El marco traduce estos principios rectores en acciones procesables en cuatro áreas clave de la toma de decisiones organizacionales y los procesos de desarrollo de tecnología:
(a) estructuras y prácticas de gobierno interno;
(b) determinar el nivel de participación humana en la toma de decisiones aumentada por IA;
(c) gestión de operaciones;
d) Interacción y comunicación con las partes interesadas.
La siguiente tabla resume algunas consideraciones, enfoques y medidas sugeridos en estas áreas clave.
Otras iniciativas que acompañan al Modelo Marco
Cuando Singapur lanzó la segunda edición del Modelo Marco en el Foro Económico Mundial 2020, estuvo acompañado de otros dos documentos: Guía de Implementación y Autoevaluación para Organizaciones (ISAGO) y Compendio de Casos de Uso (Compilación - Volumen 1 y 2 volúmenes) . ISAGO es una lista de verificación para ayudar a las organizaciones a evaluar la alineación de sus procesos de gobierno de IA con el marco del modelo. El Compendio proporciona ejemplos del mundo real de la adopción de las recomendaciones del Marco en todos los sectores, casos de uso y jurisdicciones.
En general, el "Modelo marco" y sus documentos de respaldo anclan y describen el pensamiento sustantivo de la regulación de la inteligencia artificial en Singapur. Estas iniciativas hicieron que Singapur ganara el Premio de la Cumbre Mundial sobre la Sociedad de la Información de las Naciones Unidas en 2019, reconociendo su liderazgo en la gobernanza de la IA.
Enero de 2020 marcó un punto de inflexión en el debate mundial sobre la regulación de la IA. El 17 de enero de 2020, un libro blanco publicado por la Comisión Europea hizo que la comunidad internacional prestara más atención a la posibilidad de una regulación gubernamental de la tecnología de inteligencia artificial. En febrero de 2020, la Comisión Europea publicó oficialmente el "Libro blanco sobre inteligencia artificial", que establece planes para crear un marco regulatorio para la inteligencia artificial. Unos meses después, la Comisión Europea presentó un borrador de su próximo Proyecto de Ley de Inteligencia Artificial. Este es el primer intento serio de una agencia gubernamental de introducir reglas sustantivas para regular horizontalmente el desarrollo y uso de sistemas de IA. Se puede esperar que la Ley de IA tenga efectos extrajurisdiccionales, y las empresas que desarrollan sistemas de IA fuera de Europa pueden estar sujetas a la nueva ley.
Estos han influido en el pensamiento sobre el futuro del panorama regulatorio y de gobernanza de la IA de Singapur. Si bien la Comisión de Protección de Datos Personales de Singapur (PDPC) mantiene su enfoque voluntario y laxo con respecto a la regulación de la IA, reconoce que la IA enfrentará una supervisión más estricta en el futuro. El PDPC también parece tener en cuenta la creciente demanda de los ** consumidores por la credibilidad de los sistemas y desarrolladores de IA, y la necesidad de estándares internacionales de IA para comparar y evaluar la IA con respecto a los requisitos reglamentarios. Además, los requisitos para la interoperabilidad de los marcos regulatorios de IA también están aumentando. **En vista de esto, Singapur comenzó a desarrollarse y los resultados finales se fusionaron en el marco de "AI Verify".
Qué es "verificación de IA"
"AI Verify" es emitido conjuntamente por Infocomm Media Development Authority (IMDA), un comité estatutario del Ministerio de Comunicaciones e Información de Singapur, y el Comité de Protección de Datos Personales (PDPC). Es un marco y un conjunto de herramientas de prueba de gobernanza de inteligencia artificial. **Con AI Verify, las organizaciones pueden realizar una evaluación voluntaria de sus sistemas de IA mediante una combinación de pruebas técnicas e inspecciones basadas en procesos. A su vez, el sistema ayuda a las empresas a proporcionar pruebas objetivas y verificables a las partes interesadas de que sus sistemas de IA se están implementando de manera responsable y confiable. **
En vista del desarrollo continuo de métodos, estándares, indicadores y herramientas de prueba de inteligencia artificial, la "verificación de inteligencia artificial" (AI Verify) se encuentra actualmente en la etapa de "producto mínimo viable" (MVP). Esto tiene dos implicaciones. Primero, la versión MVP tiene limitaciones técnicas y está limitada por el tipo y el tamaño de los modelos o conjuntos de datos de IA que se pueden probar o analizar. En segundo lugar, se espera que la verificación de IA evolucione a medida que maduren las capacidades de prueba de IA.
Los cuatro objetivos para desarrollar la versión MVP "AI Verified" son:
(a) Primero, IMDA espera que las organizaciones puedan usar la "validación de IA" para determinar los puntos de referencia de rendimiento de sus sistemas de IA y demostrar estos puntos de referencia validados a las partes interesadas, como consumidores y empleados, ayudando así a las organizaciones a generar confianza.
(b) En segundo lugar, dado que su desarrollo tiene en cuenta varios marcos regulatorios y de gobernanza de la IA, así como principios comunes confiables de la IA, AI Validation tiene como objetivo ayudar a las organizaciones a encontrar varios marcos de gobernanza y regulaciones globales de la IA en común. IMDA continuará trabajando con los reguladores y las organizaciones de estándares para mapear el marco de prueba para la "Validación de IA" al marco establecido. Los esfuerzos están destinados a permitir que las empresas operen u ofrezcan productos y servicios de IA en múltiples mercados, al tiempo que hacen de Singapur un centro para la gobernanza y las pruebas regulatorias de IA.
(c) En tercer lugar, **IMDA podrá recopilar prácticas, puntos de referencia y métricas de la industria a medida que más organizaciones experimenten con la "validación de IA" y utilicen su marco de prueba. **Teniendo en cuenta que Singapur está participando en plataformas globales de gobernanza de la IA, como Global AI Partnership e ISO/IEC JTC1/SC 42, que brindan perspectivas valiosas sobre el establecimiento de estándares internacionales para la gobernanza de la IA, estas pueden facilitar el desarrollo de estándares para la gobernanza de la IA. .
(d) En cuarto lugar, IMDA quiere que la "Verificación de IA" ayude a crear una comunidad local de pruebas de IA en Singapur compuesta por desarrolladores de IA y propietarios de sistemas (que buscan probar sistemas de IA), proveedores de tecnología (que están desarrollando la implementación de la gobernanza de IA y soluciones de prueba), proveedores de servicios de consultoría (especializados en soporte de prueba y certificación) e investigadores (que están desarrollando técnicas de prueba, puntos de referencia y prácticas).
También es importante aclarar varios posibles conceptos erróneos sobre la "validación de IA". Primero, **"Validación AI" no intenta definir estándares éticos. **No intenta señalar la clasificación de los sistemas de IA, sino que proporciona verificabilidad, lo que permite a los desarrolladores y propietarios de sistemas de IA demostrar sus afirmaciones sobre el rendimiento de su sistema de IA. En segundo lugar, las organizaciones gubernamentales que utilizan la "verificación de IA" no pueden garantizar que los sistemas de IA probados estén libres de riesgos o sesgos, o que sean completamente "seguros" y "éticos". **En tercer lugar, la "Validación de IA" tiene como objetivo evitar que las organizaciones revelen inadvertidamente información confidencial sobre sus sistemas de IA (como su código subyacente o datos de capacitación). Ha adoptado una medida de salvaguardia clave: "**Verificación de IA", que será autoevaluada por los desarrolladores y propietarios de sistemas de IA. Esto permite que los datos y modelos de la organización permanezcan dentro del entorno operativo de la organización. **
Cómo funciona la "Verificación AI"
La "Validación AI" consta de dos partes. El primero es Test Framework, que cita 11 principios de ética y gobernanza de IA reconocidos internacionalmente organizados en cinco pilares. El segundo es el conjunto de herramientas que utilizan las organizaciones para realizar pruebas técnicas y documentar las comprobaciones de procesos en el marco de pruebas.
Marco de prueba para la "verificación de inteligencia artificial"
Los cinco pilares y los once principios del marco de prueba de "Validación de IA" y sus evaluaciones previstas se enumeran a continuación:
El marco de prueba real, incluidas las siguientes partes clave:
***(a) Definiciones: *** El marco de prueba proporciona definiciones fáciles de entender para cada principio de IA. Por ejemplo, la interpretabilidad se define como "la capacidad de evaluar los factores que conducen a la decisión de un sistema de IA, su comportamiento general, resultado e impacto".
***(b) Criterios comprobables: ***Para cada principio, se proporciona un conjunto de criterios comprobables. Estos estándares tienen en cuenta factores técnicos y/o no técnicos (como procesos, procedimientos o estructuras organizativas) que contribuyen a lograr los resultados previstos de este principio de gobernanza.
Tomando la interpretabilidad como ejemplo, se dan dos criterios comprobables. Los desarrolladores pueden ejecutar métodos de explicabilidad para ayudar a los usuarios a comprender qué impulsa los modelos de IA. Los desarrolladores también pueden demostrar una preferencia por desarrollar modelos de IA que expliquen sus decisiones, o hacerlo de forma predeterminada.
***(c) Proceso de prueba: *** Para cada criterio comprobable, la "Validación de IA" proporciona un proceso o pasos prácticos que deben realizarse, que pueden ser cuantitativos (como pruebas estadísticas o técnicas), también pueden ser cualitativos (p. pruebas documentales producidas durante las inspecciones del proceso).
En lo que respecta a la interpretabilidad, las pruebas técnicas pueden implicar un análisis empírico y determinar la contribución de las características al resultado del modelo. Las pruebas basadas en procesos documentarán la justificación, la evaluación de riesgos y las compensaciones del modelo de IA.
***(d) Métricas: ***Estos son los parámetros cuantitativos o cualitativos utilizados para medir o proporcionar evidencia para cada criterio comprobable.
Usando el ejemplo de interpretabilidad anterior, las métricas utilizadas para determinar las contribuciones de características examinan las características que contribuyen de los resultados del modelo obtenidos de herramientas técnicas como SHAP y LIME. Al seleccionar el modelo final, se pueden utilizar métricas basadas en procesos para documentar la evaluación, como la evaluación de riesgos y los ejercicios de compensación.
***(e) Umbrales (si corresponde): ***Cuando esté disponible, el marco de prueba proporcionará valores aceptados o puntos de referencia para las métricas seleccionadas. Estos valores, o puntos de referencia, pueden ser definidos por organismos reguladores, asociaciones industriales u otras organizaciones reconocidas de establecimiento de estándares. No se proporciona un umbral para el modelo MVP de "Validación de IA", teniendo en cuenta el rápido desarrollo de las tecnologías de IA, sus casos de uso y los métodos de prueba de los sistemas de IA. Sin embargo, a medida que madura el espacio de gobernanza de la IA y aumenta el uso de "AI Verify", IMDA tiene la intención de recopilar y desarrollar métricas y umbrales específicos del contexto para agregar al marco de prueba.
Kit de herramientas AI Verify "Verificación de inteligencia artificial"
Si bien el conjunto de herramientas de AI Verify para la "verificación de inteligencia artificial" actualmente solo está disponible para las organizaciones que se inscriben con éxito en el programa AI Verify MVP, IMDA describe el conjunto de herramientas como una herramienta "única" para que las organizaciones realicen pruebas técnicas. Específicamente, el kit de herramientas hace un uso extensivo de bibliotecas de prueba de código abierto. Estas herramientas incluyen SHAP (Shapley Additive ExPlanations) para la explicabilidad, Adversarial Robustness Toolkit para la robustez y AIF360 y Fair Learning para la equidad.
Los usuarios de "Verificación AI" pueden instalar el kit de herramientas en su entorno interno. El usuario llevará a cabo el proceso de prueba bajo la guía de la interfaz de usuario. Por ejemplo, la herramienta incluye un "árbol de equidad guiado" para que los usuarios identifiquen las métricas de equidad relevantes para su caso de uso. Finalmente, AI Verify generará un informe resumido para ayudar a los desarrolladores y propietarios de sistemas a interpretar los resultados de las pruebas. Para las inspecciones de proceso, el informe proporciona una lista de verificación de la presencia o ausencia de pruebas documentales, tal como se especifica en el marco de prueba. Luego, los resultados de las pruebas se empaquetan en contenedores Docker® para su implementación.
en conclusión
Cuando IMDA lanzó AI Verify, la ola de interés en la IA generativa aún no se había materializado. Siguiendo la tendencia actual, el interés en la gobernanza, la capacidad de prueba y la confiabilidad de los sistemas de IA ha crecido significativamente. Como se enumera en este artículo, las diversas iniciativas de "verificación de inteligencia artificial" AI Verify se están preparando para responder a la situación actual.
Singapur ha demostrado previamente su capacidad para contribuir al discurso global y al liderazgo intelectual sobre la gobernanza y la regulación de la IA. Los Framework Patterns publicados son prueba de ello. Las apuestas de AI Verify son ciertamente altas, pero también lo es la demanda mundial de la iniciativa. Para tener éxito, es posible que deba ser más reconocido y utilizado más. Depende de varios factores. Primero, la accesibilidad de la herramienta es crítica: las organizaciones que buscan usar AI Verify deben poder usarla a bajo costo o sin costo alguno. **En segundo lugar, es fundamental convencer a la organización de su valor. **Esto requiere que IMDA demuestre que la "verificación de inteligencia artificial" AI Verify es técnica y procesalmente sólida, se puede usar de manera efectiva para más y más nuevos tipos y escalas de modelos y conjuntos de datos de inteligencia artificial, y no afectará la propiedad La sensibilidad comercial de el modelo o conjunto de datos de IA. **Tercero, y quizás lo más importante, debe mantener la interoperabilidad con los marcos regulatorios internacionales. **IMDA debe asegurarse de que AI Verify continúe ayudando a las organizaciones a abordar e interoperar dentro de los marcos regulatorios de IA globales emergentes clave, como la Ley de IA de la UE, la Ley de datos e IA de Canadá y el marco regulatorio de riesgos de IA del NIST de EE. UU., así como el de Singapur. propio marco modelo nacional.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Hacer que la gobernanza de la IA sea verificable: kit de herramientas de verificación de IA de Singapur
Autor: JOSH LEE KOK THONG Traducción: Li Yang Revisión: Xiang Xinyi
Fuente: El Papel
El interés global en la gobernanza y regulación de la IA se ha disparado en los últimos meses. Muchos creen que se necesitan nuevas estructuras regulatorias y de gobernanza para lidiar con los sistemas de IA generativa, cuyas capacidades son asombrosas, como ChatGPT y DALL-E de OpenAI, Bard de Google, Stable Diffusion y otros. La Ley de Inteligencia Artificial de la UE ha recibido una amplia atención. De hecho, están surgiendo muchas otras iniciativas importantes en todo el mundo, incluidos varios modelos y marcos de gobernanza de IA.
Este artículo trata sobre el marco y el kit de herramientas de prueba de gobernanza de inteligencia artificial de Singapur: "AI Verify" lanzado en mayo de 2022. Extrae principalmente tres puntos clave. ① Resuma la estrategia general de Singapur sobre la gobernanza de la IA y las iniciativas clave emitidas por el gobierno antes de iniciar la verificación de la IA. ② Explicar la clave de "verificación de inteligencia artificial". ③ "Verificación de IA" se lanzó durante un año, discutiendo el futuro de la verificación de IA y el enfoque de Singapur para la gobernanza y regulación de IA. En resumen, los puntos principales son los siguientes:
Singapur ha adoptado un enfoque de intervención moderada para la gobernanza y la regulación de la IA, con el Modelo de marco de gobernanza de la IA que establece pautas para la gobernanza de la IA en el sector privado.
"AI Verify" es un marco y un conjunto de herramientas de prueba de gobernanza de IA, que se lanzará en mayo de 2022. Aunque se encuentra en una fase de prueba, representa los esfuerzos de Singapur para desarrollar aún más el discurso global sobre la gobernanza y la regulación de la IA, intentando satisfacer la creciente demanda de sistemas de IA confiables y promoviendo la interconectividad del marco regulatorio global de la IA.
"Verificación de IA" es un marco de prueba basado en principios de gobernanza de IA reconocidos internacionalmente, que las empresas pueden usar al probar sus propios sistemas de IA. La verificación de IA no pretende definir estándares éticos, sino que proporciona verificabilidad al permitir que los desarrolladores de sistemas de IA y sus propietarios emitan declaraciones que certifiquen el rendimiento de sus sistemas de IA.
– Para tener éxito, la “verificación por IA” puede necesitar más reconocimiento y adopción. Esto depende de factores como el costo, persuadir a las partes interesadas de su valor y su relevancia y sinergias con el marco regulatorio internacional.
Enfoque general de la gobernanza de la IA en Singapur
En su Estrategia Nacional de Inteligencia Artificial, Singapur anunció que el país tiene como objetivo estar "a la vanguardia del desarrollo y la implementación de soluciones de IA escalables e impactantes" y espera consolidar el papel del país como "líder en el desarrollo, prueba, implementación y escalamiento". inteligencia artificial." centro global de soluciones. Uno de los cinco "facilitadores del ecosistema" identificados en una estrategia para aumentar la adopción de la IA es fomentar un "entorno progresivo y confiable" para el desarrollo de la IA, una compensación entre la innovación y la minimización del riesgo social.
Para crear este "entorno progresivo y confiable", hasta ahora Singapur ha adoptado un enfoque benigno y voluntario para la regulación de la IA. Eso es porque el país reconoce dos realidades de sus ambiciones de IA.
Primero, el gobierno de Singapur** ve a la IA como un habilitador estratégico clave** para hacer crecer la economía y mejorar la calidad de vida de sus ciudadanos. Como resultado, Singapur no ha tomado medidas drásticas en la regulación de la inteligencia artificial para no sofocar la innovación y la inversión. En segundo lugar, dado su tamaño, Singapur reconoce que el propio gobierno puede ser un tomador de precios en lugar de un fijador de precios a medida que el discurso, los marcos y las regulaciones de la gobernanza de la IA se desarrollan a nivel mundial. Por lo tanto, la estrategia actual no es refrescar los principios de la inteligencia artificial, sino "seguir la tendencia del mundo y no tener intención de cambiar la tendencia del mundo".("Tomar el mundo donde está, en lugar de donde espera que esté el mundo.")
El enfoque de Singapur para la regulación de la IA, supervisado por la Comisión de Protección de Datos Personales (PDPC) de Singapur, tiene tres pilares antes del lanzamiento de AI Verify en 2022:
1 Modelo de marco de gobernanza de IA (Modelo de marco).
Comité Asesor sobre el Uso Ético de la Inteligencia Artificial y los Datos (Comité Asesor).
Plan de investigación de gobernanza de IA y uso de datos (proyecto de investigación).
Lo siguiente se enfoca en el "Modelo Marco".
modo cuadro
El Modelo Marco, lanzado por primera vez en la Reunión Anual del Foro Económico Mundial en 2019, es un marco voluntario y no vinculante que guía a las organizaciones en el despliegue responsable de soluciones de inteligencia artificial a escala, y señala que el marco es independiente de la etapa de desarrollo del tecnología Como guía, el modelo de marco proporciona solo recomendaciones prácticas para la implementación de IA por parte de entidades del sector privado, mientras que el uso de IA en el sector público se rige por pautas internas y conjuntos de herramientas de IA y gobernanza de datos. **The Framework Patterns se conoce como un "documento vivo" y las versiones futuras evolucionarán a medida que evolucionen la tecnología y la sociedad. Su base radica en la imprevisibilidad de la tecnología, la industria, la escala y el modelo de negocio. **
Esencialmente, el patrón del marco está guiado por dos principios fundamentales que promueven la confianza y la comprensión en la IA. **Primero, las organizaciones que usan IA en la toma de decisiones deben asegurarse de que sus procesos de toma de decisiones sean explicables, transparentes y justos. En segundo lugar, los sistemas de IA deben estar centrados en el ser humano: proteger el bienestar y la seguridad de las personas debe ser una consideración primordial en el diseño, desarrollo y uso de la IA. **
El marco traduce estos principios rectores en acciones procesables en cuatro áreas clave de la toma de decisiones organizacionales y los procesos de desarrollo de tecnología:
(a) estructuras y prácticas de gobierno interno;
(b) determinar el nivel de participación humana en la toma de decisiones aumentada por IA;
(c) gestión de operaciones;
d) Interacción y comunicación con las partes interesadas.
La siguiente tabla resume algunas consideraciones, enfoques y medidas sugeridos en estas áreas clave.
Cuando Singapur lanzó la segunda edición del Modelo Marco en el Foro Económico Mundial 2020, estuvo acompañado de otros dos documentos: Guía de Implementación y Autoevaluación para Organizaciones (ISAGO) y Compendio de Casos de Uso (Compilación - Volumen 1 y 2 volúmenes) . ISAGO es una lista de verificación para ayudar a las organizaciones a evaluar la alineación de sus procesos de gobierno de IA con el marco del modelo. El Compendio proporciona ejemplos del mundo real de la adopción de las recomendaciones del Marco en todos los sectores, casos de uso y jurisdicciones.
En general, el "Modelo marco" y sus documentos de respaldo anclan y describen el pensamiento sustantivo de la regulación de la inteligencia artificial en Singapur. Estas iniciativas hicieron que Singapur ganara el Premio de la Cumbre Mundial sobre la Sociedad de la Información de las Naciones Unidas en 2019, reconociendo su liderazgo en la gobernanza de la IA.
Enero de 2020 marcó un punto de inflexión en el debate mundial sobre la regulación de la IA. El 17 de enero de 2020, un libro blanco publicado por la Comisión Europea hizo que la comunidad internacional prestara más atención a la posibilidad de una regulación gubernamental de la tecnología de inteligencia artificial. En febrero de 2020, la Comisión Europea publicó oficialmente el "Libro blanco sobre inteligencia artificial", que establece planes para crear un marco regulatorio para la inteligencia artificial. Unos meses después, la Comisión Europea presentó un borrador de su próximo Proyecto de Ley de Inteligencia Artificial. Este es el primer intento serio de una agencia gubernamental de introducir reglas sustantivas para regular horizontalmente el desarrollo y uso de sistemas de IA. Se puede esperar que la Ley de IA tenga efectos extrajurisdiccionales, y las empresas que desarrollan sistemas de IA fuera de Europa pueden estar sujetas a la nueva ley.
Estos han influido en el pensamiento sobre el futuro del panorama regulatorio y de gobernanza de la IA de Singapur. Si bien la Comisión de Protección de Datos Personales de Singapur (PDPC) mantiene su enfoque voluntario y laxo con respecto a la regulación de la IA, reconoce que la IA enfrentará una supervisión más estricta en el futuro. El PDPC también parece tener en cuenta la creciente demanda de los ** consumidores por la credibilidad de los sistemas y desarrolladores de IA, y la necesidad de estándares internacionales de IA para comparar y evaluar la IA con respecto a los requisitos reglamentarios. Además, los requisitos para la interoperabilidad de los marcos regulatorios de IA también están aumentando. **En vista de esto, Singapur comenzó a desarrollarse y los resultados finales se fusionaron en el marco de "AI Verify".
Qué es "verificación de IA"
"AI Verify" es emitido conjuntamente por Infocomm Media Development Authority (IMDA), un comité estatutario del Ministerio de Comunicaciones e Información de Singapur, y el Comité de Protección de Datos Personales (PDPC). Es un marco y un conjunto de herramientas de prueba de gobernanza de inteligencia artificial. **Con AI Verify, las organizaciones pueden realizar una evaluación voluntaria de sus sistemas de IA mediante una combinación de pruebas técnicas e inspecciones basadas en procesos. A su vez, el sistema ayuda a las empresas a proporcionar pruebas objetivas y verificables a las partes interesadas de que sus sistemas de IA se están implementando de manera responsable y confiable. **
En vista del desarrollo continuo de métodos, estándares, indicadores y herramientas de prueba de inteligencia artificial, la "verificación de inteligencia artificial" (AI Verify) se encuentra actualmente en la etapa de "producto mínimo viable" (MVP). Esto tiene dos implicaciones. Primero, la versión MVP tiene limitaciones técnicas y está limitada por el tipo y el tamaño de los modelos o conjuntos de datos de IA que se pueden probar o analizar. En segundo lugar, se espera que la verificación de IA evolucione a medida que maduren las capacidades de prueba de IA.
Los cuatro objetivos para desarrollar la versión MVP "AI Verified" son:
(a) Primero, IMDA espera que las organizaciones puedan usar la "validación de IA" para determinar los puntos de referencia de rendimiento de sus sistemas de IA y demostrar estos puntos de referencia validados a las partes interesadas, como consumidores y empleados, ayudando así a las organizaciones a generar confianza.
(b) En segundo lugar, dado que su desarrollo tiene en cuenta varios marcos regulatorios y de gobernanza de la IA, así como principios comunes confiables de la IA, AI Validation tiene como objetivo ayudar a las organizaciones a encontrar varios marcos de gobernanza y regulaciones globales de la IA en común. IMDA continuará trabajando con los reguladores y las organizaciones de estándares para mapear el marco de prueba para la "Validación de IA" al marco establecido. Los esfuerzos están destinados a permitir que las empresas operen u ofrezcan productos y servicios de IA en múltiples mercados, al tiempo que hacen de Singapur un centro para la gobernanza y las pruebas regulatorias de IA.
(c) En tercer lugar, **IMDA podrá recopilar prácticas, puntos de referencia y métricas de la industria a medida que más organizaciones experimenten con la "validación de IA" y utilicen su marco de prueba. **Teniendo en cuenta que Singapur está participando en plataformas globales de gobernanza de la IA, como Global AI Partnership e ISO/IEC JTC1/SC 42, que brindan perspectivas valiosas sobre el establecimiento de estándares internacionales para la gobernanza de la IA, estas pueden facilitar el desarrollo de estándares para la gobernanza de la IA. .
(d) En cuarto lugar, IMDA quiere que la "Verificación de IA" ayude a crear una comunidad local de pruebas de IA en Singapur compuesta por desarrolladores de IA y propietarios de sistemas (que buscan probar sistemas de IA), proveedores de tecnología (que están desarrollando la implementación de la gobernanza de IA y soluciones de prueba), proveedores de servicios de consultoría (especializados en soporte de prueba y certificación) e investigadores (que están desarrollando técnicas de prueba, puntos de referencia y prácticas).
También es importante aclarar varios posibles conceptos erróneos sobre la "validación de IA". Primero, **"Validación AI" no intenta definir estándares éticos. **No intenta señalar la clasificación de los sistemas de IA, sino que proporciona verificabilidad, lo que permite a los desarrolladores y propietarios de sistemas de IA demostrar sus afirmaciones sobre el rendimiento de su sistema de IA. En segundo lugar, las organizaciones gubernamentales que utilizan la "verificación de IA" no pueden garantizar que los sistemas de IA probados estén libres de riesgos o sesgos, o que sean completamente "seguros" y "éticos". **En tercer lugar, la "Validación de IA" tiene como objetivo evitar que las organizaciones revelen inadvertidamente información confidencial sobre sus sistemas de IA (como su código subyacente o datos de capacitación). Ha adoptado una medida de salvaguardia clave: "**Verificación de IA", que será autoevaluada por los desarrolladores y propietarios de sistemas de IA. Esto permite que los datos y modelos de la organización permanezcan dentro del entorno operativo de la organización. **
Cómo funciona la "Verificación AI"
La "Validación AI" consta de dos partes. El primero es Test Framework, que cita 11 principios de ética y gobernanza de IA reconocidos internacionalmente organizados en cinco pilares. El segundo es el conjunto de herramientas que utilizan las organizaciones para realizar pruebas técnicas y documentar las comprobaciones de procesos en el marco de pruebas.
Marco de prueba para la "verificación de inteligencia artificial"
Los cinco pilares y los once principios del marco de prueba de "Validación de IA" y sus evaluaciones previstas se enumeran a continuación:
***(a) Definiciones: *** El marco de prueba proporciona definiciones fáciles de entender para cada principio de IA. Por ejemplo, la interpretabilidad se define como "la capacidad de evaluar los factores que conducen a la decisión de un sistema de IA, su comportamiento general, resultado e impacto".
***(b) Criterios comprobables: ***Para cada principio, se proporciona un conjunto de criterios comprobables. Estos estándares tienen en cuenta factores técnicos y/o no técnicos (como procesos, procedimientos o estructuras organizativas) que contribuyen a lograr los resultados previstos de este principio de gobernanza.
Tomando la interpretabilidad como ejemplo, se dan dos criterios comprobables. Los desarrolladores pueden ejecutar métodos de explicabilidad para ayudar a los usuarios a comprender qué impulsa los modelos de IA. Los desarrolladores también pueden demostrar una preferencia por desarrollar modelos de IA que expliquen sus decisiones, o hacerlo de forma predeterminada.
***(c) Proceso de prueba: *** Para cada criterio comprobable, la "Validación de IA" proporciona un proceso o pasos prácticos que deben realizarse, que pueden ser cuantitativos (como pruebas estadísticas o técnicas), también pueden ser cualitativos (p. pruebas documentales producidas durante las inspecciones del proceso).
En lo que respecta a la interpretabilidad, las pruebas técnicas pueden implicar un análisis empírico y determinar la contribución de las características al resultado del modelo. Las pruebas basadas en procesos documentarán la justificación, la evaluación de riesgos y las compensaciones del modelo de IA.
***(d) Métricas: ***Estos son los parámetros cuantitativos o cualitativos utilizados para medir o proporcionar evidencia para cada criterio comprobable.
Usando el ejemplo de interpretabilidad anterior, las métricas utilizadas para determinar las contribuciones de características examinan las características que contribuyen de los resultados del modelo obtenidos de herramientas técnicas como SHAP y LIME. Al seleccionar el modelo final, se pueden utilizar métricas basadas en procesos para documentar la evaluación, como la evaluación de riesgos y los ejercicios de compensación.
***(e) Umbrales (si corresponde): ***Cuando esté disponible, el marco de prueba proporcionará valores aceptados o puntos de referencia para las métricas seleccionadas. Estos valores, o puntos de referencia, pueden ser definidos por organismos reguladores, asociaciones industriales u otras organizaciones reconocidas de establecimiento de estándares. No se proporciona un umbral para el modelo MVP de "Validación de IA", teniendo en cuenta el rápido desarrollo de las tecnologías de IA, sus casos de uso y los métodos de prueba de los sistemas de IA. Sin embargo, a medida que madura el espacio de gobernanza de la IA y aumenta el uso de "AI Verify", IMDA tiene la intención de recopilar y desarrollar métricas y umbrales específicos del contexto para agregar al marco de prueba.
Kit de herramientas AI Verify "Verificación de inteligencia artificial"
Si bien el conjunto de herramientas de AI Verify para la "verificación de inteligencia artificial" actualmente solo está disponible para las organizaciones que se inscriben con éxito en el programa AI Verify MVP, IMDA describe el conjunto de herramientas como una herramienta "única" para que las organizaciones realicen pruebas técnicas. Específicamente, el kit de herramientas hace un uso extensivo de bibliotecas de prueba de código abierto. Estas herramientas incluyen SHAP (Shapley Additive ExPlanations) para la explicabilidad, Adversarial Robustness Toolkit para la robustez y AIF360 y Fair Learning para la equidad.
Los usuarios de "Verificación AI" pueden instalar el kit de herramientas en su entorno interno. El usuario llevará a cabo el proceso de prueba bajo la guía de la interfaz de usuario. Por ejemplo, la herramienta incluye un "árbol de equidad guiado" para que los usuarios identifiquen las métricas de equidad relevantes para su caso de uso. Finalmente, AI Verify generará un informe resumido para ayudar a los desarrolladores y propietarios de sistemas a interpretar los resultados de las pruebas. Para las inspecciones de proceso, el informe proporciona una lista de verificación de la presencia o ausencia de pruebas documentales, tal como se especifica en el marco de prueba. Luego, los resultados de las pruebas se empaquetan en contenedores Docker® para su implementación.
en conclusión
Cuando IMDA lanzó AI Verify, la ola de interés en la IA generativa aún no se había materializado. Siguiendo la tendencia actual, el interés en la gobernanza, la capacidad de prueba y la confiabilidad de los sistemas de IA ha crecido significativamente. Como se enumera en este artículo, las diversas iniciativas de "verificación de inteligencia artificial" AI Verify se están preparando para responder a la situación actual.
Singapur ha demostrado previamente su capacidad para contribuir al discurso global y al liderazgo intelectual sobre la gobernanza y la regulación de la IA. Los Framework Patterns publicados son prueba de ello. Las apuestas de AI Verify son ciertamente altas, pero también lo es la demanda mundial de la iniciativa. Para tener éxito, es posible que deba ser más reconocido y utilizado más. Depende de varios factores. Primero, la accesibilidad de la herramienta es crítica: las organizaciones que buscan usar AI Verify deben poder usarla a bajo costo o sin costo alguno. **En segundo lugar, es fundamental convencer a la organización de su valor. **Esto requiere que IMDA demuestre que la "verificación de inteligencia artificial" AI Verify es técnica y procesalmente sólida, se puede usar de manera efectiva para más y más nuevos tipos y escalas de modelos y conjuntos de datos de inteligencia artificial, y no afectará la propiedad La sensibilidad comercial de el modelo o conjunto de datos de IA. **Tercero, y quizás lo más importante, debe mantener la interoperabilidad con los marcos regulatorios internacionales. **IMDA debe asegurarse de que AI Verify continúe ayudando a las organizaciones a abordar e interoperar dentro de los marcos regulatorios de IA globales emergentes clave, como la Ley de IA de la UE, la Ley de datos e IA de Canadá y el marco regulatorio de riesgos de IA del NIST de EE. UU., así como el de Singapur. propio marco modelo nacional.