Автор: ДЖОШ ЛІ КОК ТОНГ Переклад: Лі Ян Коректура: Сян Сіньї
Джерело: The Paper
Джерело зображення: створено Unbounded AI
За останні місяці глобальний інтерес до управління та регулювання штучного інтелекту вибухнув. Багато хто вважає, що для роботи з генеративними системами ШІ, чиї можливості вражають, такі як ChatGPT і DALL-E від OpenAI, Bard від Google, Stable Diffusion та інші, потрібні нові структури управління та регулювання. Закон ЄС про штучний інтелект отримав широку увагу. Насправді в усьому світі з’являється багато інших важливих ініціатив, у тому числі різні моделі та структури управління ШІ.
У цій статті йдеться про структуру та інструментарій тестування штучного інтелекту в Сінгапурі – «AI Verify», випущений у травні 2022 року. У ньому в основному виділяються три ключові моменти. ① Узагальніть загальну стратегію Сінгапуру щодо управління штучним інтелектом і ключові ініціативи, висунуті урядом до запуску верифікації штучного інтелекту. ② Поясніть ключ до «перевірки штучного інтелекту». ③ «Перевірка ШІ» була запущена протягом року, обговорюючи майбутнє перевірки ШІ та підхід Сінгапуру до управління та регулювання ШІ. Коротко кажучи, основні моменти такі:
Сінгапур застосував підхід поміркованого втручання до управління та регулювання штучного інтелекту, з Рамковою моделлю управління штучним інтелектом, яка встановлює керівні принципи управління штучним інтелектом у приватному секторі.
«AI Verify» — це структура та набір інструментів для тестування управління штучним інтелектом, запущений у травні 2022 року. Незважаючи на те, що він перебуває на випробувальному етапі, він представляє зусилля Сінгапуру щодо подальшого розвитку глобального дискурсу щодо управління та регулювання штучного інтелекту, намагаючись задовольнити зростаючий попит на надійні системи штучного інтелекту та сприяти взаємозв’язку глобальної нормативної бази штучного інтелекту.
«Перевірка штучного інтелекту» — це тестова структура, заснована на міжнародно визнаних принципах управління штучним інтелектом, яку компанії можуть використовувати під час тестування власних систем ШІ. Перевірка штучного інтелекту не призначена для визначення етичних стандартів, а радше забезпечує можливість перевірки, дозволяючи розробникам систем штучного інтелекту та їх власникам видавати заяви, що підтверджують продуктивність їхніх систем штучного інтелекту.
– Щоб бути успішним, «перевіреному ШІ» може знадобитися більше визнання та прийняття. Це залежить від таких факторів, як вартість, переконання зацікавлених сторін у його цінності, а також його актуальність і взаємодія з міжнародною нормативною базою.
Загальний підхід до управління ШІ в Сінгапурі
У своїй Національній стратегії штучного інтелекту Сінгапур оголосив, що країна прагне бути «в авангарді розробки та розгортання масштабованих, ефективних рішень штучного інтелекту» та сподівається консолідувати роль країни як «лідера в розробці, тестуванні, розгортанні та масштабуванні». штучний інтелект". глобальний центр рішень. Одним із п’яти «активних факторів екосистеми», визначених у стратегії збільшення впровадження ШІ, є сприяння «прогресивному та надійному середовищу» для розробки ШІ — компроміс між інноваціями та мінімізацією суспільних ризиків. збалансоване середовище.
Щоб створити це «прогресивне та надійне середовище», Сінгапур наразі дотримувався добровільного та добровільного підходу до регулювання ШІ. Це тому, що країна визнає дві реальності своїх амбіцій ШІ.
По-перше, уряд Сінгапуру** вважає штучний інтелект ключовим стратегічним фактором** для розвитку економіки та покращення якості життя своїх громадян. У результаті Сінгапур не зробив різких кроків у регулюванні штучного інтелекту, щоб не пригнічувати інновації та інвестиції. По-друге, враховуючи свій розмір, Сінгапур визнає, що сам уряд може приймати ціни, а не встановлювати ціни, оскільки дискурс, рамки та правила управління ШІ розвиваються у всьому світі. Тому поточна стратегія полягає не в тому, щоб оновити принципи штучного інтелекту, а в тому, щоб "слідувати світовим тенденціям і не мати наміру змінювати світові тенденції".("Take the world" де він є, а не там, де він сподівається, що світ буде».)
Регуляторний підхід Сінгапуру до штучного інтелекту, який контролює Комісія із захисту персональних даних Сінгапуру (PDPC), має три основні принципи перед запуском AI Verify у 2022 році:
1 Рамкова модель управління ШІ (Рамкова модель).
Консультативний комітет з питань етичного використання штучного інтелекту та даних (Консультативний комітет).
План дослідження управління ШІ та використання даних (дослідницький проект).
Далі зосереджено увагу на «рамковій моделі».
режим кадрів
Рамкова модель, вперше представлена на щорічній зустрічі Всесвітнього економічного форуму в 2019 році, є добровільною та необов’язковою структурою, яка керує організаціями у відповідальному розгортанні рішень штучного інтелекту в масштабі, зазначаючи, що структура не залежить від стадії розробки технологія. Як орієнтир, Рамкова модель надає лише практичні рекомендації щодо розгортання ШІ суб’єктами приватного сектору, тоді як використання ШІ державним сектором регулюється внутрішніми рекомендаціями та наборами інструментів для ШІ та управління даними. ** Шаблони Framework відомі як «живий документ», і майбутні версії розвиватимуться разом із розвитком технологій і суспільства. Його основа полягає в непередбачуваності технології, галузі, масштабу та бізнес-моделі. **
По суті, шаблон структури керується двома фундаментальними принципами, які сприяють довірі та розумінню в ШІ. **По-перше, організації, які використовують штучний інтелект у прийнятті рішень, повинні переконатися, що їхні процеси прийняття рішень є зрозумілими, прозорими та справедливими. По-друге, системи штучного інтелекту мають бути орієнтовані на людину: захист благополуччя та безпеки людей має бути основним фактором при проектуванні, розробці та використанні штучного інтелекту. **
Структура перетворює ці керівні принципи в дієві дії в чотирьох ключових областях прийняття організаційних рішень і процесів розвитку технологій:
(a) внутрішні структури та практики управління;
(b) визначити рівень участі людини в процесі прийняття рішень за допомогою ШІ;
(c) управління операціями;
(d) Взаємодія та комунікація із зацікавленими сторонами.
У таблиці нижче наведено деякі запропоновані міркування, підходи та заходи в цих ключових сферах.
Інші ініціативи, що супроводжують рамкову модель
Коли Сінгапур запустив друге видання Рамкової моделі на Всесвітньому економічному форумі 2020, воно супроводжувалося двома іншими документами: Посібник із впровадження та самооцінки для організацій (ISAGO) і Компендіум випадків використання (Компіляція - Том 1 і 2 томи) . ISAGO — це контрольний список, який допомагає організаціям оцінити узгодженість своїх процесів управління ШІ зі структурою моделі. Компендіум надає реальні приклади застосування рекомендацій Рамкової основи в різних секторах, варіантах використання та юрисдикціях.
Загалом «Рамкова модель» та допоміжні документи закріплюють і окреслюють суттєве мислення щодо регулювання штучного інтелекту в Сінгапурі. Завдяки цим ініціативам Сінгапур отримав нагороду Всесвітнього саміту ООН з питань інформаційного суспільства в 2019 році, визнаючи його лідерство в управлінні ШІ.
Січень 2020 року став переломним моментом у глобальній дискусії щодо регулювання ШІ. 17 січня 2020 року Європейська комісія опублікувала Білу книгу, яка змусила міжнародну спільноту звернути більше уваги на можливість державного регулювання технологій штучного інтелекту. У лютому 2020 року Європейська комісія офіційно оприлюднила «Білу книгу про штучний інтелект», в якій виклала плани щодо створення нормативної бази для штучного інтелекту. Через кілька місяців Європейська комісія представила проект свого майбутнього законопроекту про штучний інтелект. Це перша серйозна спроба урядової установи запровадити основні правила для горизонтального регулювання розробки та використання систем ШІ. Можна очікувати, що Закон про AI також матиме позаюрисдикційні наслідки, і компанії, що розробляють системи AI за межами Європи, можуть підпадати під дію нового закону.
Це вплинуло на роздуми про майбутнє сінгапурського регулювання та управління ШІ. Хоча Комісія із захисту персональних даних Сінгапуру (PDPC) зберігає свій добровільний і м’який підхід до регулювання ШІ, вона визнає, що ШІ зіткнеться з більш жорстким наглядом у майбутньому. PDPC також, здається, пам’ятає про зростаючий попит **споживачів на довіру до систем штучного інтелекту та розробників, а також потребу в міжнародних стандартах штучного інтелекту для порівняльного аналізу та оцінки штучного інтелекту відповідно до нормативних вимог. Крім того, зростають вимоги до сумісності нормативно-правових баз ШІ. **Зважаючи на це, Сінгапур почав розвиватися, а остаточні результати були об’єднані в рамках «AI Verify».
Що таке «AI Verify»
"AI Verify" спільно випускається Infocomm Media Development Authority (IMDA), статутним комітетом при Міністерстві зв'язку та інформації Сінгапуру, і Комітетом із захисту персональних даних (PDPC). Це структура та набір інструментів для тестування управління штучним інтелектом. **Використовуючи AI Verify, організації можуть проводити добровільну оцінку своїх систем штучного інтелекту, використовуючи комбінацію технічного тестування та перевірок на основі процесу. У свою чергу, система допомагає компаніям надавати зацікавленим сторонам об’єктивні докази того, що їхні системи штучного інтелекту впроваджуються відповідально та надійно. **
З огляду на постійний розвиток методів, стандартів, індикаторів та інструментів тестування штучного інтелекту, «перевірка штучного інтелекту» (AI Verify) наразі перебуває на стадії «мінімально життєздатного продукту» (MVP). Це має два наслідки. По-перше, версія MVP має технічні обмеження та обмежена типом і розміром моделей штучного інтелекту або наборів даних, які можна протестувати або проаналізувати. По-друге, очікується, що верифікація штучного інтелекту розвиватиметься в міру розвитку можливостей тестування штучного інтелекту.
Чотири цілі для розробки версії MVP «Перевірено AI»:
(a) По-перше, IMDA очікує, що організації зможуть використовувати «Перевірку штучного інтелекту» для порівняння продуктивності своїх систем штучного інтелекту та демонстрації цих підтверджених контрольних показників зацікавленим сторонам, таким як споживачі та працівники, тим самим допомагаючи організаціям зміцнити довіру.
(b) По-друге, враховуючи його розробку з урахуванням різноманітних нормативних і управлінських рамок штучного інтелекту, а також загальних надійних принципів штучного інтелекту, перевірка штучного інтелекту спрямована на те, щоб допомогти організаціям знайти загальні різні глобальні структури управління штучним інтелектом і правила. IMDA продовжуватиме працювати з регуляторними органами та організаціями зі стандартизації, щоб зіставити структуру тестування для «перевірки штучного інтелекту» на встановлену структуру. Зусилля спрямовані на те, щоб дати компаніям можливість працювати або пропонувати продукти та послуги штучного інтелекту на багатьох ринках, а також зробити Сінгапур центром управління штучним інтелектом і нормативного тестування.
(c) По-третє, **IMDA зможе зіставляти галузеву практику, контрольні показники та показники, оскільки все більше організацій експериментуватимуть із «перевіркою штучного інтелекту» та використовуватимуть його структуру тестування. **Враховуючи те, що Сінгапур бере участь у глобальних платформах управління ШІ, таких як Глобальне партнерство ШІ та ISO/IEC JTC1/SC 42, надаючи цінні перспективи встановлення міжнародних стандартів для управління ШІ, це може сприяти розробці стандартів для управління ШІ .
(d) По-четверте, IMDA хоче, щоб «Перевірка штучного інтелекту» допомогла створити місцеву спільноту тестувальників ШІ в Сінгапурі, що складається з розробників ШІ та власників систем (прагнуть тестувати системи ШІ), постачальників технологій (які розробляють впровадження управління ШІ та рішення для тестування), постачальники консалтингових послуг (що спеціалізуються на підтримці тестування та сертифікації) та дослідники (які розробляють методи тестування, тести та практики).
Також важливо роз’яснити кілька потенційних помилок щодо «перевірки ШІ». По-перше, **«Перевірка AI» не намагається визначити етичні стандарти. **Це не намагається вказати класифікацію систем штучного інтелекту, а натомість забезпечує можливість перевірки, дозволяючи розробникам і власникам систем штучного інтелекту підтверджувати свої твердження щодо продуктивності своїх систем штучного інтелекту. По-друге, державні організації, які використовують «перевірку штучного інтелекту», не можуть гарантувати, що протестовані системи штучного інтелекту вільні від ризику чи упередженості, або що вони повністю «безпечні» та «етичні». **По-третє, «Перевірка штучного інтелекту» має на меті запобігти випадковому розкриттю організаціями конфіденційної інформації про їхні системи штучного інтелекту (наприклад, базовий код або навчальні дані). Він прийняв ключовий запобіжний захід — «**Перевірка штучного інтелекту», який самостійно перевірятимуть розробники та власники систем ШІ. Це дозволяє даним і моделям організації залишатися в робочому середовищі організації. **
Як працює «ШІ перевірка»
«Перевірка AI» складається з двох частин. Перший – це Тестовий фреймворк, який цитує 11 міжнародно визнаних принципів етики та управління штучним інтелектом, організованих за п’ятьма стовпами. По-друге, це набір інструментів, який організації використовують для виконання технічного тестування та перевірки процесу документування в системі тестування.
Структура тестування для «перевірки штучного інтелекту»
Нижче наведено п’ять основ і одинадцять принципів тестової основи «Валідації ШІ» та їхні передбачувані оцінки:
Фактична структура тестування, включаючи такі ключові частини:
***(a) Визначення: *** Тестовий фреймворк надає прості для розуміння визначення кожного принципу ШІ. Наприклад, можливість інтерпретації визначається як «здатність оцінити фактори, які призводять до рішення системи ШІ, її загальну поведінку, результат і вплив».
***(b) Критерії, які можна перевірити: ***Для кожного принципу надається набір критеріїв, які можна перевірити. Ці стандарти враховують технічні та/або нетехнічні (такі як процеси, процедури чи організаційні структури) фактори, які сприяють досягненню запланованих результатів цього принципу управління.
На прикладі інтерпретованості наведено два критерії, які можна перевірити. Розробники можуть використовувати методи пояснення, щоб допомогти користувачам зрозуміти, що керує моделями ШІ. Розробники також можуть продемонструвати перевагу розробці моделей ШІ, які пояснюють їхні рішення, або зробити це за замовчуванням.
***(c) Процес тестування: *** Для кожного критерію, який можна перевірити, «Перевірка штучного інтелекту» надає процес або дії, які необхідно виконати, які можуть бути кількісними (наприклад, статистичні чи технічні тести), а також можуть бути якісними (наприклад, документальні підтвердження, отримані під час перевірки процесу).
Що стосується інтерпретації, технічне тестування може включати емпіричний аналіз і визначення внеску функцій у вихід моделі. Тестування на основі процесу задокументує обґрунтування, оцінку ризику та компроміси моделі ШІ.
***(d) Показники: ***Це кількісні або якісні параметри, які використовуються для вимірювання або надання доказів для кожного перевіреного критерію.
Використовуючи наведений вище приклад інтерпретації, метрики, які використовуються для визначення внесків функцій, досліджують внесені функції вихідних даних моделі, отриманих від технічних інструментів, таких як SHAP і LIME. Під час вибору остаточної моделі для документування оцінки можна використовувати показники, засновані на процесі, наприклад оцінку ризику та компромісні вправи.
***(e) Порогові значення (якщо застосовно): ***За наявності, система тестування надасть прийнятні значення або контрольні показники для вибраних показників. Ці значення або контрольні показники можуть бути визначені регуляторними органами, галузевими асоціаціями або іншими визнаними організаціями, що встановлюють стандарти. Для моделі MVP «Валідації штучного інтелекту» не передбачено жодного порогового значення, враховуючи швидкий розвиток технологій ШІ, варіантів їх використання та методів тестування систем ШІ. Однак у міру того, як простір управління штучним інтелектом розвивається та збільшується використання «AI Verify», IMDA має намір зіставити та розробити контекстно-залежні показники та порогові значення, щоб додати їх до системи тестування.
«Перевірка штучного інтелекту» AI Verify Toolkit
Хоча набір інструментів AI Verify для «перевірки штучного інтелекту» наразі доступний лише для організацій, які успішно зареєструвалися в програмі AI Verify MVP, IMDA описує набір інструментів як «універсальний» інструмент для організацій для проведення технічного тестування. Зокрема, інструментарій широко використовує бібліотеки тестування з відкритим кодом. Ці інструменти включають SHAP (Shapley Additive ExPlanations) для пояснюваності, Adversarial Robustness Toolkit для надійності та AIF360 і Fair Learning для справедливості.
Користувачі «AI Verification» можуть інсталювати інструментарій у своєму внутрішньому середовищі. Користувач виконуватиме процес тестування під керівництвом інтерфейсу користувача. Наприклад, інструмент містить «кероване дерево справедливості», за допомогою якого користувачі можуть ідентифікувати показники справедливості, що відповідають їхньому варіанту використання. Нарешті, AI Verify створить підсумковий звіт, щоб допомогти розробникам і власникам систем інтерпретувати результати тестів. Для перевірок процесу у звіті міститься контрольний перелік наявності чи відсутності документальних підтверджень, як зазначено в структурі тестування. Потім результати тестування упаковуються в контейнери Docker® для розгортання.
на завершення
Коли IMDA випустила AI Verify, хвиля інтересу до генеративного ШІ ще не матеріалізувалась. Слідуючи поточній тенденції, інтерес до управління, тестування та надійності систем ШІ значно зріс. Як зазначено в цій статті, різні ініціативи «перевірки штучного інтелекту» AI Verify лише готуються відреагувати на поточну ситуацію.
Раніше Сінгапур продемонстрував свою здатність робити внесок у глобальний дискурс і лідерство в питаннях управління та регулювання ШІ. Випущені Шаблони Framework є підтвердженням цього. Ставки AI Verify, безумовно, високі, але також і глобальний попит на ініціативу. Щоб досягти успіху, можливо, його потрібно більше визнавати та частіше використовувати. Це залежить від кількох факторів. По-перше, доступність інструменту має вирішальне значення: організації, які хочуть використовувати AI Verify, повинні мати можливість використовувати його за низькими витратами або безкоштовно. **По-друге, важливо переконати організацію в її цінності. **Для цього IMDA має довести, що «перевірка штучного інтелекту» AI Verify є технічно та процедурно обґрунтованою, її можна ефективно використовувати для нових і нових типів і масштабів моделей штучного інтелекту та наборів даних і не впливатиме на комерційну чутливість модель AI або набір даних. **По-третє, і, можливо, найважливіше, він повинен підтримувати взаємодію з міжнародними нормативними рамками. **IMDA має переконатися, що AI Verify продовжує допомагати організаціям вирішувати та взаємодіяти з ключовими глобальними нормативними рамками штучного інтелекту, такими як Закон ЄС про штучний інтелект, канадський Закон про штучний інтелект та дані та нормативна база США NIST щодо ризиків штучного інтелекту, а також Сінгапуру. власної національної моделі.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Зробити AI Governance Verifiable: сінгапурський AI Verify Toolkit
Автор: ДЖОШ ЛІ КОК ТОНГ Переклад: Лі Ян Коректура: Сян Сіньї
Джерело: The Paper
За останні місяці глобальний інтерес до управління та регулювання штучного інтелекту вибухнув. Багато хто вважає, що для роботи з генеративними системами ШІ, чиї можливості вражають, такі як ChatGPT і DALL-E від OpenAI, Bard від Google, Stable Diffusion та інші, потрібні нові структури управління та регулювання. Закон ЄС про штучний інтелект отримав широку увагу. Насправді в усьому світі з’являється багато інших важливих ініціатив, у тому числі різні моделі та структури управління ШІ.
У цій статті йдеться про структуру та інструментарій тестування штучного інтелекту в Сінгапурі – «AI Verify», випущений у травні 2022 року. У ньому в основному виділяються три ключові моменти. ① Узагальніть загальну стратегію Сінгапуру щодо управління штучним інтелектом і ключові ініціативи, висунуті урядом до запуску верифікації штучного інтелекту. ② Поясніть ключ до «перевірки штучного інтелекту». ③ «Перевірка ШІ» була запущена протягом року, обговорюючи майбутнє перевірки ШІ та підхід Сінгапуру до управління та регулювання ШІ. Коротко кажучи, основні моменти такі:
Сінгапур застосував підхід поміркованого втручання до управління та регулювання штучного інтелекту, з Рамковою моделлю управління штучним інтелектом, яка встановлює керівні принципи управління штучним інтелектом у приватному секторі.
«AI Verify» — це структура та набір інструментів для тестування управління штучним інтелектом, запущений у травні 2022 року. Незважаючи на те, що він перебуває на випробувальному етапі, він представляє зусилля Сінгапуру щодо подальшого розвитку глобального дискурсу щодо управління та регулювання штучного інтелекту, намагаючись задовольнити зростаючий попит на надійні системи штучного інтелекту та сприяти взаємозв’язку глобальної нормативної бази штучного інтелекту.
«Перевірка штучного інтелекту» — це тестова структура, заснована на міжнародно визнаних принципах управління штучним інтелектом, яку компанії можуть використовувати під час тестування власних систем ШІ. Перевірка штучного інтелекту не призначена для визначення етичних стандартів, а радше забезпечує можливість перевірки, дозволяючи розробникам систем штучного інтелекту та їх власникам видавати заяви, що підтверджують продуктивність їхніх систем штучного інтелекту.
– Щоб бути успішним, «перевіреному ШІ» може знадобитися більше визнання та прийняття. Це залежить від таких факторів, як вартість, переконання зацікавлених сторін у його цінності, а також його актуальність і взаємодія з міжнародною нормативною базою.
Загальний підхід до управління ШІ в Сінгапурі
У своїй Національній стратегії штучного інтелекту Сінгапур оголосив, що країна прагне бути «в авангарді розробки та розгортання масштабованих, ефективних рішень штучного інтелекту» та сподівається консолідувати роль країни як «лідера в розробці, тестуванні, розгортанні та масштабуванні». штучний інтелект". глобальний центр рішень. Одним із п’яти «активних факторів екосистеми», визначених у стратегії збільшення впровадження ШІ, є сприяння «прогресивному та надійному середовищу» для розробки ШІ — компроміс між інноваціями та мінімізацією суспільних ризиків. збалансоване середовище.
Щоб створити це «прогресивне та надійне середовище», Сінгапур наразі дотримувався добровільного та добровільного підходу до регулювання ШІ. Це тому, що країна визнає дві реальності своїх амбіцій ШІ.
По-перше, уряд Сінгапуру** вважає штучний інтелект ключовим стратегічним фактором** для розвитку економіки та покращення якості життя своїх громадян. У результаті Сінгапур не зробив різких кроків у регулюванні штучного інтелекту, щоб не пригнічувати інновації та інвестиції. По-друге, враховуючи свій розмір, Сінгапур визнає, що сам уряд може приймати ціни, а не встановлювати ціни, оскільки дискурс, рамки та правила управління ШІ розвиваються у всьому світі. Тому поточна стратегія полягає не в тому, щоб оновити принципи штучного інтелекту, а в тому, щоб "слідувати світовим тенденціям і не мати наміру змінювати світові тенденції".("Take the world" де він є, а не там, де він сподівається, що світ буде».)
Регуляторний підхід Сінгапуру до штучного інтелекту, який контролює Комісія із захисту персональних даних Сінгапуру (PDPC), має три основні принципи перед запуском AI Verify у 2022 році:
1 Рамкова модель управління ШІ (Рамкова модель).
Консультативний комітет з питань етичного використання штучного інтелекту та даних (Консультативний комітет).
План дослідження управління ШІ та використання даних (дослідницький проект).
Далі зосереджено увагу на «рамковій моделі».
режим кадрів
Рамкова модель, вперше представлена на щорічній зустрічі Всесвітнього економічного форуму в 2019 році, є добровільною та необов’язковою структурою, яка керує організаціями у відповідальному розгортанні рішень штучного інтелекту в масштабі, зазначаючи, що структура не залежить від стадії розробки технологія. Як орієнтир, Рамкова модель надає лише практичні рекомендації щодо розгортання ШІ суб’єктами приватного сектору, тоді як використання ШІ державним сектором регулюється внутрішніми рекомендаціями та наборами інструментів для ШІ та управління даними. ** Шаблони Framework відомі як «живий документ», і майбутні версії розвиватимуться разом із розвитком технологій і суспільства. Його основа полягає в непередбачуваності технології, галузі, масштабу та бізнес-моделі. **
По суті, шаблон структури керується двома фундаментальними принципами, які сприяють довірі та розумінню в ШІ. **По-перше, організації, які використовують штучний інтелект у прийнятті рішень, повинні переконатися, що їхні процеси прийняття рішень є зрозумілими, прозорими та справедливими. По-друге, системи штучного інтелекту мають бути орієнтовані на людину: захист благополуччя та безпеки людей має бути основним фактором при проектуванні, розробці та використанні штучного інтелекту. **
Структура перетворює ці керівні принципи в дієві дії в чотирьох ключових областях прийняття організаційних рішень і процесів розвитку технологій:
(a) внутрішні структури та практики управління;
(b) визначити рівень участі людини в процесі прийняття рішень за допомогою ШІ;
(c) управління операціями;
(d) Взаємодія та комунікація із зацікавленими сторонами.
У таблиці нижче наведено деякі запропоновані міркування, підходи та заходи в цих ключових сферах.
Коли Сінгапур запустив друге видання Рамкової моделі на Всесвітньому економічному форумі 2020, воно супроводжувалося двома іншими документами: Посібник із впровадження та самооцінки для організацій (ISAGO) і Компендіум випадків використання (Компіляція - Том 1 і 2 томи) . ISAGO — це контрольний список, який допомагає організаціям оцінити узгодженість своїх процесів управління ШІ зі структурою моделі. Компендіум надає реальні приклади застосування рекомендацій Рамкової основи в різних секторах, варіантах використання та юрисдикціях.
Загалом «Рамкова модель» та допоміжні документи закріплюють і окреслюють суттєве мислення щодо регулювання штучного інтелекту в Сінгапурі. Завдяки цим ініціативам Сінгапур отримав нагороду Всесвітнього саміту ООН з питань інформаційного суспільства в 2019 році, визнаючи його лідерство в управлінні ШІ.
Січень 2020 року став переломним моментом у глобальній дискусії щодо регулювання ШІ. 17 січня 2020 року Європейська комісія опублікувала Білу книгу, яка змусила міжнародну спільноту звернути більше уваги на можливість державного регулювання технологій штучного інтелекту. У лютому 2020 року Європейська комісія офіційно оприлюднила «Білу книгу про штучний інтелект», в якій виклала плани щодо створення нормативної бази для штучного інтелекту. Через кілька місяців Європейська комісія представила проект свого майбутнього законопроекту про штучний інтелект. Це перша серйозна спроба урядової установи запровадити основні правила для горизонтального регулювання розробки та використання систем ШІ. Можна очікувати, що Закон про AI також матиме позаюрисдикційні наслідки, і компанії, що розробляють системи AI за межами Європи, можуть підпадати під дію нового закону.
Це вплинуло на роздуми про майбутнє сінгапурського регулювання та управління ШІ. Хоча Комісія із захисту персональних даних Сінгапуру (PDPC) зберігає свій добровільний і м’який підхід до регулювання ШІ, вона визнає, що ШІ зіткнеться з більш жорстким наглядом у майбутньому. PDPC також, здається, пам’ятає про зростаючий попит **споживачів на довіру до систем штучного інтелекту та розробників, а також потребу в міжнародних стандартах штучного інтелекту для порівняльного аналізу та оцінки штучного інтелекту відповідно до нормативних вимог. Крім того, зростають вимоги до сумісності нормативно-правових баз ШІ. **Зважаючи на це, Сінгапур почав розвиватися, а остаточні результати були об’єднані в рамках «AI Verify».
Що таке «AI Verify»
"AI Verify" спільно випускається Infocomm Media Development Authority (IMDA), статутним комітетом при Міністерстві зв'язку та інформації Сінгапуру, і Комітетом із захисту персональних даних (PDPC). Це структура та набір інструментів для тестування управління штучним інтелектом. **Використовуючи AI Verify, організації можуть проводити добровільну оцінку своїх систем штучного інтелекту, використовуючи комбінацію технічного тестування та перевірок на основі процесу. У свою чергу, система допомагає компаніям надавати зацікавленим сторонам об’єктивні докази того, що їхні системи штучного інтелекту впроваджуються відповідально та надійно. **
З огляду на постійний розвиток методів, стандартів, індикаторів та інструментів тестування штучного інтелекту, «перевірка штучного інтелекту» (AI Verify) наразі перебуває на стадії «мінімально життєздатного продукту» (MVP). Це має два наслідки. По-перше, версія MVP має технічні обмеження та обмежена типом і розміром моделей штучного інтелекту або наборів даних, які можна протестувати або проаналізувати. По-друге, очікується, що верифікація штучного інтелекту розвиватиметься в міру розвитку можливостей тестування штучного інтелекту.
Чотири цілі для розробки версії MVP «Перевірено AI»:
(a) По-перше, IMDA очікує, що організації зможуть використовувати «Перевірку штучного інтелекту» для порівняння продуктивності своїх систем штучного інтелекту та демонстрації цих підтверджених контрольних показників зацікавленим сторонам, таким як споживачі та працівники, тим самим допомагаючи організаціям зміцнити довіру.
(b) По-друге, враховуючи його розробку з урахуванням різноманітних нормативних і управлінських рамок штучного інтелекту, а також загальних надійних принципів штучного інтелекту, перевірка штучного інтелекту спрямована на те, щоб допомогти організаціям знайти загальні різні глобальні структури управління штучним інтелектом і правила. IMDA продовжуватиме працювати з регуляторними органами та організаціями зі стандартизації, щоб зіставити структуру тестування для «перевірки штучного інтелекту» на встановлену структуру. Зусилля спрямовані на те, щоб дати компаніям можливість працювати або пропонувати продукти та послуги штучного інтелекту на багатьох ринках, а також зробити Сінгапур центром управління штучним інтелектом і нормативного тестування.
(c) По-третє, **IMDA зможе зіставляти галузеву практику, контрольні показники та показники, оскільки все більше організацій експериментуватимуть із «перевіркою штучного інтелекту» та використовуватимуть його структуру тестування. **Враховуючи те, що Сінгапур бере участь у глобальних платформах управління ШІ, таких як Глобальне партнерство ШІ та ISO/IEC JTC1/SC 42, надаючи цінні перспективи встановлення міжнародних стандартів для управління ШІ, це може сприяти розробці стандартів для управління ШІ .
(d) По-четверте, IMDA хоче, щоб «Перевірка штучного інтелекту» допомогла створити місцеву спільноту тестувальників ШІ в Сінгапурі, що складається з розробників ШІ та власників систем (прагнуть тестувати системи ШІ), постачальників технологій (які розробляють впровадження управління ШІ та рішення для тестування), постачальники консалтингових послуг (що спеціалізуються на підтримці тестування та сертифікації) та дослідники (які розробляють методи тестування, тести та практики).
Також важливо роз’яснити кілька потенційних помилок щодо «перевірки ШІ». По-перше, **«Перевірка AI» не намагається визначити етичні стандарти. **Це не намагається вказати класифікацію систем штучного інтелекту, а натомість забезпечує можливість перевірки, дозволяючи розробникам і власникам систем штучного інтелекту підтверджувати свої твердження щодо продуктивності своїх систем штучного інтелекту. По-друге, державні організації, які використовують «перевірку штучного інтелекту», не можуть гарантувати, що протестовані системи штучного інтелекту вільні від ризику чи упередженості, або що вони повністю «безпечні» та «етичні». **По-третє, «Перевірка штучного інтелекту» має на меті запобігти випадковому розкриттю організаціями конфіденційної інформації про їхні системи штучного інтелекту (наприклад, базовий код або навчальні дані). Він прийняв ключовий запобіжний захід — «**Перевірка штучного інтелекту», який самостійно перевірятимуть розробники та власники систем ШІ. Це дозволяє даним і моделям організації залишатися в робочому середовищі організації. **
Як працює «ШІ перевірка»
«Перевірка AI» складається з двох частин. Перший – це Тестовий фреймворк, який цитує 11 міжнародно визнаних принципів етики та управління штучним інтелектом, організованих за п’ятьма стовпами. По-друге, це набір інструментів, який організації використовують для виконання технічного тестування та перевірки процесу документування в системі тестування.
Структура тестування для «перевірки штучного інтелекту»
Нижче наведено п’ять основ і одинадцять принципів тестової основи «Валідації ШІ» та їхні передбачувані оцінки:
***(a) Визначення: *** Тестовий фреймворк надає прості для розуміння визначення кожного принципу ШІ. Наприклад, можливість інтерпретації визначається як «здатність оцінити фактори, які призводять до рішення системи ШІ, її загальну поведінку, результат і вплив».
***(b) Критерії, які можна перевірити: ***Для кожного принципу надається набір критеріїв, які можна перевірити. Ці стандарти враховують технічні та/або нетехнічні (такі як процеси, процедури чи організаційні структури) фактори, які сприяють досягненню запланованих результатів цього принципу управління.
На прикладі інтерпретованості наведено два критерії, які можна перевірити. Розробники можуть використовувати методи пояснення, щоб допомогти користувачам зрозуміти, що керує моделями ШІ. Розробники також можуть продемонструвати перевагу розробці моделей ШІ, які пояснюють їхні рішення, або зробити це за замовчуванням.
***(c) Процес тестування: *** Для кожного критерію, який можна перевірити, «Перевірка штучного інтелекту» надає процес або дії, які необхідно виконати, які можуть бути кількісними (наприклад, статистичні чи технічні тести), а також можуть бути якісними (наприклад, документальні підтвердження, отримані під час перевірки процесу).
Що стосується інтерпретації, технічне тестування може включати емпіричний аналіз і визначення внеску функцій у вихід моделі. Тестування на основі процесу задокументує обґрунтування, оцінку ризику та компроміси моделі ШІ.
***(d) Показники: ***Це кількісні або якісні параметри, які використовуються для вимірювання або надання доказів для кожного перевіреного критерію.
Використовуючи наведений вище приклад інтерпретації, метрики, які використовуються для визначення внесків функцій, досліджують внесені функції вихідних даних моделі, отриманих від технічних інструментів, таких як SHAP і LIME. Під час вибору остаточної моделі для документування оцінки можна використовувати показники, засновані на процесі, наприклад оцінку ризику та компромісні вправи.
***(e) Порогові значення (якщо застосовно): ***За наявності, система тестування надасть прийнятні значення або контрольні показники для вибраних показників. Ці значення або контрольні показники можуть бути визначені регуляторними органами, галузевими асоціаціями або іншими визнаними організаціями, що встановлюють стандарти. Для моделі MVP «Валідації штучного інтелекту» не передбачено жодного порогового значення, враховуючи швидкий розвиток технологій ШІ, варіантів їх використання та методів тестування систем ШІ. Однак у міру того, як простір управління штучним інтелектом розвивається та збільшується використання «AI Verify», IMDA має намір зіставити та розробити контекстно-залежні показники та порогові значення, щоб додати їх до системи тестування.
«Перевірка штучного інтелекту» AI Verify Toolkit
Хоча набір інструментів AI Verify для «перевірки штучного інтелекту» наразі доступний лише для організацій, які успішно зареєструвалися в програмі AI Verify MVP, IMDA описує набір інструментів як «універсальний» інструмент для організацій для проведення технічного тестування. Зокрема, інструментарій широко використовує бібліотеки тестування з відкритим кодом. Ці інструменти включають SHAP (Shapley Additive ExPlanations) для пояснюваності, Adversarial Robustness Toolkit для надійності та AIF360 і Fair Learning для справедливості.
Користувачі «AI Verification» можуть інсталювати інструментарій у своєму внутрішньому середовищі. Користувач виконуватиме процес тестування під керівництвом інтерфейсу користувача. Наприклад, інструмент містить «кероване дерево справедливості», за допомогою якого користувачі можуть ідентифікувати показники справедливості, що відповідають їхньому варіанту використання. Нарешті, AI Verify створить підсумковий звіт, щоб допомогти розробникам і власникам систем інтерпретувати результати тестів. Для перевірок процесу у звіті міститься контрольний перелік наявності чи відсутності документальних підтверджень, як зазначено в структурі тестування. Потім результати тестування упаковуються в контейнери Docker® для розгортання.
на завершення
Коли IMDA випустила AI Verify, хвиля інтересу до генеративного ШІ ще не матеріалізувалась. Слідуючи поточній тенденції, інтерес до управління, тестування та надійності систем ШІ значно зріс. Як зазначено в цій статті, різні ініціативи «перевірки штучного інтелекту» AI Verify лише готуються відреагувати на поточну ситуацію.
Раніше Сінгапур продемонстрував свою здатність робити внесок у глобальний дискурс і лідерство в питаннях управління та регулювання ШІ. Випущені Шаблони Framework є підтвердженням цього. Ставки AI Verify, безумовно, високі, але також і глобальний попит на ініціативу. Щоб досягти успіху, можливо, його потрібно більше визнавати та частіше використовувати. Це залежить від кількох факторів. По-перше, доступність інструменту має вирішальне значення: організації, які хочуть використовувати AI Verify, повинні мати можливість використовувати його за низькими витратами або безкоштовно. **По-друге, важливо переконати організацію в її цінності. **Для цього IMDA має довести, що «перевірка штучного інтелекту» AI Verify є технічно та процедурно обґрунтованою, її можна ефективно використовувати для нових і нових типів і масштабів моделей штучного інтелекту та наборів даних і не впливатиме на комерційну чутливість модель AI або набір даних. **По-третє, і, можливо, найважливіше, він повинен підтримувати взаємодію з міжнародними нормативними рамками. **IMDA має переконатися, що AI Verify продовжує допомагати організаціям вирішувати та взаємодіяти з ключовими глобальними нормативними рамками штучного інтелекту, такими як Закон ЄС про штучний інтелект, канадський Закон про штучний інтелект та дані та нормативна база США NIST щодо ризиків штучного інтелекту, а також Сінгапуру. власної національної моделі.