**Оскільки штучний інтелект розвивається з неймовірною швидкістю, це неминуче викличе занепокоєння щодо іншої «леза» меча ШІ — довіри. **По-перше, це конфіденційність: як люди можуть довіряти ШІ в епоху ШІ з точки зору конфіденційності даних? Можливо, прозорість моделі штучного інтелекту є ключем до занепокоєння: здатність виникати як великомасштабна мовна модель дорівнює непроникній технологічній «чорній скриньці» для людей, і звичайні користувачі не можуть зрозуміти, як працює модель і Результати операції І як це отримати - що ще більше клопітно, це те, що як користувач ви можете не знати, чи модель AI, надана постачальником послуг, працює, як обіцяно. Особливо під час застосування алгоритмів і моделей штучного інтелекту до деяких конфіденційних даних, таких як медичні, фінансові, Інтернет-додатки тощо, незалежно від того, чи є модель штучного інтелекту упередженою (або навіть зловмисно орієнтованою), чи постачальник послуг запускає модель (і пов’язані параметри) точно, як і було обіцяно, стало найбільшою проблемою для користувачів. Технологія підтвердження нульових знань має цільове рішення в цьому відношенні, тому машинне навчання з нульовими знаннями (ZKML) стало останнім напрямком розвитку.
**Комп’ютерне навчання з нульовим знанням (Zero-Knowledge Machine Learning, ZKML) з’явилося завдяки всебічному розгляду цілісності обчислень, евристичної оптимізації та конфіденційності, поєднання доказів нульового знання та ШІ. **В епоху, коли контент, створений штучним інтелектом, стає все ближчим і ближчим до контенту, створеного людьми, технічні характеристики секретного доказу з нульовим знанням можуть допомогти нам визначити, що конкретний контент створено за допомогою певної моделі. Для захисту конфіденційності особливо важлива технологія підтвердження з нульовим знанням, тобто підтвердження та перевірка можуть бути завершені без розкриття введених користувачем даних або конкретних деталей моделі.
**П’ять способів застосування доказів нульового знання до машинного навчання: обчислювальна цілісність, цілісність моделі, перевірка, розподілене навчання та автентифікація. **Останній швидкий розвиток великомасштабних мовних моделей (LLM) показує, що ці моделі стають дедалі розумнішими, і ці моделі завершують важливий інтерфейс між алгоритмами та людьми: мову. Тенденцію загального штучного інтелекту (AGI) уже неможливо зупинити, але, судячи з поточних результатів навчання моделі, ШІ може ідеально імітувати людей із високими можливостями в цифрових взаємодіях — і перевершити людей із неймовірною швидкістю у стрімкій еволюції. Рівень людських істот має дивуватися цій швидкості еволюції та навіть хвилюватися про швидку заміну ШІ.
**Розробники спільноти використовують ZKML для перевірки функції рекомендацій Twitter, що є корисним. **Функція рекомендацій Twitter «Для вас» використовує алгоритм рекомендацій штучного інтелекту, щоб розділити приблизно 500 мільйонів твітів, що публікуються щодня, у декілька популярних твітів, які зрештою відображаються на часовій шкалі домашньої сторінки користувача. Наприкінці березня 2023 року Twitter відкрив вихідний код алгоритму, але оскільки деталі моделі не були оприлюднені, користувачі досі не можуть перевірити, чи алгоритм працює точно та повністю. Розробник спільноти Даніель Канг та інші використовують криптографічні інструменти ZK-SNARKs, щоб перевірити, чи алгоритм рекомендацій Twitter є правильним і працює повністю, не розкриваючи деталей алгоритму – це найпривабливіша точка доказу нульового знання, тобто не розкриває жодної конкретної інформації про об'єкт Довести достовірність інформації на підставі інформації (нульове знання). В ідеалі Twitter міг би використовувати ZK-SNARKS для публікації доказів своєї моделі рейтингу — доказів того, що, коли модель застосовується до конкретних користувачів і твітів, вона створює конкретне кінцеве рейтингування. Ця атестація є основою надійності моделі: користувачі можуть переконатися, що обчислення алгоритму шаблону виконується так, як було обіцяно, або надати його третій стороні для перевірки. Це все зроблено без розкриття деталей ваг параметрів моделі. Тобто, використовуючи офіційно оголошений доказ моделі, користувач використовує доказ, щоб переконатися, що конкретний твіт працює чесно, як обіцяє модель для конкретних сумнівних твітів.
1. Основні ідеї
Оскільки штучний інтелект розвивається з неймовірною швидкістю, це неминуче викличе занепокоєння щодо іншого «леза» меча штучного інтелекту – довіри. По-перше, це конфіденційність: як люди можуть довіряти ШІ з точки зору конфіденційності в епоху ШІ? Можливо, прозорість моделі штучного інтелекту є ключем до занепокоєння: здатність виникати як великомасштабна мовна модель дорівнює непроникній технологічній «чорній скриньці» для людей, і звичайні користувачі не можуть зрозуміти, як працює модель і результати операції І як це отримати (сама модель сповнена незрозумілих або передбачуваних можливостей) - що більше клопітно, це те, що як користувач, ви можете не знати, чи модель ШІ, надана постачальником послуг, працює, як обіцяно . Особливо під час застосування алгоритмів і моделей штучного інтелекту до деяких конфіденційних даних, таких як медичне обслуговування, фінанси, Інтернет-додатки тощо, незалежно від того, чи є модель штучного інтелекту упередженою (або навіть зловмисно орієнтованою), чи постачальник послуг запускає модель (і пов’язані параметри), як і було обіцяно, стала найбільшою проблемою для користувачів.
Технологія підтвердження нульових знань має цільове рішення в цьому відношенні, тому машинне навчання з нульовими знаннями (ZKML) стало останнім напрямком розвитку. У цьому документі обговорюються характеристики технології ZKML, можливі сценарії застосування та деякі надихаючі випадки, а також проводиться дослідження та розробка напрямку розвитку ZKML та його можливого впливу на промисловість.
**2. «Друге вістря» меча AI: як довіряти AI? **
Можливості штучного інтелекту швидко наближаються до людських і вже перевершили людей у багатьох нішових сферах. Недавній швидкий розвиток великих мовних моделей (LLM) свідчить про те, що ці моделі стають все більш інтелектуальними, і ці моделі вдосконалюють важливий інтерфейс між алгоритмами та людьми: мову. Тенденцію загального штучного інтелекту (AGI) уже неможливо зупинити, але, судячи з поточних результатів навчання моделі, ШІ може ідеально імітувати людей з високими можливостями в цифровій взаємодії — і перевершити людей з неймовірною швидкістю на рівні швидкої еволюції. Останнім часом мовна модель досягла значного прогресу. Продукти, представлені ChatGPT, продемонстрували неймовірні результати, охоплюючи понад 20% людських можливостей у більшості звичайних оцінок. Якщо порівнювати GPT-3.5 і GPT-4, між якими лише кілька місяців, роблячи людей треба дивуватися цій еволюційній швидкості. Але з іншого боку – занепокоєння щодо втрати контролю над можливостями ШІ.
**По-перше, це аспект конфіденційності. **В епоху штучного інтелекту з розвитком таких технологій, як розпізнавання облич, користувачі завжди стурбовані ризиком витоку даних під час використання послуг штучного інтелекту. Це створило певні перешкоди для просування та розвитку ШІ – як довіряти ШІ з точки зору конфіденційності?
**Можливо, прозорість моделей AI є ключем до більшого занепокоєння. **Можливість створювати подібні до великомасштабних мовних моделей дорівнює непроникній технологічній «чорній скриньці» для людей. Звичайні користувачі не можуть зрозуміти, як працює модель і як отримуються результати (сама модель сповнена можливостей, які важко зрозуміти або передбачити) - більше проблем, оскільки користувач може не знати, чи модель ШІ, надана постачальником послуг, працює, як обіцяно. Особливо під час застосування алгоритмів і моделей штучного інтелекту до деяких конфіденційних даних, таких як медичне обслуговування, фінанси, Інтернет-додатки тощо, незалежно від того, чи є модель штучного інтелекту упередженою (або навіть зловмисно орієнтованою), чи постачальник послуг запускає модель (і пов’язані параметри), як і було обіцяно, стала найбільшою проблемою для користувачів. Наприклад, чи дає платформа соціальних додатків відповідні рекомендації за алгоритмом «рівного ставлення»? Чи рекомендації алгоритму AI постачальника фінансових послуг такі точні та повні, як обіцяно? Чи є непотрібне споживання в плані медичних послуг, рекомендованому ШІ? Чи приймають постачальники послуг аудит моделей ШІ?
Простіше кажучи, з одного боку, користувачі не знають реальної ситуації моделі штучного інтелекту, наданої постачальником послуг, але в той же час вони дуже стурбовані тим, щоб модель не була «дискримінаційною». вважаються такими, що включають деякі упереджені чи інші орієнтовані фактори, які призведуть до невідомих користувачам збитків або негативного впливу.
З іншого боку, швидкість саморозвитку штучного інтелекту стає дедалі непередбачуванішою, а все більш потужна модель алгоритму штучного інтелекту все більше виходить за межі контролю з боку людини**, тому питання довіри стало ще одним. «Лісто» гострого меча ШІ». **
Необхідно встановити довіру користувачів до ШІ з точки зору конфіденційності даних, прозорості моделі та керованості моделі. Користувачам потрібно хвилюватися про захист конфіденційності та про те, чи модель алгоритму працює точно та повністю, як обіцяно; однак це непросте завдання. Що стосується прозорості моделі, постачальники моделі мають занепокоєння щодо аудиту моделі та нагляду на основі комерційної таємниці та інших перспективи; З іншого боку, еволюцію самої моделі алгоритму непросто контролювати, і цю неконтрольованість також потрібно враховувати.
З точки зору захисту конфіденційності даних користувачів ми також провели багато досліджень у наших попередніх звітах, таких як «AI and Data Elements Driven by Web3.0: Openness, Security and Privacy». Деякі програми Web3.0 дуже надихають у зв’язку з цим — — Тобто навчання моделі AI здійснюється за умови повного підтвердження даних користувача та захисту конфіденційності даних.
Проте нинішній ринок переповнений приголомшливою продуктивністю великих моделей, таких як Chatgpt, і не враховує проблеми конфіденційності самої моделі, проблеми довіри до моделі, спричинені еволюцією «нових» характеристик алгоритму (і довіра, викликана неконтрольованістю), але на іншому рівні користувачі завжди скептично ставилися до точної, повної та чесної роботи так званої алгоритмічної моделі. Тому питання довіри до штучного інтелекту має вирішуватися з трьох рівнів користувачів, постачальників послуг і неконтрольованості моделі.
3. ZKML: поєднання доказів нульового знання та ШІ приносить довіру
3.1． Доказ нульового знання: zk-SNARKS, zk-STARK та інші технології розвиваються
Доказ нульового знання (Zero Knowledge Proof, ZKP) був вперше запропонований Шафі Голдвассером і Сільвіо Мікалі з Массачусетського технологічного інституту в статті під назвою «Складність знань інтерактивних систем доказу» в 1985 році. Автор згадав у статті, що прувер може переконати верифікатора в достовірності даних, не розкриваючи конкретних даних. Публічна функція f(x) і вихідне значення y функції. Аліса каже Бобу, що вона знає значення x, але Боб цьому не вірить. Для цього Аліса використовує алгоритм доказу з нульовим знанням, щоб створити доказ. Боб перевіряє цей доказ, щоб підтвердити, чи дійсно Аліса знає x, що задовольняє функцію f.
Наприклад, використовуючи підтвердження з нульовим знанням, вам не потрібно знати результати тесту Сяоміна, але ви можете знати, чи відповідають його результати вимогам користувача, наприклад, чи є він успішним, чи правильна швидкість заповнення пропусків перевищує 60% і так далі. У сфері штучного інтелекту в поєднанні з підтвердженням нульових знань ви можете отримати надійний інструмент довіри до моделей ШІ.
Доказ із нульовим знанням може бути інтерактивним, тобто перевіряльник має довести достовірність даних один раз кожному верифікатору; він також може бути неінтерактивним, тобто перевіряльник створює доказ, і кожен, хто використовує цей доказ, може бути перевіреним.
Нульове знання поділяється на доказ і перевірку.Взагалі кажучи, доказ є квазілінійним, тобто перевірка є T*log(T).
Якщо припустити, що час верифікації є квадратом логарифма кількості транзакцій, то час верифікації машини для блоку з 10 000 транзакцій дорівнює
VTime = ( )2 ~ (13.2)2 ~ 177 мс; тепер збільште розмір блоку в сто разів (до 1 мільйона передачі/блок), новий час роботи валідатора VTime = (log2 1000000)2 ~ 202 ~ 400 мс. Таким чином, ми бачимо його супер масштабованість, тому, теоретично, tps може досягати необмеженого значення.
**Перевірка дуже швидка, і вся складність полягає в частині генерації доказів. **Поки швидкість генерування доказів може підтримуватися, перевірка в мережі дуже проста. Зараз існує багато реалізацій доказів із нульовим знанням, таких як zk-SNARKS, zk-STARKS, PLONK і Bulletproofs. Кожен метод має свої переваги та недоліки щодо розміру перевірки, часу перевірки та часу перевірки.
Чим складніший і масштабніший доказ нульового знання, тим вища продуктивність і менший час, необхідний для перевірки. Як показано на малюнку нижче, STARK і Bulletproofs не вимагають надійних налаштувань. Оскільки обсяг даних транзакцій зростає від 1TX до 10 000TX, розмір останнього доказу збільшується ще менше. Перевага Bulletproofs полягає в тому, що розмір доказу є логарифмічним перетворенням (навіть якщо f і x великі), можна зберігати доказ у блоці, але обчислювальна складність його перевірки є лінійною. Можна побачити, що різні алгоритми мають багато ключових моментів, які потрібно зважити, і також є багато можливостей для оновлення. Однак у фактичному процесі роботи складність генерації доказів набагато більша, ніж уявляєте. Тому галузь є зараз займається вирішенням проблеми створення доказів.
Хоча розробки технології з нульовим знанням недостатньо, щоб відповідати масштабу великої мовної моделі (LLM), її технічна реалізація має надихаючі сценарії застосування. Особливо в розробці штучного інтелекту двосічний меч, доказ нульового знання забезпечує надійне рішення для довіри ШІ.
3.2． Машинне навчання з нульовим знанням (ZKML): ненадійний ШІ
В епоху, коли контент, створений штучним інтелектом, стає все ближчим і ближчим до контенту, створеного людьми, технічні характеристики секретних доказів із нульовим знанням можуть допомогти нам визначити, що конкретний контент створено шляхом застосування певної моделі. Для захисту конфіденційності особливо важлива технологія підтвердження з нульовим знанням, тобто підтвердження та перевірка можуть бути завершені без розкриття введених користувачем даних або конкретних деталей моделі. Беручи до уваги цілісність обчислень, евристичну оптимізацію та конфіденційність, поєднання доказів з нульовим знанням та ШІ з’явилося машинне навчання з нульовим знанням (Zero-Knowledge Machine Learning, ZKML).
Ось п’ять способів застосування доказів із нульовим знанням до машинного навчання. На додаток до базових функцій, таких як обчислювальна цілісність, цілісність моделі та конфіденційність користувача, машинне навчання з нульовим знанням також може забезпечити розподілене навчання — це сприятиме інтеграції штучного інтелекту та блокчейну, а також ідентифікації людей у джунглях штучного інтелекту. (Цю частину можна знайти в нашому звіті «Бачення засновника OpenAI Web3: Worldcoin створює цифровий паспорт AI»).
Попит на обчислювальну потужність великої моделі штучного інтелекту очевидний для всіх. У цей час, завдяки вкрапленню доказів ZK у додатки штучного інтелекту, висуваються нові вимоги до обчислювальної потужності апаратного забезпечення. Сучасний рівень техніки для систем з нульовим знанням у поєднанні з високопродуктивним апаратним забезпеченням все ще не може підтвердити нічого настільки великого, як великі мовні моделі (LLM), які зараз доступні, але певний прогрес був досягнутий у створенні доказів для менших моделей. За словами команди Modulus Labs, існуюча система перевірки ZK була перевірена на різних моделях різних розмірів. Системи перевірки, такі як plonky2, можуть працювати приблизно за 50 секунд на потужній машині AWS для створення перевірок для моделей із масштабом приблизно 18 мільйонів параметрів.
З точки зору апаратного забезпечення, поточні варіанти апаратного забезпечення для технології ZK включають GPU, FPGA або ASIC. Слід зазначити, що підтвердження з нульовим знанням все ще знаходиться на ранній стадії розробки, стандартизації ще мало, а алгоритм постійно оновлюється та змінюється. Кожен алгоритм має свої особливості та підходить для різного обладнання, і кожен алгоритм буде певною мірою вдосконалюватись у міру розвитку проекту, тому важко конкретно оцінити, який алгоритм найкращий.
Слід зазначити, що з точки зору поєднання великих моделей ZK і AI немає чітких досліджень щодо оцінки існуючих апаратних систем, тому все ще існують великі змінні та потенціали з точки зору майбутніх вимог до апаратного забезпечення.
Функція рекомендацій Twitter «Для вас» використовує алгоритм рекомендацій штучного інтелекту, щоб уточнити приблизно 500 мільйонів твітів, що публікуються щодня, у кілька популярних твітів, які зрештою відображаються на часовій шкалі «Для вас» на домашній сторінці користувача. Рекомендація витягує приховану інформацію з даних твітів, користувачів і взаємодії, щоб мати можливість надавати більш релевантні рекомендації. Наприкінці березня 2023 року Twitter відкрив вихідний код алгоритму, який вибирає та ранжує публікації на часовій шкалі для функції рекомендацій «Для вас». Процес рекомендації виглядає приблизно так:
Створюйте характеристики поведінки користувачів на основі взаємодії між користувачами та веб-сайтом і отримуйте найкращі твіти з різних джерел рекомендацій;
Використовуйте модель алгоритму ШІ для ранжування кожного твіту;
Застосуйте евристичні методи та фільтри, наприклад відфільтруйте твіти, які користувачі заблокували, і твіти, які вони бачили, тощо.
Основним модулем алгоритму рекомендацій є служба, відповідальна за створення та надання хронології для вас – Home Mixer. Сервіс діє як алгоритмічна основа, що з’єднує різні джерела-кандидати, функції скорингу, евристики та фільтри.
Функція рекомендацій «Для вас» передбачає та оцінює релевантність кожного твіту кандидата на основі приблизно 1500 потенційно релевантних рекомендацій кандидатів. На офіційному веб-сайті Twitter сказано, що на цьому етапі всі твіти кандидатів розглядаються однаково. Основний рейтинг досягається за допомогою нейронної мережі з приблизно 48 мільйонами параметрів, яка постійно навчається взаємодії з твітами для оптимізації. Цей механізм ранжирування враховує тисячі функцій і видає десять або близько того міток для оцінки кожного твіту, де кожна мітка представляє ймовірність залучення, а потім ранжує твіти на основі цих балів.
Незважаючи на те, що це важливий крок до прозорості алгоритму рекомендацій Twitter, користувачі все ще не можуть перевірити, чи алгоритм працює точно та повністю. Однією з головних причин є деталі конкретної ваги в моделі алгоритму, яка використовується для ранжування твітів для захисту конфіденційності користувачів. Причина не було оприлюднено. Тому прозорість алгоритму все ще викликає сумніви.
Використовуючи технологію ZKML (Zero-Knowledge Machine Learning), Twitter може підтвердити, чи точні та повні дані про вагу моделі алгоритму (чи модель та її параметри «рівні для різних користувачів»), що забезпечує захист конфіденційності моделі алгоритму та гарний баланс між прозорістю.
Розробник спільноти Деніел Канг та інші використовують криптографічні інструменти ZK-SNARKs, щоб перевірити, чи алгоритм рекомендацій Twitter є правильним і працює повністю, не розкриваючи деталей алгоритму – це найпривабливіша точка доказу нульового знання, тобто не розкриває жодної конкретної інформації про об'єкт Довести достовірність інформації на підставі інформації (нульове знання). В ідеалі Twitter міг би використовувати ZK-SNARKS для публікації доказів своєї моделі рейтингу — доказів того, що коли модель застосовується до конкретних користувачів і твітів, вона дає конкретне кінцеве рейтингування. Цей доказ є основою достовірності моделі: користувачі можуть переконатися, що обчислення алгоритму шаблону виконується так, як було обіцяно, або надати його третій стороні для перевірки. Це все зроблено без розкриття деталей ваг параметрів моделі. Тобто, використовуючи офіційно оголошений доказ моделі, користувач використовує доказ, щоб переконатися, що конкретний твіт працює чесно, як обіцяє модель для конкретних сумнівних твітів.
Припустімо, користувач вважає часову шкалу функції рекомендації «Для вас» сумнівною, вважаючи, що певні твіти мають бути вищими (або нижчими). Якщо Twitter зможе запустити функцію підтвердження ZKML, користувачі зможуть використовувати офіційне підтвердження, щоб перевірити рейтинг підозрюваного твіту порівняно з іншими твітами на часовій шкалі (розрахований бал відповідає рейтингу). Оцінки, які не збігаються, вказують на те, що алгоритмічна модель для цих конкретних твітів не працював чесно (деякі параметри були штучно змінені). Можна зрозуміти, що хоча офіційна особа не оголошує конкретних деталей моделі, вона дає чарівну паличку (доказ моделі) відповідно до моделі.Однак приватні деталі моделі не можна відновити. Таким чином, деталі офіційної моделі перевіряються, але конфіденційність деталей зберігається.
З точки зору моделі, захищаючи конфіденційність моделі, використання технології ZKML все ще може змусити модель отримати аудит і довіру користувачів.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Як довіряти ШІ: які ідеї пропонує машинне навчання з нульовим знанням (ZKML).
Резюме
**Оскільки штучний інтелект розвивається з неймовірною швидкістю, це неминуче викличе занепокоєння щодо іншої «леза» меча ШІ — довіри. **По-перше, це конфіденційність: як люди можуть довіряти ШІ в епоху ШІ з точки зору конфіденційності даних? Можливо, прозорість моделі штучного інтелекту є ключем до занепокоєння: здатність виникати як великомасштабна мовна модель дорівнює непроникній технологічній «чорній скриньці» для людей, і звичайні користувачі не можуть зрозуміти, як працює модель і Результати операції І як це отримати - що ще більше клопітно, це те, що як користувач ви можете не знати, чи модель AI, надана постачальником послуг, працює, як обіцяно. Особливо під час застосування алгоритмів і моделей штучного інтелекту до деяких конфіденційних даних, таких як медичні, фінансові, Інтернет-додатки тощо, незалежно від того, чи є модель штучного інтелекту упередженою (або навіть зловмисно орієнтованою), чи постачальник послуг запускає модель (і пов’язані параметри) точно, як і було обіцяно, стало найбільшою проблемою для користувачів. Технологія підтвердження нульових знань має цільове рішення в цьому відношенні, тому машинне навчання з нульовими знаннями (ZKML) стало останнім напрямком розвитку.
**Комп’ютерне навчання з нульовим знанням (Zero-Knowledge Machine Learning, ZKML) з’явилося завдяки всебічному розгляду цілісності обчислень, евристичної оптимізації та конфіденційності, поєднання доказів нульового знання та ШІ. **В епоху, коли контент, створений штучним інтелектом, стає все ближчим і ближчим до контенту, створеного людьми, технічні характеристики секретного доказу з нульовим знанням можуть допомогти нам визначити, що конкретний контент створено за допомогою певної моделі. Для захисту конфіденційності особливо важлива технологія підтвердження з нульовим знанням, тобто підтвердження та перевірка можуть бути завершені без розкриття введених користувачем даних або конкретних деталей моделі.
**П’ять способів застосування доказів нульового знання до машинного навчання: обчислювальна цілісність, цілісність моделі, перевірка, розподілене навчання та автентифікація. **Останній швидкий розвиток великомасштабних мовних моделей (LLM) показує, що ці моделі стають дедалі розумнішими, і ці моделі завершують важливий інтерфейс між алгоритмами та людьми: мову. Тенденцію загального штучного інтелекту (AGI) уже неможливо зупинити, але, судячи з поточних результатів навчання моделі, ШІ може ідеально імітувати людей із високими можливостями в цифрових взаємодіях — і перевершити людей із неймовірною швидкістю у стрімкій еволюції. Рівень людських істот має дивуватися цій швидкості еволюції та навіть хвилюватися про швидку заміну ШІ.
**Розробники спільноти використовують ZKML для перевірки функції рекомендацій Twitter, що є корисним. **Функція рекомендацій Twitter «Для вас» використовує алгоритм рекомендацій штучного інтелекту, щоб розділити приблизно 500 мільйонів твітів, що публікуються щодня, у декілька популярних твітів, які зрештою відображаються на часовій шкалі домашньої сторінки користувача. Наприкінці березня 2023 року Twitter відкрив вихідний код алгоритму, але оскільки деталі моделі не були оприлюднені, користувачі досі не можуть перевірити, чи алгоритм працює точно та повністю. Розробник спільноти Даніель Канг та інші використовують криптографічні інструменти ZK-SNARKs, щоб перевірити, чи алгоритм рекомендацій Twitter є правильним і працює повністю, не розкриваючи деталей алгоритму – це найпривабливіша точка доказу нульового знання, тобто не розкриває жодної конкретної інформації про об'єкт Довести достовірність інформації на підставі інформації (нульове знання). В ідеалі Twitter міг би використовувати ZK-SNARKS для публікації доказів своєї моделі рейтингу — доказів того, що, коли модель застосовується до конкретних користувачів і твітів, вона створює конкретне кінцеве рейтингування. Ця атестація є основою надійності моделі: користувачі можуть переконатися, що обчислення алгоритму шаблону виконується так, як було обіцяно, або надати його третій стороні для перевірки. Це все зроблено без розкриття деталей ваг параметрів моделі. Тобто, використовуючи офіційно оголошений доказ моделі, користувач використовує доказ, щоб переконатися, що конкретний твіт працює чесно, як обіцяє модель для конкретних сумнівних твітів.
1. Основні ідеї
Оскільки штучний інтелект розвивається з неймовірною швидкістю, це неминуче викличе занепокоєння щодо іншого «леза» меча штучного інтелекту – довіри. По-перше, це конфіденційність: як люди можуть довіряти ШІ з точки зору конфіденційності в епоху ШІ? Можливо, прозорість моделі штучного інтелекту є ключем до занепокоєння: здатність виникати як великомасштабна мовна модель дорівнює непроникній технологічній «чорній скриньці» для людей, і звичайні користувачі не можуть зрозуміти, як працює модель і результати операції І як це отримати (сама модель сповнена незрозумілих або передбачуваних можливостей) - що більше клопітно, це те, що як користувач, ви можете не знати, чи модель ШІ, надана постачальником послуг, працює, як обіцяно . Особливо під час застосування алгоритмів і моделей штучного інтелекту до деяких конфіденційних даних, таких як медичне обслуговування, фінанси, Інтернет-додатки тощо, незалежно від того, чи є модель штучного інтелекту упередженою (або навіть зловмисно орієнтованою), чи постачальник послуг запускає модель (і пов’язані параметри), як і було обіцяно, стала найбільшою проблемою для користувачів.
Технологія підтвердження нульових знань має цільове рішення в цьому відношенні, тому машинне навчання з нульовими знаннями (ZKML) стало останнім напрямком розвитку. У цьому документі обговорюються характеристики технології ZKML, можливі сценарії застосування та деякі надихаючі випадки, а також проводиться дослідження та розробка напрямку розвитку ZKML та його можливого впливу на промисловість.
**2. «Друге вістря» меча AI: як довіряти AI? **
Можливості штучного інтелекту швидко наближаються до людських і вже перевершили людей у багатьох нішових сферах. Недавній швидкий розвиток великих мовних моделей (LLM) свідчить про те, що ці моделі стають все більш інтелектуальними, і ці моделі вдосконалюють важливий інтерфейс між алгоритмами та людьми: мову. Тенденцію загального штучного інтелекту (AGI) уже неможливо зупинити, але, судячи з поточних результатів навчання моделі, ШІ може ідеально імітувати людей з високими можливостями в цифровій взаємодії — і перевершити людей з неймовірною швидкістю на рівні швидкої еволюції. Останнім часом мовна модель досягла значного прогресу. Продукти, представлені ChatGPT, продемонстрували неймовірні результати, охоплюючи понад 20% людських можливостей у більшості звичайних оцінок. Якщо порівнювати GPT-3.5 і GPT-4, між якими лише кілька місяців, роблячи людей треба дивуватися цій еволюційній швидкості. Але з іншого боку – занепокоєння щодо втрати контролю над можливостями ШІ.
**По-перше, це аспект конфіденційності. **В епоху штучного інтелекту з розвитком таких технологій, як розпізнавання облич, користувачі завжди стурбовані ризиком витоку даних під час використання послуг штучного інтелекту. Це створило певні перешкоди для просування та розвитку ШІ – як довіряти ШІ з точки зору конфіденційності?
**Можливо, прозорість моделей AI є ключем до більшого занепокоєння. **Можливість створювати подібні до великомасштабних мовних моделей дорівнює непроникній технологічній «чорній скриньці» для людей. Звичайні користувачі не можуть зрозуміти, як працює модель і як отримуються результати (сама модель сповнена можливостей, які важко зрозуміти або передбачити) - більше проблем, оскільки користувач може не знати, чи модель ШІ, надана постачальником послуг, працює, як обіцяно. Особливо під час застосування алгоритмів і моделей штучного інтелекту до деяких конфіденційних даних, таких як медичне обслуговування, фінанси, Інтернет-додатки тощо, незалежно від того, чи є модель штучного інтелекту упередженою (або навіть зловмисно орієнтованою), чи постачальник послуг запускає модель (і пов’язані параметри), як і було обіцяно, стала найбільшою проблемою для користувачів. Наприклад, чи дає платформа соціальних додатків відповідні рекомендації за алгоритмом «рівного ставлення»? Чи рекомендації алгоритму AI постачальника фінансових послуг такі точні та повні, як обіцяно? Чи є непотрібне споживання в плані медичних послуг, рекомендованому ШІ? Чи приймають постачальники послуг аудит моделей ШІ?
Простіше кажучи, з одного боку, користувачі не знають реальної ситуації моделі штучного інтелекту, наданої постачальником послуг, але в той же час вони дуже стурбовані тим, щоб модель не була «дискримінаційною». вважаються такими, що включають деякі упереджені чи інші орієнтовані фактори, які призведуть до невідомих користувачам збитків або негативного впливу.
З іншого боку, швидкість саморозвитку штучного інтелекту стає дедалі непередбачуванішою, а все більш потужна модель алгоритму штучного інтелекту все більше виходить за межі контролю з боку людини**, тому питання довіри стало ще одним. «Лісто» гострого меча ШІ». **
Необхідно встановити довіру користувачів до ШІ з точки зору конфіденційності даних, прозорості моделі та керованості моделі. Користувачам потрібно хвилюватися про захист конфіденційності та про те, чи модель алгоритму працює точно та повністю, як обіцяно; однак це непросте завдання. Що стосується прозорості моделі, постачальники моделі мають занепокоєння щодо аудиту моделі та нагляду на основі комерційної таємниці та інших перспективи; З іншого боку, еволюцію самої моделі алгоритму непросто контролювати, і цю неконтрольованість також потрібно враховувати.
З точки зору захисту конфіденційності даних користувачів ми також провели багато досліджень у наших попередніх звітах, таких як «AI and Data Elements Driven by Web3.0: Openness, Security and Privacy». Деякі програми Web3.0 дуже надихають у зв’язку з цим — — Тобто навчання моделі AI здійснюється за умови повного підтвердження даних користувача та захисту конфіденційності даних.
Проте нинішній ринок переповнений приголомшливою продуктивністю великих моделей, таких як Chatgpt, і не враховує проблеми конфіденційності самої моделі, проблеми довіри до моделі, спричинені еволюцією «нових» характеристик алгоритму (і довіра, викликана неконтрольованістю), але на іншому рівні користувачі завжди скептично ставилися до точної, повної та чесної роботи так званої алгоритмічної моделі. Тому питання довіри до штучного інтелекту має вирішуватися з трьох рівнів користувачів, постачальників послуг і неконтрольованості моделі.
3. ZKML: поєднання доказів нульового знання та ШІ приносить довіру
3.1． Доказ нульового знання: zk-SNARKS, zk-STARK та інші технології розвиваються
Доказ нульового знання (Zero Knowledge Proof, ZKP) був вперше запропонований Шафі Голдвассером і Сільвіо Мікалі з Массачусетського технологічного інституту в статті під назвою «Складність знань інтерактивних систем доказу» в 1985 році. Автор згадав у статті, що прувер може переконати верифікатора в достовірності даних, не розкриваючи конкретних даних. Публічна функція f(x) і вихідне значення y функції. Аліса каже Бобу, що вона знає значення x, але Боб цьому не вірить. Для цього Аліса використовує алгоритм доказу з нульовим знанням, щоб створити доказ. Боб перевіряє цей доказ, щоб підтвердити, чи дійсно Аліса знає x, що задовольняє функцію f.
Наприклад, використовуючи підтвердження з нульовим знанням, вам не потрібно знати результати тесту Сяоміна, але ви можете знати, чи відповідають його результати вимогам користувача, наприклад, чи є він успішним, чи правильна швидкість заповнення пропусків перевищує 60% і так далі. У сфері штучного інтелекту в поєднанні з підтвердженням нульових знань ви можете отримати надійний інструмент довіри до моделей ШІ.
Доказ із нульовим знанням може бути інтерактивним, тобто перевіряльник має довести достовірність даних один раз кожному верифікатору; він також може бути неінтерактивним, тобто перевіряльник створює доказ, і кожен, хто використовує цей доказ, може бути перевіреним.
Нульове знання поділяється на доказ і перевірку.Взагалі кажучи, доказ є квазілінійним, тобто перевірка є T*log(T).
Якщо припустити, що час верифікації є квадратом логарифма кількості транзакцій, то час верифікації машини для блоку з 10 000 транзакцій дорівнює
VTime = ( )2 ~ (13.2)2 ~ 177 мс; тепер збільште розмір блоку в сто разів (до 1 мільйона передачі/блок), новий час роботи валідатора VTime = (log2 1000000)2 ~ 202 ~ 400 мс. Таким чином, ми бачимо його супер масштабованість, тому, теоретично, tps може досягати необмеженого значення.
**Перевірка дуже швидка, і вся складність полягає в частині генерації доказів. **Поки швидкість генерування доказів може підтримуватися, перевірка в мережі дуже проста. Зараз існує багато реалізацій доказів із нульовим знанням, таких як zk-SNARKS, zk-STARKS, PLONK і Bulletproofs. Кожен метод має свої переваги та недоліки щодо розміру перевірки, часу перевірки та часу перевірки.
Чим складніший і масштабніший доказ нульового знання, тим вища продуктивність і менший час, необхідний для перевірки. Як показано на малюнку нижче, STARK і Bulletproofs не вимагають надійних налаштувань. Оскільки обсяг даних транзакцій зростає від 1TX до 10 000TX, розмір останнього доказу збільшується ще менше. Перевага Bulletproofs полягає в тому, що розмір доказу є логарифмічним перетворенням (навіть якщо f і x великі), можна зберігати доказ у блоці, але обчислювальна складність його перевірки є лінійною. Можна побачити, що різні алгоритми мають багато ключових моментів, які потрібно зважити, і також є багато можливостей для оновлення. Однак у фактичному процесі роботи складність генерації доказів набагато більша, ніж уявляєте. Тому галузь є зараз займається вирішенням проблеми створення доказів.
Хоча розробки технології з нульовим знанням недостатньо, щоб відповідати масштабу великої мовної моделі (LLM), її технічна реалізація має надихаючі сценарії застосування. Особливо в розробці штучного інтелекту двосічний меч, доказ нульового знання забезпечує надійне рішення для довіри ШІ.
3.2． Машинне навчання з нульовим знанням (ZKML): ненадійний ШІ
В епоху, коли контент, створений штучним інтелектом, стає все ближчим і ближчим до контенту, створеного людьми, технічні характеристики секретних доказів із нульовим знанням можуть допомогти нам визначити, що конкретний контент створено шляхом застосування певної моделі. Для захисту конфіденційності особливо важлива технологія підтвердження з нульовим знанням, тобто підтвердження та перевірка можуть бути завершені без розкриття введених користувачем даних або конкретних деталей моделі. Беручи до уваги цілісність обчислень, евристичну оптимізацію та конфіденційність, поєднання доказів з нульовим знанням та ШІ з’явилося машинне навчання з нульовим знанням (Zero-Knowledge Machine Learning, ZKML).
Ось п’ять способів застосування доказів із нульовим знанням до машинного навчання. На додаток до базових функцій, таких як обчислювальна цілісність, цілісність моделі та конфіденційність користувача, машинне навчання з нульовим знанням також може забезпечити розподілене навчання — це сприятиме інтеграції штучного інтелекту та блокчейну, а також ідентифікації людей у джунглях штучного інтелекту. (Цю частину можна знайти в нашому звіті «Бачення засновника OpenAI Web3: Worldcoin створює цифровий паспорт AI»).
Попит на обчислювальну потужність великої моделі штучного інтелекту очевидний для всіх. У цей час, завдяки вкрапленню доказів ZK у додатки штучного інтелекту, висуваються нові вимоги до обчислювальної потужності апаратного забезпечення. Сучасний рівень техніки для систем з нульовим знанням у поєднанні з високопродуктивним апаратним забезпеченням все ще не може підтвердити нічого настільки великого, як великі мовні моделі (LLM), які зараз доступні, але певний прогрес був досягнутий у створенні доказів для менших моделей. За словами команди Modulus Labs, існуюча система перевірки ZK була перевірена на різних моделях різних розмірів. Системи перевірки, такі як plonky2, можуть працювати приблизно за 50 секунд на потужній машині AWS для створення перевірок для моделей із масштабом приблизно 18 мільйонів параметрів.
З точки зору апаратного забезпечення, поточні варіанти апаратного забезпечення для технології ZK включають GPU, FPGA або ASIC. Слід зазначити, що підтвердження з нульовим знанням все ще знаходиться на ранній стадії розробки, стандартизації ще мало, а алгоритм постійно оновлюється та змінюється. Кожен алгоритм має свої особливості та підходить для різного обладнання, і кожен алгоритм буде певною мірою вдосконалюватись у міру розвитку проекту, тому важко конкретно оцінити, який алгоритм найкращий.
Слід зазначити, що з точки зору поєднання великих моделей ZK і AI немає чітких досліджень щодо оцінки існуючих апаратних систем, тому все ще існують великі змінні та потенціали з точки зору майбутніх вимог до апаратного забезпечення.
3.3． Надихаючий випадок: Перевірка алгоритму рейтингу рекомендацій Twitter
Функція рекомендацій Twitter «Для вас» використовує алгоритм рекомендацій штучного інтелекту, щоб уточнити приблизно 500 мільйонів твітів, що публікуються щодня, у кілька популярних твітів, які зрештою відображаються на часовій шкалі «Для вас» на домашній сторінці користувача. Рекомендація витягує приховану інформацію з даних твітів, користувачів і взаємодії, щоб мати можливість надавати більш релевантні рекомендації. Наприкінці березня 2023 року Twitter відкрив вихідний код алгоритму, який вибирає та ранжує публікації на часовій шкалі для функції рекомендацій «Для вас». Процес рекомендації виглядає приблизно так:
Створюйте характеристики поведінки користувачів на основі взаємодії між користувачами та веб-сайтом і отримуйте найкращі твіти з різних джерел рекомендацій;
Використовуйте модель алгоритму ШІ для ранжування кожного твіту;
Застосуйте евристичні методи та фільтри, наприклад відфільтруйте твіти, які користувачі заблокували, і твіти, які вони бачили, тощо.
Основним модулем алгоритму рекомендацій є служба, відповідальна за створення та надання хронології для вас – Home Mixer. Сервіс діє як алгоритмічна основа, що з’єднує різні джерела-кандидати, функції скорингу, евристики та фільтри.
Функція рекомендацій «Для вас» передбачає та оцінює релевантність кожного твіту кандидата на основі приблизно 1500 потенційно релевантних рекомендацій кандидатів. На офіційному веб-сайті Twitter сказано, що на цьому етапі всі твіти кандидатів розглядаються однаково. Основний рейтинг досягається за допомогою нейронної мережі з приблизно 48 мільйонами параметрів, яка постійно навчається взаємодії з твітами для оптимізації. Цей механізм ранжирування враховує тисячі функцій і видає десять або близько того міток для оцінки кожного твіту, де кожна мітка представляє ймовірність залучення, а потім ранжує твіти на основі цих балів.
Незважаючи на те, що це важливий крок до прозорості алгоритму рекомендацій Twitter, користувачі все ще не можуть перевірити, чи алгоритм працює точно та повністю. Однією з головних причин є деталі конкретної ваги в моделі алгоритму, яка використовується для ранжування твітів для захисту конфіденційності користувачів. Причина не було оприлюднено. Тому прозорість алгоритму все ще викликає сумніви.
Використовуючи технологію ZKML (Zero-Knowledge Machine Learning), Twitter може підтвердити, чи точні та повні дані про вагу моделі алгоритму (чи модель та її параметри «рівні для різних користувачів»), що забезпечує захист конфіденційності моделі алгоритму та гарний баланс між прозорістю.
Розробник спільноти Деніел Канг та інші використовують криптографічні інструменти ZK-SNARKs, щоб перевірити, чи алгоритм рекомендацій Twitter є правильним і працює повністю, не розкриваючи деталей алгоритму – це найпривабливіша точка доказу нульового знання, тобто не розкриває жодної конкретної інформації про об'єкт Довести достовірність інформації на підставі інформації (нульове знання). В ідеалі Twitter міг би використовувати ZK-SNARKS для публікації доказів своєї моделі рейтингу — доказів того, що коли модель застосовується до конкретних користувачів і твітів, вона дає конкретне кінцеве рейтингування. Цей доказ є основою достовірності моделі: користувачі можуть переконатися, що обчислення алгоритму шаблону виконується так, як було обіцяно, або надати його третій стороні для перевірки. Це все зроблено без розкриття деталей ваг параметрів моделі. Тобто, використовуючи офіційно оголошений доказ моделі, користувач використовує доказ, щоб переконатися, що конкретний твіт працює чесно, як обіцяє модель для конкретних сумнівних твітів.
Припустімо, користувач вважає часову шкалу функції рекомендації «Для вас» сумнівною, вважаючи, що певні твіти мають бути вищими (або нижчими). Якщо Twitter зможе запустити функцію підтвердження ZKML, користувачі зможуть використовувати офіційне підтвердження, щоб перевірити рейтинг підозрюваного твіту порівняно з іншими твітами на часовій шкалі (розрахований бал відповідає рейтингу). Оцінки, які не збігаються, вказують на те, що алгоритмічна модель для цих конкретних твітів не працював чесно (деякі параметри були штучно змінені). Можна зрозуміти, що хоча офіційна особа не оголошує конкретних деталей моделі, вона дає чарівну паличку (доказ моделі) відповідно до моделі.Однак приватні деталі моделі не можна відновити. Таким чином, деталі офіційної моделі перевіряються, але конфіденційність деталей зберігається.
З точки зору моделі, захищаючи конфіденційність моделі, використання технології ZKML все ще може змусити модель отримати аудит і довіру користувачів.