**Поскольку ИИ развивается с невообразимой скоростью, это неизбежно вызовет опасения по поводу другого «лезвия» меча ИИ — доверия. ** Во-первых, это конфиденциальность: как в эпоху ИИ люди могут доверять ИИ с точки зрения конфиденциальности данных? Возможно, ключом к беспокойству является прозрачность модели ИИ: способность возникать как крупномасштабная языковая модель равносильна непроницаемому технологическому «черному ящику» для человека, и обычные пользователи не могут понять, как работает модель и как она работает. результаты операции И как их получить - что более хлопотно, так это то, что как пользователь вы можете не знать, работает ли модель ИИ, предоставленная поставщиком услуг, как обещано. Особенно при применении алгоритмов и моделей ИИ к некоторым конфиденциальным данным, таким как медицинские, финансовые, интернет-приложения и т. д., независимо от того, является ли модель ИИ предвзятой (или даже злонамеренной) или поставщик услуг запускает модель (и связанные с ней параметры) точно, как и было обещано, стала самой волнующей проблемой для пользователей. Технология доказательства с нулевым разглашением имеет в этом отношении целевое решение, поэтому машинное обучение с нулевым разглашением (ZKML) стало последним направлением развития.
**Появилось всестороннее рассмотрение целостности вычислений, эвристической оптимизации и конфиденциальности, сочетание доказательства с нулевым разглашением и ИИ, машинного обучения с нулевым разглашением (ZKML). **В эпоху, когда контент, создаваемый искусственным интеллектом, становится все ближе и ближе к контенту, создаваемому людьми, технические характеристики секретного доказательства с нулевым разглашением могут помочь нам определить, что конкретный контент создается с помощью определенной модели. Для защиты конфиденциальности особенно важна технология доказательства с нулевым разглашением, то есть доказательство и проверка могут быть выполнены без раскрытия ввода пользовательских данных или конкретных деталей модели.
** Пять способов применения доказательств с нулевым разглашением к машинному обучению: целостность вычислений, целостность модели, проверка, распределенное обучение и аутентификация. ** Недавнее быстрое развитие крупномасштабных языковых моделей (LLM) показывает, что эти модели становятся все более и более интеллектуальными, и эти модели дополняют важный интерфейс между алгоритмами и людьми: язык. Тенденцию общего искусственного интеллекта (ИИА) уже невозможно остановить, но, судя по текущим результатам обучения модели, ИИ может прекрасно имитировать людей с большими возможностями в цифровых взаимодействиях и превосходить людей с невообразимой скоростью в быстрой эволюции. восхищаться такой скоростью эволюции и даже беспокоиться о том, что их быстро заменит ИИ.
**Разработчики сообщества используют ZKML для проверки функции рекомендаций Twitter, что является поучительным. ** Функция рекомендаций Twitter «Для вас» использует алгоритм рекомендаций ИИ, чтобы разделить примерно 500 миллионов твитов, публикуемых каждый день, на несколько популярных твитов, которые в конечном итоге отображаются на временной шкале домашней страницы пользователя. В конце марта 2023 года Twitter открыл исходный код алгоритма, но, поскольку детали модели не были обнародованы, пользователи по-прежнему не могут проверить, работает ли алгоритм точно и полностью. Разработчик сообщества Дэниел Канг и другие используют криптографические инструменты ZK-SNARKs для проверки правильности алгоритма рекомендаций Twitter и его полной работы без раскрытия деталей алгоритма — это наиболее привлекательный момент доказательства с нулевым разглашением, то есть не раскрытия какой-либо конкретной информации о объект Доказать достоверность информации на основании информации (нулевое знание). В идеале Twitter мог бы использовать ZK-SNARKS для публикации доказательств своей модели ранжирования — доказательств того, что когда модель применяется к конкретным пользователям и твитам, она дает определенный окончательный выходной рейтинг. Это доказательство является основой надежности модели: пользователи могут убедиться, что расчет алгоритма шаблона выполняется так, как было обещано, или отправить его на аудит третьей стороне. Все это делается без раскрытия деталей весов параметров модели. То есть, используя официально объявленное доказательство модели, пользователь использует доказательство, чтобы убедиться, что конкретный твит работает честно, как обещано моделью для конкретных сомнительных твитов.
1. Основные идеи
Поскольку ИИ развивается с невообразимой скоростью, это неизбежно вызовет опасения по поводу другого «лезвия» меча ИИ — доверия. Во-первых, это конфиденциальность: как в эпоху ИИ люди могут доверять ИИ с точки зрения конфиденциальности? Возможно, ключом к беспокойству является прозрачность модели ИИ: способность возникать как крупномасштабная языковая модель равносильна непроницаемому технологическому «черному ящику» для человека, и обычные пользователи не могут понять, как работает модель и как она работает. результаты операции И как их получить (сама модель полна непонятных или предсказуемых возможностей) - что более хлопотно, так это то, что как пользователь вы можете не знать, работает ли модель ИИ, предоставленная поставщиком услуг, как обещано . Особенно при применении алгоритмов и моделей ИИ к некоторым конфиденциальным данным, таким как медицинское обслуживание, финансы, интернет-приложения и т. д., независимо от того, является ли модель ИИ предвзятой (или даже злонамеренной) или поставщик услуг запускает модель (и соответствующие параметры) точно, как и было обещано, стал наиболее тревожным вопросом для пользователей.
Технология доказательства с нулевым разглашением имеет в этом отношении целевое решение, поэтому машинное обучение с нулевым разглашением (ZKML) стало последним направлением развития. В этом документе обсуждаются характеристики технологии ZKML, потенциальные сценарии применения и некоторые вдохновляющие примеры, а также проводится исследование и разработка направления развития ZKML и его возможного влияния на промышленность.
**2. «Другое острие» меча ИИ: как доверять ИИ? **
Возможности искусственного интеллекта быстро приближаются к человеческим и уже превзошли людей во многих нишевых областях. Недавнее быстрое развитие больших языковых моделей (LLM) предполагает, что эти модели становятся все более интеллектуальными, и эти модели улучшают важный интерфейс между алгоритмами и людьми: язык. Тенденция общего искусственного интеллекта (AGI) уже не остановить, но, судя по текущим результатам обучения моделей, ИИ может идеально имитировать людей с большими возможностями в цифровых взаимодействиях и превосходить людей с невообразимой скоростью на уровне быстрой эволюции. В последнее время языковая модель значительно продвинулась вперед. Продукты, представленные ChatGPT, продемонстрировали удивительные результаты, достигнув более 20% человеческих возможностей в большинстве рутинных оценок. приходится удивляться такой скорости эволюции. Но с другой стороны — беспокойство по поводу потери контроля над возможностями ИИ.
** Во-первых, это аспект конфиденциальности. ** В эпоху ИИ, с развитием таких технологий, как распознавание лиц, пользователи всегда беспокоятся о риске утечки данных при использовании услуг ИИ. Это создало определенные препятствия для продвижения и развития ИИ — как доверять ИИ с точки зрения конфиденциальности?
**Возможно, прозрачность моделей ИИ является ключом к большему беспокойству. **Возможность появления подобных крупномасштабных языковых моделей равносильна непроницаемому технологическому «черному ящику» для человека.Обычные пользователи не могут понять, как работает модель и как получаются результаты (сама модель полна Способностей, которые трудно понять или предсказать) - более хлопотно, так как пользователь может не знать, работает ли модель ИИ, предоставляемая поставщиком услуг, как обещано. Особенно при применении алгоритмов и моделей ИИ к некоторым конфиденциальным данным, таким как медицинские, финансовые, интернет-приложения и т. д., независимо от того, является ли модель ИИ предвзятой (или даже злонамеренной) или поставщик услуг запускает модель (и связанные с ней параметры) точно, как и было обещано, стала самой волнующей проблемой для пользователей. Например, дает ли платформа социальных приложений соответствующие рекомендации по алгоритму «равного обращения»? Является ли рекомендация алгоритма ИИ поставщика финансовых услуг такой же точной и полной, как и было обещано? Есть ли ненужное потребление в плане медицинского обслуживания, рекомендованном AI? Принимают ли поставщики услуг аудит моделей ИИ?
Проще говоря, с одной стороны, пользователи не знают реального положения модели ИИ, предоставляемой поставщиком услуг, и в то же время очень обеспокоены тем, что модель не является «дискриминационной». считается включающим некоторые предвзятые или другие ориентированные факторы, которые принесут неизвестные пользователям потери или негативное влияние.
С другой стороны, скорость саморазвития ИИ кажется все более и более непредсказуемой, а все более мощная модель алгоритма ИИ кажется все более и более неподвластной человеческому контролю**, поэтому проблема доверия стала еще одной проблемой. «лезвие острого меча ИИ». **
Необходимо установить доверие пользователей к ИИ с точки зрения конфиденциальности данных, прозрачности модели и управляемости модели. Пользователи должны беспокоиться о защите конфиденциальности и о том, работает ли модель алгоритма точно и полностью, как было обещано, однако это непростая задача.Что касается прозрачности модели, у поставщиков моделей есть опасения по поводу аудита модели и контроля на основе коммерческой тайны и других данных. перспективы; с другой стороны, эволюцию самой модели алгоритма контролировать непросто, и эту неуправляемость тоже нужно учитывать.
С точки зрения защиты конфиденциальности пользовательских данных мы также провели много исследований в наших предыдущих отчетах, таких как «ИИ и элементы данных, управляемые Web3.0: открытость, безопасность и конфиденциальность». Некоторые приложения Web3.0 очень вдохновляют. в связи с этим — — То есть обучение модели ИИ осуществляется в условиях полного подтверждения данных пользователя и защиты конфиденциальности данных.
Тем не менее, текущий рынок перегружен ошеломляющей производительностью крупных моделей, таких как Chatgpt, и не учитывает вопросы конфиденциальности самой модели, проблемы доверия модели (и доверия, вызванного неконтролируемостью), вызванного эволюцией. «появляющихся» характеристик алгоритма. Но с другой стороны, пользователи всегда скептически относились к точной, полной и честной работе так называемой алгоритмической модели. Поэтому вопрос доверия к ИИ должен решаться с трех уровней пользователей, поставщиков услуг и неуправляемости модели.
3. ZKML: сочетание доказательства с нулевым разглашением и искусственного интеллекта обеспечивает доверие
3.1． Доказательство с нулевым разглашением: zk-SNARKS, zk-STARK и другие технологии развиваются
Доказательство с нулевым разглашением (доказательство с нулевым разглашением, ZKP) было впервые предложено Шафи Голдвассером из Массачусетского технологического института и Сильвио Микали в статье под названием «Сложность знаний интерактивных систем доказательства» в 1985 году. Автор упомянул в статье, что доказывающий может убедить проверяющего в подлинности данных, не раскрывая конкретных данных. Публичная функция f(x) и выходное значение y функции. Алиса сообщает Бобу, что она знает значение x, но Боб этому не верит. Для этого Алиса использует алгоритм доказательства с нулевым разглашением для создания доказательства. Боб проверяет это доказательство, чтобы подтвердить, действительно ли Алиса знает x, удовлетворяющий функции f.
Например, используя доказательство с нулевым разглашением, вам не нужно знать результаты теста Сяомина, но вы можете знать, соответствуют ли его оценки требованиям пользователя, например, является ли он пройденным, превышает ли правильная скорость заполнения пробелов. 60% и так далее. В области ИИ в сочетании с доказательством с нулевым разглашением у вас может быть надежный инструмент доверия для моделей ИИ.
Доказательство с нулевым разглашением может быть интерактивным, то есть доказывающий должен доказать подлинность данных один раз каждому проверяющему, а также может быть неинтерактивным, то есть доказывающий создает доказательство, и любой, кто использует это доказательство, может быть проверенным.
Нулевое знание делится на доказательство и проверку, вообще говоря, доказательство является квазилинейным, т. е. проверка есть T*log(T).
Если предположить, что время проверки равно квадрату логарифма числа транзакций, то время машинной проверки для блока из 10 000 транзакций равно
VTime = ( )2 ~ (13.2)2 ~ 177 мс, теперь увеличьте размер блока в сто раз (до 1 млн транзакций/блок), новое время работы валидатора VTime = (log2 1000000)2 ~ 202 ~ 400 мс. Поэтому мы можем видеть его сверхмасштабируемость, из-за чего теоретически tps может достигать неограниченных значений.
**Верификация проходит очень быстро, и вся сложность заключается в части генерации доказательств. ** До тех пор, пока скорость генерации доказательств может поддерживаться, проверка по цепочке очень проста. В настоящее время существует множество реализаций доказательств с нулевым разглашением, таких как zk-SNARKS, zk-STARKS, PLONK и Bulletproofs. Каждый метод имеет свои преимущества и недостатки с точки зрения размера доказательства, времени проверки и времени проверки.
Чем сложнее и масштабнее доказательство с нулевым разглашением, тем выше производительность и тем короче время, необходимое для проверки. Как показано на рисунке ниже, STARK и Bulletproofs не требуют доверенных настроек.По мере увеличения объема данных транзакций с 1TX до 10 000TX размер последнего доказательства увеличивается еще меньше. Преимущество Bulletproofs в том, что размер доказательства представляет собой логарифмическое преобразование (даже если f и x большие), есть возможность хранить доказательство в блоке, но вычислительная сложность его проверки линейна. Видно, что различные алгоритмы имеют много ключевых моментов, которые необходимо взвесить, а также есть много возможностей для модернизации.Однако в реальном процессе работы сложность генерации доказательств намного выше, чем можно себе представить.Поэтому отрасль теперь занимается решением проблемы генерирования пруфов.
Хотя разработки технологии доказательства с нулевым разглашением недостаточно, чтобы соответствовать масштабу большой языковой модели (LLM), ее техническая реализация имеет вдохновляющие сценарии применения. Особенно в разработке обоюдоострого меча ИИ доказательство с нулевым разглашением обеспечивает надежное решение для доверия ИИ.
3.2． Машинное обучение с нулевым разглашением (ZKML): ненадежный ИИ
В эпоху, когда контент, созданный искусственным интеллектом, становится все ближе и ближе к контенту, создаваемому людьми, технические характеристики секретных доказательств с нулевым разглашением могут помочь нам определить, что конкретный контент создается с применением определенной модели. Для защиты конфиденциальности особенно важна технология доказательства с нулевым разглашением, то есть доказательство и проверка могут быть выполнены без раскрытия ввода пользовательских данных или конкретных деталей модели. Учитывая целостность вычислений, эвристическую оптимизацию и конфиденциальность, появилось сочетание доказательства с нулевым разглашением и искусственного интеллекта, машинного обучения с нулевым разглашением (ZKML).
Вот пять способов применения доказательств с нулевым разглашением к машинному обучению. В дополнение к базовым функциям, таким как целостность вычислений, целостность модели и конфиденциальность пользователей, машинное обучение с нулевым разглашением также может обеспечить распределенное обучение — это будет способствовать интеграции ИИ и блокчейна, а также идентификации людей в джунглях ИИ. (Эту часть можно найти в нашем отчете «Видение Web3 основателя OpenAI: Worldcoin создает цифровой паспорт ИИ»).
Спрос на вычислительную мощность большой модели ИИ очевиден для всех.В настоящее время, вкрапляя доказательства ZK в приложения ИИ, предъявляются новые требования к аппаратным вычислительным мощностям. Текущее состояние систем с нулевым разглашением в сочетании с высокопроизводительным оборудованием по-прежнему не может доказать ничего столь же крупного, как доступные в настоящее время большие языковые модели (LLM), но некоторый прогресс был достигнут в создании доказательств для меньших моделей. По словам команды Modulus Labs, существующая система проверки ZK была протестирована на различных моделях разных размеров. Системы доказательств, такие как plonky2, могут работать примерно за 50 секунд на мощном компьютере AWS для создания доказательств для моделей с масштабом около 18 миллионов параметров.
Что касается аппаратного обеспечения, текущие варианты оборудования для технологии ZK включают GPU, FPGA или ASIC. Следует отметить, что доказательство с нулевым разглашением все еще находится на ранней стадии разработки, еще мало стандартизировано, а алгоритм постоянно обновляется и изменяется. Каждый алгоритм имеет свои особенности и подходит для разного оборудования, и каждый алгоритм будет улучшаться в определенной степени по мере необходимости развития проекта, поэтому трудно конкретно оценить, какой алгоритм является лучшим.
Следует отметить, что с точки зрения комбинации больших моделей ZK и AI нет четких исследований по оценке существующих аппаратных систем, поэтому все еще существуют большие переменные и потенциалы с точки зрения будущих требований к оборудованию.
Функция рекомендаций Twitter «Для вас» использует алгоритм рекомендаций ИИ для преобразования примерно 500 миллионов твитов, публикуемых каждый день, в несколько популярных твитов, которые, наконец, отображаются на временной шкале «Для вас» на домашней странице пользователя. Рекомендация извлекает скрытую информацию из твитов, данных о пользователях и взаимодействиях, чтобы иметь возможность предоставлять более актуальные рекомендации. В конце марта 2023 года Twitter открыл исходный код алгоритма, который выбирает и ранжирует сообщения на временной шкале для функции рекомендаций «Для вас». Процесс рекомендации примерно таков:
Создавайте особенности поведения пользователей на основе взаимодействия между пользователями и веб-сайтом и получайте лучшие твиты из разных источников рекомендаций;
Используйте модель алгоритма ИИ для ранжирования каждого твита;
Применять эвристики и фильтры, например, отфильтровывать твиты, которые пользователи заблокировали, и твиты, которые они видели, и т. д.
Основным модулем алгоритма рекомендаций является служба, отвечающая за построение и предоставление временной шкалы For You — Home Mixer. Сервис действует как алгоритмическая основа, соединяющая различные источники-кандидаты, функции оценки, эвристики и фильтры.
Функция рекомендаций «Для вас» прогнозирует и оценивает релевантность каждого твита-кандидата на основе примерно 1500 потенциально релевантных рекомендаций-кандидатов. На официальном сайте Twitter говорится, что на данном этапе все твиты-кандидаты рассматриваются одинаково. Основной рейтинг достигается с помощью нейронной сети, содержащей около 48 миллионов параметров, которая постоянно обучается взаимодействию с твитами для оптимизации. Этот механизм ранжирования учитывает тысячи функций и выдает около десяти меток для оценки каждого твита, где каждая метка представляет вероятность участия, а затем ранжирует твиты на основе этих оценок.
Несмотря на то, что это важный шаг к прозрачности алгоритма рекомендаций Twitter, пользователи по-прежнему не могут проверить, работает ли алгоритм точно и полностью. Одна из основных причин — детали с особым весом в модели алгоритма, используемой для ранжирования твитов для защиты конфиденциальности пользователей. не был обнародован. Поэтому прозрачность алгоритма пока вызывает сомнения.
Используя технологию ZKML (машинное обучение с нулевым разглашением), Twitter может доказать, являются ли детали веса модели алгоритма точными и полными (являются ли модель и ее параметры «равными для разных пользователей»), что обеспечивает защиту конфиденциальности модели алгоритма и хороший баланс между прозрачностью.
Разработчик сообщества Дэниел Канг и другие используют криптографические инструменты ZK-SNARKs для проверки правильности алгоритма рекомендаций Twitter и его полной работы без раскрытия деталей алгоритма — это наиболее привлекательный момент доказательства с нулевым разглашением, то есть не раскрытия какой-либо конкретной информации о объект Доказать достоверность информации на основании информации (нулевое знание). В идеале Twitter мог бы использовать ZK-SNARKS для публикации доказательств своей модели ранжирования — доказательств того, что когда модель применяется к конкретным пользователям и твитам, она дает определенный окончательный выходной рейтинг. Это доказательство является основой надежности модели: пользователи могут убедиться, что расчет алгоритма шаблона выполняется так, как было обещано, или отправить его на аудит третьей стороне. Все это делается без раскрытия деталей весов параметров модели. То есть, используя официально объявленное доказательство модели, пользователь использует доказательство, чтобы убедиться, что конкретный твит работает честно, как обещано моделью для конкретных сомнительных твитов.
Допустим, пользователь считает временную шкалу функции рекомендаций «Для вас» сомнительной, полагая, что определенные твиты должны иметь более высокий (или более низкий) рейтинг. Если Twitter сможет запустить функцию подтверждения ZKML, пользователи смогут использовать официальное подтверждение, чтобы проверить, как оценивается подозрительный твит по сравнению с другими твитами на временной шкале (рассчитанная оценка соответствует рейтингу). ибо именно эти твиты работали нечестно (были искусственно изменены некоторые параметры). Можно понять, что хотя официальный представитель не объявляет конкретных деталей модели, но в соответствии с моделью дается волшебная палочка (доказательство, сгенерированное моделью).Любой твит с использованием этой волшебной палочки может отображать соответствующий рейтинговый балл - и по этой волшебной палочке Однако личные данные модели восстановить невозможно. Поэтому детали официальной модели проверяются, а конфиденциальность деталей сохраняется.
С точки зрения модели, защищая конфиденциальность модели, использование технологии ZKML все же может обеспечить проверку модели и доверие пользователей.
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Как доверять ИИ: какие идеи дает машинное обучение с нулевым разглашением (ZKML)
Краткое содержание
**Поскольку ИИ развивается с невообразимой скоростью, это неизбежно вызовет опасения по поводу другого «лезвия» меча ИИ — доверия. ** Во-первых, это конфиденциальность: как в эпоху ИИ люди могут доверять ИИ с точки зрения конфиденциальности данных? Возможно, ключом к беспокойству является прозрачность модели ИИ: способность возникать как крупномасштабная языковая модель равносильна непроницаемому технологическому «черному ящику» для человека, и обычные пользователи не могут понять, как работает модель и как она работает. результаты операции И как их получить - что более хлопотно, так это то, что как пользователь вы можете не знать, работает ли модель ИИ, предоставленная поставщиком услуг, как обещано. Особенно при применении алгоритмов и моделей ИИ к некоторым конфиденциальным данным, таким как медицинские, финансовые, интернет-приложения и т. д., независимо от того, является ли модель ИИ предвзятой (или даже злонамеренной) или поставщик услуг запускает модель (и связанные с ней параметры) точно, как и было обещано, стала самой волнующей проблемой для пользователей. Технология доказательства с нулевым разглашением имеет в этом отношении целевое решение, поэтому машинное обучение с нулевым разглашением (ZKML) стало последним направлением развития.
**Появилось всестороннее рассмотрение целостности вычислений, эвристической оптимизации и конфиденциальности, сочетание доказательства с нулевым разглашением и ИИ, машинного обучения с нулевым разглашением (ZKML). **В эпоху, когда контент, создаваемый искусственным интеллектом, становится все ближе и ближе к контенту, создаваемому людьми, технические характеристики секретного доказательства с нулевым разглашением могут помочь нам определить, что конкретный контент создается с помощью определенной модели. Для защиты конфиденциальности особенно важна технология доказательства с нулевым разглашением, то есть доказательство и проверка могут быть выполнены без раскрытия ввода пользовательских данных или конкретных деталей модели.
** Пять способов применения доказательств с нулевым разглашением к машинному обучению: целостность вычислений, целостность модели, проверка, распределенное обучение и аутентификация. ** Недавнее быстрое развитие крупномасштабных языковых моделей (LLM) показывает, что эти модели становятся все более и более интеллектуальными, и эти модели дополняют важный интерфейс между алгоритмами и людьми: язык. Тенденцию общего искусственного интеллекта (ИИА) уже невозможно остановить, но, судя по текущим результатам обучения модели, ИИ может прекрасно имитировать людей с большими возможностями в цифровых взаимодействиях и превосходить людей с невообразимой скоростью в быстрой эволюции. восхищаться такой скоростью эволюции и даже беспокоиться о том, что их быстро заменит ИИ.
**Разработчики сообщества используют ZKML для проверки функции рекомендаций Twitter, что является поучительным. ** Функция рекомендаций Twitter «Для вас» использует алгоритм рекомендаций ИИ, чтобы разделить примерно 500 миллионов твитов, публикуемых каждый день, на несколько популярных твитов, которые в конечном итоге отображаются на временной шкале домашней страницы пользователя. В конце марта 2023 года Twitter открыл исходный код алгоритма, но, поскольку детали модели не были обнародованы, пользователи по-прежнему не могут проверить, работает ли алгоритм точно и полностью. Разработчик сообщества Дэниел Канг и другие используют криптографические инструменты ZK-SNARKs для проверки правильности алгоритма рекомендаций Twitter и его полной работы без раскрытия деталей алгоритма — это наиболее привлекательный момент доказательства с нулевым разглашением, то есть не раскрытия какой-либо конкретной информации о объект Доказать достоверность информации на основании информации (нулевое знание). В идеале Twitter мог бы использовать ZK-SNARKS для публикации доказательств своей модели ранжирования — доказательств того, что когда модель применяется к конкретным пользователям и твитам, она дает определенный окончательный выходной рейтинг. Это доказательство является основой надежности модели: пользователи могут убедиться, что расчет алгоритма шаблона выполняется так, как было обещано, или отправить его на аудит третьей стороне. Все это делается без раскрытия деталей весов параметров модели. То есть, используя официально объявленное доказательство модели, пользователь использует доказательство, чтобы убедиться, что конкретный твит работает честно, как обещано моделью для конкретных сомнительных твитов.
1. Основные идеи
Поскольку ИИ развивается с невообразимой скоростью, это неизбежно вызовет опасения по поводу другого «лезвия» меча ИИ — доверия. Во-первых, это конфиденциальность: как в эпоху ИИ люди могут доверять ИИ с точки зрения конфиденциальности? Возможно, ключом к беспокойству является прозрачность модели ИИ: способность возникать как крупномасштабная языковая модель равносильна непроницаемому технологическому «черному ящику» для человека, и обычные пользователи не могут понять, как работает модель и как она работает. результаты операции И как их получить (сама модель полна непонятных или предсказуемых возможностей) - что более хлопотно, так это то, что как пользователь вы можете не знать, работает ли модель ИИ, предоставленная поставщиком услуг, как обещано . Особенно при применении алгоритмов и моделей ИИ к некоторым конфиденциальным данным, таким как медицинское обслуживание, финансы, интернет-приложения и т. д., независимо от того, является ли модель ИИ предвзятой (или даже злонамеренной) или поставщик услуг запускает модель (и соответствующие параметры) точно, как и было обещано, стал наиболее тревожным вопросом для пользователей.
Технология доказательства с нулевым разглашением имеет в этом отношении целевое решение, поэтому машинное обучение с нулевым разглашением (ZKML) стало последним направлением развития. В этом документе обсуждаются характеристики технологии ZKML, потенциальные сценарии применения и некоторые вдохновляющие примеры, а также проводится исследование и разработка направления развития ZKML и его возможного влияния на промышленность.
**2. «Другое острие» меча ИИ: как доверять ИИ? **
Возможности искусственного интеллекта быстро приближаются к человеческим и уже превзошли людей во многих нишевых областях. Недавнее быстрое развитие больших языковых моделей (LLM) предполагает, что эти модели становятся все более интеллектуальными, и эти модели улучшают важный интерфейс между алгоритмами и людьми: язык. Тенденция общего искусственного интеллекта (AGI) уже не остановить, но, судя по текущим результатам обучения моделей, ИИ может идеально имитировать людей с большими возможностями в цифровых взаимодействиях и превосходить людей с невообразимой скоростью на уровне быстрой эволюции. В последнее время языковая модель значительно продвинулась вперед. Продукты, представленные ChatGPT, продемонстрировали удивительные результаты, достигнув более 20% человеческих возможностей в большинстве рутинных оценок. приходится удивляться такой скорости эволюции. Но с другой стороны — беспокойство по поводу потери контроля над возможностями ИИ.
** Во-первых, это аспект конфиденциальности. ** В эпоху ИИ, с развитием таких технологий, как распознавание лиц, пользователи всегда беспокоятся о риске утечки данных при использовании услуг ИИ. Это создало определенные препятствия для продвижения и развития ИИ — как доверять ИИ с точки зрения конфиденциальности?
**Возможно, прозрачность моделей ИИ является ключом к большему беспокойству. **Возможность появления подобных крупномасштабных языковых моделей равносильна непроницаемому технологическому «черному ящику» для человека.Обычные пользователи не могут понять, как работает модель и как получаются результаты (сама модель полна Способностей, которые трудно понять или предсказать) - более хлопотно, так как пользователь может не знать, работает ли модель ИИ, предоставляемая поставщиком услуг, как обещано. Особенно при применении алгоритмов и моделей ИИ к некоторым конфиденциальным данным, таким как медицинские, финансовые, интернет-приложения и т. д., независимо от того, является ли модель ИИ предвзятой (или даже злонамеренной) или поставщик услуг запускает модель (и связанные с ней параметры) точно, как и было обещано, стала самой волнующей проблемой для пользователей. Например, дает ли платформа социальных приложений соответствующие рекомендации по алгоритму «равного обращения»? Является ли рекомендация алгоритма ИИ поставщика финансовых услуг такой же точной и полной, как и было обещано? Есть ли ненужное потребление в плане медицинского обслуживания, рекомендованном AI? Принимают ли поставщики услуг аудит моделей ИИ?
Проще говоря, с одной стороны, пользователи не знают реального положения модели ИИ, предоставляемой поставщиком услуг, и в то же время очень обеспокоены тем, что модель не является «дискриминационной». считается включающим некоторые предвзятые или другие ориентированные факторы, которые принесут неизвестные пользователям потери или негативное влияние.
С другой стороны, скорость саморазвития ИИ кажется все более и более непредсказуемой, а все более мощная модель алгоритма ИИ кажется все более и более неподвластной человеческому контролю**, поэтому проблема доверия стала еще одной проблемой. «лезвие острого меча ИИ». **
Необходимо установить доверие пользователей к ИИ с точки зрения конфиденциальности данных, прозрачности модели и управляемости модели. Пользователи должны беспокоиться о защите конфиденциальности и о том, работает ли модель алгоритма точно и полностью, как было обещано, однако это непростая задача.Что касается прозрачности модели, у поставщиков моделей есть опасения по поводу аудита модели и контроля на основе коммерческой тайны и других данных. перспективы; с другой стороны, эволюцию самой модели алгоритма контролировать непросто, и эту неуправляемость тоже нужно учитывать.
С точки зрения защиты конфиденциальности пользовательских данных мы также провели много исследований в наших предыдущих отчетах, таких как «ИИ и элементы данных, управляемые Web3.0: открытость, безопасность и конфиденциальность». Некоторые приложения Web3.0 очень вдохновляют. в связи с этим — — То есть обучение модели ИИ осуществляется в условиях полного подтверждения данных пользователя и защиты конфиденциальности данных.
Тем не менее, текущий рынок перегружен ошеломляющей производительностью крупных моделей, таких как Chatgpt, и не учитывает вопросы конфиденциальности самой модели, проблемы доверия модели (и доверия, вызванного неконтролируемостью), вызванного эволюцией. «появляющихся» характеристик алгоритма. Но с другой стороны, пользователи всегда скептически относились к точной, полной и честной работе так называемой алгоритмической модели. Поэтому вопрос доверия к ИИ должен решаться с трех уровней пользователей, поставщиков услуг и неуправляемости модели.
3. ZKML: сочетание доказательства с нулевым разглашением и искусственного интеллекта обеспечивает доверие
3.1． Доказательство с нулевым разглашением: zk-SNARKS, zk-STARK и другие технологии развиваются
Доказательство с нулевым разглашением (доказательство с нулевым разглашением, ZKP) было впервые предложено Шафи Голдвассером из Массачусетского технологического института и Сильвио Микали в статье под названием «Сложность знаний интерактивных систем доказательства» в 1985 году. Автор упомянул в статье, что доказывающий может убедить проверяющего в подлинности данных, не раскрывая конкретных данных. Публичная функция f(x) и выходное значение y функции. Алиса сообщает Бобу, что она знает значение x, но Боб этому не верит. Для этого Алиса использует алгоритм доказательства с нулевым разглашением для создания доказательства. Боб проверяет это доказательство, чтобы подтвердить, действительно ли Алиса знает x, удовлетворяющий функции f.
Например, используя доказательство с нулевым разглашением, вам не нужно знать результаты теста Сяомина, но вы можете знать, соответствуют ли его оценки требованиям пользователя, например, является ли он пройденным, превышает ли правильная скорость заполнения пробелов. 60% и так далее. В области ИИ в сочетании с доказательством с нулевым разглашением у вас может быть надежный инструмент доверия для моделей ИИ.
Доказательство с нулевым разглашением может быть интерактивным, то есть доказывающий должен доказать подлинность данных один раз каждому проверяющему, а также может быть неинтерактивным, то есть доказывающий создает доказательство, и любой, кто использует это доказательство, может быть проверенным.
Нулевое знание делится на доказательство и проверку, вообще говоря, доказательство является квазилинейным, т. е. проверка есть T*log(T).
Если предположить, что время проверки равно квадрату логарифма числа транзакций, то время машинной проверки для блока из 10 000 транзакций равно
VTime = ( )2 ~ (13.2)2 ~ 177 мс, теперь увеличьте размер блока в сто раз (до 1 млн транзакций/блок), новое время работы валидатора VTime = (log2 1000000)2 ~ 202 ~ 400 мс. Поэтому мы можем видеть его сверхмасштабируемость, из-за чего теоретически tps может достигать неограниченных значений.
**Верификация проходит очень быстро, и вся сложность заключается в части генерации доказательств. ** До тех пор, пока скорость генерации доказательств может поддерживаться, проверка по цепочке очень проста. В настоящее время существует множество реализаций доказательств с нулевым разглашением, таких как zk-SNARKS, zk-STARKS, PLONK и Bulletproofs. Каждый метод имеет свои преимущества и недостатки с точки зрения размера доказательства, времени проверки и времени проверки.
Чем сложнее и масштабнее доказательство с нулевым разглашением, тем выше производительность и тем короче время, необходимое для проверки. Как показано на рисунке ниже, STARK и Bulletproofs не требуют доверенных настроек.По мере увеличения объема данных транзакций с 1TX до 10 000TX размер последнего доказательства увеличивается еще меньше. Преимущество Bulletproofs в том, что размер доказательства представляет собой логарифмическое преобразование (даже если f и x большие), есть возможность хранить доказательство в блоке, но вычислительная сложность его проверки линейна. Видно, что различные алгоритмы имеют много ключевых моментов, которые необходимо взвесить, а также есть много возможностей для модернизации.Однако в реальном процессе работы сложность генерации доказательств намного выше, чем можно себе представить.Поэтому отрасль теперь занимается решением проблемы генерирования пруфов.
Хотя разработки технологии доказательства с нулевым разглашением недостаточно, чтобы соответствовать масштабу большой языковой модели (LLM), ее техническая реализация имеет вдохновляющие сценарии применения. Особенно в разработке обоюдоострого меча ИИ доказательство с нулевым разглашением обеспечивает надежное решение для доверия ИИ.
3.2． Машинное обучение с нулевым разглашением (ZKML): ненадежный ИИ
В эпоху, когда контент, созданный искусственным интеллектом, становится все ближе и ближе к контенту, создаваемому людьми, технические характеристики секретных доказательств с нулевым разглашением могут помочь нам определить, что конкретный контент создается с применением определенной модели. Для защиты конфиденциальности особенно важна технология доказательства с нулевым разглашением, то есть доказательство и проверка могут быть выполнены без раскрытия ввода пользовательских данных или конкретных деталей модели. Учитывая целостность вычислений, эвристическую оптимизацию и конфиденциальность, появилось сочетание доказательства с нулевым разглашением и искусственного интеллекта, машинного обучения с нулевым разглашением (ZKML).
Вот пять способов применения доказательств с нулевым разглашением к машинному обучению. В дополнение к базовым функциям, таким как целостность вычислений, целостность модели и конфиденциальность пользователей, машинное обучение с нулевым разглашением также может обеспечить распределенное обучение — это будет способствовать интеграции ИИ и блокчейна, а также идентификации людей в джунглях ИИ. (Эту часть можно найти в нашем отчете «Видение Web3 основателя OpenAI: Worldcoin создает цифровой паспорт ИИ»).
Спрос на вычислительную мощность большой модели ИИ очевиден для всех.В настоящее время, вкрапляя доказательства ZK в приложения ИИ, предъявляются новые требования к аппаратным вычислительным мощностям. Текущее состояние систем с нулевым разглашением в сочетании с высокопроизводительным оборудованием по-прежнему не может доказать ничего столь же крупного, как доступные в настоящее время большие языковые модели (LLM), но некоторый прогресс был достигнут в создании доказательств для меньших моделей. По словам команды Modulus Labs, существующая система проверки ZK была протестирована на различных моделях разных размеров. Системы доказательств, такие как plonky2, могут работать примерно за 50 секунд на мощном компьютере AWS для создания доказательств для моделей с масштабом около 18 миллионов параметров.
Что касается аппаратного обеспечения, текущие варианты оборудования для технологии ZK включают GPU, FPGA или ASIC. Следует отметить, что доказательство с нулевым разглашением все еще находится на ранней стадии разработки, еще мало стандартизировано, а алгоритм постоянно обновляется и изменяется. Каждый алгоритм имеет свои особенности и подходит для разного оборудования, и каждый алгоритм будет улучшаться в определенной степени по мере необходимости развития проекта, поэтому трудно конкретно оценить, какой алгоритм является лучшим.
Следует отметить, что с точки зрения комбинации больших моделей ZK и AI нет четких исследований по оценке существующих аппаратных систем, поэтому все еще существуют большие переменные и потенциалы с точки зрения будущих требований к оборудованию.
3.3． Вдохновляющий пример: проверка алгоритма ранжирования рекомендаций Twitter
Функция рекомендаций Twitter «Для вас» использует алгоритм рекомендаций ИИ для преобразования примерно 500 миллионов твитов, публикуемых каждый день, в несколько популярных твитов, которые, наконец, отображаются на временной шкале «Для вас» на домашней странице пользователя. Рекомендация извлекает скрытую информацию из твитов, данных о пользователях и взаимодействиях, чтобы иметь возможность предоставлять более актуальные рекомендации. В конце марта 2023 года Twitter открыл исходный код алгоритма, который выбирает и ранжирует сообщения на временной шкале для функции рекомендаций «Для вас». Процесс рекомендации примерно таков:
Создавайте особенности поведения пользователей на основе взаимодействия между пользователями и веб-сайтом и получайте лучшие твиты из разных источников рекомендаций;
Используйте модель алгоритма ИИ для ранжирования каждого твита;
Применять эвристики и фильтры, например, отфильтровывать твиты, которые пользователи заблокировали, и твиты, которые они видели, и т. д.
Основным модулем алгоритма рекомендаций является служба, отвечающая за построение и предоставление временной шкалы For You — Home Mixer. Сервис действует как алгоритмическая основа, соединяющая различные источники-кандидаты, функции оценки, эвристики и фильтры.
Функция рекомендаций «Для вас» прогнозирует и оценивает релевантность каждого твита-кандидата на основе примерно 1500 потенциально релевантных рекомендаций-кандидатов. На официальном сайте Twitter говорится, что на данном этапе все твиты-кандидаты рассматриваются одинаково. Основной рейтинг достигается с помощью нейронной сети, содержащей около 48 миллионов параметров, которая постоянно обучается взаимодействию с твитами для оптимизации. Этот механизм ранжирования учитывает тысячи функций и выдает около десяти меток для оценки каждого твита, где каждая метка представляет вероятность участия, а затем ранжирует твиты на основе этих оценок.
Несмотря на то, что это важный шаг к прозрачности алгоритма рекомендаций Twitter, пользователи по-прежнему не могут проверить, работает ли алгоритм точно и полностью. Одна из основных причин — детали с особым весом в модели алгоритма, используемой для ранжирования твитов для защиты конфиденциальности пользователей. не был обнародован. Поэтому прозрачность алгоритма пока вызывает сомнения.
Используя технологию ZKML (машинное обучение с нулевым разглашением), Twitter может доказать, являются ли детали веса модели алгоритма точными и полными (являются ли модель и ее параметры «равными для разных пользователей»), что обеспечивает защиту конфиденциальности модели алгоритма и хороший баланс между прозрачностью.
Разработчик сообщества Дэниел Канг и другие используют криптографические инструменты ZK-SNARKs для проверки правильности алгоритма рекомендаций Twitter и его полной работы без раскрытия деталей алгоритма — это наиболее привлекательный момент доказательства с нулевым разглашением, то есть не раскрытия какой-либо конкретной информации о объект Доказать достоверность информации на основании информации (нулевое знание). В идеале Twitter мог бы использовать ZK-SNARKS для публикации доказательств своей модели ранжирования — доказательств того, что когда модель применяется к конкретным пользователям и твитам, она дает определенный окончательный выходной рейтинг. Это доказательство является основой надежности модели: пользователи могут убедиться, что расчет алгоритма шаблона выполняется так, как было обещано, или отправить его на аудит третьей стороне. Все это делается без раскрытия деталей весов параметров модели. То есть, используя официально объявленное доказательство модели, пользователь использует доказательство, чтобы убедиться, что конкретный твит работает честно, как обещано моделью для конкретных сомнительных твитов.
Допустим, пользователь считает временную шкалу функции рекомендаций «Для вас» сомнительной, полагая, что определенные твиты должны иметь более высокий (или более низкий) рейтинг. Если Twitter сможет запустить функцию подтверждения ZKML, пользователи смогут использовать официальное подтверждение, чтобы проверить, как оценивается подозрительный твит по сравнению с другими твитами на временной шкале (рассчитанная оценка соответствует рейтингу). ибо именно эти твиты работали нечестно (были искусственно изменены некоторые параметры). Можно понять, что хотя официальный представитель не объявляет конкретных деталей модели, но в соответствии с моделью дается волшебная палочка (доказательство, сгенерированное моделью).Любой твит с использованием этой волшебной палочки может отображать соответствующий рейтинговый балл - и по этой волшебной палочке Однако личные данные модели восстановить невозможно. Поэтому детали официальной модели проверяются, а конфиденциальность деталей сохраняется.
С точки зрения модели, защищая конфиденциальность модели, использование технологии ZKML все же может обеспечить проверку модели и доверие пользователей.