AI を信頼する方法: ゼロ知識機械学習 (ZKML) が提供するアイデア

まとめ

**AI が想像を絶するスピードで進化するにつれて、AI の剣のもう 1 つの「エッジ」である信頼についての懸念が必然的に生じます。 ** 1 つ目はプライバシーです。AI の時代において、データ プライバシーの観点から、人間はどのように AI を信頼できるでしょうか?おそらく、AI モデルの透明性が懸念の鍵です。大規模な言語モデルのように出現する能力は、人間にとっては侵入不可能な技術的な「ブラック ボックス」に等しいものであり、一般のユーザーはモデルがどのように機能するのかを理解することができません。操作の結果とそれを取得する方法 - さらに厄介なのは、ユーザーとしては、サービスプロバイダーが提供する AI モデルが約束どおりに機能しているかどうかがわからない可能性があることです。特に、医療、金融、インターネット アプリケーションなどの一部の機密データに AI アルゴリズムとモデルを適用する場合、AI モデルに偏りがあるかどうか (または悪意のある方向性さえあるかどうか)、サービス プロバイダーがそのモデルを実行しているかどうか (および関連パラメータ）を約束どおり正確に実行することは、ユーザーにとって最も懸念される問題となっています。ゼロ知識証明テクノロジーには、この点に関して的を絞ったソリューションがあるため、ゼロ知識機械学習 (ZKML) が最新の開発方向となっています。

**コンピューティングの整合性、ヒューリスティック最適化、プライバシーを総合的に考慮して、ゼロ知識証明と AI を組み合わせたゼロ知識機械学習 (Zero-Knowledge Machine Learning、ZKML) が誕生しました。 **AI が生成したコンテンツが人間が生成したコンテンツにますます近づいている時代において、ゼロ知識秘密証明の技術的特徴は、特定のコンテンツが特定のモデルを通じて生成されたものであることを判断するのに役立ちます。プライバシー保護の観点からは、ゼロ知識証明技術が特に重要です。つまり、ユーザー データ入力やモデルの特定の詳細を明らかにすることなく証明と検証を完了できます。

**ゼロ知識証明を機械学習に適用する 5 つの方法: 計算の完全性、モデルの完全性、検証、分散トレーニング、認証。 **大規模言語モデル (LLM) の最近の急速な開発は、これらのモデルがますますインテリジェントになっていることを示しており、これらのモデルはアルゴリズムと人間の間の重要なインターフェイスである言語を完成させます。一般人工知能 (AGI) のトレンドはすでに止めることができませんが、現在のモデルのトレーニング結果から判断すると、AI はデジタル インタラクションにおいて能力の高い人間を完全に模倣し、急速な進化において想像を絶する速度で人間を超えることができます。この進化のスピードに驚嘆し、すぐにAIに取って代わられるのではないかと心配さえする。

**コミュニティ開発者は ZKML を使用して Twitter のレコメンデーション機能を検証していますが、これは有益です。 **Twitter の「For You」レコメンデーション機能は、AI レコメンデーション アルゴリズムを使用して、毎日投稿される約 5 億件のツイートを少数の人気のあるツイートに抽出し、最終的にユーザーのホームページのタイムラインに表示されます。 2023年3月末、Twitterはアルゴリズムをオープンソース化したが、モデルの詳細が公開されていないため、ユーザーは依然としてアルゴリズムが正確かつ完全に実行されているかどうかを検証できない。コミュニティ開発者の Daniel Kang らは、暗号化ツール ZK-SNARK を使用して、アルゴリズムの詳細を開示することなく、Twitter の推奨アルゴリズムが正しく実行されているかどうかをチェックしています。これがゼロ知識証明の最も魅力的な点です。つまり、特定の情報を明らかにしないのです。情報（知識ゼロ）を前提として情報の信頼性を証明すること。理想的には、Twitter は ZK-SNARKS を使用してランキング モデルの証明、つまりモデルが特定のユーザーとツイートに適用されたときに特定の最終出力ランキングが生成されるという証明を公開できるようになります。この証明書はモデルの信頼性の基礎です。ユーザーは、パターン アルゴリズムの計算が約束どおりに実行されることを検証したり、監査のために第三者に提出したりできます。これはすべて、モデル パラメーターの重みの詳細を開示することなく行われます。つまり、公式に発表されたモデル証明を使用して、ユーザーはその証明を使用して、特定のツイートが特定の疑わしいツイートに対してモデルによって約束されたとおりに正しく動作していることを検証します。

1. コアアイデア

AI が想像を絶するスピードで進化するにつれ、AI の剣のもう 1 つの「エッジ」である信頼についての懸念が必然的に高まります。 1 つ目はプライバシーです。AI の時代において、人間はプライバシーの観点から AI をどのように信頼できるでしょうか?おそらく、AI モデルの透明性が懸念の鍵です。大規模な言語モデルのように出現する能力は、人間にとっては侵入不可能な技術的な「ブラック ボックス」に等しいものであり、一般のユーザーはモデルがどのように機能するのかを理解することができません。操作の結果とそれを取得する方法（モデル自体は理解できない、または予測可能な機能でいっぱいです）-さらに厄介なのは、ユーザーとしては、サービスプロバイダーが提供するAIモデルが約束どおりに機能しているかどうかわからない可能性があることです。特に、医療、金融、インターネット アプリケーションなどの一部の機密データに AI アルゴリズムとモデルを適用する場合、AI モデルに偏りがあるかどうか (または悪意のある方向性さえあるかどうか)、サービス プロバイダーがモデル (および関連する) を実行しているかどうかが重要です。パラメータ）を約束どおりに正確に設定することは、ユーザーにとって最も懸念される問題となっています。

ゼロ知識証明テクノロジーには、この点に関して的を絞ったソリューションがあるため、ゼロ知識機械学習 (ZKML) が最新の開発方向となっています。この文書では、ZKML テクノロジーの特性、潜在的なアプリケーション シナリオ、およびいくつかの刺激的な事例について説明し、ZKML の開発の方向性とその考えられる産業上の影響について調査および詳細を説明します。

**2. AI の剣の「もう一方の刃」: AI をどう信頼するか? **

人工知能の能力は急速に人間の能力に近づき、多くのニッチな領域ですでに人間を超えています。大規模言語モデル (LLM) の最近の急速な発展は、これらのモデルがますますインテリジェントになっていること、およびこれらのモデルがアルゴリズムと人間の間の重要なインターフェイスである言語を洗練していることを示唆しています。一般人工知能 (AGI) のトレンドはすでに止めることができませんが、現在のモデルのトレーニング結果から判断すると、AI はデジタル インタラクションにおいて能力の高い人間を完全に模倣し、急速な進化レベルで想像を絶する速度で人間を超えることができます。言語モデルは最近大幅な進歩を遂げています。ChatGPT に代表される製品は驚くべきパフォーマンスを示し、ほとんどの日常的な評価で人間の能力の 20% 以上に達しています。わずか数か月しか違わない GPT-3.5 と GPT-4 を比較すると、人間はこの進化のスピードには驚かざるを得ません。しかしその一方で、AI 機能の制御が失われるのではないかという懸念もあります。

**最初はプライバシーの側面です。 **AI時代において、顔認証などの技術の発展により、ユーザーはAIサービスを体験する際に常にデータ漏洩のリスクを懸念しています。これは、AI の推進と開発に一定の障害をもたらしています。プライバシーの観点から AI を信頼するにはどうすればよいでしょうか?

**おそらく、AI モデルの透明性がさらなる懸念の鍵となります。 **大規模な言語モデルと同様の創発能力は、人間にとっては侵入不可能な技術的な「ブラックボックス」に相当し、モデルがどのように動作し、どのように結果が得られるのか一般のユーザーには理解できません（モデル自体には、理解または予測が困難） - サービスプロバイダーが提供する AI モデルが約束どおりに機能しているかどうかユーザーがわからない可能性があるため、さらに問題になります。特に、医療、金融、インターネット アプリケーションなどの一部の機密データに AI アルゴリズムとモデルを適用する場合、AI モデルに偏りがあるかどうか (または悪意のある方向性さえあるかどうか)、サービス プロバイダーがそのモデルを実行しているかどうか (および関連パラメータ）を約束どおり正確に実行することは、ユーザーにとって最も懸念される問題となっています。たとえば、ソーシャル アプリケーション プラットフォームは、「平等な扱い」のアルゴリズムに従って適切な推奨を行っていますか?金融サービスプロバイダーの AI アルゴリズムからの推奨事項は、約束どおり正確かつ完全ですか? AIが推奨する医療サービスプランに無駄な消費はないか？サービス プロバイダーは AI モデルの監査を受け入れますか?

簡単に言うと、ユーザーはサービスプロバイダーが提供するAIモデルの実態を知らない一方で、そのモデルが「差別的」なものではないかを非常に不安に感じています。ユーザーに未知の損失や悪影響をもたらす、何らかの偏った要因またはその他の指向性の要因が含まれていると考えられます。

一方で、AI の自己進化のスピードはますます予測不可能になり、ますます強力になる AI アルゴリズム モデルは人間の制御の不可能さをますます超えているように見えます**。そのため、信頼の問題は別の問題となってきています。 AIの鋭い剣の「刃」。 **

データプライバシー、モデルの透明性、モデルの制御性の観点から、AIに対するユーザーの信頼を確立する必要があります。ユーザーは、プライバシー保護や、アルゴリズム モデルが約束どおりに正確かつ完全に実行されているかどうかを心配する必要がありますが、これは簡単な作業ではありません。モデルの透明性の観点から、モデル提供者はビジネス秘密などに基づくモデルの監査と監督に懸念を抱いています。一方で、アルゴリズムモデル自体の進化は制御が容易ではなく、この制御不能性についても考慮する必要がある。

ユーザー データのプライバシー保護の観点から、私たちは「Web3.0 によって駆動される AI とデータ要素: オープン性、セキュリティ、プライバシー」などの以前のレポートでも多くの研究を行ってきました。Web3.0 のいくつかのアプリケーションは非常に刺激的です。つまり、AI モデルのトレーニングは、ユーザー データの完全な確認とデータ プライバシーの保護を前提として実行されます。

しかし、現在の市場はChatgptのような大型モデルの驚異的なパフォーマンスに圧倒されており、その進化によってもたらされるモデル自体のプライバシー問題、モデルの信頼性問題（そして制御不可能性がもたらす信頼性）が考慮されていない。しかし、別のレベルでは、ユーザーは、いわゆるアルゴリズム モデルの正確、完全、誠実な動作について常に懐疑的でした。したがって、AIの信頼問題は利用者、サービス提供者、モデルの制御不能性の3つのレベルから解決する必要がある。

3. ZKML: ゼロ知識証明と AI の組み合わせが信頼をもたらします

3.1．ゼロ知識証明: zk-SNARKS、zk-STARK、およびその他のテクノロジーは成熟しています

ゼロ知識証明 (Zero Knowledge Proof、ZKP) は、1985 年に MIT の Shafi Goldwasser と Silvio Micali によって「対話型証明システムの知識の複雑さ」というタイトルの論文で初めて提案されました。著者は論文の中で、証明者が特定のデータを明かさずにデータの信頼性を検証者に納得させることは可能であると述べています。公開関数 f(x) と関数の出力値 y について、アリスはボブに x の値を知っていると伝えますが、ボブはそれを信じません。これを行うために、アリスはゼロ知識証明アルゴリズムを使用して証明を生成します。ボブはこの証明を検証して、アリスが関数 f を満たす x を本当に知っているかどうかを確認します。

たとえば、ゼロ知識証明を使用すると、Xiaoming さんのテストのスコアを知る必要はありませんが、Xiaoming さんのスコアがユーザーの要件を満たしているかどうか (彼が合格しているかどうか、穴埋めの正答率が 100% を超えているかどうかなど) を知ることができます。 60% など。 AI の分野では、ゼロ知識証明と組み合わせることで、AI モデルの信頼できる信頼ツールを得ることができます。

ゼロ知識証明は対話型にすることもできます。つまり、証明者は各検証者に対してデータの信頼性を 1 回証明する必要があります。また、非対話型にすることもできます。つまり、証明者が証明を作成し、この証明を使用する人は誰でも証明を行うことができます。確認されること。

ゼロ知識は証明と検証に分けられますが、一般に証明は準線形、つまり検証は T*log(T) です。

検証時間がトランザクション数の対数の二乗であると仮定すると、10,000 トランザクションのブロックのマシン検証時間は次のようになります。

VTime = ( )2 ~ (13.2)2 ~ 177 ミリ秒; ブロック サイズを 100 倍 (ブロックあたり 100 万 tx に) 増加すると、バリデーターの新しい実行時間は VTime = (log2 1000000)2 ~ 202 ~ となります。 400ミリ秒。したがって、その超スケーラビリティがわかり、理論的には tps が無制限に達する可能性があります。

**検証は非常に高速ですが、すべての困難は証明を生成する部分にあります。 **プルーフの生成速度が維持できる限り、オンチェーン検証は非常に簡単です。現在、zk-SNARKS、zk-STARKS、PLONK、Bulletproofs など、ゼロ知識証明の実装が多数あります。各方法には、証明サイズ、証明者時間、検証時間の点で独自の長所と短所があります。

ゼロ知識証明が複雑で大規模であればあるほど、パフォーマンスは向上し、検証に必要な時間は短くなります。以下の図に示すように、STARK と Bulletproof には信頼できる設定は必要ありません。トランザクション データの量が 1TX から 10,000TX に急増しても、後者のプルーフのサイズはさらに増加しません。 Bulletproofs の利点は、証明のサイズが対数変換であり (f と x が大きい場合でも)、証明をブロックに保存できるが、その検証の計算量が線形であることです。さまざまなアルゴリズムには考慮すべき点が多く、改良の余地もたくさんあることがわかりますが、実際の運用プロセスでは、証明を生成することの難易度は想像をはるかに超えており、業界は厳しい状況にあります。現在、証明を生成する問題の解決に取り組んでいます。

ゼロ知識証明テクノロジーの開発は大規模言語モデル (LLM) の規模に匹敵するほど十分ではありませんが、その技術的な実装には刺激的なアプリケーション シナリオがあります。特に AI 諸刃の剣の開発において、ゼロ知識証明は AI の信頼に信頼できるソリューションを提供します。

3.2．ゼロ知識機械学習 (ZKML): トラストレス AI

AI によって生成されたコンテンツが人間によって生成されたコンテンツにますます近づいている時代において、ゼロ知識秘密証明の技術的特徴は、特定のコンテンツが特定のモデルを適用することによって生成されたものであることを判断するのに役立ちます。プライバシー保護の観点からは、ゼロ知識証明技術が特に重要です。つまり、ユーザー データ入力やモデルの特定の詳細を明らかにすることなく証明と検証を完了できます。コンピューティングの完全性、ヒューリスティック最適化、プライバシーを考慮して、ゼロ知識証明と AI の組み合わせであるゼロ知識機械学習 (ゼロ知識機械学習、ZKML) が誕生しました。

ここでは、ゼロ知識証明を機械学習に適用できる 5 つの方法を紹介します。計算の完全性、モデルの完全性、ユーザーのプライバシーなどの基本機能に加えて、ゼロ知識機械学習は分散トレーニングも実現します。これにより、AI とブロックチェーンの統合、および AI ジャングルにおける人々の識別が促進されます。 (この部分は、当社のレポート「OpenAI Founder's Web3 Vision: Worldcoin Creates AI Digital Passport」に記載されています)。

AI 大型モデルの計算能力に対する需要は誰の目にも明らかですが、現時点では、AI アプリケーションに ZK 証明を散在させることにより、ハードウェアの計算能力に対する新たな需要が生じています。高性能ハードウェアと組み合わせたゼロ知識システムの現在の最先端技術では、現在利用可能な大規模言語モデル (LLM) ほど大きなものはまだ証明できませんが、より小さなモデルの証明の作成ではある程度の進歩が見られます。 Modulus Labs チームによると、既存の ZK プルーフ システムは、さまざまなサイズのさまざまなモデルに対してテストされました。 plonky2 などの証明システムは、強力な AWS マシン上で約 50 秒で実行でき、約 1,800 万のパラメータ規模のモデルの証明を作成できます。

ハードウェアに関しては、ZK テクノロジーの現在のハードウェア オプションには、GPU、FPGA、または ASIC が含まれます。ゼロ知識証明はまだ開発の初期段階にあり、標準化はほとんどなく、アルゴリズムは常に更新および変更されていることに注意してください。各アルゴリズムにはそれぞれ異なるハードウェアに適した特性があり、プロジェクトの開発に応じてある程度改良されるため、どのアルゴリズムが最適であるかを具体的に評価することは困難です。

ZK と AI 大型モデルの組み合わせに関しては、既存のハードウェア システムの評価に関する明確な研究が存在しないため、将来のハードウェア要件に関しては依然として大きな変動と可能性が存在することに注意してください。

3.3．感動的な事例: Twitter のおすすめランキング アルゴリズムの検証

Twitterの「For You」レコメンド機能は、AIによるレコメンドアルゴリズムを用いて、毎日投稿される約5億件のツイートの中から人気のツイートをいくつか絞り込み、最終的にユーザーのホームページ上の「For You」タイムラインに表示される。このレコメンデーションでは、ツイート、ユーザー、エンゲージメント データから潜在的な情報を抽出して、より関連性の高いレコメンデーションを提供できるようにします。 Twitterは2023年3月末、レコメンド機能「For You」のタイムライン上の投稿を選択してランク付けするアルゴリズムをオープンソース化した。推薦のプロセスは大まかに次のとおりです。

1. ユーザーと Web サイト間のインタラクションからユーザー行動特徴を生成し、さまざまな推奨ソースから最適なツイートを取得します。

2. AI アルゴリズム モデルを使用して各ツイートをランク付けします。

3. ユーザーがブロックしたツイートや見たツイートを除外するなど、ヒューリスティックとフィルターを適用します。

レコメンデーション アルゴリズムのコア モジュールは、For You タイムラインの構築と提供を担当するサービス、つまり Home Mixer です。このサービスは、さまざまな候補ソース、スコアリング関数、ヒューリスティック、フィルターを接続するアルゴリズム バックボーンとして機能します。

「For You」レコメンデーション機能は、約 1,500 件の関連性の高い候補候補に基づいて、各ツイート候補の関連性を予測し、スコア付けします。 Twitterの公式ウェブサイトによると、現段階では候補者のツイートはすべて平等に扱われるという。コアのランキングは、約 4,800 万のパラメータからなるニューラル ネットワークを通じて実現され、ツイートのインタラクションを継続的にトレーニングして最適化します。このランキング メカニズムでは、何千もの特徴が考慮され、各ツイートにスコアを付けるための 10 個程度のラベルが出力されます。各ラベルはエンゲージメントの確率を表し、これらのスコアに基づいてツイートをランク付けします。

これは Twitter の推奨アルゴリズムの透明性への重要な一歩ですが、ユーザーはまだアルゴリズムが正確かつ完全に実行されているかどうかを確認できません。主な理由の 1 つは、ユーザーのプライバシーを保護するためにツイートをランク付けするために使用されるアルゴリズム モデルの特定の重みの詳細です。は公表されなかった。したがって、アルゴリズムの透明性には依然として疑問があります。

Twitter は、ZKML (ゼロ知識機械学習) テクノロジーを利用して、アルゴリズム モデルの重みの詳細が正確かつ完全であるかどうか (モデルとそのパラメータが「異なるユーザーと等しい」かどうか) を証明できるため、アルゴリズム モデルのプライバシーが保護され、透明感とのバランスが絶妙です。

コミュニティ開発者の Daniel Kang らは、暗号化ツール ZK-SNARK を使用して、アルゴリズムの詳細を開示することなく、Twitter の推奨アルゴリズムが正しく実行されているかどうかをチェックしています。これがゼロ知識証明の最も魅力的な点です。つまり、特定の情報を明らかにしないのです。情報（知識ゼロ）を前提として情報の信頼性を証明すること。理想的には、Twitter は ZK-SNARKS を使用してランキング モデルの証明、つまりモデルが特定のユーザーとツイートに適用されたときに特定の最終出力ランキングが生成されるという証明を公開できるようになります。この証明は、モデルの信頼性の基礎となります。ユーザーは、パターン アルゴリズムの計算が約束どおりに実行されることを検証したり、監査のために第三者に提出したりできます。これはすべて、モデル パラメーターの重みの詳細を開示することなく行われます。つまり、公式に発表されたモデル証明を使用して、ユーザーはその証明を使用して、特定のツイートが特定の疑わしいツイートに対してモデルによって約束されたとおりに正しく動作していることを検証します。

ユーザーが「For You」レコメンデーション機能のタイムラインに疑問があると考え、特定のツイートを上位 (または下位) にランク付けする必要があると考えているとします。 Twitter が ZKML 証明機能を起動できれば、ユーザーは公式証明を使用して、疑わしいツイートがタイムライン内の他のツイートと比較してどのようにランク付けされているかを確認できます (計算されたスコアはランキングに対応します)。一致しないスコアは、アルゴリズム モデルが間違っていることを示します。それらの特定のツイートは正直に動作していませんでした（いくつかのパラメータで人為的に変更されていました）。公式はモデルの具体的な内容を発表していないものの、モデルに応じて魔法の杖（モデルが生成する証拠）が付与されており、この魔法の杖を使用したツイートには該当するランキングスコアが表示されることが分かります。 - そして、この魔法の杖によると、ただし、モデルのプライベートな詳細は復元できません。したがって、公式モデルの詳細は、詳細のプライバシーが保護された状態で監査されます。

モデルの観点から見ると、ZKML テクノロジーを使用することで、モデルのプライバシーを保護しながら、モデルの監査とユーザーの信頼を得ることができます。