OPML:楽観的アプローチに基づく機械学習フレームワーク

私たちは、ブロックチェーンシステム上でAIモデルの推論とトレーニングを効率的に実行できる新しいフレームワーク、名付けてOPML(Optimistic機械学習)を提案しました。ZKMLと比較して、OPMLはより低コストでより高効率です。OPMLのハードウェア要件は非常に低く、一般的なPCはGPUなしで7B-LLaMAなどの大規模言語モデルを含むOPMLタスクを実行できます。

OPMLは、MLサービスの非中央集権性と検証可能性を確保するために、検証ゲームメカニズムを採用しています。そのプロセスは以下の通りです:

1. ユーザーがMLサービスリクエストを開始します
2. サーバーはタスクを完了し、結果をチェーンに提出します
3. バリデーターは結果を確認し、異議がある場合は検証ゲームを開始します。
4. 二分法プロトコルを通じて具体的なエラー手順を特定します
5. 最後にスマートコントラクトによる単一の仲裁を行います

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単段階OPMLの重要なポイントは次のとおりです:

• オフチェーン実行とオンチェーン仲裁のための仮想マシン(VM)
• 専用の軽量DNNライブラリを実現し、AI推論効率を向上させる
• クロスコンパイル技術を使用してAI推論コードをVM命令にコンパイルする
• メルクルツリーを使用してVMイメージを管理し、ルートハッシュのみをチェーンにアップロードします。

基本テストでは、私たちは2秒以内にDNN推論を完了でき、全体の挑戦プロセスは2分以内に完了できます。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単一段階のアプローチの限界を克服するために、我々は多段階検証ゲームを提案しました:

• 最後の段階でのみVM内で計算し、他の段階では柔軟に実行可能
• GPU/TPUアクセラレーションと並列処理を活用
• 実行性能を大幅に向上させ、ローカル環境のレベルに近づける
• メルケルツリーを採用して、段階間の変換の完全性と安全性を確保する

LLaMAモデルを例にとって、私たちは二段階のOPML手法を採用します:

• 第二段階では計算グラフ上で検証ゲームを行い、GPUアクセラレーションを使用できます。
• 第1ステージでは、単一ノードの計算をVM命令に変換します。

多段階方式は単一段階に比べてα倍の計算速度向上を実現し、同時にメルクルツリーのサイズを大幅に減少させることができます。

! OPML:楽観的ロールアップによる機械学習

! OPML:楽観的ロールアップによる機械学習

一貫性と確実性

ML結果の一貫性を確保するために、次の措置を講じました:

1. 定点アルゴリズム(を使用して、量子技術)によって浮動小数点誤差の影響を減らす
2. クロスプラットフォームで一貫したソフトウェア浮動小数点ライブラリを使用する

これらの技術は、浮動小数点変数とプラットフォームの違いによる課題を効果的に克服し、OPML計算の信頼性を向上させました。

OPMLは現在も継続的に開発されています。プロジェクトに興味のある方々の参加を歓迎し、OPMLの発展に貢献していただけることを願っています。

! OPML:楽観的ロールアップシステムによる機械学習