Web3 のコンテキストでは、変換レイヤーはストレージ レイヤーと同じくらい重要です。これは、ブロックチェーンの構造が基本的にノードの分散コレクションで構成されており、スケーラブルなバックエンド ロジックを簡単に使用できるためです。 AI 業界では、フェデレーテッド ラーニングの分野での研究にこれらの利点を活用することが積極的に検討されており、機械学習と AI 操作専用のプロトコルが登場しています。
以下にリストされているダッシュボード サービスとエンドユーザーの洞察と分析ソリューションは、ユーザーが特定のプロトコルからさまざまな洞察を観察および発見できるプラットフォームです。これらのソリューションの中には、最終製品に API サービスを提供するものもあります。ただし、これらのソリューションのデータは、主にデータの保存と処理に別のオフチェーン ツールを使用するため、必ずしも正確であるとは限らないことに注意することが重要です。ソリューション間の誤差も観察されます。
サイロからコラボレーションへ: Web3 ネイティブ データ パイプラインの重要性
ジェイ : : FP によって書かれました
コンピレーション: ディープ タイド TechFlow
2008 年のビットコイン ホワイト ペーパーの発表は、信頼の概念の再考を引き起こしました。その後、ブロックチェーンはトラストレス システムの概念を含むようにその定義を拡張し、個人の主権、金融の民主化、所有権などのさまざまな種類の価値を既存のシステムに適用できると主張するように急速に進化しました。もちろん、ブロックチェーンの特性は既存のさまざまなシステムと比較するとやや過激に見える可能性があるため、実際に使用する前に多くの検証と議論が必要になる可能性があります。しかし、これらのシナリオを楽観視している場合、データ パイプラインを構築し、ブロックチェーン ストレージに含まれる貴重な情報を分析することは、これまで存在しなかった Web3 を観察できるため、業界の発展におけるもう 1 つの重要な転換点になる可能性があります。知能。
このペーパーでは、既存の IT 市場で一般的に使用されているデータ パイプラインを Web3 環境に投影することにより、Web3 ネイティブ データ パイプラインの可能性を探ります。この記事では、これらのパイプラインの利点、対処する必要がある課題、およびこれらのパイプラインが業界に与える影響について説明します。
1. シンギュラリティは情報イノベーションから生まれる
「言語は、人間と下等動物の最も重要な違いの 1 つです。言語は単に音を出す能力ではなく、明確な音を明確な思考と関連付け、それらの音をアイデアを伝達するための記号として使用する能力です。」 — ダーウィン
歴史的に、人類文明の大きな進歩には、情報共有の革新が伴いました。私たちの祖先は、話し言葉と書き言葉の両方を使って相互にコミュニケーションを図り、知識を次世代に伝えてきました。これにより、他の種に比べて大きな利点が得られます。文字、紙、印刷の発明により、情報をより広く共有できるようになり、科学、技術、文化が大きく進歩しました。特にグーテンベルク聖書の金属活字印刷は、書籍やその他の印刷物の大量生産を可能にした転機でした。これは宗教改革、民主革命、科学の進歩の始まりに大きな影響を与えました。
2000年代のIT技術の急速な発展により、私たちは人間の行動をより深く理解できるようになりました。これにより、現代人の多くはデジタル情報に基づいてさまざまな意思決定を行うというライフスタイルの変化につながりました。現代社会を「ITイノベーション時代」と呼ぶのはこのためです。
インターネットが完全に商業化されてからわずか 20 年が経ち、人工知能テクノロジーは再び世界を驚かせました。人間の労働を代替できるアプリケーションは数多くあり、AIが変える文明について多くの人が議論しています。一部の人は、社会の基盤を揺るがすほどの技術がなぜこれほど急速に出現するのか疑問に思い、否定しています。半導体の性能は時間の経過とともに指数関数的に向上するという「ムーアの法則」があるが、GPTの出現によってもたらされる変化はあまりに突然で、すぐに対処することはできない。
ただし、興味深いことに、GPT モデル自体は実際にはそれほど画期的なアーキテクチャではありません。一方、AI業界はGPTモデルの主な成功要因として、1）大規模な顧客グループをターゲットにできるビジネスドメインの定義、2）データ取得から最終までのデータパイプラインを通じたモデルチューニングが挙げられるとしている。結果と結果に基づくフィードバック。つまり、これらのアプリケーションは、サービス提供の目的を洗練し、データ/情報処理プロセスをアップグレードすることにより、イノベーションを可能にします。
2. データに基づいた意思決定はどこにでも存在します
私たちがイノベーションと呼ぶもののほとんどは、実際には偶然や直感ではなく、蓄積されたデータの操作に基づいています。 「資本主義市場では、強い者が生き残るのではなく、生き残った者が強い」ということわざがあります。今日のビジネスは競争が激しく、市場は飽和しています。そのため、企業はあらゆる種類のデータを収集して分析し、最小のニッチ市場でも獲得しようとしています。
私たちはシュンペーターの「創造的破壊」理論に囚われすぎ、直感に基づいた意思決定を重視しすぎているのかもしれません。しかし、たとえ優れた直感であっても、最終的には個人が蓄積したデータや情報の産物です。今後、デジタルの世界は私たちの生活にさらに深く浸透し、より多くの機密情報がデジタルデータの形で提供されるようになります。
Web3 市場は、ユーザーが自分のデータを制御できる可能性があるため、多くの注目を集めています。しかし、Web3の基礎技術であるブロックチェーン分野は現在、トリレンマ（ディープタイド注：三角のジレンマ、つまりセキュリティ、分散化、スケーラビリティの問題）の解決に重点を置いている。新しいテクノロジーが現実の世界で説得力を持つためには、さまざまな方法で使用できるアプリケーションとインテリジェンスを開発することが重要です。私たちはこれがビッグ データの分野で起こっているのを見てきましたが、ビッグ データの処理とデータ パイプラインを構築する方法論は 2010 年頃から大幅に進歩しました。 Web3 のコンテキストでは、業界を前進させ、データベースのインテリジェンスを生成するデータ フロー システムを構築する努力が必要です。
3. チェーン上のデータ フローに基づく機会
では、Web3 ネイティブのストリーミング システムからどのような機会を掴むことができるのでしょうか。また、これらの機会を掴むためにはどのような課題に取り組む必要があるのでしょうか?
!【孤島からコラボレーションへ：Web3ネイティブデータパイプラインの意味】(https://img-cdn.gateio.im/resize-social/moments-7f230462a9-cc80ceca81-dd1a6f-1c6801)
3.1 利点
つまり、Web3 ネイティブ データ ストリームを構成することの価値は、信頼できるデータを複数のエンティティに安全かつ効率的に配布できるため、貴重な洞察を抽出できることです。
3.2 適用事例
信頼は、さまざまなエンティティが相互に対話し、意思決定を行うための基盤です。したがって、信頼できるデータを安全に配布できれば、さまざまな主体が参加する Web3 サービスを通じて多くの対話や意思決定が可能になることを意味します。これはソーシャル キャピタルを最大化するのに役立ち、以下のようないくつかの使用例が考えられます。
3.2.1 サービス/プロトコル アプリケーション
ルールベースの自動意思決定システム - プロトコルは主要なパラメーターを使用してサービスを実行します。これらのパラメーターは、サービスの状態を安定させ、ユーザーに最高のエクスペリエンスを提供するために定期的に調整されます。ただし、プロトコルは常にサービスのステータスを監視し、タイムリーにパラメータを動的に変更できるわけではありません。これがオンチェーンのデータ フローで行われることです。オンチェーン データ ストリームを使用すると、サービス ステータスをリアルタイムで分析し、サービス要件に一致する最適なパラメータ セットを提案できます (例: 貸付プロトコルに自動変動レート メカニズムを適用する)。
3.2.2 コラボレーションとガバナンスの取り組み
3.2.3 ネットワーク診断
3.3 課題
オンチェーン データには、業界の価値を高めることができる独自の利点があります。ただし、これらの利点を十分に実現するには、業界内外で多くの課題に対処する必要があります。
4. パイプライン化された Web3 データ Lego
現在の Web3 データ プリミティブ間には接続がなく、データは独立して抽出および処理されます。このため、情報処理における相乗効果を実験することが困難になります。この問題に対処するために、このペーパーでは、IT 市場で一般的に使用されているデータ パイプラインを紹介し、既存の Web3 データ プリミティブをこのパイプラインにマッピングします。これにより、ユースケースがより具体的になります。
4.1 一般的なデータ パイプライン
!【孤島からコラボレーションへ：Web3ネイティブデータパイプラインの意味】(https://img-cdn.gateio.im/resize-social/moments-7f230462a9-76a912bbaf-dd1a6f-1c6801)
データ パイプラインの構築は、日常生活で繰り返される意思決定プロセスを概念化し、自動化するプロセスに似ています。そうすることで、特定の品質の情報がすぐに入手でき、意思決定に使用されます。処理する非構造化データが増えるほど、情報が使用される頻度が高くなり、よりリアルタイムの分析が必要になるため、これらのプロセスを自動化することで、将来の意思決定に必要な事前対応性を獲得するための時間とコストを節約できます。
上の図は、既存の IT インフラストラクチャ市場でデータ パイプラインを構築するための一般的なアーキテクチャを示しています。分析目的に適したデータは、正しいデータ ソースから収集され、データの性質と分析要件に従って適切なストレージ ソリューションに保存されます。たとえば、データ レイクは、スケーラブルで柔軟な分析のための生データ ストレージ ソリューションを提供しますが、データ ウェアハウスは、特定のビジネス ロジックに最適化されたクエリと分析のための構造化データの保存に重点を置いています。その後、データはさまざまな方法で処理されて洞察や有用な情報が得られます。
各ソリューション レベルは、パッケージ サービスとしても利用できます。データ抽出から読み込みまでの一連のプロセスを接続する ETL (抽出、変換、読み込み) SaaS 製品グループ (FiveTran、Panoply、Hivo、Rivery など) への関心も高まっています。シーケンスは常に一方向であるわけではなく、組織の特定のニーズに応じて、レイヤーはさまざまな方法で相互に接続できます。データ パイプラインを構築するときに最も重要なことは、各サーバー層でデータが送受信されるときに発生する可能性のあるデータ損失のリスクを最小限に抑えることです。これは、サーバーの分離を最適化し、信頼性の高いデータ ストレージと処理ソリューションを使用することで実現できます。
4.2 オンチェーン環境を使用したパイプライン
!【孤島からコラボレーションへ：Web3ネイティブデータパイプラインの意味】(https://img-cdn.gateio.im/resize-social/moments-7f230462a9-d19a383e7f-dd1a6f-1c6801)
上図に示すように、先ほど紹介したデータパイプラインの概念図はオンチェーン環境にも適用できますが、各基本コンポーネントはある程度依存するため、完全に分散されたパイプラインを形成することはできないことに注意してください。一元化されたオフチェーン ソリューション。さらに、上記の図には現時点ではすべての Web3 ソリューションが含まれているわけではなく、分類の境界があいまいになる可能性があります。たとえば、KYVE には、ストリーミング メディア プラットフォームとして機能することに加えて、データ レイクの機能も含まれています。データ パイプラインそのものとみなされます。また、Space and Time は分散型データベースに分類されますが、RestAPI やストリーミングなどの API ゲートウェイ サービスや ETL サービスを提供しています。
4.2.1 キャプチャ/処理
一般ユーザーまたは dApp がサービスを効率的に利用/操作するには、トランザクション、状態、ログ イベントなど、主にプロトコル内で生成されたデータ ソースを簡単に識別してアクセスできる必要があります。この層ではミドルウェアが活躍し、オラクル、メッセージング、認証、API 管理などのプロセスを支援します。主な解決策は以下の通りです。
ストリーミング/インデックス プラットフォーム
Bitquery、Ceramic、KYVE、Lens、Streamr Network、The Graph、各種プロトコルのブロックエクスプローラーなど
node-as-a-service およびその他の RPC/API サービス
Alchemy、All that Node、Infura、Pocket Network、Quicknode など。
オラクル
API 3、Band Protocol、Chainlink、Nest Protocol、Pyth、Supra oracles など。
4.2.2 ストレージ
Web2 ストレージ ソリューションと比較して、Web3 ストレージ ソリューションには永続性や分散化などのいくつかの利点があります。ただし、コストが高い、データの更新やクエリが難しいなど、いくつかの欠点もあります。その結果、これらの欠点に対処し、Web3 上の構造化データと動的データの効率的な処理を可能にするさまざまなソリューションが登場しました。それぞれのソリューションには、処理されるデータの種類、構造化されているかどうか、組み込みクエリ機能を備えているかどうかなどの異なる特性があります。の上。
分散型ストレージ ネットワーク
Arweave、Filecoin、KYVE、Sia、Storj など
分散型データベース
Arweave ベースのデータベース (Glacier、HollowDB、Kwil、WeaveDB)、ComposeDB、OrbitDB、Polybase、Space and Time、Tableland など。
* 各プロトコルには異なる永続ストレージ メカニズムがあります。たとえば、Arweave はイーサリアム ストレージと同様のブロックチェーン ベースのモデルで、データを永続的にオンチェーンに保存しますが、Filecoin、Sia、Storj はコントラクト ベースのモデルで、データをオフチェーンに保存します。
4.2.3 変換
Web3 のコンテキストでは、変換レイヤーはストレージ レイヤーと同じくらい重要です。これは、ブロックチェーンの構造が基本的にノードの分散コレクションで構成されており、スケーラブルなバックエンド ロジックを簡単に使用できるためです。 AI 業界では、フェデレーテッド ラーニングの分野での研究にこれらの利点を活用することが積極的に検討されており、機械学習と AI 操作専用のプロトコルが登場しています。
データのトレーニング/モデリング/計算
Akash、Bacalhau、Bitensor、Gensyn、Golem、Together など。
* フェデレーテッド ラーニングは、元のモデルを複数のネイティブ クライアントに配布し、保存されたデータを使用してトレーニングし、学習されたパラメーターを中央サーバーに収集することによって、人工知能モデルをトレーニングする方法です。
!【孤島からコラボレーションへ：Web3ネイティブデータパイプラインの意味】(https://img-cdn.gateio.im/resize-social/moments-7f230462a9-4f9ccabdde-dd1a6f-1c6801)
4.2.4 分析/使用
以下にリストされているダッシュボード サービスとエンドユーザーの洞察と分析ソリューションは、ユーザーが特定のプロトコルからさまざまな洞察を観察および発見できるプラットフォームです。これらのソリューションの中には、最終製品に API サービスを提供するものもあります。ただし、これらのソリューションのデータは、主にデータの保存と処理に別のオフチェーン ツールを使用するため、必ずしも正確であるとは限らないことに注意することが重要です。ソリューション間の誤差も観察されます。
同時に、Google Cloud などの集中型プラットフォームが特定のビジネス ロジックをトリガー/実行するのと同じように、スマート コントラクトの実行を自動的に/トリガーできる「Web3 Functions」と呼ばれるプラットフォームがあります。このプラットフォームを使用すると、ユーザーは単にオンチェーン データを処理して洞察を得るのではなく、Web3 ネイティブの方法でビジネス ロジックを実装できます。
ダッシュボード サービス
Dune Analytics、Flipside Crypto、Footprint、Transpose など。
エンドユーザーの洞察と分析
Chainalaysis、Glassnode、Messari、Nansen、The Tie、トークンターミナルなど
Web3 機能
Chainlinkの機能、ジェラートネットワークなど
5. 結論としての考え
!【孤島からコラボレーションへ：Web3ネイティブデータパイプラインの意味】(https://img-cdn.gateio.im/resize-social/moments-7f230462a9-965044b34c-dd1a6f-1c6801)
カントが言ったように、私たちは物事の外観を目撃することしかできませんが、その本質を目撃することはできません。それでも、私たちは「データ」と呼ばれる観察記録を使って情報や知識を処理し、情報技術の革新がどのように文明の発展を推進するのかを目の当たりにしています。したがって、分散型であることに加えて、Web3 マーケットプレイスにデータ パイプラインを構築することは、これらの機会を実際に捉えるための出発点として重要な役割を果たすことができます。いくつかの考えを述べてこの記事を終えたいと思います。
5.1 ストレージ ソリューションの役割はさらに重要になる
データ パイプラインを構築するための最も重要な前提条件は、データと API のガバナンスを確立することです。ますます多様化するエコシステムでは、各プロトコルによって作成された仕様が再作成され続け、マルチチェーンのエコシステムを通じて断片化されたトランザクション記録により、個人が包括的な洞察を得ることがより困難になります。そして、断片化した情報を収集し、各プロトコルの仕様を更新することで、統合されたデータを統一したフォーマットで提供できる存在が「ストレージソリューション」です。 Snowflake や Databricks などの既存市場のストレージ ソリューションが急速に成長しており、大規模な顧客ベースを持ち、パイプラインのさまざまなレベルで運用することで垂直統合されており、業界をリードしていることがわかります。
5.2 データソース市場における機会
データへのアクセスが容易になり、処理が向上したことで、成功したユースケースが現れ始めました。これにより、データ ソースと収集ツールが爆発的に増加するという好循環効果が生まれます。データ パイプラインを構築するためのテクノロジーの大幅な進歩のおかげで、毎年収集されるデジタル データの種類と量は 2010 年以来急激に増加しました。この背景を Web3 市場に適用すると、将来的には多くのデータ ソースがオンチェーンで再帰的に生成される可能性があります。これは、ブロックチェーンがさまざまなビジネス分野に拡大することを意味します。現時点では、Ocean Protocol などのデータ マーケットプレイスや、Helium や XNET などの DeWi (分散型ワイヤレス) ソリューション、さらにはストレージ ソリューションを通じてデータ収集が進むことが予想されます。
5.3 重要なのは意味のあるデータと分析です
しかし、最も重要なことは、本当に必要な洞察を抽出するにはどのようなデータを準備すべきかを問い続けることです。検証するための明示的な前提を持たずに、データ パイプラインを構築するためにデータ パイプラインを構築することほど無駄なことはありません。既存の市場は、データ パイプラインの構築を通じて数多くのイノベーションを達成してきましたが、同時に無意味な失敗を繰り返すことで数え切れないほどの代償を払ってきました。テクノロジースタックの開発について建設的な議論をすることも良いことですが、業界はブロックスペースにどのようなデータを保存すべきか、データをどのような目的で使用すべきかなど、より根本的な問題について考え、議論する時間が必要です。 。 「目標」は、実用的なインテリジェンスとユースケースを通じて Web3 の価値を実現することであり、そのプロセスにおいて、複数の基本コンポーネントの開発とパイプラインの完成は、この目標を達成するための「手段」です。