Web3 ネイティブ データ パイプラインの重要性、課題、業界への影響について詳しく説明します

執筆者: Jay : : FP 編集者: Deep Tide TechFlow

2008 年のビットコイン ホワイト ペーパーの発表は、信頼の概念の再考を引き起こしました。その後、ブロックチェーンはトラストレス システムの概念を含むようにその定義を拡張し、個人の主権、金融の民主化、所有権などのさまざまな種類の価値を既存のシステムに適用できると主張するように急速に進化しました。もちろん、ブロックチェーンの特性は既存のさまざまなシステムと比較するとやや過激に見える可能性があるため、実際に使用する前に多くの検証と議論が必要になる可能性があります。しかし、これらのシナリオを楽観視している場合、データ パイプラインを構築し、ブロックチェーン ストレージに含まれる貴重な情報を分析することは、これまで存在しなかった Web3 を観察できるため、業界の発展におけるもう 1 つの重要な転換点になる可能性があります。知能。

このペーパーでは、既存の IT 市場で一般的に使用されているデータ パイプラインを Web3 環境に投影することにより、Web3 ネイティブ データ パイプラインの可能性を探ります。この記事では、これらのパイプラインの利点、対処する必要がある課題、およびこれらのパイプラインが業界に与える影響について説明します。

1. シンギュラリティは情報イノベーションから生まれる

「言語は、人間と下等動物の最も重要な違いの1つです。言語は単に音を出す能力ではなく、異なる音を異なる思考と関連付け、それらの音をアイデアを伝達するための記号として使用する能力です。」

— ダーウィン

歴史的に、人類文明の大きな進歩には、情報共有の革新が伴いました。私たちの祖先は、話し言葉と書き言葉の両方を使って相互にコミュニケーションを図り、知識を次世代に伝えてきました。これにより、他の種に比べて大きな利点が得られます。文字、紙、印刷の発明により、情報をより広く共有できるようになり、科学、技術、文化が大きく進歩しました。特にグーテンベルク聖書の金属活字印刷は、書籍やその他の印刷物の大量生産を可能にした転機でした。これは宗教改革、民主革命、科学の進歩の始まりに大きな影響を与えました。

2000年代のIT技術の急速な発展により、私たちは人間の行動をより深く理解できるようになりました。これにより、現代人の多くはデジタル情報に基づいてさまざまな意思決定を行うというライフスタイルの変化につながりました。現代社会を「IT革新の時代」と呼ぶのはこのためです。

インターネットが完全に商業化されてからわずか 20 年が経ち、人工知能テクノロジーは再び世界を驚かせました。人間の労働を代替できるアプリケーションは数多くあり、AIが変える文明について多くの人が議論しています。一部の人は、社会の基盤を揺るがすほどの技術がなぜこれほど急速に出現するのか疑問に思い、否定しています。 「ムーアの法則」によれば、半導体の性能は時間の経過とともに指数関数的に向上しますが、GPT の出現によってもたらされる変化はあまりにも突然で、すぐに対処することはできません。

ただし、興味深いことに、GPT モデル自体は実際にはそれほど画期的なアーキテクチャではありません。一方、AI業界はGPTモデルの主な成功要因として、1) 大規模な顧客グループをターゲットにできるビジネスドメインの定義、2) データ取得から最終結果までのデータパイプラインを通じたモデルチューニングが挙げられる。そして結果に基づいたフィードバック。つまり、これらのアプリケーションは、サービス提供の目的を洗練し、データ/情報処理プロセスをアップグレードすることにより、イノベーションを可能にします。

2. データに基づいた意思決定はどこにでも存在します

私たちがイノベーションと呼ぶもののほとんどは、実際には偶然や直感ではなく、蓄積されたデータの操作に基づいています。 「資本主義市場では、強い者が生き残るのではなく、生き残った者が強い」ということわざがあります。今日のビジネスは競争が激しく、市場は飽和しています。そのため、企業はあらゆる種類のデータを収集して分析し、最小のニッチ市場でも獲得しようとしています。

私たちはシュンペーター（深潮注：シュンペーター。有名な経済学者）の「創造的破壊」理論に囚われすぎて、直観に基づく意思決定を重視しすぎているのかもしれません。しかし、たとえ優れた直感であっても、最終的には個人が蓄積したデータや情報の産物です。今後、デジタルの世界は私たちの生活にさらに深く浸透し、より多くの機密情報がデジタルデータの形で提供されるようになります。

Web3 市場は、ユーザーが自分のデータを制御できる可能性があるため、多くの注目を集めています。しかし、Web3の基礎技術であるブロックチェーン分野は現在、トリレンマ（ディープタイド注：三角のジレンマ、つまりセキュリティ、分散化、スケーラビリティの問題）の解決に重点を置いている。新しいテクノロジーが現実の世界で説得力を持つためには、さまざまな方法で使用できるアプリケーションとインテリジェンスを開発することが重要です。私たちはこれがビッグ データの分野で起こっているのを見てきましたが、ビッグ データの処理とデータ パイプラインを構築する方法論は 2010 年頃から大幅に進歩しました。 Web3 のコンテキストでは、業界を前進させ、データベースのインテリジェンスを生成するデータ フロー システムを構築する努力が必要です。

3. チェーン上のデータフローに基づく機会

では、Web3 ネイティブのストリーミング システムからどのような機会を掴むことができるのでしょうか。また、これらの機会を掴むためにはどのような課題に取り組む必要があるのでしょうか?

3.1 利点

つまり、Web3 ネイティブ データ ストリームを構成することの価値は、信頼できるデータを複数のエンティティに安全かつ効率的に配布できるため、貴重な洞察を抽出できることです。

データの冗長性 - プロトコル ネットワークがデータ フラグメントを複数のノードに保存するため、オンチェーン データは失われる可能性が低く、復元力が高くなります。

データ セキュリティ - オンチェーン データは、分散ノードのネットワークによって検証および合意されているため、改ざんが防止されます。

データ主権 - データ主権は、ユーザーが自分のデータを所有および制御する権利です。オンチェーン データ ストリーミングを使用すると、ユーザーは自分のデータがどのように使用されているかを確認し、データにアクセスする正当な必要性があるユーザーとのみデータを共有することを選択できます。

パーミッションレスかつ透過的 - オンチェーンデータは透過的で改ざん防止が可能です。これにより、処理されるデータも信頼できる情報源であることが保証されます。

安定した運用 - 分散環境でデータ フローがプロトコルによって調整されると、単一障害点が存在しないため、各レイヤーがダウンタイムにさらされる可能性が大幅に減少します。

3.2 応用例

信頼は、さまざまなエンティティが相互に対話し、意思決定を行うための基盤です。したがって、信頼できるデータを安全に配布できれば、さまざまな主体が参加する Web3 サービスを通じて多くの対話や意思決定が可能になることを意味します。これはソーシャル キャピタルを最大化するのに役立ち、以下のようないくつかの使用例が考えられます。

3.2.1 サービス/プロトコルの適用

ルールベースの自動意思決定システム - プロトコルは主要なパラメーターを使用してサービスを実行します。これらのパラメーターは、サービスの状態を安定させ、ユーザーに最高のエクスペリエンスを提供するために定期的に調整されます。ただし、プロトコルは常にサービスのステータスを監視し、タイムリーにパラメータを動的に変更できるわけではありません。これがオンチェーンのデータ フローで行われることです。オンチェーン データ ストリームを使用すると、サービス ステータスをリアルタイムで分析し、サービス要件に一致する最適なパラメータ セットを提案できます (例: 貸付プロトコルに自動変動レート メカニズムを適用する)。

信用市場の成長 - 信用は伝統的に金融市場で個人の返済能力の尺度として使用されてきました。これは市場の効率性の向上に役立ちます。ただし、Web3 市場におけるクレジットの定義は依然として不明瞭です。これは、個人データの不足と業界全体のデータガバナンスの欠如が原因です。そのため、情報を統合して収集することが困難になります。断片化したデータをオンチェーンで収集・処理するプロセスを構築することで、Web3市場における信用市場を再定義することが可能となる（例えば、SpectralのMACRO（マルチアセット・クレジット・リスク・オラクル）スコアリング）。

分散型ソーシャル/NFT 拡張 - 分散型社会では、ユーザー制御、プライバシー保護、検閲耐性、コミュニティ ガバナンスが優先されます。これは、代替的な社会パラダイムを提供します。したがって、パイプラインを確立して、さまざまなメタデータをよりスムーズに制御および更新し、プラットフォーム間の移行を容易にすることができます。

不正検出 - スマート コントラクトを使用する Web3 サービスは、資金を盗んだり、システムを侵害したり、デカップリング攻撃や流動性攻撃につながる可能性のある悪意のある攻撃に対して脆弱です。こうした攻撃を事前に検知できるシステムを構築することで、Web3 サービスは迅速な対応計画を立て、ユーザーを被害から守ることができます。

3.2.2 協力とガバナンスの取り組み

完全にオンチェーンの DAO - 分散型自律組織 (DAO) は、効率的なガバナンスと公的資金提供のためにオフチェーン ツールに大きく依存しています。オンチェーンのデータ処理プロセスを構築し、DAO 操作の透過的なプロセスを作成することにより、Web3 のネイティブ DAO の価値をさらに高めることができます。

ガバナンス疲労の軽減 - Web3 プロトコルの決定は、多くの場合、コミュニティ ガバナンスを通じて行われます。ただし、地理的な障壁、監視の圧力、ガバナンスに必要な専門知識の欠如、ランダムに公開されるガバナンス アジェンダ、不便なユーザー エクスペリエンスなど、参加者がガバナンスに参加することを困難にする要因は数多くあります。参加者が個々のガバナンスの議題項目を理解し、実際に実装するまでのプロセスを簡素化するツールを作成できれば、プロトコル ガバナンス フレームワークはより効率的かつ効果的に運用できます。

共同作業のためのオープン データ プラットフォーム – 既存の学術界や産業界では、多くのデータや研究資料が公開されていないため、市場全体の発展が非常に非効率になる可能性があります。一方、オンチェーンのデータプールは透明で誰でもアクセスできるため、既存の市場よりも協力的な取り組みを促進できます。多くのトークン標準と DeFi ソリューションの開発がその良い例です。さらに、当社はさまざまな目的で公開データプールを運用する場合があります。

3.2.3 ネットワーク診断

インデックス調査 - プロトコルの状態を分析および比較するために、Web3 ユーザーによってさまざまな指標が作成されます。複数の客観的な指標 (例: ナカフローのサトシ係数) を調査し、リアルタイムで表示できます。

プロトコル メトリック - アクティブなアドレスの数、トランザクションの数、資産の流入/流出、ネットワークによって発生する料金などのデータを処理することにより、プロトコルのパフォーマンスを分析できます。この情報は、特定のプロトコル更新の影響、MEV のステータス、およびネットワークの健全性を評価するために使用できます。

3.3 課題

オンチェーン データには、業界の価値を高めることができる独自の利点があります。ただし、これらの利点を十分に実現するには、業界内外で多くの課題に対処する必要があります。

データ ガバナンスの欠如 - データ ガバナンスは、各データ プリミティブの統合を促進するために、一貫した共有データ ポリシーと標準を確立するプロセスです。現在、各オンチェーン プロトコルは独自の標準を確立し、独自のデータ型を取得します。ただし、問題は、これらのプロトコル データを集約し、ユーザーに API サービスを提供するエンティティ間のデータ ガバナンスが欠如していることです。このため、サービス間の統合が困難になり、その結果、ユーザーが信頼できる包括的な洞察を得ることが困難になります。

コストの非効率 - コールド データをプロトコルに保存すると、ユーザーのデータ セキュリティとサーバーのコストが節約されます。ただし、分析のためにデータに頻繁にアクセスする必要がある場合、または大量のコンピューティング リソースが必要な場合は、データをブロックチェーンに保存するのはコスト効率が悪い可能性があります。

オラクルの問題 - スマート コントラクトは、現実世界のデータにアクセスできる場合にのみ完全に機能します。ただし、これらのデータは常に信頼性や一貫性があるとは限りません。コンセンサスアルゴリズムを通じて整合性を維持するブロックチェーンとは異なり、外部データは決定的ではありません。 Oracle ソリューションは、特定のアプリケーション層に依存せずに外部データの整合性、品質、スケーラビリティを確保するために進化する必要があります。

このプロトコルはまだ初期段階にあります。このプロトコルは独自のトークンを使用して、ユーザーにサービスの実行を継続し、料金を支払うよう促します。ただし、プロトコルを運用するために必要なパラメータ (サービス ユーザーの正確な定義やインセンティブ スキームなど) は、単純に管理されることがよくあります。これは、プロトコルの経済的持続可能性を検証することが困難であることを意味します。多くのプロトコルが有機的に接続してデータ パイプラインを作成すると、パイプラインが適切に機能するかどうかについて不確実性が高まります。

データ取得時間が遅い - プロトコルは通常、多くのノードの合意を通じてトランザクションを処理するため、従来の IT ビジネス ロジックと比較して情報処理の速度と量が制限されます。パイプラインを構成するすべてのプロトコルのパフォーマンスが大幅に向上しない限り、このボトルネックを解決するのは困難です。

Web3 データの真の価値 - ブロックチェーンは、まだ現実世界に接続されていないサイロ化されたシステムです。 Web3 データを収集するときは、収集したデータがデータ パイプラインの構築コストをカバーするのに十分な意味のある洞察を提供できるかどうかを検討する必要があります。

馴染みのない構文 - 既存の IT データ インフラストラクチャとブロックチェーン インフラストラクチャの動作は大きく異なります。使用されるプログラミング言語さえ異なり、ブロックチェーンインフラストラクチャでは、低レベル言語またはブロックチェーンのニーズに特化して設計された新しい言語が使用されることがよくあります。このため、新しい開発者やサービス ユーザーは、新しいプログラミング言語やブロックチェーン データの操作に関する新しい考え方を学ぶ必要があるため、各データ プリミティブの処理方法を学ぶことが困難になります。

4. パイプライン化された Web3 データ Lego

現在の Web3 データ プリミティブ間には接続がなく、データは独立して抽出および処理されます。このため、情報処理における相乗効果を実験することが困難になります。この問題に対処するために、このペーパーでは、IT 市場で一般的に使用されているデータ パイプラインを紹介し、既存の Web3 データ プリミティブをこのパイプラインにマッピングします。これにより、ユースケースがより具体的になります。

4.1 一般的なデータ パイプライン

データ パイプラインの構築は、日常生活で繰り返される意思決定プロセスを概念化し、自動化するプロセスに似ています。そうすることで、特定の品質の情報がすぐに入手でき、意思決定に使用されます。処理する非構造化データが増えるほど、情報が使用される頻度が高くなり、よりリアルタイムの分析が必要になるため、これらのプロセスを自動化することで、将来の意思決定に必要な事前対応性を獲得するための時間とコストを節約できます。

上の図は、既存の IT インフラストラクチャ市場でデータ パイプラインを構築するための一般的なアーキテクチャを示しています。分析目的に適したデータは、正しいデータ ソースから収集され、データの性質と分析要件に従って適切なストレージ ソリューションに保存されます。たとえば、データ レイクは、スケーラブルで柔軟な分析のための生データ ストレージ ソリューションを提供しますが、データ ウェアハウスは、特定のビジネス ロジックに最適化されたクエリと分析のための構造化データの保存に重点を置いています。データはその後、さまざまな方法で洞察や有用な情報に処理されます。

各ソリューション レベルは、パッケージ サービスとしても利用できます。データ抽出から読み込みまでの一連のプロセスを接続する ETL (抽出、変換、読み込み) SaaS 製品グループ (FiveTran、Panoply、Hivo、Rivery など) への関心も高まっています。シーケンスは常に一方向であるとは限らず、組織の特定のニーズに応じて、レイヤーはさまざまな方法で相互に接続できます。データ パイプラインを構築する際に最も重要なことは、各サーバー層でデータが送受信されるときに発生する可能性のあるデータ損失のリスクを最小限に抑えることです。これは、サーバーの分離を最適化し、信頼性の高いデータ ストレージと処理ソリューションを使用することで実現できます。

4.2 オンチェーン環境を使用したパイプライン

上図に示すように、先ほど紹介したデータパイプラインの概念図はオンチェーン環境にも適用できますが、各基本コンポーネントはある程度依存するため、完全に分散されたパイプラインを形成することはできないことに注意してください。一元化されたオフチェーン ソリューション。さらに、上記の図には現時点ではすべての Web3 ソリューションが含まれているわけではなく、分類の境界があいまいになる可能性があります。たとえば、KYVE には、ストリーミング メディア プラットフォームとして機能することに加えて、データ レイクの機能も含まれています。データ パイプラインそのものとみなされます。また、Space and Time は分散型データベースに分類されますが、RestAPI やストリーミングなどの API ゲートウェイ サービスや ETL サービスを提供しています。

4.2.1 キャプチャ/処理

一般ユーザーまたは dApp がサービスを効率的に利用/操作するには、主にプロトコル内で生成されるトランザクション、状態、ログ イベントなどのデータ ソースを簡単に識別してアクセスできる必要があります。この層ではミドルウェアが活躍し、オラクル、メッセージング、認証、API 管理などのプロセスを支援します。主な解決策は以下の通りです。

ストリーミング/インデックス作成プラットフォーム

Bitquery、Ceramic、KYVE、Lens、Streamr Network、The Graph、各種プロトコルのブロックエクスプローラーなど

Node-as-a-Service およびその他の RPC/API サービス

Alchemy、All that Node、Infura、Pocket Network、Quicknode など。

オラクル

API3、Band Protocol、Chainlink、Nest Protocol、Pyth、Supra oracles など。

4.2.2 保管

Web2 ストレージ ソリューションと比較して、Web3 ストレージ ソリューションには永続性や分散化などのいくつかの利点があります。ただし、コストが高い、データの更新やクエリが難しいなど、いくつかの欠点もあります。その結果、これらの欠点に対処し、Web3 上の構造化データと動的データの効率的な処理を可能にするさまざまなソリューションが登場しました。それぞれのソリューションには、処理されるデータの種類、構造化されているかどうか、組み込みクエリ機能を備えているかどうかなどの異なる特性があります。の上。

分散型ストレージネットワーク

Arweave、Filecoin、KYVE、Sia、Storj など

分散型データベース

Arweave ベースのデータベース (Glacier、HollowDB、Kwil、WeaveDB)、ComposeDB、OrbitDB、Polybase、Space and Time、Tableland など。

*各プロトコルには異なる永続ストレージ メカニズムがあります。たとえば、Arweave はイーサリアム ストレージと同様のブロックチェーン ベースのモデルで、データを永続的にオンチェーンに保存しますが、Filecoin、Sia、Storj はコントラクト ベースのモデルで、データをオフチェーンに保存します。

4.2.3 変換

Web3 のコンテキストでは、変換レイヤーはストレージ レイヤーと同じくらい重要です。これは、ブロックチェーンの構造が基本的にノードの分散コレクションで構成されており、スケーラブルなバックエンド ロジックを簡単に使用できるためです。 AI 業界では、フェデレーテッド ラーニングの分野での研究にこれらの利点を活用することが積極的に検討されており、機械学習と AI 操作専用のプロトコルが登場しています。

データトレーニング/モデリング/コンピューティング

Akash、Bacalhau、Bitensor、Gensyn、Golem、Together など。

*フェデラル ラーニングは、元のモデルを複数のネイティブ クライアントに配布し、保存されたデータを使用してトレーニングし、学習されたパラメーターを中央サーバーに収集することによって、人工知能モデルをトレーニングする方法です。

4.2.4 分析・利用

以下にリストされているダッシュボード サービスとエンドユーザーの洞察と分析ソリューションは、ユーザーが特定のプロトコルからさまざまな洞察を観察および発見できるプラットフォームです。これらのソリューションの中には、最終製品に API サービスを提供するものもあります。ただし、これらのソリューションのデータは、主にデータの保存と処理に別のオフチェーン ツールを使用するため、必ずしも正確であるとは限らないことに注意することが重要です。ソリューション間の誤差も観察されます。

同時に、Google Cloud などの集中型プラットフォームが特定のビジネス ロジックをトリガー/実行するのと同じように、スマート コントラクトの実行を自動的に/トリガーできる「Web3 Functions」と呼ばれるプラットフォームがあります。このプラットフォームを使用すると、ユーザーは単にオンチェーン データを処理して洞察を得るのではなく、Web3 ネイティブの方法でビジネス ロジックを実装できます。

• ダッシュボードサービス

Dune Analytics、Flipside Crypto、Footprint、Transpose など。

• エンドユーザーの洞察と分析

Chainalaysis、Glassnode、Messari、Nansen、The Tie、トークンターミナルなど

※Web3機能

Chainlinkの機能、ジェラートネットワークなど

5. まとめ

カントが言ったように、私たちは物事の外観を目撃することしかできませんが、その本質を目撃することはできません。それでも、私たちは「データ」として知られる観察記録を使用して情報や知識を処理し、情報技術の革新がどのように文明の発展を推進するかを目にしています。したがって、分散型であることに加えて、Web3 マーケットプレイスにデータ パイプラインを構築することは、これらの機会を実際に捉えるための出発点として重要な役割を果たすことができます。いくつかの考えを述べてこの記事を終えたいと思います。

5.1 ストレージ ソリューションの役割はさらに重要になる

データ パイプラインを構築するための最も重要な前提条件は、データと API のガバナンスを確立することです。ますます多様化するエコシステムでは、各プロトコルによって作成された仕様が再作成され続け、マルチチェーンのエコシステムを通じて断片化されたトランザクション記録により、個人が包括的な洞察を得ることがより困難になります。そして、断片化した情報を収集し、各プロトコルの仕様を更新することで、統合されたデータを統一したフォーマットで提供できる存在が「ストレージソリューション」です。 Snowflake や Databricks などの既存市場のストレージ ソリューションが急速に成長しており、大規模な顧客ベースを持ち、パイプラインのさまざまなレベルで運用することで垂直統合されており、業界をリードしていることがわかります。

5.2 データソース市場における機会

データへのアクセスが容易になり、処理が向上したことで、成功したユースケースが現れ始めました。これにより、データ ソースと収集ツールが爆発的に増加するという好循環効果が生まれます。データ パイプラインを構築するためのテクノロジーの大幅な進歩のおかげで、毎年収集されるデジタル データの種類と量は 2010 年以来急激に増加しました。この背景を Web3 市場に適用すると、将来的には多くのデータ ソースがオンチェーンで再帰的に生成される可能性があります。これは、ブロックチェーンがさまざまなビジネス分野に拡大することを意味します。現時点では、Ocean Protocol などのデータ マーケットプレイスや、Helium や XNET などの DeWi (分散型ワイヤレス) ソリューション、さらにはストレージ ソリューションを通じてデータ収集が進むことが予想されます。

5.3 重要なのは意味のあるデータと分析です

しかし、最も重要なことは、本当に必要な洞察を抽出するにはどのようなデータを準備すべきかを問い続けることです。検証するための明示的な前提を持たずに、データ パイプラインを構築するためにデータ パイプラインを構築することほど無駄なことはありません。既存の市場は、データ パイプラインの構築を通じて数多くのイノベーションを達成してきましたが、同時に無意味な失敗を繰り返すことで数え切れないほどの代償を払ってきました。テクノロジースタックの開発について建設的な議論をすることも良いことですが、業界はブロックスペースにどのようなデータを保存すべきか、データをどのような目的で使用すべきかなど、より根本的な問題について考え、議論する時間が必要です。 。 「目標」は、実用的なインテリジェンスとユースケースを通じて Web3 の価値を実現することであり、このプロセスにおいて、いくつかの基本コンポーネントの開発とパイプラインの完成は、この目標を達成するための「手段」です。