Від ізоляції до співпраці: важливість власних конвеєрів даних Web3

Написав Джей :: FP

Компіляція: Deep Tide TechFlow

Випуск білої книги щодо біткойнів у 2008 році спровокував переосмислення концепції довіри. Потім блокчейн розширив своє визначення, включивши в нього поняття недовірчої системи, і швидко розвинувся, щоб стверджувати, що різні типи цінностей, такі як особистий суверенітет, фінансова демократизація та власність, можуть бути застосовані до існуючих систем. Звичайно, може знадобитися багато перевірок і обговорень, перш ніж блокчейн можна буде використовувати на практиці, оскільки його характеристики можуть здаватися дещо радикальними порівняно з різними існуючими системами. Однак, якщо ми оптимістично дивимося на ці сценарії, побудова конвеєрів даних і аналіз цінної інформації, що міститься в блокчейн-сховищі, може стати ще одним важливим поворотним моментом у розвитку галузі, оскільки ми можемо спостерігати Web3, якого ніколи раніше не існувало. інтелект.

У цьому документі досліджується потенціал конвеєрів даних, створених у Web3, проектуючи конвеєри даних, які зазвичай використовуються на існуючих ІТ-ринках, у середовище Web3. У статті обговорюються переваги цих трубопроводів, проблеми, які необхідно вирішити, і вплив цих трубопроводів на галузь.

1. Особливість походить від інформаційних інновацій

«Мова є однією з найважливіших відмінностей між людьми та нижчими тваринами. Це не просто здатність видавати звуки, але й пов’язувати певні звуки з певними думками та використовувати ці звуки як символи для передачі ідей», — Дарвін.

Історично великий прогрес людської цивілізації супроводжувався інноваціями в обміні інформацією. Наші предки використовували мову, як розмовну, так і письмову, щоб спілкуватися один з одним і передавати знання майбутнім поколінням. Це дає їм велику перевагу перед іншими видами. Винахід письма, паперу та друку дозволив ширше обмінюватися інформацією, що призвело до значного прогресу в науці, техніці та культурі. Металевий друк Біблії Гутенберга рухомим шрифтом став переломним моментом, оскільки зробив можливим масове виробництво книг та інших друкованих матеріалів. Це мало глибокий вплив на початок Реформації, Демократичної революції та наукового прогресу.

Швидкий розвиток ІТ-технологій у 2000-х роках дозволив нам отримати глибше розуміння людської поведінки. Це призвело до зміни способу життя, коли більшість людей у наш час приймають різні рішення на основі цифрової інформації. Саме з цієї причини ми називаємо сучасне суспільство «Епохою ІТ-інновацій».

Лише через 20 років після повної комерціалізації Інтернету технологія штучного інтелекту знову вразила світ. Є багато програм, які можуть замінити людську працю, і багато людей обговорюють цивілізацію, яку ШІ змінить. Дехто навіть заперечує, дивуючись, як така технологія могла з’явитися так швидко, що могла похитнути основи нашого суспільства. Хоча існує «закон Мура», згідно з яким продуктивність напівпровідників з часом зростатиме експоненціально, зміни, викликані появою GPT, є надто раптовими, щоб з ними зіткнутися негайно.

Цікаво, однак, що сама модель GPT насправді не є дуже новаторською архітектурою. З іншого боку, індустрія штучного інтелекту перелічить наступне як основні фактори успіху для моделей GPT: 1) Визначення бізнес-доменів, які можуть націлюватися на великі групи клієнтів, і 2) Налаштування моделі за допомогою конвеєрів даних - від збору даних до кінцевих результати та відгуки на основі результатів. Коротше кажучи, ці програми забезпечують інновації шляхом уточнення цілей надання послуг і модернізації процесів обробки даних/інформації.

2. Рішення на основі даних є всюди

Більшість того, що ми називаємо інноваціями, насправді базується на маніпулюванні накопиченими даними, а не випадковістю чи інтуїцією. Як кажуть: «На капіталістичному ринку виживає не сильний, а сильний той, хто вижив». Сучасний бізнес є висококонкурентним, а ринок насиченим. Тому компанії збирають і аналізують усілякі дані, щоб захопити навіть найменшу нішу.

Ми можемо бути занадто одержимі теорією Шумпетера про «творчу деструкцію» і занадто сильно наголошуємо на прийнятті рішень на основі інтуїції. Однак навіть чудова інтуїція в кінцевому підсумку є продуктом даних та інформації, накопичених людиною. У майбутньому цифровий світ глибше проникне в наше життя, і все більше конфіденційної інформації буде представлено у формі цифрових даних.

Ринок Web3 привертає велику увагу через його потенціал, який дозволяє користувачам контролювати свої дані. Однак сфера блокчейну, яка є базовою технологією Web3, наразі більше стурбована вирішенням трилеми (Deep Tide Note: Triangular Dilemma, тобто питання безпеки, децентралізації та масштабованості). Щоб нові технології були переконливими в реальному світі, важливо розробляти програми та інтелект, які можна використовувати різними способами. Ми бачили, як це відбувається в просторі великих даних, і методології створення великих даних обробки та конвеєрів даних значно просунулися приблизно з 2010 року. У контексті Web3 необхідно докласти зусиль, щоб просунути галузь вперед і побудувати системи потоку даних для створення інтелектуальних даних на основі даних.

3. Можливості на основі потоку даних у ланцюжку

Отже, які можливості ми можемо отримати від систем потокового передавання Web3 і які проблеми нам потрібно вирішити, щоб скористатися цими можливостями?

3.1 Переваги

Коротше кажучи, цінність налаштування власних потоків даних Web3 полягає в тому, що надійні дані можна безпечно й ефективно поширювати між кількома об’єктами, щоб можна було отримати цінну інформацію.

• Надлишковість даних – дані в ланцюжку менше ймовірно втрачені та більш стійкі, оскільки мережа протоколів зберігає фрагменти даних на кількох вузлах.
• Безпека даних. Дані в ланцюжку захищені від втручання, оскільки вони перевіряються та погоджуються мережею децентралізованих вузлів.
• Суверенітет даних. Суверенітет даних — це право користувачів володіти своїми даними та контролювати їх. За допомогою потокової передачі даних у ланцюжку користувачі можуть бачити, як використовуються їхні дані, і ділитися ними лише з тими, хто має законну потребу в доступі до них.
• Без дозволу та прозорості – дані в ланцюжку прозорі та захищені від змін. Це гарантує, що дані, що обробляються, також є надійним джерелом інформації.
• Стабільна робота - коли потік даних керується протоколом у розподіленому середовищі, оскільки немає єдиної точки збою, ймовірність того, що кожен рівень піддається простою, значно зменшується.

3.2 Випадки застосування

Довіра є основою для взаємодії різних суб’єктів один з одним і прийняття рішень. Таким чином, якщо надійні дані можна безпечно поширювати, це означає, що багато взаємодій і рішень можна приймати через служби Web3, в яких беруть участь різні суб’єкти. Це допомагає максимізувати соціальний капітал, і ми можемо уявити кілька випадків використання нижче.

3.2.1 Додаток служби/протоколу

Автоматизована система прийняття рішень на основі правил – протоколи використовують ключові параметри для запуску служб. Ці параметри регулярно коригуються, щоб стабілізувати статус служби та забезпечити користувачам найкращий досвід. Проте протокол не завжди може відстежувати стан служби та своєчасно вносити динамічні зміни в параметри. Це те, що робить потік даних у ланцюжку. Потоки даних у ланцюжку можна використовувати для аналізу статусу послуги в режимі реального часу та пропонування найкращого набору параметрів для відповідності вимогам до послуги (наприклад, застосування автоматичного механізму плаваючої ставки для протоколів кредитування).

• Зростання кредитного ринку. Кредит традиційно використовувався на фінансових ринках як міра спроможності особи повертати кошти. Це допомагає підвищити ефективність ринку. Однак визначення кредиту залишається незрозумілим на ринку Web3. Це пов’язано з дефіцитом персональних даних і відсутністю управління даними в галузях. Тому стає важко інтегрувати та збирати інформацію. Побудувавши процес збору та обробки фрагментованих даних у ланцюжку, можна перевизначити кредитний ринок на ринку Web3 (наприклад, скоринг MACRO (багатоактивний оракул кредитного ризику) Spectral).
• Децентралізовані соціальні/NFT розширення — децентралізовані суспільства надають пріоритет контролю користувачів, захисту конфіденційності, стійкості до цензури та керуванню спільнотою. Це забезпечує альтернативну соціальну парадигму. Таким чином, конвеєр може бути встановлений для більш плавного контролю та оновлення різних метаданих і полегшення міграції між платформами.
• Виявлення шахрайства. Сервіси Web3, які використовують смарт-контракти, вразливі до зловмисних атак, які можуть викрасти кошти, скомпрометувати системи та призвести до атак на роз’єднання та ліквідність. Створивши систему, яка може заздалегідь виявляти ці атаки, служби Web3 можуть розробити плани швидкого реагування та захистити користувачів від шкоди.

3.2.2 Ініціативи щодо співпраці та управління

• Повністю ланцюгові DAO. Децентралізовані автономні організації (DAO) значною мірою покладаються на оф-чейн інструменти для ефективного управління та державного фінансування. Побудувавши процес обробки даних у ланцюжку та створивши прозорий процес для операцій DAO, можна ще більше підвищити цінність власного DAO Web3.
• Зменшення втоми від управління - рішення щодо протоколу Web3 часто приймаються через управління спільнотою. Однак є багато факторів, які можуть ускладнити участь учасників в управлінні, наприклад географічні бар’єри, тиск моніторингу, відсутність досвіду, необхідного для управління, випадково опублікована програма управління та незручний досвід користувача. Структура управління протоколом могла б працювати ефективніше та результативніше, якби можна було створити інструмент, який спрощував би учасникам процес переходу від розуміння до фактичного впровадження окремих пунктів порядку денного управління.
• Платформи відкритих даних для спільної роботи. В існуючих академічних і промислових колах багато даних і дослідницьких матеріалів не розголошуються публічно, що може зробити загальний розвиток ринку дуже неефективним. З іншого боку, мережеві пули даних можуть сприяти більшій кількості спільних ініціатив, ніж існуючі ринки, оскільки вони прозорі та доступні для будь-кого. Хорошими прикладами є розробка багатьох стандартів токенів і рішень DeFi. Крім того, ми можемо керувати публічними пулами даних для різних цілей.

3.2.3 Діагностика мережі

• Дослідження індексу - користувачі Web3 створюють різні індикатори для аналізу та порівняння стану протоколу. Кілька цільових показників (наприклад, коефіцієнт Satoshi Nakaflow) можна вивчати та відображати в режимі реального часу.
• Метрики протоколу. За допомогою обробки таких даних, як кількість активних адрес, кількість транзакцій, приплив/відтік активів і комісії, сплачені мережею, можна проаналізувати ефективність протоколу. Цю інформацію можна використовувати для оцінки впливу певних оновлень протоколу, статусу MEV і працездатності мережі.

3.3 Виклики

Дані в мережі мають унікальні переваги, які можуть збільшити цінність галузі. Однак, щоб повністю реалізувати ці переваги, потрібно вирішити багато проблем як у галузі, так і за її межами.

• Відсутність управління даними. Управління даними — це процес встановлення узгоджених і спільних політик і стандартів щодо даних для полегшення інтеграції кожного примітиву даних. Наразі кожен мережевий протокол встановлює власні стандарти та отримує власні типи даних. Проблема, однак, полягає у відсутності керування даними між об’єктами, які агрегують дані протоколу та надають користувачам послуги API. Це ускладнює інтеграцію між службами, і, як наслідок, користувачам важко отримати надійну та вичерпну інформацію.
• Неефективність витрат - зберігання холодних даних у протоколі заощаджує безпеку даних користувачів і витрати на сервер. Однак, якщо до даних потрібно часто звертатися для аналізу або вони вимагають значних обчислювальних ресурсів, зберігати їх у блокчейні може бути нерентабельно.
• Проблема оракула: розумні контракти повністю функціональні лише тоді, коли вони мають доступ до даних з реального світу. Однак ці дані не завжди надійні чи послідовні. На відміну від блокчейнів, які підтримують цілісність за допомогою консенсусних алгоритмів, зовнішні дані не є детермінованими. Рішення Oracle повинні розвиватися, щоб забезпечити цілісність, якість і масштабованість зовнішніх даних незалежно від конкретного прикладного рівня.
• Протокол знаходиться в зародковому стані — протокол використовує власний маркер, щоб стимулювати користувачів підтримувати роботу послуги та платити за неї. Однак параметрами, необхідними для роботи протоколу (наприклад, точне визначення та схема стимулювання користувачів послуг), часто керують наївно. Це означає, що економічну стійкість протоколу важко перевірити. Якщо багато протоколів органічно з’єднуються та створюють конвеєри даних, буде більше невизначеності щодо того, чи конвеєри працюватимуть добре.
• Повільний час отримання даних – протоколи зазвичай обробляють транзакції через консенсус багатьох вузлів, що обмежує швидкість і обсяг обробки інформації порівняно з традиційною ІТ-бізнес-логікою. Це вузьке місце важко вирішити, якщо продуктивність усіх протоколів, які складають конвеєр, не буде значно покращена.
• Справжня цінність даних Web3 - блокчейни є ізольованими системами, які ще не підключені до реального світу. Збираючи дані Web3, ми повинні розглянути, чи можуть зібрані дані надати достатню значущу інформацію, щоб покрити витрати на створення конвеєра даних.
• Незнайомий синтаксис – існуюча інфраструктура ІТ-даних та інфраструктура блокчейну працюють дуже по-різному. Навіть використовувана мова програмування відрізняється, і інфраструктура блокчейну часто використовує мови низького рівня або нові мови, розроблені спеціально для потреб блокчейну. Це ускладнює новим розробникам і користувачам послуг навчитися працювати з кожним примітивом даних, оскільки їм потрібно вивчити нову мову програмування або новий спосіб мислення щодо роботи з даними блокчейну.

4. Конвеєрні дані Web3 Lego

Між поточними примітивами даних Web3 немає зв’язків, вони витягують і обробляють дані незалежно. Це ускладнює експерименти із синергією в обробці інформації. Щоб вирішити цю проблему, у цьому документі представлено конвеєр даних, який зазвичай використовується на ринку ІТ, і зіставляє існуючі примітиви даних Web3 з цим конвеєром. Це зробить варіант використання більш конкретним.

4.1 Загальний канал даних

Побудова конвеєра даних схоже на процес концептуалізації та автоматизації повторюваних процесів прийняття рішень у повсякденному житті. Завдяки цьому інформація певної якості стає легкодоступною та використовується для прийняття рішень. Чим більше неструктурованих даних потрібно обробити, тим частіше використовується інформація або чим більше потрібно аналізу в реальному часі, час і витрати на отримання проактивності, необхідної для майбутніх рішень, можна заощадити завдяки автоматизації цих процесів.

На діаграмі вище показано загальну архітектуру для побудови конвеєрів даних на існуючому ринку ІТ-інфраструктури. Дані, придатні для аналітичних цілей, збираються з правильного джерела даних і зберігаються у відповідному рішенні для зберігання відповідно до характеру даних і аналітичних вимог. Наприклад, озера даних забезпечують рішення для зберігання необроблених даних для масштабованого та гнучкого аналізу, тоді як сховища даних зосереджуються на зберіганні структурованих даних для запитів та аналізу, оптимізованих для конкретної бізнес-логіки. Дані потім обробляються в розуміння або корисну інформацію різними способами.

Кожен рівень рішення також доступний як пакетна послуга. Також зростає інтерес до груп продуктів SaaS ETL (Extract, Transform, Load), які з’єднують ланцюжок процесів від вилучення даних до завантаження (наприклад, FiveTran, Panoply, Hivo, Rivery). Послідовність не завжди односпрямована, і рівні можуть бути з’єднані один з одним різними способами, залежно від конкретних потреб організації. Найважливішим під час побудови конвеєра даних є мінімізація ризику втрати даних, яка може статися під час надсилання та отримання даних на кожному рівні сервера. Цього можна досягти шляхом оптимізації відокремлення серверів і використання надійних рішень для зберігання та обробки даних.

4.2 Конвеєр із середовищем on-chain

Концептуальну діаграму конвеєра даних, представлену раніше, можна застосувати до середовища on-chain, як показано на малюнку вище, але слід зазначити, що повністю децентралізований конвеєр не може бути сформований, оскільки кожен базовий компонент певною мірою залежить від Централізоване автономне рішення. Крім того, наведений вище малюнок наразі не включає всі рішення Web3, і межі класифікації можуть бути розмитими — наприклад, KYVE, окрім функції потокової медіа-платформи, також включає функцію озера даних, яке може бути розглядається як сам конвеєр даних. Крім того, Space and Time класифікується як децентралізована база даних, але вона пропонує послуги шлюзу API, такі як RestAPI та потокове передавання, а також служби ETL.

4.2.1 Захоплення/обробка

Щоб звичайні користувачі або dApps могли ефективно використовувати/керувати службами, вони повинні мати можливість легко ідентифікувати та отримувати доступ до джерел даних, які в основному генеруються в рамках протоколу, таких як транзакції, стан і події журналу. На цьому рівні в гру вступає проміжне програмне забезпечення, яке допомагає з процесами, включаючи оракули, обмін повідомленнями, автентифікацію та керування API. Основні рішення наступні.

Платформа потокового передавання/індексування

Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, провідники блоків різних протоколів тощо.

вузол як послуга та інші служби RPC/API

Alchemy、All that Node、Infura、Pocket Network、Quicknode等。

Оракул

API 3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra oracles тощо.

4.2.2 Зберігання

Порівняно з рішеннями для зберігання Web2, рішення для зберігання Web3 мають кілька переваг, таких як постійність і децентралізація. Однак вони також мають деякі недоліки, такі як висока вартість, складність оновлення даних і запитів. У результаті з’явилися різні рішення для усунення цих недоліків і забезпечення ефективної обробки структурованих і динамічних даних у Web3 – кожне з різними характеристиками, такими як тип даних, що обробляються, чи є вони структурованими, чи є вони з вбудованою функцією запиту тощо. на.

Децентралізована мережа зберігання

Arweave、Filecoin、KYVE、Sia、Storj тощо.

Децентралізована база даних

Бази даних на основі Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland тощо.

* Кожен протокол має інший постійний механізм зберігання. Наприклад, Arweave — це модель на основі блокчейну, схожа на сховище Ethereum, яка постійно зберігає дані в ланцюжку, тоді як Filecoin, Sia та Storj — це моделі на основі контрактів, які зберігають дані поза мережею.

4.2.3 Перетворення

У контексті Web3 рівень перекладу так само важливий, як і рівень зберігання. Це пояснюється тим, що структура блокчейну в основному складається з розподіленої колекції вузлів, що дозволяє легко використовувати масштабовану серверну логіку. У індустрії штучного інтелекту люди активно вивчають можливість використання цих переваг для досліджень у сфері федеративного навчання, і з’явилися протоколи, присвячені машинному навчанню та операціям штучного інтелекту.

Навчання/моделювання/обчислення даних

Akash、Bacalhau、Bitensor、Gensyn、Golem、Together 等。

* Інтегроване навчання — це метод навчання моделей штучного інтелекту шляхом розповсюдження оригінальної моделі на кількох власних клієнтах, використання збережених даних для її навчання, а потім збирання вивчених параметрів на центральному сервері.

4.2.4 Аналіз/використання

Перелічені нижче служби інформаційних панелей і аналітичні рішення для кінцевих користувачів є платформами, які дозволяють користувачам спостерігати та відкривати різні статистичні дані з певних протоколів. Деякі з цих рішень також надають послуги API для кінцевого продукту. Однак важливо зазначити, що дані в цих рішеннях не завжди точні, оскільки вони здебільшого використовують окремі інструменти поза мережею для зберігання та обробки даних. Також можуть спостерігатися помилки між рішеннями.

У той же час існує платформа під назвою «Функції Web3», яка може автоматично/ініціювати виконання смарт-контрактів, так само як централізовані платформи, такі як Google Cloud, ініціювати/виконувати певну бізнес-логіку. Використовуючи цю платформу, користувачі можуть реалізувати бізнес-логіку в Web3-власний спосіб, замість того, щоб просто обробляти дані в ланцюжку для отримання інформації.

Сервіси інформаційної панелі

Dune Analytics、Flipside Crypto、Footprint、Transpose 等。

Статистика та аналіз кінцевих користувачів

Chainalaysis、Glassnode、Messari、Nansen、The Tie、Token Terminal тощо.

Функції Web3

Функції Chainlink, Gelato Network тощо.

5. Підсумкові думки

Як казав Кант, ми можемо спостерігати лише видимість речей, але не їх сутність. Тим не менш, ми використовуємо записи спостережень, які називаються «даними», для обробки інформації та знань, і ми бачимо, як інновації в інформаційних технологіях рухають розвиток цивілізації. Таким чином, побудова конвеєра даних на ринку Web3, окрім децентралізації, може зіграти ключову роль як відправна точка для фактичного використання цих можливостей. Я хотів би завершити цю статтю кількома думками.

5.1 Роль рішень для зберігання даних стане більш важливою

Найважливішою передумовою для конвеєра даних є встановлення управління даними та API. У дедалі більш різноманітній екосистемі специфікації, створені кожним протоколом, продовжуватимуть відтворюватися, а фрагментовані записи транзакцій через багатоланцюгові екосистеми ускладнюватимуть окремим особам отримання вичерпної інформації. Тоді «рішення для зберігання» — це об’єкти, які можуть надавати інтегровані дані в уніфікованому форматі шляхом збору фрагментованої інформації та оновлення специфікацій кожного протоколу. Ми спостерігаємо, що існуючі ринкові рішення для зберігання даних, такі як Snowflake і Databricks, швидко розвиваються, мають великі клієнтські бази, є вертикально інтегрованими, працюючи на різних рівнях у конвеєрі, і є лідерами в галузі.

5.2 Можливості на ринку джерел даних

Успішні випадки використання почали з’являтися, коли дані стали доступнішими, а обробка покращилася. Це створює позитивний циклічний ефект, коли джерела даних та інструменти збору вибухають — з 2010 року типи та обсяги цифрових даних, що збираються щороку, з 2010 року експоненціально зросли завдяки величезному прогресу в технології побудови каналів даних. Застосовуючи цей фон до ринку Web3, багато джерел даних можна рекурсивно генерувати в мережі в майбутньому. Це також означає, що блокчейн пошириться на різні сфери бізнесу. На даний момент ми можемо очікувати, що збір даних просуватиметься через такі ринки даних, як Ocean Protocol або DeWi (децентралізований бездротовий зв’язок), такі як Helium і XNET, а також рішення для зберігання.

5.3 Важливі важливі дані та аналіз

Однак найголовніше — продовжувати запитувати, які дані слід підготувати, щоб витягти дійсно необхідні знання. Немає нічого більш марнотратного, ніж створення конвеєра даних заради створення конвеєра даних без явних припущень для перевірки. Існуючі ринки досягли численних інновацій завдяки створенню конвеєрів даних, але також заплатили незліченну ціну через повторювані безглузді збої. Також добре мати конструктивні дискусії щодо розвитку технологічного стеку, але галузі потрібен час, щоб подумати й обговорити більш фундаментальні питання, наприклад, які дані слід зберігати в блочному просторі або для якої мети слід використовувати дані. . «Мета» повинна полягати в тому, щоб усвідомити цінність Web3 за допомогою дієвого інтелекту та варіантів використання, і в цьому процесі розробка кількох базових компонентів і завершення конвеєра є «засобами» для досягнення цієї мети.