Rilis kertas putih Bitcoin pada tahun 2008 memicu pemikiran ulang tentang konsep kepercayaan. Blockchain kemudian memperluas definisinya untuk memasukkan gagasan sistem tanpa kepercayaan dan berkembang pesat untuk menyatakan bahwa berbagai jenis nilai, seperti kedaulatan individu, demokratisasi keuangan, dan kepemilikan, dapat diterapkan pada sistem yang ada. Tentu saja, banyak validasi dan diskusi mungkin diperlukan sebelum blockchain dapat digunakan dalam praktik, karena karakteristiknya mungkin terlihat agak radikal dibandingkan dengan berbagai sistem yang ada. Namun, jika kita optimis dengan skenario ini, membangun jalur pipa data dan menganalisis informasi berharga yang terkandung dalam penyimpanan blockchain berpotensi menjadi titik balik penting lainnya dalam pengembangan industri, karena kita dapat mengamati Web3 yang belum pernah ada sebelumnya. intelijen.
Makalah ini mengeksplorasi potensi pipa data asli Web3 dengan memproyeksikan pipa data yang biasa digunakan di pasar TI yang ada ke dalam lingkungan Web3. Artikel ini membahas manfaat dari jalur pipa ini, tantangan yang perlu diatasi, dan dampak dari jalur pipa ini terhadap industri.
1. Singularitas berasal dari inovasi informasi
"Bahasa adalah salah satu perbedaan yang paling penting antara manusia dan hewan yang lebih rendah. Ini bukan hanya kemampuan untuk membuat suara, tetapi juga untuk mengasosiasikan suara yang pasti dengan pikiran yang pasti, dan menggunakan suara itu sebagai simbol untuk mengkomunikasikan gagasan." — Darwin
Secara historis, kemajuan besar dalam peradaban manusia telah disertai dengan inovasi dalam berbagi informasi. Nenek moyang kita menggunakan bahasa, baik lisan maupun tulisan, untuk berkomunikasi satu sama lain dan meneruskan pengetahuan kepada generasi mendatang. Ini memberi mereka keuntungan besar dibandingkan spesies lain. Penemuan tulisan, kertas, dan percetakan memungkinkan untuk berbagi informasi secara lebih luas, yang menyebabkan kemajuan besar dalam ilmu pengetahuan, teknologi, dan budaya. Pencetakan Alkitab Gutenberg yang dapat dipindahkan dari logam khususnya merupakan momen yang menentukan karena memungkinkan produksi massal buku dan bahan cetakan lainnya. Ini berdampak besar pada awal Reformasi, Revolusi Demokratik, dan kemajuan ilmiah.
Pesatnya perkembangan teknologi IT di tahun 2000-an memungkinkan kita untuk mendapatkan pemahaman yang lebih dalam tentang perilaku manusia. Hal ini menyebabkan perubahan gaya hidup dimana sebagian besar masyarakat di zaman modern membuat berbagai keputusan berdasarkan informasi digital. Karena alasan inilah kami menyebut masyarakat modern sebagai "Era Inovasi TI".
Hanya 20 tahun setelah komersialisasi penuh Internet, teknologi kecerdasan buatan sekali lagi mengejutkan dunia. Ada banyak aplikasi yang bisa menggantikan tenaga manusia, dan banyak orang yang membahas peradaban yang akan diubah oleh AI. Beberapa bahkan menyangkal, bertanya-tanya bagaimana teknologi seperti itu bisa muncul begitu cepat sehingga bisa mengguncang fondasi masyarakat kita. Meskipun ada "Hukum Moore" yang menunjukkan bahwa kinerja semikonduktor akan meningkat secara eksponensial dari waktu ke waktu, perubahan yang ditimbulkan oleh munculnya GPT terlalu mendadak untuk dihadapi secara langsung.
Menariknya, bagaimanapun, model GPT itu sendiri sebenarnya bukan arsitektur yang sangat inovatif. Di sisi lain, industri AI akan mencantumkan hal-hal berikut sebagai faktor keberhasilan utama untuk model GPT: 1) Menentukan domain bisnis yang dapat menargetkan basis pelanggan besar, dan 2) Penyesuaian model melalui saluran data—dari penyerapan data hingga final hasil dan umpan balik berbasis hasil dari. Singkatnya, aplikasi ini memungkinkan inovasi dengan menyempurnakan tujuan penyampaian layanan dan meningkatkan proses pemrosesan data/informasi.
2. Keputusan berdasarkan data ada di mana-mana
Sebagian besar dari apa yang kita sebut inovasi sebenarnya didasarkan pada manipulasi akumulasi data, bukan kebetulan atau intuisi. Seperti kata pepatah, "Dalam pasar kapitalis, bukan yang kuat yang bertahan, tetapi yang bertahanlah yang kuat". Bisnis saat ini sangat kompetitif dan pasar sudah jenuh. Karenanya, bisnis mengumpulkan dan menganalisis semua jenis data untuk meraih ceruk terkecil sekalipun.
Kita mungkin terlalu terobsesi dengan teori "penghancuran kreatif" Schumpeter dan terlalu menekankan pengambilan keputusan berdasarkan intuisi. Namun, bahkan intuisi yang hebat pada akhirnya adalah produk dari akumulasi data dan informasi seseorang. Dunia digital akan merambah lebih dalam ke kehidupan kita di masa depan, dan semakin banyak informasi sensitif yang disajikan dalam bentuk data digital.
Pasar Web3 mendapatkan banyak perhatian karena potensinya untuk memberikan kendali kepada pengguna atas data mereka. Namun, bidang blockchain, yang merupakan teknologi dasar Web3, saat ini lebih mementingkan penyelesaian trilemma (Deep Tide Note: Triangular Dilemma, yaitu masalah keamanan, desentralisasi, dan skalabilitas). Agar teknologi baru meyakinkan di dunia nyata, penting untuk mengembangkan aplikasi dan kecerdasan yang dapat digunakan dalam berbagai cara. Kami telah melihat hal ini terjadi di ruang Big Data, dan metodologi untuk membangun pemrosesan Big Data dan pipeline data telah meningkat secara signifikan sejak sekitar tahun 2010. Dalam konteks Web3, upaya harus dilakukan untuk memajukan industri dan membangun sistem aliran data untuk menghasilkan kecerdasan berbasis data.
3. Peluang berdasarkan aliran data pada rantai
Jadi, peluang apa yang dapat kami tangkap dari sistem streaming asli Web3, dan tantangan apa yang perlu kami atasi untuk memanfaatkan peluang ini?
3.1 Keuntungan
Singkatnya, nilai dari mengonfigurasi aliran data asli Web3 adalah bahwa data yang andal dapat didistribusikan dengan aman dan efisien ke beberapa entitas sehingga wawasan yang berharga dapat diekstraksi.
Redundansi data - data on-chain cenderung hilang dan lebih tangguh karena jaringan protokol menyimpan fragmen data di beberapa node.
Keamanan Data - Data on-chain anti rusak karena diverifikasi dan disepakati oleh jaringan node terdesentralisasi.
Kedaulatan data - Kedaulatan data adalah hak pengguna untuk memiliki dan mengontrol datanya sendiri. Dengan streaming data on-chain, pengguna dapat melihat bagaimana data mereka digunakan dan memilih untuk hanya membagikannya dengan mereka yang memiliki kebutuhan sah untuk mengaksesnya.
Tanpa izin dan transparan - data on-chain transparan dan anti rusak. Ini memastikan bahwa data yang diproses juga merupakan sumber informasi yang andal.
Pengoperasian yang stabil - ketika aliran data diatur oleh protokol dalam lingkungan terdistribusi, karena tidak ada titik kegagalan tunggal, kemungkinan setiap lapisan terkena downtime berkurang secara signifikan.
3.2 Kasus aplikasi
Kepercayaan adalah dasar bagi entitas yang berbeda untuk berinteraksi satu sama lain dan membuat keputusan. Oleh karena itu, ketika data yang andal dapat didistribusikan dengan aman, itu berarti banyak interaksi dan keputusan dapat dibuat melalui layanan Web3 yang melibatkan berbagai entitas. Ini membantu memaksimalkan modal sosial, dan kita dapat membayangkan beberapa kasus penggunaan di bawah ini.
3.2.1 Aplikasi Layanan/Protokol
Sistem Keputusan Otomatis Berbasis Aturan - Protokol menggunakan parameter kunci untuk menjalankan layanan. Parameter ini disesuaikan secara berkala untuk menstabilkan status layanan dan memberikan pengalaman terbaik kepada pengguna. Namun, protokol tidak selalu dapat memantau status layanan dan membuat perubahan dinamis pada parameter secara tepat waktu. Inilah yang dilakukan aliran data on-chain. Aliran data on-chain dapat digunakan untuk menganalisis status layanan secara real-time dan menyarankan kumpulan parameter terbaik untuk mencocokkan persyaratan layanan (mis. menerapkan mekanisme tarif mengambang otomatis untuk protokol peminjaman).
Pertumbuhan Pasar Kredit - Kredit secara tradisional telah digunakan di pasar keuangan sebagai ukuran kemampuan individu untuk membayar kembali. Ini membantu meningkatkan efisiensi pasar. Namun, definisi kredit masih belum jelas di pasar Web3. Ini karena kelangkaan data pribadi dan kurangnya tata kelola data di seluruh industri. Oleh karena itu, menjadi sulit untuk mengintegrasikan dan mengumpulkan informasi. Dengan membangun proses untuk mengumpulkan dan memproses data terfragmentasi on-chain, adalah mungkin untuk mendefinisikan kembali pasar kredit di pasar Web3 (misalnya, penilaian MACRO (oracle risiko kredit multi-aset) Spectral).
Ekstensi sosial/NFT terdesentralisasi - Masyarakat terdesentralisasi memprioritaskan kontrol pengguna, perlindungan privasi, penolakan sensor, dan tata kelola komunitas. Ini memberikan paradigma sosial alternatif. Oleh karena itu, saluran pipa dapat dibuat untuk mengontrol dan memperbarui berbagai metadata dengan lebih lancar dan memfasilitasi migrasi antar platform.
Deteksi penipuan - Layanan Web3 yang menggunakan kontrak pintar rentan terhadap serangan berbahaya yang dapat mencuri dana, membahayakan sistem, dan menyebabkan serangan decoupling dan likuiditas. Dengan membuat sistem yang dapat mendeteksi serangan ini lebih awal, layanan Web3 dapat mengembangkan rencana tanggapan cepat dan melindungi pengguna dari bahaya.
3.2.2 Inisiatif Kolaborasi dan Tata Kelola
DAO yang sepenuhnya on-chain - Organisasi Otonomi Terdesentralisasi (DAO) sangat bergantung pada alat off-chain untuk tata kelola yang efisien dan pendanaan publik. Dengan membangun proses pemrosesan data on-chain dan membuat proses transparan untuk operasi DAO, nilai DAO asli Web3 dapat lebih ditingkatkan.
Mengurangi kelelahan tata kelola - keputusan protokol Web3 sering dibuat melalui tata kelola komunitas. Namun, ada banyak faktor yang dapat mempersulit peserta untuk berpartisipasi dalam tata kelola, seperti hambatan geografis, tekanan pemantauan, kurangnya keahlian yang diperlukan untuk tata kelola, agenda tata kelola yang dipublikasikan secara acak, dan pengalaman pengguna yang tidak nyaman. Kerangka kerja tata kelola protokol dapat beroperasi lebih efisien dan efektif jika alat dapat dibuat yang menyederhanakan proses bagi peserta untuk beralih dari pemahaman menjadi benar-benar mengimplementasikan butir-butir agenda tata kelola individual.
Platform data terbuka untuk kerja kolaboratif - Di kalangan akademik dan industri yang ada, banyak data dan bahan penelitian tidak diungkapkan kepada publik, yang dapat membuat pengembangan pasar secara keseluruhan menjadi sangat tidak efisien. Di sisi lain, kumpulan data on-chain dapat memfasilitasi lebih banyak inisiatif kolaboratif daripada pasar yang ada karena transparan dan dapat diakses oleh siapa saja. Pengembangan banyak standar token dan solusi DeFi adalah contoh yang bagus. Selain itu, kami dapat mengoperasikan kumpulan data publik untuk berbagai tujuan.
3.2.3 Diagnosis Jaringan
Index Research - Pengguna Web3 membuat berbagai indikator untuk menganalisis dan membandingkan keadaan protokol. Beberapa metrik objektif (misalnya koefisien Satoshi Nakaflow) dapat dipelajari dan ditampilkan secara real time.
Protokol Metrik - Dengan memproses data seperti jumlah alamat aktif, jumlah transaksi, aliran masuk/keluar aset, dan biaya yang dikeluarkan oleh jaringan, kinerja protokol dapat dianalisis. Informasi ini dapat digunakan untuk menilai dampak pembaruan protokol tertentu, status MEV, dan kesehatan jaringan.
3.3 Tantangan
Data on-chain memiliki keunggulan unik yang dapat meningkatkan nilai industri. Namun, untuk menyadari manfaat ini sepenuhnya, banyak tantangan yang harus diatasi baik di dalam maupun di luar industri.
Kurangnya Tata Kelola Data - Tata Kelola Data adalah proses penetapan kebijakan dan standar data yang konsisten dan dibagikan untuk memfasilitasi integrasi setiap data primitif. Saat ini, setiap protokol on-chain menetapkan standarnya sendiri dan mengambil tipe datanya sendiri. Masalahnya, bagaimanapun, adalah kurangnya tata kelola data antara entitas yang mengumpulkan data protokol ini dan menyediakan layanan API kepada pengguna. Hal ini membuat integrasi antar layanan menjadi sulit, dan akibatnya, sulit bagi pengguna untuk mendapatkan wawasan yang andal dan komprehensif.
Biaya inefisiensi - Menyimpan data dingin dalam protokol menghemat keamanan data pengguna dan biaya server. Namun, jika data perlu sering diakses untuk analisis atau memerlukan sumber daya komputasi yang signifikan, mungkin tidak hemat biaya untuk menyimpannya di blockchain.
Masalah oracle - kontrak pintar hanya berfungsi penuh ketika mereka memiliki akses ke data dari dunia nyata. Namun, data ini tidak selalu dapat diandalkan atau konsisten. Tidak seperti blockchain, yang menjaga integritas melalui algoritme konsensus, data eksternal tidak bersifat deterministik. Solusi Oracle harus berevolusi untuk memastikan integritas, kualitas, dan skalabilitas data eksternal terlepas dari lapisan aplikasi tertentu.
Protokol masih dalam masa pertumbuhan - protokol menggunakan tokennya sendiri untuk memberi insentif kepada pengguna agar layanan tetap berjalan dan membayarnya. Namun, parameter yang diperlukan untuk mengoperasikan protokol (misalnya definisi yang tepat dan skema insentif pengguna layanan) seringkali dikelola secara naif. Ini berarti bahwa keberlanjutan ekonomi dari protokol tersebut sulit diverifikasi. Jika banyak protokol terhubung secara organik dan membuat jalur pipa data, akan ada ketidakpastian yang lebih besar tentang apakah jalur pipa akan bekerja dengan baik.
Waktu pengambilan data lambat - Protokol biasanya memproses transaksi melalui konsensus banyak node, yang membatasi kecepatan dan volume pemrosesan informasi dibandingkan dengan logika bisnis TI tradisional. Kemacetan ini sulit diatasi kecuali jika kinerja semua protokol yang menyusun pipeline ditingkatkan secara signifikan.
Nilai sebenarnya dari data Web3 - blockchain adalah sistem terisolasi yang belum terhubung ke dunia nyata. Saat mengumpulkan data Web3, kami perlu mempertimbangkan apakah data yang dikumpulkan dapat memberikan wawasan yang cukup berarti untuk menutup biaya pembangunan saluran data.
Sintaks yang tidak dikenal - Infrastruktur data TI yang ada dan infrastruktur blockchain beroperasi dengan sangat berbeda. Bahkan bahasa pemrograman yang digunakan berbeda, dan infrastruktur blockchain seringkali menggunakan bahasa tingkat rendah atau bahasa baru yang dirancang khusus untuk kebutuhan blockchain. Hal ini mempersulit pengembang dan pengguna layanan baru untuk mempelajari cara menangani setiap data primitif, karena mereka perlu mempelajari bahasa pemrograman baru atau cara berpikir baru tentang bekerja dengan data blockchain.
4. Lego Data Web3 Pipeline
Tidak ada koneksi antara primitif data Web3 saat ini, mereka mengekstrak dan memproses data secara mandiri. Ini membuatnya sulit untuk bereksperimen dengan sinergi dalam pemrosesan informasi. Untuk mengatasi masalah ini, makalah ini memperkenalkan pipa data yang biasa digunakan di pasar TI dan memetakan primitif data Web3 yang ada ke pipa ini. Ini akan membuat kasus penggunaan lebih konkret.
4.1 Saluran Data Umum
Membangun pipa data seperti proses membuat konsep dan mengotomatiskan proses pengambilan keputusan yang berulang dalam kehidupan sehari-hari. Dengan demikian, informasi dengan kualitas tertentu sudah tersedia dan digunakan untuk pengambilan keputusan. Semakin banyak data yang tidak terstruktur untuk diproses, semakin sering informasi tersebut digunakan, atau semakin banyak analisis real-time yang diperlukan, waktu dan biaya untuk mendapatkan keproaktifan yang diperlukan untuk keputusan di masa mendatang dapat dihemat dengan mengotomatiskan proses ini.
Diagram di atas menunjukkan arsitektur umum untuk membangun pipa data di pasar infrastruktur TI yang ada. Data yang sesuai untuk tujuan analitik dikumpulkan dari sumber data yang benar dan disimpan dalam solusi penyimpanan yang tepat sesuai dengan sifat data dan persyaratan analitik. Misalnya, data lake menyediakan solusi penyimpanan data mentah untuk analisis yang dapat diskalakan dan fleksibel, sedangkan gudang data berfokus pada penyimpanan data terstruktur untuk kueri dan analisis yang dioptimalkan untuk logika bisnis tertentu. Data tersebut kemudian diolah menjadi wawasan atau informasi yang berguna dalam berbagai cara.
Setiap tingkat solusi juga tersedia sebagai layanan terpaket. Ada juga peningkatan minat pada grup produk SaaS ETL (ekstrak, ubah, muat) yang menghubungkan rantai proses dari ekstraksi data ke pemuatan (mis. FiveTran, Panoply, Hivo, Rivery). Urutannya tidak selalu searah, dan lapisan dapat dihubungkan satu sama lain dalam berbagai cara, tergantung pada kebutuhan spesifik organisasi. Hal terpenting saat membangun data pipeline adalah meminimalkan risiko kehilangan data yang dapat terjadi saat data dikirim dan diterima ke setiap tier server. Ini dapat dicapai dengan mengoptimalkan pemisahan server dan menggunakan solusi penyimpanan dan pemrosesan data yang andal.
4.2 Pipeline dengan lingkungan on-chain
Diagram konseptual dari pipa data yang diperkenalkan sebelumnya dapat diterapkan pada lingkungan on-chain, seperti yang ditunjukkan pada gambar di atas, tetapi perlu dicatat bahwa pipa yang sepenuhnya terdesentralisasi tidak dapat dibentuk, karena setiap komponen dasar sampai batas tertentu bergantung pada Solusi off-chain terpusat. Selain itu, gambar di atas saat ini tidak mencakup semua solusi Web3, dan batas klasifikasi mungkin kabur—misalnya, KYVE, selain berfungsi sebagai platform media streaming, juga menyertakan fungsi danau data, yang dapat dianggap sebagai pipa data itu sendiri. Selain itu, Space and Time diklasifikasikan sebagai database terdesentralisasi, tetapi menawarkan layanan gateway API seperti RestAPI dan streaming, serta layanan ETL.
4.2.1 Menangkap/Memproses
Agar pengguna umum atau dApps dapat menggunakan/mengoperasikan layanan secara efisien, mereka harus dapat dengan mudah mengidentifikasi dan mengakses sumber data yang terutama dihasilkan dalam protokol, seperti transaksi, status, dan peristiwa log. Lapisan ini adalah tempat peran middleware, membantu proses termasuk oracle, perpesanan, autentikasi, dan manajemen API. Solusi utamanya adalah sebagai berikut.
Platform Streaming/Pengindeksan
Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, block explorer dari berbagai protokol, dll.
node-as-a-service dan layanan RPC/API lainnya
Alchemy、All that Node、Infura、Pocket Network、Quicknode 等。
Dibandingkan dengan solusi penyimpanan Web2, solusi penyimpanan Web3 memiliki beberapa keunggulan seperti persistensi dan desentralisasi. Namun, mereka juga memiliki beberapa kelemahan, seperti biaya tinggi, kesulitan dalam pembaruan data, dan kueri. Akibatnya, berbagai solusi telah muncul untuk mengatasi kekurangan ini dan memungkinkan pemrosesan data terstruktur dan dinamis yang efisien di Web3 - masing-masing dengan karakteristik berbeda seperti jenis data yang diproses, apakah itu terstruktur dan apakah itu Dengan fungsi kueri yang disematkan dan sebagainya pada.
Jaringan penyimpanan terdesentralisasi
Arweave、Filecoin、KYVE、Sia、Storj dll.
Database terdesentralisasi
Database berbasis Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland, dll.
* Setiap protokol memiliki mekanisme penyimpanan permanen yang berbeda. Misalnya, Arweave adalah model berbasis blockchain, mirip dengan penyimpanan Ethereum, menyimpan data secara on-chain secara permanen, sedangkan Filecoin, Sia, dan Storj adalah model berbasis kontrak, menyimpan data secara off-chain.
4.2.3 Konversi
Dalam konteks Web3, lapisan terjemahan sama pentingnya dengan lapisan penyimpanan. Ini karena struktur blockchain pada dasarnya terdiri dari kumpulan node terdistribusi, yang membuatnya mudah untuk menggunakan logika backend yang dapat diskalakan. Di industri AI, orang secara aktif mengeksplorasi penggunaan keunggulan ini untuk penelitian di bidang pembelajaran federasi, dan protokol yang didedikasikan untuk pembelajaran mesin dan operasi AI telah muncul.
Pelatihan/pemodelan/perhitungan data
Akash, Bacalhau, Bitensor, Gensyn, Golem, Bersama 等。
* Pembelajaran federasi adalah metode untuk melatih model kecerdasan buatan dengan mendistribusikan model asli ke beberapa klien asli, menggunakan data yang disimpan untuk melatihnya, lalu mengumpulkan parameter yang dipelajari di server pusat.
4.2.4 Analisis/Penggunaan
Layanan dasbor dan wawasan pengguna akhir serta solusi analitik yang tercantum di bawah ini adalah platform yang memungkinkan pengguna mengamati dan menemukan berbagai wawasan dari protokol tertentu. Beberapa solusi ini juga menyediakan layanan API untuk produk akhir. Namun, penting untuk diperhatikan bahwa data dalam solusi ini tidak selalu akurat karena kebanyakan menggunakan alat off-chain terpisah untuk menyimpan dan memproses data. Kesalahan antar solusi juga dapat diamati.
Pada saat yang sama, ada platform yang disebut "Fungsi Web3" yang dapat secara otomatis/memicu pelaksanaan kontrak cerdas, seperti platform terpusat seperti Google Cloud memicu/menjalankan logika bisnis tertentu. Dengan menggunakan platform ini, pengguna dapat menerapkan logika bisnis dengan cara asli Web3, alih-alih hanya memproses data on-chain untuk mendapatkan wawasan.
Seperti yang dikatakan Kant, kita hanya bisa menyaksikan penampakan benda, tetapi bukan esensinya. Namun, kami menggunakan catatan pengamatan yang disebut "data" untuk memproses informasi dan pengetahuan, dan kami melihat bagaimana inovasi dalam teknologi informasi mendorong perkembangan peradaban. Oleh karena itu, membangun pipa data di pasar Web3, selain terdesentralisasi, dapat memainkan peran kunci sebagai titik awal untuk benar-benar menangkap peluang ini. Saya ingin mengakhiri artikel ini dengan beberapa pemikiran.
5.1 Peran solusi penyimpanan akan semakin penting
Prasyarat terpenting untuk memiliki saluran data adalah menetapkan tata kelola data dan API. Dalam ekosistem yang semakin beragam, spesifikasi yang dibuat oleh setiap protokol akan terus dibuat ulang, dan catatan transaksi yang terfragmentasi melalui ekosistem multi-rantai akan mempersulit individu untuk mendapatkan wawasan yang komprehensif. Kemudian, "solusi penyimpanan" adalah entitas yang dapat menyediakan data terintegrasi dalam format terpadu dengan mengumpulkan informasi yang terfragmentasi dan memperbarui spesifikasi masing-masing protokol. Kami mengamati bahwa solusi penyimpanan pasar yang ada seperti Snowflake dan Databricks berkembang pesat, memiliki basis pelanggan yang besar, terintegrasi secara vertikal dengan beroperasi di berbagai tingkatan dalam jalur pipa, dan memimpin industri.
5.2 Peluang di Pasar Sumber Data
Kasus penggunaan yang berhasil mulai muncul ketika data menjadi lebih mudah diakses dan pemrosesan ditingkatkan. Hal ini menciptakan efek melingkar yang positif di mana sumber data dan alat pengumpul meledak—sejak 2010, jenis dan volume data digital yang dikumpulkan setiap tahun telah tumbuh secara eksponensial sejak 2010, berkat kemajuan besar dalam teknologi untuk membangun saluran data. Menerapkan latar belakang ini ke pasar Web3, banyak sumber data dapat dibuat secara on-chain secara rekursif di masa mendatang. Ini juga berarti bahwa blockchain akan berkembang ke berbagai bidang bisnis. Pada titik ini, kita dapat mengharapkan akuisisi data untuk maju melalui pasar data seperti solusi Ocean Protocol atau DeWi (nirkabel terdesentralisasi) seperti Helium dan XNET, serta solusi penyimpanan.
5.3 Yang penting adalah data dan analisis yang bermakna
Namun, yang terpenting adalah tetap menanyakan data apa saja yang harus disiapkan untuk menggali insight yang memang dibutuhkan. Tidak ada yang lebih boros daripada membangun pipa data demi membangun pipa data tanpa asumsi eksplisit untuk divalidasi. Pasar yang ada telah mencapai banyak inovasi melalui pembangunan jalur pipa data, tetapi juga telah membayar harga yang tak terhitung jumlahnya melalui kegagalan berulang yang sia-sia. Diskusi konstruktif tentang pengembangan tumpukan teknologi juga baik, tetapi industri perlu waktu untuk memikirkan dan mendiskusikan masalah yang lebih mendasar, seperti data apa yang harus disimpan di ruang blok, atau untuk tujuan apa data harus digunakan. . "Tujuan" harus mewujudkan nilai Web3 melalui intelijen yang dapat ditindaklanjuti dan kasus penggunaan, dan dalam proses ini, mengembangkan beberapa komponen dasar dan menyelesaikan jalur pipa adalah "sarana" untuk mencapai tujuan ini.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Dari silo hingga kolaborasi: pentingnya saluran data asli Web3
Ditulis oleh Jay : : FP
Kompilasi: TechFlow Gelombang Dalam
Rilis kertas putih Bitcoin pada tahun 2008 memicu pemikiran ulang tentang konsep kepercayaan. Blockchain kemudian memperluas definisinya untuk memasukkan gagasan sistem tanpa kepercayaan dan berkembang pesat untuk menyatakan bahwa berbagai jenis nilai, seperti kedaulatan individu, demokratisasi keuangan, dan kepemilikan, dapat diterapkan pada sistem yang ada. Tentu saja, banyak validasi dan diskusi mungkin diperlukan sebelum blockchain dapat digunakan dalam praktik, karena karakteristiknya mungkin terlihat agak radikal dibandingkan dengan berbagai sistem yang ada. Namun, jika kita optimis dengan skenario ini, membangun jalur pipa data dan menganalisis informasi berharga yang terkandung dalam penyimpanan blockchain berpotensi menjadi titik balik penting lainnya dalam pengembangan industri, karena kita dapat mengamati Web3 yang belum pernah ada sebelumnya. intelijen.
Makalah ini mengeksplorasi potensi pipa data asli Web3 dengan memproyeksikan pipa data yang biasa digunakan di pasar TI yang ada ke dalam lingkungan Web3. Artikel ini membahas manfaat dari jalur pipa ini, tantangan yang perlu diatasi, dan dampak dari jalur pipa ini terhadap industri.
1. Singularitas berasal dari inovasi informasi
"Bahasa adalah salah satu perbedaan yang paling penting antara manusia dan hewan yang lebih rendah. Ini bukan hanya kemampuan untuk membuat suara, tetapi juga untuk mengasosiasikan suara yang pasti dengan pikiran yang pasti, dan menggunakan suara itu sebagai simbol untuk mengkomunikasikan gagasan." — Darwin
Secara historis, kemajuan besar dalam peradaban manusia telah disertai dengan inovasi dalam berbagi informasi. Nenek moyang kita menggunakan bahasa, baik lisan maupun tulisan, untuk berkomunikasi satu sama lain dan meneruskan pengetahuan kepada generasi mendatang. Ini memberi mereka keuntungan besar dibandingkan spesies lain. Penemuan tulisan, kertas, dan percetakan memungkinkan untuk berbagi informasi secara lebih luas, yang menyebabkan kemajuan besar dalam ilmu pengetahuan, teknologi, dan budaya. Pencetakan Alkitab Gutenberg yang dapat dipindahkan dari logam khususnya merupakan momen yang menentukan karena memungkinkan produksi massal buku dan bahan cetakan lainnya. Ini berdampak besar pada awal Reformasi, Revolusi Demokratik, dan kemajuan ilmiah.
Pesatnya perkembangan teknologi IT di tahun 2000-an memungkinkan kita untuk mendapatkan pemahaman yang lebih dalam tentang perilaku manusia. Hal ini menyebabkan perubahan gaya hidup dimana sebagian besar masyarakat di zaman modern membuat berbagai keputusan berdasarkan informasi digital. Karena alasan inilah kami menyebut masyarakat modern sebagai "Era Inovasi TI".
Hanya 20 tahun setelah komersialisasi penuh Internet, teknologi kecerdasan buatan sekali lagi mengejutkan dunia. Ada banyak aplikasi yang bisa menggantikan tenaga manusia, dan banyak orang yang membahas peradaban yang akan diubah oleh AI. Beberapa bahkan menyangkal, bertanya-tanya bagaimana teknologi seperti itu bisa muncul begitu cepat sehingga bisa mengguncang fondasi masyarakat kita. Meskipun ada "Hukum Moore" yang menunjukkan bahwa kinerja semikonduktor akan meningkat secara eksponensial dari waktu ke waktu, perubahan yang ditimbulkan oleh munculnya GPT terlalu mendadak untuk dihadapi secara langsung.
Menariknya, bagaimanapun, model GPT itu sendiri sebenarnya bukan arsitektur yang sangat inovatif. Di sisi lain, industri AI akan mencantumkan hal-hal berikut sebagai faktor keberhasilan utama untuk model GPT: 1) Menentukan domain bisnis yang dapat menargetkan basis pelanggan besar, dan 2) Penyesuaian model melalui saluran data—dari penyerapan data hingga final hasil dan umpan balik berbasis hasil dari. Singkatnya, aplikasi ini memungkinkan inovasi dengan menyempurnakan tujuan penyampaian layanan dan meningkatkan proses pemrosesan data/informasi.
2. Keputusan berdasarkan data ada di mana-mana
Sebagian besar dari apa yang kita sebut inovasi sebenarnya didasarkan pada manipulasi akumulasi data, bukan kebetulan atau intuisi. Seperti kata pepatah, "Dalam pasar kapitalis, bukan yang kuat yang bertahan, tetapi yang bertahanlah yang kuat". Bisnis saat ini sangat kompetitif dan pasar sudah jenuh. Karenanya, bisnis mengumpulkan dan menganalisis semua jenis data untuk meraih ceruk terkecil sekalipun.
Kita mungkin terlalu terobsesi dengan teori "penghancuran kreatif" Schumpeter dan terlalu menekankan pengambilan keputusan berdasarkan intuisi. Namun, bahkan intuisi yang hebat pada akhirnya adalah produk dari akumulasi data dan informasi seseorang. Dunia digital akan merambah lebih dalam ke kehidupan kita di masa depan, dan semakin banyak informasi sensitif yang disajikan dalam bentuk data digital.
Pasar Web3 mendapatkan banyak perhatian karena potensinya untuk memberikan kendali kepada pengguna atas data mereka. Namun, bidang blockchain, yang merupakan teknologi dasar Web3, saat ini lebih mementingkan penyelesaian trilemma (Deep Tide Note: Triangular Dilemma, yaitu masalah keamanan, desentralisasi, dan skalabilitas). Agar teknologi baru meyakinkan di dunia nyata, penting untuk mengembangkan aplikasi dan kecerdasan yang dapat digunakan dalam berbagai cara. Kami telah melihat hal ini terjadi di ruang Big Data, dan metodologi untuk membangun pemrosesan Big Data dan pipeline data telah meningkat secara signifikan sejak sekitar tahun 2010. Dalam konteks Web3, upaya harus dilakukan untuk memajukan industri dan membangun sistem aliran data untuk menghasilkan kecerdasan berbasis data.
3. Peluang berdasarkan aliran data pada rantai
Jadi, peluang apa yang dapat kami tangkap dari sistem streaming asli Web3, dan tantangan apa yang perlu kami atasi untuk memanfaatkan peluang ini?
3.1 Keuntungan
Singkatnya, nilai dari mengonfigurasi aliran data asli Web3 adalah bahwa data yang andal dapat didistribusikan dengan aman dan efisien ke beberapa entitas sehingga wawasan yang berharga dapat diekstraksi.
3.2 Kasus aplikasi
Kepercayaan adalah dasar bagi entitas yang berbeda untuk berinteraksi satu sama lain dan membuat keputusan. Oleh karena itu, ketika data yang andal dapat didistribusikan dengan aman, itu berarti banyak interaksi dan keputusan dapat dibuat melalui layanan Web3 yang melibatkan berbagai entitas. Ini membantu memaksimalkan modal sosial, dan kita dapat membayangkan beberapa kasus penggunaan di bawah ini.
3.2.1 Aplikasi Layanan/Protokol
Sistem Keputusan Otomatis Berbasis Aturan - Protokol menggunakan parameter kunci untuk menjalankan layanan. Parameter ini disesuaikan secara berkala untuk menstabilkan status layanan dan memberikan pengalaman terbaik kepada pengguna. Namun, protokol tidak selalu dapat memantau status layanan dan membuat perubahan dinamis pada parameter secara tepat waktu. Inilah yang dilakukan aliran data on-chain. Aliran data on-chain dapat digunakan untuk menganalisis status layanan secara real-time dan menyarankan kumpulan parameter terbaik untuk mencocokkan persyaratan layanan (mis. menerapkan mekanisme tarif mengambang otomatis untuk protokol peminjaman).
3.2.2 Inisiatif Kolaborasi dan Tata Kelola
3.2.3 Diagnosis Jaringan
3.3 Tantangan
Data on-chain memiliki keunggulan unik yang dapat meningkatkan nilai industri. Namun, untuk menyadari manfaat ini sepenuhnya, banyak tantangan yang harus diatasi baik di dalam maupun di luar industri.
4. Lego Data Web3 Pipeline
Tidak ada koneksi antara primitif data Web3 saat ini, mereka mengekstrak dan memproses data secara mandiri. Ini membuatnya sulit untuk bereksperimen dengan sinergi dalam pemrosesan informasi. Untuk mengatasi masalah ini, makalah ini memperkenalkan pipa data yang biasa digunakan di pasar TI dan memetakan primitif data Web3 yang ada ke pipa ini. Ini akan membuat kasus penggunaan lebih konkret.
4.1 Saluran Data Umum
Membangun pipa data seperti proses membuat konsep dan mengotomatiskan proses pengambilan keputusan yang berulang dalam kehidupan sehari-hari. Dengan demikian, informasi dengan kualitas tertentu sudah tersedia dan digunakan untuk pengambilan keputusan. Semakin banyak data yang tidak terstruktur untuk diproses, semakin sering informasi tersebut digunakan, atau semakin banyak analisis real-time yang diperlukan, waktu dan biaya untuk mendapatkan keproaktifan yang diperlukan untuk keputusan di masa mendatang dapat dihemat dengan mengotomatiskan proses ini.
Diagram di atas menunjukkan arsitektur umum untuk membangun pipa data di pasar infrastruktur TI yang ada. Data yang sesuai untuk tujuan analitik dikumpulkan dari sumber data yang benar dan disimpan dalam solusi penyimpanan yang tepat sesuai dengan sifat data dan persyaratan analitik. Misalnya, data lake menyediakan solusi penyimpanan data mentah untuk analisis yang dapat diskalakan dan fleksibel, sedangkan gudang data berfokus pada penyimpanan data terstruktur untuk kueri dan analisis yang dioptimalkan untuk logika bisnis tertentu. Data tersebut kemudian diolah menjadi wawasan atau informasi yang berguna dalam berbagai cara.
Setiap tingkat solusi juga tersedia sebagai layanan terpaket. Ada juga peningkatan minat pada grup produk SaaS ETL (ekstrak, ubah, muat) yang menghubungkan rantai proses dari ekstraksi data ke pemuatan (mis. FiveTran, Panoply, Hivo, Rivery). Urutannya tidak selalu searah, dan lapisan dapat dihubungkan satu sama lain dalam berbagai cara, tergantung pada kebutuhan spesifik organisasi. Hal terpenting saat membangun data pipeline adalah meminimalkan risiko kehilangan data yang dapat terjadi saat data dikirim dan diterima ke setiap tier server. Ini dapat dicapai dengan mengoptimalkan pemisahan server dan menggunakan solusi penyimpanan dan pemrosesan data yang andal.
4.2 Pipeline dengan lingkungan on-chain
Diagram konseptual dari pipa data yang diperkenalkan sebelumnya dapat diterapkan pada lingkungan on-chain, seperti yang ditunjukkan pada gambar di atas, tetapi perlu dicatat bahwa pipa yang sepenuhnya terdesentralisasi tidak dapat dibentuk, karena setiap komponen dasar sampai batas tertentu bergantung pada Solusi off-chain terpusat. Selain itu, gambar di atas saat ini tidak mencakup semua solusi Web3, dan batas klasifikasi mungkin kabur—misalnya, KYVE, selain berfungsi sebagai platform media streaming, juga menyertakan fungsi danau data, yang dapat dianggap sebagai pipa data itu sendiri. Selain itu, Space and Time diklasifikasikan sebagai database terdesentralisasi, tetapi menawarkan layanan gateway API seperti RestAPI dan streaming, serta layanan ETL.
4.2.1 Menangkap/Memproses
Agar pengguna umum atau dApps dapat menggunakan/mengoperasikan layanan secara efisien, mereka harus dapat dengan mudah mengidentifikasi dan mengakses sumber data yang terutama dihasilkan dalam protokol, seperti transaksi, status, dan peristiwa log. Lapisan ini adalah tempat peran middleware, membantu proses termasuk oracle, perpesanan, autentikasi, dan manajemen API. Solusi utamanya adalah sebagai berikut.
Platform Streaming/Pengindeksan
Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, block explorer dari berbagai protokol, dll.
node-as-a-service dan layanan RPC/API lainnya
Alchemy、All that Node、Infura、Pocket Network、Quicknode 等。
Peramal
API 3, Protokol Band, Chainlink, Protokol Nest, Pyth, oracle Supra, dll.
4.2.2 Penyimpanan
Dibandingkan dengan solusi penyimpanan Web2, solusi penyimpanan Web3 memiliki beberapa keunggulan seperti persistensi dan desentralisasi. Namun, mereka juga memiliki beberapa kelemahan, seperti biaya tinggi, kesulitan dalam pembaruan data, dan kueri. Akibatnya, berbagai solusi telah muncul untuk mengatasi kekurangan ini dan memungkinkan pemrosesan data terstruktur dan dinamis yang efisien di Web3 - masing-masing dengan karakteristik berbeda seperti jenis data yang diproses, apakah itu terstruktur dan apakah itu Dengan fungsi kueri yang disematkan dan sebagainya pada.
Jaringan penyimpanan terdesentralisasi
Arweave、Filecoin、KYVE、Sia、Storj dll.
Database terdesentralisasi
Database berbasis Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland, dll.
* Setiap protokol memiliki mekanisme penyimpanan permanen yang berbeda. Misalnya, Arweave adalah model berbasis blockchain, mirip dengan penyimpanan Ethereum, menyimpan data secara on-chain secara permanen, sedangkan Filecoin, Sia, dan Storj adalah model berbasis kontrak, menyimpan data secara off-chain.
4.2.3 Konversi
Dalam konteks Web3, lapisan terjemahan sama pentingnya dengan lapisan penyimpanan. Ini karena struktur blockchain pada dasarnya terdiri dari kumpulan node terdistribusi, yang membuatnya mudah untuk menggunakan logika backend yang dapat diskalakan. Di industri AI, orang secara aktif mengeksplorasi penggunaan keunggulan ini untuk penelitian di bidang pembelajaran federasi, dan protokol yang didedikasikan untuk pembelajaran mesin dan operasi AI telah muncul.
Pelatihan/pemodelan/perhitungan data
Akash, Bacalhau, Bitensor, Gensyn, Golem, Bersama 等。
* Pembelajaran federasi adalah metode untuk melatih model kecerdasan buatan dengan mendistribusikan model asli ke beberapa klien asli, menggunakan data yang disimpan untuk melatihnya, lalu mengumpulkan parameter yang dipelajari di server pusat.
4.2.4 Analisis/Penggunaan
Layanan dasbor dan wawasan pengguna akhir serta solusi analitik yang tercantum di bawah ini adalah platform yang memungkinkan pengguna mengamati dan menemukan berbagai wawasan dari protokol tertentu. Beberapa solusi ini juga menyediakan layanan API untuk produk akhir. Namun, penting untuk diperhatikan bahwa data dalam solusi ini tidak selalu akurat karena kebanyakan menggunakan alat off-chain terpisah untuk menyimpan dan memproses data. Kesalahan antar solusi juga dapat diamati.
Pada saat yang sama, ada platform yang disebut "Fungsi Web3" yang dapat secara otomatis/memicu pelaksanaan kontrak cerdas, seperti platform terpusat seperti Google Cloud memicu/menjalankan logika bisnis tertentu. Dengan menggunakan platform ini, pengguna dapat menerapkan logika bisnis dengan cara asli Web3, alih-alih hanya memproses data on-chain untuk mendapatkan wawasan.
Layanan Dasbor
Dune Analytics、Flipside Crypto、Footprint、Transpose 等。
Wawasan dan Analisis Pengguna Akhir
Chainalaysis、Glassnode、Messari、Nansen、The Tie、Token Terminal dll.
Fungsi Web3
Fungsi Chainlink, Jaringan Gelato, dll.
5. Menyimpulkan Pikiran
Seperti yang dikatakan Kant, kita hanya bisa menyaksikan penampakan benda, tetapi bukan esensinya. Namun, kami menggunakan catatan pengamatan yang disebut "data" untuk memproses informasi dan pengetahuan, dan kami melihat bagaimana inovasi dalam teknologi informasi mendorong perkembangan peradaban. Oleh karena itu, membangun pipa data di pasar Web3, selain terdesentralisasi, dapat memainkan peran kunci sebagai titik awal untuk benar-benar menangkap peluang ini. Saya ingin mengakhiri artikel ini dengan beberapa pemikiran.
5.1 Peran solusi penyimpanan akan semakin penting
Prasyarat terpenting untuk memiliki saluran data adalah menetapkan tata kelola data dan API. Dalam ekosistem yang semakin beragam, spesifikasi yang dibuat oleh setiap protokol akan terus dibuat ulang, dan catatan transaksi yang terfragmentasi melalui ekosistem multi-rantai akan mempersulit individu untuk mendapatkan wawasan yang komprehensif. Kemudian, "solusi penyimpanan" adalah entitas yang dapat menyediakan data terintegrasi dalam format terpadu dengan mengumpulkan informasi yang terfragmentasi dan memperbarui spesifikasi masing-masing protokol. Kami mengamati bahwa solusi penyimpanan pasar yang ada seperti Snowflake dan Databricks berkembang pesat, memiliki basis pelanggan yang besar, terintegrasi secara vertikal dengan beroperasi di berbagai tingkatan dalam jalur pipa, dan memimpin industri.
5.2 Peluang di Pasar Sumber Data
Kasus penggunaan yang berhasil mulai muncul ketika data menjadi lebih mudah diakses dan pemrosesan ditingkatkan. Hal ini menciptakan efek melingkar yang positif di mana sumber data dan alat pengumpul meledak—sejak 2010, jenis dan volume data digital yang dikumpulkan setiap tahun telah tumbuh secara eksponensial sejak 2010, berkat kemajuan besar dalam teknologi untuk membangun saluran data. Menerapkan latar belakang ini ke pasar Web3, banyak sumber data dapat dibuat secara on-chain secara rekursif di masa mendatang. Ini juga berarti bahwa blockchain akan berkembang ke berbagai bidang bisnis. Pada titik ini, kita dapat mengharapkan akuisisi data untuk maju melalui pasar data seperti solusi Ocean Protocol atau DeWi (nirkabel terdesentralisasi) seperti Helium dan XNET, serta solusi penyimpanan.
5.3 Yang penting adalah data dan analisis yang bermakna
Namun, yang terpenting adalah tetap menanyakan data apa saja yang harus disiapkan untuk menggali insight yang memang dibutuhkan. Tidak ada yang lebih boros daripada membangun pipa data demi membangun pipa data tanpa asumsi eksplisit untuk divalidasi. Pasar yang ada telah mencapai banyak inovasi melalui pembangunan jalur pipa data, tetapi juga telah membayar harga yang tak terhitung jumlahnya melalui kegagalan berulang yang sia-sia. Diskusi konstruktif tentang pengembangan tumpukan teknologi juga baik, tetapi industri perlu waktu untuk memikirkan dan mendiskusikan masalah yang lebih mendasar, seperti data apa yang harus disimpan di ruang blok, atau untuk tujuan apa data harus digunakan. . "Tujuan" harus mewujudkan nilai Web3 melalui intelijen yang dapat ditindaklanjuti dan kasus penggunaan, dan dalam proses ini, mengembangkan beberapa komponen dasar dan menyelesaikan jalur pipa adalah "sarana" untuk mencapai tujuan ini.