Từ silo đến cộng tác: tầm quan trọng của đường ống dữ liệu gốc Web3

Viết bởi Jay : : FP

Biên dịch: Deep Tide TechFlow

Việc phát hành sách trắng Bitcoin vào năm 2008 đã làm dấy lên suy nghĩ lại về khái niệm niềm tin. Blockchain sau đó đã mở rộng định nghĩa của nó để bao gồm khái niệm về một hệ thống không đáng tin cậy và nhanh chóng phát triển để lập luận rằng các loại giá trị khác nhau, chẳng hạn như chủ quyền cá nhân, dân chủ hóa tài chính và quyền sở hữu, có thể được áp dụng cho các hệ thống hiện có. Tất nhiên, có thể cần rất nhiều xác nhận và thảo luận trước khi blockchain có thể được sử dụng trong thực tế, bởi vì các đặc điểm của nó có vẻ hơi triệt để so với các hệ thống hiện có khác nhau. Tuy nhiên, nếu chúng ta lạc quan về những kịch bản này, việc xây dựng đường ống dẫn dữ liệu và phân tích thông tin có giá trị chứa trong kho lưu trữ chuỗi khối có khả năng trở thành một bước ngoặt quan trọng khác trong sự phát triển của ngành, bởi vì chúng ta có thể quan sát Web3 chưa từng tồn tại trước đây. Sự thông minh.

Bài báo này khám phá tiềm năng của các đường ống dữ liệu gốc Web3 bằng cách chiếu các đường ống dữ liệu thường được sử dụng trong các thị trường CNTT hiện có vào môi trường Web3. Bài báo thảo luận về lợi ích của những đường ống này, những thách thức cần giải quyết và tác động của những đường ống này đối với ngành.

1. Điểm kỳ dị đến từ đổi mới thông tin

"Ngôn ngữ là một trong những điểm khác biệt quan trọng nhất giữa con người và động vật bậc thấp. Đó không chỉ là khả năng tạo ra âm thanh mà còn là khả năng liên kết những âm thanh xác định với những suy nghĩ xác định và sử dụng những âm thanh đó làm biểu tượng để truyền đạt ý tưởng." - Darwin

Trong lịch sử, những tiến bộ lớn trong nền văn minh nhân loại đã đi kèm với những đổi mới trong việc chia sẻ thông tin. Tổ tiên của chúng ta đã sử dụng ngôn ngữ, cả nói và viết, để giao tiếp với nhau và truyền đạt kiến thức cho các thế hệ tương lai. Điều này mang lại cho chúng một lợi thế lớn so với các loài khác. Việc phát minh ra chữ viết, giấy và in ấn giúp chia sẻ thông tin rộng rãi hơn, dẫn đến những tiến bộ lớn trong khoa học, công nghệ và văn hóa. Đặc biệt, việc in bản di động bằng kim loại của Kinh thánh Gutenberg là một bước ngoặt vì nó giúp cho việc sản xuất hàng loạt sách và các tài liệu in khác trở nên khả thi. Điều này có tác động sâu sắc đến sự khởi đầu của Cải cách, Cách mạng Dân chủ và tiến bộ khoa học.

Sự phát triển nhanh chóng của công nghệ CNTT trong những năm 2000 cho phép chúng ta hiểu sâu hơn về hành vi của con người. Điều này đã dẫn đến một sự thay đổi trong lối sống, nơi hầu hết mọi người trong thời hiện đại đưa ra nhiều quyết định khác nhau dựa trên thông tin kỹ thuật số. Chính vì lý do này mà chúng ta gọi xã hội hiện đại là "Kỷ nguyên đổi mới CNTT".

Chỉ 20 năm sau khi Internet được thương mại hóa hoàn toàn, công nghệ trí tuệ nhân tạo lại một lần nữa khiến cả thế giới kinh ngạc. Có rất nhiều ứng dụng có thể thay thế sức lao động của con người, và nhiều người đang thảo luận về nền văn minh mà AI sẽ thay đổi. Một số thậm chí còn phủ nhận, tự hỏi làm thế nào một công nghệ như vậy có thể xuất hiện nhanh đến mức có thể làm rung chuyển nền tảng của xã hội chúng ta. Mặc dù có "Định luật Moore" chỉ ra rằng hiệu suất của chất bán dẫn sẽ tăng theo cấp số nhân theo thời gian, nhưng những thay đổi do sự xuất hiện của GPT mang lại là quá đột ngột để có thể đối mặt ngay lập tức.

Tuy nhiên, điều thú vị là bản thân mô hình GPT không thực sự là một kiến trúc đột phá. Mặt khác, ngành công nghiệp AI sẽ liệt kê các yếu tố thành công chính sau đây cho các mô hình GPT: 1) Xác định các lĩnh vực kinh doanh có thể nhắm mục tiêu đến các nhóm khách hàng lớn và 2) Điều chỉnh mô hình thông qua các đường ống dữ liệu - từ thu thập dữ liệu đến cuối cùng kết quả và phản hồi dựa trên kết quả của. Nói tóm lại, các ứng dụng này cho phép đổi mới bằng cách tinh chỉnh các mục đích cung cấp dịch vụ và nâng cấp các quy trình xử lý dữ liệu/thông tin.

2. Quyết định dựa trên dữ liệu ở khắp mọi nơi

Hầu hết những gì chúng ta gọi là đổi mới thực sự dựa trên việc thao túng dữ liệu tích lũy, chứ không phải cơ hội hay trực giác. Có câu nói: "Trong thị trường tư bản, không phải kẻ mạnh là kẻ sống sót, mà là kẻ sống sót mới là kẻ mạnh". Các doanh nghiệp ngày nay có tính cạnh tranh cao và thị trường bão hòa. Do đó, các doanh nghiệp đang thu thập và phân tích tất cả các loại dữ liệu để lấy ngay cả những ngóc ngách nhỏ nhất.

Chúng ta có thể quá ám ảnh với lý thuyết “sự hủy diệt sáng tạo” của Schumpeter và quá nhấn mạnh vào việc đưa ra quyết định dựa trên trực giác. Tuy nhiên, ngay cả trực giác tuyệt vời cuối cùng cũng là sản phẩm của dữ liệu và thông tin tích lũy của một cá nhân. Thế giới kỹ thuật số sẽ thâm nhập sâu hơn vào cuộc sống của chúng ta trong tương lai và ngày càng nhiều thông tin nhạy cảm sẽ được trình bày dưới dạng dữ liệu kỹ thuật số.

Thị trường Web3 đang nhận được nhiều sự chú ý vì tiềm năng cung cấp cho người dùng quyền kiểm soát dữ liệu của họ. Tuy nhiên, lĩnh vực blockchain, là công nghệ cơ bản của Web3, hiện đang quan tâm nhiều hơn đến việc giải quyết bộ ba bất khả thi (Deep Tide Note: Triangular Dilemma, tức là các vấn đề về bảo mật, phân cấp và khả năng mở rộng). Để các công nghệ mới trở nên thuyết phục trong thế giới thực, điều quan trọng là phải phát triển các ứng dụng và trí thông minh có thể được sử dụng theo nhiều cách. Chúng tôi đã thấy điều này xảy ra trong không gian Dữ liệu lớn và các phương pháp xây dựng quy trình xử lý Dữ liệu lớn và dữ liệu đã tiến bộ đáng kể kể từ khoảng năm 2010. Trong bối cảnh của Web3, cần phải nỗ lực để thúc đẩy ngành phát triển và xây dựng các hệ thống luồng dữ liệu để tạo ra thông tin tình báo dựa trên dữ liệu.

3. Cơ hội dựa trên luồng dữ liệu trên chuỗi

Vì vậy, chúng ta có thể nắm bắt những cơ hội nào từ các hệ thống phát trực tuyến gốc Web3 và chúng ta cần giải quyết những thách thức nào để nắm bắt những cơ hội này?

3.1 Ưu điểm

Nói tóm lại, giá trị của việc định cấu hình luồng dữ liệu gốc Web3 là dữ liệu đáng tin cậy có thể được phân phối an toàn và hiệu quả cho nhiều thực thể để có thể trích xuất thông tin chi tiết có giá trị.

• Dự phòng dữ liệu - dữ liệu trên chuỗi ít có khả năng bị mất và linh hoạt hơn do mạng giao thức lưu trữ các đoạn dữ liệu trên nhiều nút.
• Bảo mật dữ liệu - Dữ liệu trên chuỗi không bị giả mạo vì dữ liệu được xác minh và đồng thuận bởi một mạng lưới các nút phi tập trung.
• Chủ quyền dữ liệu - Chủ quyền dữ liệu là quyền của người dùng sở hữu và kiểm soát dữ liệu của chính họ. Với truyền dữ liệu trên chuỗi, người dùng có thể xem dữ liệu của họ đang được sử dụng như thế nào và chọn chỉ chia sẻ dữ liệu đó với những người có nhu cầu chính đáng để truy cập dữ liệu đó.
• Không cần cấp phép và minh bạch - dữ liệu trên chuỗi minh bạch và chống giả mạo. Điều này đảm bảo rằng dữ liệu đang được xử lý cũng là một nguồn thông tin đáng tin cậy.
• Hoạt động ổn định - khi luồng dữ liệu được điều phối bởi giao thức trong một môi trường phân tán, vì không có điểm lỗi duy nhất, xác suất mỗi lớp gặp phải thời gian ngừng hoạt động sẽ giảm đáng kể.

3.2 Các trường hợp ứng dụng

Niềm tin là cơ sở để các thực thể khác nhau tương tác với nhau và đưa ra quyết định. Do đó, khi dữ liệu đáng tin cậy có thể được phân phối một cách an toàn, điều đó có nghĩa là nhiều tương tác và quyết định có thể được thực hiện thông qua các dịch vụ Web3 mà các thực thể khác nhau tham gia. Điều này giúp tối đa hóa vốn xã hội và chúng ta có thể tưởng tượng một số trường hợp sử dụng bên dưới.

3.2.1 Ứng dụng dịch vụ/giao thức

Hệ thống quyết định tự động dựa trên quy tắc - Giao thức sử dụng các tham số chính để chạy dịch vụ. Các thông số này được điều chỉnh thường xuyên nhằm ổn định trạng thái dịch vụ và mang đến trải nghiệm tốt nhất cho người dùng. Tuy nhiên, giao thức không phải lúc nào cũng theo dõi trạng thái dịch vụ và thực hiện các thay đổi động đối với các tham số một cách kịp thời. Đây là những gì luồng dữ liệu trên chuỗi thực hiện. Các luồng dữ liệu trên chuỗi có thể được sử dụng để phân tích trạng thái dịch vụ trong thời gian thực và đề xuất bộ tham số tốt nhất để phù hợp với yêu cầu dịch vụ (ví dụ: áp dụng cơ chế lãi suất thả nổi tự động cho các giao thức cho vay).

• Tăng trưởng thị trường tín dụng - Tín dụng thường được sử dụng trên thị trường tài chính như một thước đo khả năng trả nợ của một cá nhân. Điều này giúp nâng cao hiệu quả của thị trường. Tuy nhiên, định nghĩa về tín dụng vẫn chưa rõ ràng trong thị trường Web3. Điều này là do sự khan hiếm dữ liệu cá nhân và thiếu quản trị dữ liệu giữa các ngành. Do đó, việc tích hợp và thu thập thông tin trở nên khó khăn. Bằng cách xây dựng quy trình thu thập và xử lý dữ liệu bị phân mảnh trên chuỗi, có thể xác định lại thị trường tín dụng trên thị trường Web3 (ví dụ: MACRO của Spectral (chấm điểm rủi ro tín dụng đa tài sản).
• Tiện ích mở rộng xã hội/NFT phi tập trung - Các xã hội phi tập trung ưu tiên kiểm soát người dùng, bảo vệ quyền riêng tư, chống kiểm duyệt và quản trị cộng đồng. Điều này cung cấp một mô hình xã hội thay thế. Do đó, một quy trình có thể được thiết lập để kiểm soát và cập nhật các siêu dữ liệu khác nhau một cách trơn tru hơn và tạo điều kiện thuận lợi cho việc di chuyển giữa các nền tảng.
• Phát hiện gian lận - Các dịch vụ Web3 sử dụng hợp đồng thông minh dễ bị tấn công bằng mã độc có thể đánh cắp tiền, xâm phạm hệ thống và dẫn đến các cuộc tấn công tách rời và thanh khoản. Bằng cách tạo một hệ thống có thể phát hiện trước các cuộc tấn công này, các dịch vụ Web3 có thể phát triển các kế hoạch phản hồi nhanh và bảo vệ người dùng khỏi bị tổn hại.

3.2.2 Sáng kiến hợp tác và quản trị

• DAO hoàn toàn trên chuỗi - Các tổ chức tự trị phi tập trung (DAO) phụ thuộc rất nhiều vào các công cụ ngoài chuỗi để quản trị hiệu quả và tài trợ công. Bằng cách xây dựng quy trình xử lý dữ liệu trên chuỗi và tạo quy trình minh bạch cho các hoạt động của DAO, giá trị của DAO gốc của Web3 có thể được nâng cao hơn nữa.
• Giảm bớt sự mệt mỏi trong quản trị - Các quyết định về giao thức Web3 thường được thực hiện thông qua quản trị cộng đồng. Tuy nhiên, có nhiều yếu tố có thể gây khó khăn cho người tham gia khi tham gia quản trị, chẳng hạn như rào cản địa lý, áp lực giám sát, thiếu chuyên môn cần thiết cho quản trị, chương trình quản trị được xuất bản ngẫu nhiên và trải nghiệm người dùng không thuận tiện. Khung quản trị giao thức có thể hoạt động hiệu quả và hiệu quả hơn nếu có thể tạo ra một công cụ giúp đơn giản hóa quy trình để những người tham gia đi từ hiểu biết đến thực sự triển khai các mục trong chương trình quản trị riêng lẻ.
• Nền tảng dữ liệu mở cho các công việc hợp tác - Trong giới học thuật và công nghiệp hiện có, nhiều dữ liệu và tài liệu nghiên cứu không được tiết lộ công khai, điều này có thể khiến cho sự phát triển chung của thị trường trở nên rất kém hiệu quả. Mặt khác, nhóm dữ liệu trên chuỗi có thể tạo điều kiện thuận lợi cho nhiều sáng kiến hợp tác hơn so với các thị trường hiện có vì chúng minh bạch và có thể truy cập được đối với bất kỳ ai. Sự phát triển của nhiều tiêu chuẩn mã thông báo và giải pháp DeFi là những ví dụ điển hình. Ngoài ra, chúng tôi có thể vận hành các nhóm dữ liệu công cộng cho các mục đích khác nhau.

3.2.3 Chẩn đoán mạng

• Nghiên cứu chỉ mục - Người dùng Web3 tạo các chỉ báo khác nhau để phân tích và so sánh trạng thái của giao thức. Nhiều số liệu khách quan (ví dụ: hệ số Satoshi của Nakaflow) có thể được nghiên cứu và hiển thị trong thời gian thực.
• Số liệu giao thức - Bằng cách xử lý dữ liệu như số lượng địa chỉ đang hoạt động, số lượng giao dịch, dòng vào/ra của tài sản và các khoản phí do mạng phát sinh, hiệu suất của giao thức có thể được phân tích. Thông tin này có thể được sử dụng để đánh giá tác động của các bản cập nhật giao thức cụ thể, trạng thái của MEV và tình trạng của mạng.

3.3 Thách thức

Dữ liệu trên chuỗi có những lợi thế độc nhất có thể làm tăng giá trị của ngành. Tuy nhiên, để nhận ra đầy đủ những lợi ích này, nhiều thách thức phải được giải quyết cả trong và ngoài ngành.

• Thiếu quản trị dữ liệu - Quản trị dữ liệu là quá trình thiết lập các chính sách và tiêu chuẩn dữ liệu nhất quán và được chia sẻ để tạo thuận lợi cho việc tích hợp mọi dữ liệu nguyên thủy. Hiện tại, mỗi giao thức trên chuỗi thiết lập các tiêu chuẩn riêng và truy xuất các loại dữ liệu của riêng nó. Tuy nhiên, vấn đề là thiếu quản trị dữ liệu giữa các thực thể tổng hợp các dữ liệu giao thức này và cung cấp dịch vụ API cho người dùng. Điều này làm cho việc tích hợp giữa các dịch vụ trở nên khó khăn và do đó, người dùng khó có được thông tin chi tiết đáng tin cậy và toàn diện.
• Không hiệu quả về chi phí - Lưu trữ dữ liệu lạnh trong giao thức giúp người dùng tiết kiệm chi phí bảo mật dữ liệu và máy chủ. Tuy nhiên, nếu dữ liệu cần được truy cập thường xuyên để phân tích hoặc yêu cầu tài nguyên máy tính quan trọng, thì việc lưu trữ dữ liệu trên chuỗi khối có thể không hiệu quả về mặt chi phí.
• Vấn đề tiên tri - hợp đồng thông minh chỉ hoạt động đầy đủ khi chúng có quyền truy cập vào dữ liệu từ thế giới thực. Tuy nhiên, những dữ liệu này không phải lúc nào cũng đáng tin cậy hoặc nhất quán. Không giống như các chuỗi khối duy trì tính toàn vẹn thông qua các thuật toán đồng thuận, dữ liệu bên ngoài không mang tính quyết định. Các giải pháp của Oracle phải phát triển để đảm bảo tính toàn vẹn, chất lượng và khả năng mở rộng của dữ liệu bên ngoài độc lập với một lớp ứng dụng cụ thể.
• Giao thức đang ở giai đoạn sơ khai - giao thức sử dụng mã thông báo của chính nó để khuyến khích người dùng duy trì hoạt động của dịch vụ và trả tiền cho nó. Tuy nhiên, các tham số cần thiết để vận hành giao thức (ví dụ: định nghĩa chính xác và sơ đồ khuyến khích người dùng dịch vụ) thường được quản lý một cách ngây thơ. Điều này có nghĩa là tính bền vững về kinh tế của giao thức rất khó xác minh. Nếu nhiều giao thức kết nối hữu cơ và tạo ra các đường dẫn dữ liệu, sẽ có nhiều sự không chắc chắn hơn về việc liệu các đường dẫn có hoạt động tốt hay không.
• Thời gian truy xuất dữ liệu chậm - Các giao thức thường xử lý các giao dịch thông qua sự đồng thuận của nhiều nút, điều này hạn chế tốc độ và khối lượng xử lý thông tin so với logic nghiệp vụ CNTT truyền thống. Nút cổ chai này khó giải quyết trừ khi hiệu suất của tất cả các giao thức tạo nên đường ống được cải thiện đáng kể.
• Giá trị thực của dữ liệu Web3 - chuỗi khối là các hệ thống biệt lập chưa được kết nối với thế giới thực. Khi thu thập dữ liệu Web3, chúng tôi cần xem xét liệu dữ liệu được thu thập có thể cung cấp thông tin chi tiết có ý nghĩa đủ để trang trải chi phí xây dựng đường dẫn dữ liệu hay không.
• Cú pháp không quen thuộc - Cơ sở hạ tầng dữ liệu CNTT hiện tại và cơ sở hạ tầng chuỗi khối hoạt động rất khác nhau. Ngay cả ngôn ngữ lập trình được sử dụng cũng khác nhau và cơ sở hạ tầng chuỗi khối thường sử dụng ngôn ngữ cấp thấp hoặc ngôn ngữ mới được thiết kế dành riêng cho nhu cầu chuỗi khối. Điều này khiến các nhà phát triển và người dùng dịch vụ mới gặp khó khăn trong việc học cách xử lý từng dữ liệu nguyên thủy, vì họ cần học một ngôn ngữ lập trình mới hoặc một cách suy nghĩ mới về cách làm việc với dữ liệu chuỗi khối.

4. Dữ liệu Web3 theo đường ống Lego

Không có kết nối giữa các nguyên mẫu dữ liệu Web3 hiện tại, chúng trích xuất và xử lý dữ liệu một cách độc lập. Điều này gây khó khăn cho việc thử nghiệm sự phối hợp trong xử lý thông tin. Để giải quyết vấn đề này, bài viết này giới thiệu một đường dẫn dữ liệu thường được sử dụng trong thị trường CNTT và ánh xạ các nguyên mẫu dữ liệu Web3 hiện có vào đường dẫn này. Điều này sẽ làm cho trường hợp sử dụng cụ thể hơn.

4.1 Đường dẫn dữ liệu chung

Xây dựng một đường dẫn dữ liệu giống như quá trình khái niệm hóa và tự động hóa các quy trình ra quyết định lặp đi lặp lại trong cuộc sống hàng ngày. Bằng cách đó, thông tin có chất lượng cụ thể luôn sẵn có và được sử dụng để ra quyết định. Dữ liệu phi cấu trúc cần xử lý càng nhiều, thông tin được sử dụng càng thường xuyên hoặc càng cần nhiều phân tích theo thời gian thực, thời gian và chi phí để đạt được sự chủ động cần thiết cho các quyết định trong tương lai có thể được tiết kiệm bằng cách tự động hóa các quy trình này.

Sơ đồ trên cho thấy một kiến trúc chung để xây dựng đường ống dẫn dữ liệu trong thị trường cơ sở hạ tầng CNTT hiện có. Dữ liệu phù hợp cho mục đích phân tích được thu thập từ nguồn dữ liệu chính xác và được lưu trữ trong giải pháp lưu trữ phù hợp theo tính chất của dữ liệu và yêu cầu phân tích. Ví dụ: kho dữ liệu cung cấp giải pháp lưu trữ dữ liệu thô để phân tích linh hoạt và có thể mở rộng, trong khi kho dữ liệu tập trung vào lưu trữ dữ liệu có cấu trúc để truy vấn và phân tích được tối ưu hóa cho logic kinh doanh cụ thể. Dữ liệu sau đó được xử lý thành thông tin chi tiết hoặc thông tin hữu ích theo nhiều cách khác nhau.

Mỗi cấp độ giải pháp cũng có sẵn dưới dạng dịch vụ đóng gói. Người ta cũng ngày càng quan tâm đến các nhóm sản phẩm SaaS ETL (Trích xuất, Chuyển đổi, Tải) kết nối chuỗi quy trình từ khai thác dữ liệu đến tải (ví dụ: FiveTran, Panoply, Hivo, Rivery). Trình tự không phải lúc nào cũng theo một hướng và các lớp có thể được kết nối với nhau theo nhiều cách khác nhau, tùy thuộc vào nhu cầu cụ thể của tổ chức. Điều quan trọng nhất khi xây dựng đường dẫn dữ liệu là giảm thiểu rủi ro mất dữ liệu có thể xảy ra khi dữ liệu được gửi và nhận đến từng tầng máy chủ. Điều này có thể đạt được bằng cách tối ưu hóa việc tách rời các máy chủ và sử dụng các giải pháp xử lý và lưu trữ dữ liệu đáng tin cậy.

4.2 Đường ống với môi trường trên chuỗi

Sơ đồ khái niệm về đường dẫn dữ liệu được giới thiệu trước đó có thể được áp dụng cho môi trường trên chuỗi, như thể hiện trong hình trên, nhưng cần lưu ý rằng không thể hình thành một đường ống phi tập trung hoàn toàn, bởi vì mỗi thành phần cơ bản phụ thuộc ở một mức độ nào đó vào Giải pháp ngoại tuyến tập trung. Ngoài ra, hình trên hiện không bao gồm tất cả các giải pháp Web3 và ranh giới phân loại có thể bị mờ—ví dụ: KYVE, ngoài vai trò là nền tảng truyền phát trực tuyến, còn bao gồm chức năng của hồ dữ liệu, có thể là được coi là một đường ống dẫn dữ liệu. Ngoài ra, Không gian và Thời gian được phân loại là cơ sở dữ liệu phi tập trung, nhưng nó cung cấp các dịch vụ cổng API như RestAPI và phát trực tuyến, cũng như các dịch vụ ETL.

4.2.1 Chụp/Xử lý

Để người dùng thông thường hoặc dApp sử dụng/vận hành dịch vụ một cách hiệu quả, họ cần có khả năng dễ dàng xác định và truy cập các nguồn dữ liệu chủ yếu được tạo trong giao thức, chẳng hạn như giao dịch, trạng thái và sự kiện nhật ký. Lớp này là nơi phần mềm trung gian phát huy tác dụng, giúp xử lý các quy trình bao gồm oracle, nhắn tin, xác thực và quản lý API. Các giải pháp chính như sau.

Nền tảng phát trực tuyến/lập chỉ mục

Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, trình khám phá khối của các giao thức khác nhau, v.v.

node-as-a-service và các dịch vụ RPC/API khác

Alchemy、All that Node、Infura、Pocket Network、Quicknode。

Nhà tiên tri

API 3, Giao thức băng tần, Chainlink, Giao thức Nest, Pyth, Supra oracles, v.v.

4.2.2 Lưu trữ

So với các giải pháp lưu trữ Web2, các giải pháp lưu trữ Web3 có một số ưu điểm như bền bỉ và phân quyền. Tuy nhiên, chúng cũng có một số nhược điểm như giá thành cao, khó cập nhật và truy vấn dữ liệu. Do đó, nhiều giải pháp đã xuất hiện để giải quyết những thiếu sót này và cho phép xử lý hiệu quả dữ liệu có cấu trúc và động trên Web3 - mỗi giải pháp có các đặc điểm khác nhau như loại dữ liệu được xử lý, có cấu trúc hay không và có chức năng truy vấn nhúng hay không, v.v. TRÊN.

Mạng lưu trữ phi tập trung

Arweave、Filecoin、KYVE、Sia、Storj, v.v.

Cơ sở dữ liệu phi tập trung

Cơ sở dữ liệu dựa trên Arweave (Glacier, HollowDB, Kwil, WeaDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland, v.v.

* Mỗi giao thức có một cơ chế lưu trữ vĩnh viễn khác nhau. Ví dụ: Arweave là mô hình dựa trên chuỗi khối, tương tự như lưu trữ Ethereum, lưu trữ dữ liệu vĩnh viễn trên chuỗi, trong khi Filecoin, Sia và Storj là mô hình dựa trên hợp đồng, lưu trữ dữ liệu ngoài chuỗi.

4.2.3 Chuyển đổi

Trong ngữ cảnh của Web3, lớp dịch cũng quan trọng như lớp lưu trữ. Điều này là do cấu trúc của chuỗi khối về cơ bản bao gồm một tập hợp các nút phân tán, giúp dễ dàng sử dụng logic phụ trợ có thể mở rộng. Trong ngành AI, mọi người đang tích cực khám phá việc sử dụng những lợi thế này để nghiên cứu trong lĩnh vực học tập liên kết và các giao thức dành riêng cho máy học và hoạt động của AI đã xuất hiện.

Đào tạo/mô hình hóa/tính toán dữ liệu

Akash、Bacalhau、Bitensor、Gensyn、Golem、Cùng với nhau。

* Học liên kết là một phương pháp huấn luyện các mô hình trí tuệ nhân tạo bằng cách phân phối mô hình ban đầu trên nhiều máy khách gốc, sử dụng dữ liệu được lưu trữ để huấn luyện mô hình đó, sau đó thu thập các thông số đã học trên một máy chủ trung tâm.

4.2.4 Phân tích/Sử dụng

Các dịch vụ bảng điều khiển cũng như các giải pháp phân tích và thông tin chuyên sâu dành cho người dùng cuối được liệt kê bên dưới là các nền tảng cho phép người dùng quan sát và khám phá nhiều thông tin chuyên sâu khác nhau từ các giao thức cụ thể. Một số giải pháp này cũng cung cấp dịch vụ API cho sản phẩm cuối cùng. Tuy nhiên, điều quan trọng cần lưu ý là dữ liệu trong các giải pháp này không phải lúc nào cũng chính xác vì chúng chủ yếu sử dụng các công cụ ngoại tuyến riêng biệt để lưu trữ và xử lý dữ liệu. Lỗi giữa các giải pháp cũng có thể được quan sát.

Đồng thời, có một nền tảng gọi là "Chức năng Web3" có thể tự động/kích hoạt việc thực thi hợp đồng thông minh, giống như các nền tảng tập trung như Google Cloud kích hoạt/thực thi logic kinh doanh cụ thể. Sử dụng nền tảng này, người dùng có thể triển khai logic kinh doanh theo cách gốc của Web3, thay vì chỉ xử lý dữ liệu trên chuỗi để hiểu rõ hơn.

Dịch vụ bảng điều khiển

Dune Analytics、Flipside Crypto、Footprint、Transpose。

Thông tin chi tiết và phân tích của người dùng cuối

Chainalaysis、Glassnode、Messari、Nansen、The Tie、Token Terminal, v.v.

Chức năng Web3

Chức năng của Chainlink, Mạng Gelato, v.v.

5. Suy nghĩ kết luận

Như Kant đã nói, chúng ta chỉ có thể chứng kiến bề ngoài của sự vật chứ không thể chứng kiến bản chất của chúng. Tuy nhiên, chúng tôi sử dụng hồ sơ quan sát được gọi là "dữ liệu" để xử lý thông tin và kiến thức, và chúng tôi thấy những đổi mới trong công nghệ thông tin thúc đẩy sự phát triển của nền văn minh như thế nào. Do đó, việc xây dựng một đường dẫn dữ liệu trong thị trường Web3, ngoài việc được phân cấp, có thể đóng một vai trò quan trọng như một điểm khởi đầu để thực sự nắm bắt những cơ hội này. Tôi xin kết thúc bài viết này với một vài suy nghĩ.

5.1 Vai trò của các giải pháp lưu trữ sẽ trở nên quan trọng hơn

Điều kiện tiên quyết quan trọng nhất để có một đường dẫn dữ liệu là thiết lập quản trị dữ liệu và API. Trong một hệ sinh thái ngày càng đa dạng, các thông số kỹ thuật được tạo bởi mỗi giao thức sẽ tiếp tục được tạo lại và các bản ghi giao dịch bị phân mảnh thông qua hệ sinh thái đa chuỗi sẽ khiến các cá nhân khó có được thông tin chi tiết toàn diện hơn. Sau đó, "các giải pháp lưu trữ" là các thực thể có thể cung cấp dữ liệu tích hợp ở định dạng thống nhất bằng cách thu thập thông tin bị phân mảnh và cập nhật thông số kỹ thuật của từng giao thức. Chúng tôi quan sát thấy rằng các giải pháp lưu trữ thị trường hiện tại như Snowflake và Databricks đang phát triển nhanh chóng, có cơ sở khách hàng lớn, được tích hợp theo chiều dọc bằng cách vận hành ở nhiều cấp độ khác nhau trong hệ thống và đang dẫn đầu ngành.

5.2 Cơ hội trong Thị trường nguồn dữ liệu

Các trường hợp sử dụng thành công bắt đầu xuất hiện khi dữ liệu trở nên dễ truy cập hơn và quá trình xử lý được cải thiện. Điều này tạo ra một hiệu ứng vòng tròn tích cực trong đó các nguồn dữ liệu và công cụ thu thập bùng nổ—kể từ năm 2010, các loại và khối lượng dữ liệu kỹ thuật số được thu thập mỗi năm đã tăng theo cấp số nhân kể từ năm 2010, nhờ những tiến bộ to lớn trong công nghệ xây dựng đường ống dẫn dữ liệu. Áp dụng nền tảng này cho thị trường Web3, nhiều nguồn dữ liệu có thể được tạo đệ quy trên chuỗi trong tương lai. Điều này cũng có nghĩa là blockchain sẽ mở rộng sang các lĩnh vực kinh doanh khác nhau. Tại thời điểm này, chúng ta có thể mong đợi việc thu thập dữ liệu sẽ phát triển thông qua các thị trường dữ liệu như Giao thức Đại dương hoặc các giải pháp DeWi (không dây phi tập trung) như Helium và XNET, cũng như các giải pháp lưu trữ.

5.3 Điều quan trọng là dữ liệu và phân tích có ý nghĩa

Tuy nhiên, điều quan trọng nhất là liên tục đặt câu hỏi nên chuẩn bị dữ liệu nào để trích xuất những hiểu biết thực sự cần thiết. Không có gì lãng phí hơn việc xây dựng một đường dẫn dữ liệu chỉ vì mục đích xây dựng một đường dẫn dữ liệu mà không có các giả định rõ ràng để xác thực. Các thị trường hiện tại đã đạt được nhiều đổi mới thông qua việc xây dựng các đường ống dẫn dữ liệu, nhưng cũng đã phải trả giá đắt qua những thất bại vô nghĩa lặp đi lặp lại. Cũng tốt khi có các cuộc thảo luận mang tính xây dựng về sự phát triển của ngăn xếp công nghệ, nhưng ngành cần thời gian để suy nghĩ và thảo luận về các vấn đề cơ bản hơn, chẳng hạn như dữ liệu nào nên được lưu trữ trong không gian khối hoặc dữ liệu nên được sử dụng cho mục đích gì . "Mục tiêu" phải là nhận ra giá trị của Web3 thông qua các trường hợp sử dụng và trí thông minh có thể hành động, đồng thời, trong quá trình này, việc phát triển nhiều thành phần cơ bản và hoàn thiện quy trình là "phương tiện" để đạt được mục tiêu này.