Sejak kelahiran GPT-3, AI generatif telah mengantarkan titik belok eksplosif di bidang kecerdasan buatan dengan kinerjanya yang luar biasa dan skenario aplikasi yang luas, dan raksasa teknologi telah mulai terjun ke jalur AI dalam kelompok. Namun, pengoperasian pelatihan dan inferensi model bahasa besar (LLM) membutuhkan banyak daya komputasi, dan dengan peningkatan berulang model, permintaan daya komputasi dan biaya meningkat secara eksponensial. Mengambil GPT-2 dan GPT-3 sebagai contoh, perbedaan jumlah parameter antara GPT-2 dan GPT-3 adalah 1.166 kali (150 juta parameter untuk GPT-2 dan 175 miliar parameter untuk GPT-3), dan biaya GPT-3 dapat mencapai hingga $12 juta berdasarkan model harga cloud GPU publik saat itu, yaitu 200 kali lipat dari GPT-2. Dalam proses penggunaan aktual, setiap pertanyaan pengguna perlu disimpulkan dan dihitung, sesuai dengan situasi 13 juta pengguna unik pada awal tahun ini, permintaan chip yang sesuai lebih dari 30.000 buah A100GPU. Biaya awal kemudian akan mengejutkan $ 800 juta, dengan perkiraan $ 700.000 per hari untuk inferensi model.
Daya komputasi yang tidak mencukupi dan biaya tinggi telah menjadi masalah bagi seluruh industri AI, tetapi masalah yang sama tampaknya mengganggu industri blockchain juga. Di satu sisi, separuh keempat Bitcoin dan berlalunya ETF akan datang, dan ketika harga naik di masa depan, permintaan untuk perangkat keras komputasi oleh penambang pasti akan meningkat secara signifikan. Di sisi lain, teknologi "Zero-Knowledge Proof" (ZKP) sedang booming, dan Vitalik telah berulang kali menekankan bahwa dampak ZK pada ruang blockchain dalam dekade berikutnya akan sama pentingnya dengan blockchain itu sendiri. Meskipun masa depan teknologi ini sangat diantisipasi oleh industri blockchain, ZK juga menghabiskan banyak daya komputasi dan waktu dalam proses menghasilkan bukti seperti AI karena proses komputasi yang kompleks.
Di masa mendatang, kekurangan daya komputasi akan menjadi tak terhindarkan, jadi apakah pasar daya komputasi yang terdesentralisasi akan menjadi bisnis yang baik?
Definisi Pasar Komputasi Terdesentralisasi
Pasar daya komputasi terdesentralisasi sebenarnya pada dasarnya setara dengan jalur komputasi awan terdesentralisasi, tetapi dibandingkan dengan komputasi awan terdesentralisasi, saya pribadi berpikir bahwa istilah ini akan lebih tepat untuk menggambarkan proyek-proyek baru yang disebutkan nanti. Pasar daya komputasi terdesentralisasi harus menjadi bagian dari DePIN (jaringan infrastruktur fisik terdesentralisasi), dan tujuannya adalah untuk menciptakan pasar daya komputasi terbuka, melalui insentif token, sehingga siapa pun dengan sumber daya komputasi menganggur dapat menyediakan sumber daya mereka di pasar ini, terutama melayani pengguna B-end dan komunitas pengembang. Dalam hal proyek-proyek terkenal, seperti Render Network, jaringan solusi rendering berdasarkan GPU terdesentralisasi, dan Akash Network, pasar peer-to-peer terdistribusi untuk komputasi awan, termasuk dalam jalur ini.
Berikut ini akan dimulai dengan konsep dasar, dan kemudian membahas tiga pasar negara berkembang di bawah jalur: pasar daya komputasi AGI, pasar daya komputasi Bitcoin, dan pasar daya komputasi AGI di pasar akselerasi perangkat keras ZK, dan dua yang terakhir akan dibahas dalam "Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian II)".
Ikhtisar hashrate
Asal usul konsep daya komputasi dapat ditelusuri kembali ke penemuan komputer, komputer asli adalah perangkat mekanis untuk menyelesaikan tugas komputasi, dan daya komputasi mengacu pada daya komputasi perangkat mekanis. Dengan perkembangan teknologi komputer, konsep daya komputasi juga telah berkembang, dan sekarang daya komputasi biasanya mengacu pada kemampuan perangkat keras komputer (CPU, GPU, FPGA, dll) dan perangkat lunak (sistem operasi, kompiler, aplikasi, dll) untuk bekerja sama.
Definisi
Daya komputasi mengacu pada jumlah data yang dapat diproses oleh komputer atau perangkat komputasi lainnya atau jumlah tugas komputasi yang dapat diselesaikan dalam jangka waktu tertentu. Hashrate sering digunakan untuk menggambarkan kinerja komputer atau perangkat komputasi lainnya, dan ini merupakan ukuran penting dari kekuatan pemrosesan perangkat komputasi.
Metrik
Daya komputasi dapat diukur dengan berbagai cara, seperti kecepatan komputasi, konsumsi energi komputasi, akurasi komputasi, dan paralelisme. Di bidang komputer, metrik daya komputasi yang umum digunakan termasuk FLOPS (operasi floating point per detik), IPS (instruksi per detik), TPS (transaksi per detik), dll.
FLOPS (Floating-Point Operations Per Second) mengacu pada kemampuan komputer untuk menangani operasi floating-point (operasi matematika pada angka dengan titik desimal, dengan mempertimbangkan masalah akun seperti presisi dan kesalahan pembulatan), dan mengukur berapa banyak operasi floating-point komputer dapat menyelesaikan per detik. FLOPS adalah ukuran daya komputasi berkinerja tinggi komputer, dan umumnya digunakan untuk mengukur daya komputasi superkomputer, server komputasi berkinerja tinggi, dan unit pemrosesan grafis (GPU), antara lain. Misalnya, sistem komputer memiliki FLOPS 1 TFLOPS (1 triliun operasi floating-point per detik), yang berarti dapat menyelesaikan 1 triliun operasi floating-point per detik.
IPS (Instructions Per Second) mengacu pada kecepatan di mana komputer memproses instruksi, dan mengukur berapa banyak instruksi komputer mampu mengeksekusi per detik. IPS adalah ukuran kinerja instruksi tunggal komputer, dan sering digunakan untuk mengukur kinerja central processing unit (CPU), dll. Misalnya, CPU dengan IPS 3 GHz (yang dapat mengeksekusi 300 juta instruksi per detik) berarti dapat mengeksekusi 300 juta instruksi per detik.
TPS (Transactions Per Second) mengacu pada kemampuan komputer untuk memproses transaksi, dan mengukur berapa banyak transaksi yang dapat diselesaikan komputer per detik. Ini sering digunakan untuk mengukur kinerja server database. Misalnya, server database dengan TPS 1000 berarti dapat memproses 1000 transaksi database per detik.
Selain itu, ada beberapa indikator daya komputasi untuk skenario aplikasi tertentu, seperti kecepatan inferensi, kecepatan pemrosesan gambar, dan akurasi pengenalan ucapan.
Jenis hashrate
Daya komputasi GPU mengacu pada daya komputasi unit pemrosesan grafis. Berbeda dengan CPU (Central Processing Unit), GPU adalah perangkat keras yang dirancang khusus untuk memproses data grafis seperti gambar dan video, dan memiliki sejumlah besar unit pemrosesan dan daya komputasi paralel yang efisien, yang dapat melakukan sejumlah besar operasi floating-point pada saat yang bersamaan. Karena GPU awalnya digunakan untuk pemrosesan grafis game, mereka biasanya memiliki frekuensi clock yang lebih tinggi dan bandwidth memori yang lebih besar daripada CPU untuk mendukung operasi grafis yang kompleks.
Perbedaan Antara CPU dan GPU
Arsitektur: Arsitektur komputasi CPU dan GPU berbeda. CPU biasanya memiliki satu atau lebih core, yang masing-masing merupakan prosesor tujuan umum yang mampu melakukan berbagai operasi yang berbeda. GPU, di sisi lain, memiliki sejumlah besar Stream Processor dan Shader, yang didedikasikan untuk melakukan operasi yang terkait dengan pemrosesan gambar.
Komputasi paralel: GPU biasanya memiliki kemampuan komputasi paralel yang lebih tinggi. CPU memiliki jumlah core terbatas dan hanya dapat menjalankan satu instruksi per core, tetapi GPU dapat memiliki ribuan stream prosesor yang dapat menjalankan beberapa instruksi dan operasi secara bersamaan. Akibatnya, GPU umumnya lebih cocok daripada CPU untuk melakukan tugas komputasi paralel, seperti pembelajaran mesin dan pembelajaran mendalam, yang membutuhkan banyak komputasi paralel.
Pemrograman: Pemrograman GPU lebih kompleks daripada CPU, membutuhkan penggunaan bahasa pemrograman tertentu (seperti CUDA atau OpenCL) dan penggunaan teknik pemrograman khusus untuk memanfaatkan kekuatan komputasi paralel GPU. Sebaliknya, CPU lebih sederhana untuk diprogram dan dapat menggunakan bahasa pemrograman umum dan alat pemrograman.
Pentingnya daya komputasi
Di era Revolusi Industri, minyak adalah darah dunia, menembus setiap industri. Daya komputasi ada di blockchain, dan di era AI yang akan datang, daya komputasi akan menjadi "minyak digital" dunia. Dari serbuan gila-gilaan perusahaan besar untuk chip AI dan fakta bahwa saham Nvidia melebihi satu triliun, hingga blokade chip kelas atas baru-baru ini di China oleh Amerika Serikat, hingga ukuran daya komputasi, area chip, dan bahkan rencana untuk melarang cloud GPU, kepentingannya terbukti dengan sendirinya, dan daya komputasi akan menjadi komoditas di era berikutnya.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-0827192de8-dd1a6f-cd5cc0.webp)
Gambaran Umum Kecerdasan Buatan
Artificial Intelligence (AI) adalah ilmu teknis baru yang mempelajari dan mengembangkan teori, metode, teknologi, dan sistem aplikasi untuk mensimulasikan, memperluas, dan memperluas kecerdasan manusia. Itu berasal dari tahun lima puluhan dan enam puluhan abad ke-20, dan setelah lebih dari setengah abad evolusi, ia telah mengalami perkembangan yang saling terkait dari tiga gelombang simbolisme, koneksionisme, dan aktor. Definisi AI generatif yang lebih spesifik adalah Artificial General Intelligence (AGI), sistem AI dengan pemahaman luas yang dapat melakukan kecerdasan yang mirip atau lebih unggul dari manusia dalam berbagai tugas dan domain yang berbeda. AGI pada dasarnya perlu terdiri dari tiga elemen: deep learning (DL), big data, dan daya komputasi skala besar.
Pembelajaran mendalam
Pembelajaran mendalam adalah subbidang pembelajaran mesin (ML), dan algoritme pembelajaran mendalam adalah jaringan saraf yang dimodelkan setelah otak manusia. Misalnya, otak manusia mengandung jutaan neuron yang saling berhubungan yang bekerja sama untuk belajar dan memproses informasi. Demikian pula, jaringan saraf pembelajaran mendalam (atau jaringan saraf tiruan) terdiri dari beberapa lapisan neuron buatan yang bekerja bersama di dalam komputer. Neuron buatan adalah modul perangkat lunak yang disebut node yang menggunakan perhitungan matematis untuk memproses data. Jaringan saraf tiruan adalah algoritma pembelajaran mendalam yang menggunakan node ini untuk memecahkan masalah yang kompleks.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-23a44030b8-dd1a6f-cd5cc0.webp)
Jaringan saraf dapat dibagi menjadi lapisan input, lapisan tersembunyi, dan lapisan output, dan parameternya terhubung antara lapisan yang berbeda.
Lapisan Input: Lapisan input adalah lapisan pertama dari jaringan saraf dan bertanggung jawab untuk menerima data input eksternal. Setiap neuron dari lapisan input sesuai dengan fitur data input. Misalnya, saat memproses data gambar, setiap neuron mungkin sesuai dengan satu nilai piksel gambar;
Lapisan Tersembunyi: Lapisan input memproses data dan meneruskannya ke lapisan yang lebih jauh di jaringan saraf. Lapisan tersembunyi ini memproses informasi pada tingkat yang berbeda, menyesuaikan perilaku mereka saat informasi baru diterima. Jaringan pembelajaran mendalam memiliki ratusan lapisan tersembunyi yang dapat digunakan untuk menganalisis masalah dari berbagai sudut. Misalnya, jika Anda diberi gambar hewan yang tidak dikenal yang harus diklasifikasikan, Anda dapat membandingkannya dengan hewan yang sudah Anda kenal. Misalnya, bentuk telinga, jumlah kaki, dan ukuran pupil dapat menentukan jenis hewan itu. Lapisan tersembunyi dalam jaringan saraf dalam bekerja dengan cara yang sama. Jika algoritma pembelajaran mendalam mencoba mengklasifikasikan gambar hewan, masing-masing lapisan tersembunyinya memproses berbagai fitur hewan dan mencoba mengklasifikasikannya secara akurat;
Output Layer: Output layer adalah lapisan terakhir dari jaringan saraf dan bertanggung jawab untuk menghasilkan output dari jaringan. Setiap neuron di lapisan output mewakili kelas atau nilai output yang mungkin. Misalnya, dalam masalah klasifikasi, setiap neuron lapisan output mungkin sesuai dengan kategori, sedangkan dalam masalah regresi, lapisan output mungkin hanya memiliki satu neuron yang nilainya mewakili hasil yang diprediksi;
Parameter: Dalam jaringan saraf, koneksi antara lapisan yang berbeda diwakili oleh parameter Bobot dan Bias, yang dioptimalkan selama pelatihan untuk memungkinkan jaringan mengidentifikasi pola secara akurat dan membuat prediksi dalam data. Peningkatan parameter dapat meningkatkan kapasitas model jaringan saraf, yaitu, kemampuan model untuk belajar dan mewakili pola kompleks dalam data. Namun, peningkatan parameter akan meningkatkan permintaan daya komputasi.
Data besar
Untuk melatih secara efektif, jaringan saraf sering membutuhkan sejumlah besar data, beragam dan berkualitas tinggi dan banyak sumber. Ini adalah dasar untuk pelatihan dan validasi model pembelajaran mesin. Dengan menganalisis big data, model machine learning dapat mempelajari pola dan relasi dalam data untuk membuat prediksi atau klasifikasi.
Kekuatan komputasi besar-besaran
Struktur kompleks multi-layer dari jaringan saraf, sejumlah besar parameter, kebutuhan untuk pemrosesan data besar, metode pelatihan berulang (dalam tahap pelatihan, model perlu berulang kali, dan propagasi maju dan propagasi balik dari setiap lapisan perlu dihitung selama proses pelatihan, termasuk perhitungan fungsi aktivasi, perhitungan fungsi kerugian, perhitungan gradien dan pembaruan bobot), kebutuhan akan komputasi presisi tinggi, kemampuan komputasi paralel, teknologi pengoptimalan dan regularisasi, dan evaluasi model dan proses verifikasi, yang semuanya mengarah pada permintaan daya komputasi yang tinggi. Persyaratan AGI untuk daya komputasi skala besar meningkat sekitar 10 kali setiap tahun. Sejauh ini, model terbaru GPT-4 berisi 1,8 triliun parameter, biaya pelatihan tunggal lebih dari 60 juta dolar AS, dan daya komputasi yang dibutuhkan adalah 2,15e25 FLOPS (21.500 triliun perhitungan floating-point). Permintaan daya komputasi untuk pelatihan model berikutnya masih berkembang, dan model-model baru juga meningkat.
Ekonomi Komputasi AI
Ukuran pasar masa depan
Menurut perkiraan paling otoritatif, "Laporan Evaluasi Indeks Daya Komputasi Global 2022-2023" yang disusun bersama oleh IDC (International Data Corporation) dan Inspur Information and Tsinghua University's Global Industry Research Institute, Ukuran pasar komputasi AI global akan tumbuh dari $19.50 miliar pada tahun 2022 menjadi $34.66 miliar pada tahun 2026, dengan ukuran pasar komputasi AI generatif tumbuh dari $820 juta pada tahun 2022 menjadi $10.99 miliar pada tahun 2026. Komputasi AI generatif akan tumbuh dari 4,2% menjadi 31,7% dari keseluruhan pasar komputasi AI.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-f96a0c08e0-dd1a6f-cd5cc0.webp)
Daya komputasi monopoli ekonomi
Produksi GPU AI telah dimonopoli oleh NVIDA, dan harganya sangat mahal (H100 terbaru telah dijual seharga $ 40.000 per chip), dan GPU telah diambil oleh raksasa Silicon Valley segera setelah dirilis, dan beberapa perangkat ini digunakan untuk melatih model baru mereka sendiri. Bagian lainnya disewakan kepada pengembang AI melalui platform cloud, seperti Google, Amazon, dan platform komputasi awan Microsoft, yang menguasai sejumlah besar sumber daya komputasi seperti server, GPU, dan TPU. Daya komputasi telah menjadi sumber daya baru yang dimonopoli oleh raksasa, dan sejumlah besar pengembang terkait AI bahkan tidak dapat membeli GPU khusus tanpa markup, dan untuk menggunakan peralatan terbaru, pengembang harus menyewa server cloud AWS atau Microsoft. Menurut laporan keuangan, bisnis ini memiliki keuntungan yang sangat tinggi, dengan layanan cloud AWS memiliki margin kotor 61%, sementara Microsoft memiliki margin kotor yang lebih tinggi sebesar 72%.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a2d9d13bc5-dd1a6f-cd5cc0.webp)
Jadi apakah kita harus menerima otoritas dan kontrol terpusat ini, dan membayar 72% dari biaya keuntungan untuk sumber daya komputasi? Akankah raksasa yang memonopoli Web2 memonopoli era berikutnya?
Masalah daya komputasi AGI yang terdesentralisasi
Ketika datang ke antitrust, desentralisasi biasanya merupakan solusi optimal, dan dari proyek yang ada, dapatkah kita menggunakan protokol untuk mencapai daya komputasi skala besar yang dibutuhkan oleh AI melalui proyek penyimpanan di DePIN dan GPU idle seperti RDNR? Jawabannya tidak, jalan untuk membunuh naga tidak begitu sederhana, proyek awal tidak dirancang khusus untuk daya komputasi AGI, itu tidak layak, dan daya komputasi perlu menghadapi setidaknya lima tantangan berikut pada rantai:
Verifikasi pekerjaan: Untuk membangun jaringan komputasi yang benar-benar tidak dapat dipercaya dan memberikan insentif keuangan kepada peserta, jaringan harus memiliki cara untuk memverifikasi bahwa pekerjaan komputasi pembelajaran mendalam benar-benar dilakukan. Inti dari masalah ini adalah ketergantungan negara dari model pembelajaran mendalam; Dalam model deep learning, input dari setiap layer tergantung pada output dari layer sebelumnya. Ini berarti Anda tidak bisa hanya memvalidasi satu lapisan dalam model Anda tanpa mempertimbangkan semua lapisan sebelumnya. Perhitungan untuk setiap lapisan didasarkan pada hasil semua lapisan yang mendahuluinya. Oleh karena itu, untuk memverifikasi pekerjaan yang dilakukan pada titik tertentu (misalnya, lapisan tertentu), semua pekerjaan harus dilakukan dari awal model ke titik tertentu;
Pasar: Sebagai pasar yang sedang berkembang, pasar daya komputasi AI tunduk pada dilema penawaran dan permintaan, seperti masalah cold start, dan likuiditas penawaran dan permintaan perlu dicocokkan secara kasar sejak awal sehingga pasar dapat tumbuh dengan sukses. Untuk menangkap potensi pasokan kekuatan hash, peserta harus ditawari hadiah eksplisit sebagai imbalan atas sumber daya hash mereka. Pasar membutuhkan mekanisme untuk melacak pekerjaan komputasi yang dilakukan dan membayar biaya yang sesuai kepada penyedia tepat waktu. Di pasar tradisional, perantara menangani tugas-tugas seperti manajemen dan orientasi, sekaligus mengurangi biaya operasional dengan menetapkan pembayaran minimum. Namun, pendekatan ini lebih mahal saat menskalakan pasar. Hanya sebagian kecil dari pasokan yang dapat ditangkap secara efektif secara ekonomi, yang mengarah ke keadaan keseimbangan ambang batas di mana pasar hanya dapat menangkap dan mempertahankan pasokan terbatas dan tidak dapat tumbuh lebih jauh;
Masalah Downtime: Masalah downtime adalah masalah mendasar dalam teori komputasi, yang melibatkan penilaian apakah tugas komputasi yang diberikan akan selesai dalam waktu yang terbatas atau tidak akan pernah berhenti. Masalah ini tidak dapat dipecahkan, artinya tidak ada algoritma universal yang dapat memprediksi apakah semua tugas komputasi akan berhenti dalam waktu yang terbatas. Misalnya, di Ethereum, eksekusi kontrak pintar menghadapi downtime yang serupa. yaitu, tidak mungkin untuk menentukan terlebih dahulu berapa banyak sumber daya komputasi yang akan diperlukan untuk pelaksanaan kontrak pintar, atau apakah itu akan selesai dalam waktu yang wajar;
(Dalam konteks pembelajaran mendalam, masalah ini akan lebih kompleks karena model dan kerangka kerja akan beralih dari konstruksi grafik statis ke konstruksi dan eksekusi dinamis.) ）
Privasi: Desain dan pengembangan kesadaran privasi adalah suatu keharusan bagi tim proyek. Sementara sejumlah besar penelitian pembelajaran mesin dapat dilakukan pada himpunan data yang tersedia untuk umum, penyempurnaan model pada data pengguna eksklusif sering diperlukan untuk meningkatkan kinerja model dan menyesuaikannya dengan aplikasi tertentu. Proses penyesuaian ini mungkin melibatkan pemrosesan data pribadi dan oleh karena itu perlu mempertimbangkan persyaratan Perlindungan Privasi;
Paralelisasi: Ini adalah faktor kunci dalam kelayakan proyek saat ini, model pembelajaran mendalam sering dilatih secara paralel pada kluster perangkat keras besar dengan arsitektur eksklusif dan latensi yang sangat rendah, sementara GPU dalam jaringan komputasi terdistribusi memerlukan pertukaran data yang sering untuk memperkenalkan latensi dan dibatasi oleh GPU berkinerja terendah. Dalam kasus sumber daya komputasi yang tidak dapat dipercaya dan tidak dapat diandalkan, bagaimana paralelisasi heterogen adalah masalah yang harus dipecahkan, dan metode yang layak saat ini adalah mencapai paralelisasi melalui model transformator, seperti Switch Transformers, yang sekarang memiliki karakteristik paralelisasi tinggi.
Solusi: Meskipun upaya saat ini di pasar daya komputasi AGI terdesentralisasi masih dalam tahap awal, kebetulan ada dua proyek yang sebelumnya telah memecahkan desain konsensus dari jaringan terdesentralisasi dan proses implementasi jaringan komputasi terdesentralisasi dalam pelatihan model dan inferensi. Berikut ini akan mengambil Gensyn dan Together sebagai contoh untuk menganalisis metode desain dan masalah pasar daya komputasi AGI yang terdesentralisasi.
Reuni
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-1c80fe339c-dd1a6f-cd5cc0.webp)
Gensyn adalah pasar untuk daya komputasi AGI yang masih dalam tahap pembangunan dan bertujuan untuk memecahkan berbagai tantangan komputasi pembelajaran mendalam yang terdesentralisasi dan mengurangi biaya pembelajaran mendalam saat ini. Gensyn pada dasarnya adalah protokol proof-of-stake Layer 1 berdasarkan jaringan Polkadot, yang secara langsung memberi penghargaan kepada solver (Solvers) melalui kontrak pintar dengan imbalan perangkat GPU menganggur mereka untuk komputasi, dan melakukan tugas pembelajaran mesin.
Jadi kembali ke pertanyaan di atas, inti dari membangun jaringan komputasi yang benar-benar tidak dapat dipercaya adalah memvalidasi pekerjaan pembelajaran mesin yang telah dilakukan. Ini adalah masalah yang sangat kompleks yang membutuhkan keseimbangan untuk ditemukan di persimpangan teori kompleksitas, teori permainan, kriptografi, dan optimasi.
Gensyn mengusulkan solusi sederhana di mana pemecah mengirimkan hasil tugas pembelajaran mesin yang telah mereka selesaikan. Untuk memverifikasi bahwa hasil ini akurat, validator independen lain mencoba melakukan pekerjaan yang sama lagi. Metode ini dapat disebut sebagai replikasi tunggal karena hanya satu validator yang akan mengeksekusi ulang. Ini berarti bahwa hanya ada satu upaya tambahan untuk memverifikasi keakuratan karya asli. Namun, jika orang yang memverifikasi pekerjaan itu bukan pemohon pekerjaan asli, maka masalah kepercayaan tetap ada. Karena validator sendiri mungkin tidak jujur, dan pekerjaan mereka perlu diverifikasi. Hal ini menyebabkan masalah potensial bahwa jika orang yang memverifikasi karya tersebut bukan pemohon karya asli, maka validator lain diperlukan untuk memverifikasi karya mereka. Tetapi validator baru ini mungkin juga tidak dipercaya, sehingga validator lain diperlukan untuk memvalidasi pekerjaan mereka, yang dapat berlanjut selamanya, membentuk rantai replikasi yang tak terbatas. Di sini kita perlu memperkenalkan tiga konsep kunci dan menjalinnya untuk membangun sistem peserta empat peran untuk memecahkan masalah rantai tak terbatas.
Bukti Pembelajaran Probabilistik: Gunakan metadata dari proses optimasi berbasis gradien untuk membangun sertifikat pekerjaan yang dilakukan. Dengan mereplikasi tahapan tertentu, Anda dapat dengan cepat memvalidasi sertifikat ini untuk memastikan bahwa pekerjaan telah selesai sesuai jadwal.
Protokol pinpoint berbasis grafik: Menggunakan protokol puncak berbasis grafik multi-granularitas, serta eksekusi cross-evaluator yang konsisten. Hal ini memungkinkan upaya verifikasi dijalankan kembali dan dibandingkan untuk memastikan konsistensi, dan akhirnya dikonfirmasi oleh blockchain itu sendiri.
Game insentif gaya Truebit: Gunakan staking dan slashing untuk membuat game insentif yang memastikan bahwa setiap peserta yang sehat secara finansial akan bertindak jujur dan melakukan tugas yang dimaksudkan.
Sistem kontributor terdiri dari committer, solver, validator, dan whistleblower.
Pengirim:
Pengirim adalah pengguna akhir sistem, menyediakan tugas yang akan dihitung, dan membayar unit kerja yang diselesaikan;
Pemecah:
Pemecah adalah pekerja utama sistem, melakukan pelatihan model dan menghasilkan bukti yang diperiksa oleh validator;
Verifikator:
Verifikator adalah kunci untuk menghubungkan proses pelatihan non-deterministik dengan perhitungan linier deterministik, mereplikasi sebagian dari bukti pemecah dan membandingkan jarak dengan ambang batas yang diharapkan;
Pelapor :
Pelapor adalah garis pertahanan terakhir, memeriksa pekerjaan validator dan membuat tantangan dengan harapan pembayaran bonus yang menguntungkan.
Sistem bekerja
Protokol ini dirancang untuk beroperasi dalam sistem permainan yang akan terdiri dari delapan fase, yang mencakup empat peran peserta utama, dan akan digunakan untuk menyelesaikan proses lengkap dari pengajuan tugas hingga validasi akhir.
Penyerahan Tugas: Tugas terdiri dari tiga informasi spesifik:
Metadata menggambarkan tugas dan hyperparameters;
Sebuah model biner (atau skema dasar);
Data pelatihan pra-proses yang dapat diakses publik.
Untuk mengirimkan tugas, pengirim menentukan rincian tugas dalam format yang dapat dibaca mesin dan mengirimkannya ke rantai bersama dengan biner model (atau skema yang dapat dibaca mesin) dan lokasi yang dapat diakses publik dari data pelatihan yang telah diproses sebelumnya. Data yang terpapar dapat disimpan di penyimpanan objek sederhana seperti AWS S3 atau dalam penyimpanan terdesentralisasi seperti IPFS, Arweave, atau Subspace.
Profiling: Proses analisis menentukan ambang jarak dasar untuk belajar memvalidasi bukti. Validator akan secara berkala mengikis tugas analisis dan menghasilkan ambang variasi untuk perbandingan proof-of-learning. Untuk menghasilkan ambang batas, validator akan secara deterministik menjalankan dan menjalankan kembali sebagian pelatihan, menggunakan seed acak yang berbeda, menghasilkan dan memeriksa bukti mereka sendiri. Selama proses ini, validator menetapkan ambang batas jarak yang diharapkan secara keseluruhan yang dapat digunakan sebagai upaya non-deterministik untuk memvalidasi solusi.
Pelatihan: Setelah analisis, tugas masuk ke kumpulan tugas publik (mirip dengan Mempool Ethereum). Pilih pemecah untuk menjalankan tugas dan menghapus tugas dari kumpulan tugas. Pemecah melakukan tugas berdasarkan metadata yang dikirimkan oleh pengirim, serta model dan data pelatihan yang disediakan. Saat melakukan tugas pelatihan, pemecah juga menghasilkan bukti pembelajaran dengan memeriksa dan menyimpan metadata secara berkala (termasuk parameter) dari proses pelatihan sehingga verifikator dapat mereplikasi langkah-langkah pengoptimalan berikut seakurat mungkin.
Pembangkitan bukti: Pemecah secara berkala menyimpan bobot atau pembaruan model dan indeks yang sesuai dengan himpunan data pelatihan untuk mengidentifikasi sampel yang digunakan untuk menghasilkan pembaruan bobot. Frekuensi pos pemeriksaan dapat disesuaikan untuk memberikan jaminan yang lebih besar atau untuk menghemat ruang penyimpanan. Bukti dapat "ditumpuk", yang berarti bahwa bukti dapat dimulai dengan distribusi acak bobot yang digunakan untuk menginisialisasi bobot, atau mulai dengan bobot pra-terlatih yang dihasilkan menggunakan bukti mereka sendiri. Hal ini memungkinkan protokol untuk membangun satu set terbukti, model dasar pra-terlatih (yaitu, model dasar) yang dapat disesuaikan untuk tugas-tugas yang lebih spesifik.
Verifikasi bukti: Setelah tugas selesai, pemecah mendaftarkan tugas dengan rantai dan menampilkan bukti pembelajaran mereka di lokasi yang dapat diakses publik untuk diakses validator. Validator menarik tugas validasi dari kumpulan tugas umum dan melakukan pekerjaan komputasi untuk menjalankan kembali sebagian bukti dan melakukan perhitungan jarak. Rantai (bersama dengan ambang batas yang dihitung selama fase analisis) kemudian menggunakan jarak yang dihasilkan untuk menentukan apakah verifikasi cocok dengan bukti.
Tantangan pinpoint berbasis grafik: Setelah memvalidasi bukti pembelajaran, pelapor dapat menyalin karya validator untuk memeriksa apakah validasi itu sendiri dilakukan dengan benar. Jika pelapor yakin bahwa verifikasi telah dilakukan karena kesalahan (berbahaya atau tidak berbahaya), mereka dapat menantang kuorum kontrak untuk menerima hadiah. Hadiah ini dapat berasal dari setoran dari pemecah dan validator (dalam kasus yang benar-benar positif), atau dari kumpulan hadiah brankas lotre (dalam kasus positif palsu) dan arbitrase dilakukan dengan menggunakan rantai itu sendiri. Pelapor (dalam kasus mereka, validator) hanya akan memverifikasi dan kemudian menantang pekerjaan jika mereka mengharapkan untuk menerima kompensasi yang sesuai. Dalam praktiknya, ini berarti bahwa pelapor diharapkan untuk bergabung dan meninggalkan jaringan berdasarkan jumlah pelapor dengan kegiatan lain (yaitu, dengan setoran dan tantangan langsung). Oleh karena itu, strategi default yang diharapkan untuk setiap whistleblower adalah bergabung dengan jaringan ketika ada lebih sedikit whistleblower lainnya, memposting deposit, secara acak memilih tugas aktif, dan memulai proses verifikasi mereka. Setelah tugas pertama selesai, mereka akan mengambil tugas aktif acak lainnya dan mengulangi sampai jumlah pelapor melebihi ambang pembayaran yang ditentukan, dan kemudian mereka akan meninggalkan jaringan (atau, lebih mungkin, pindah ke peran lain dalam jaringan – validator atau pemecah – tergantung pada kemampuan perangkat keras mereka) sampai situasinya berbalik lagi.
Arbitrase kontrak: Ketika validator ditantang oleh pelapor, mereka memasuki proses dengan rantai untuk mencari tahu di mana tindakan atau masukan yang disengketakan, dan akhirnya rantai melakukan operasi dasar akhir dan menentukan apakah tantangan tersebut dibenarkan. Untuk menjaga whistleblower jujur dan kredibel dan mengatasi dilema validator, kesalahan paksa reguler dan pembayaran jackpot diperkenalkan di sini.
Penyelesaian: Selama proses penyelesaian, peserta dibayar berdasarkan kesimpulan pemeriksaan probabilitas dan kepastian. Bergantung pada hasil verifikasi dan tantangan sebelumnya, akan ada pembayaran yang berbeda untuk skenario yang berbeda. Jika pekerjaan dianggap telah dilakukan dengan benar dan semua pemeriksaan telah lulus, penyedia solusi dan validator diberi imbalan berdasarkan tindakan yang diambil.
Ulasan singkat tentang proyek
Gensyn telah merancang sistem permainan yang luar biasa pada lapisan verifikasi dan lapisan insentif, yang dapat dengan cepat mengidentifikasi kesalahan dengan menemukan titik divergensi dalam jaringan, tetapi masih banyak detail yang hilang dalam sistem saat ini. Misalnya, bagaimana cara menetapkan parameter untuk memastikan bahwa penghargaan dan hukuman masuk akal tanpa ambang batas terlalu tinggi? Apakah game mempertimbangkan perbedaan antara kasus ekstrim dan kekuatan komputasi pemecah? Tidak ada penjelasan rinci tentang operasi paralel heterogen dalam versi buku putih saat ini, dan tampaknya implementasi Gensyn masih sulit dan panjang.
Together.ai
Together adalah perusahaan yang berfokus pada open source model besar dan berkomitmen untuk solusi komputasi AI terdesentralisasi, berharap siapa pun dapat mengakses dan menggunakan AI di mana saja. Sebenarnya, Together bukanlah proyek blockchain, tetapi proyek ini sebelumnya telah memecahkan masalah latensi dalam jaringan komputasi AGI yang terdesentralisasi. Oleh karena itu, artikel berikut hanya menganalisis solusi Bersama dan tidak mengevaluasi proyek.
Bagaimana model besar dapat dilatih dan disimpulkan ketika jaringan terdesentralisasi 100 kali lebih lambat daripada pusat data?
Mari kita bayangkan seperti apa distribusi perangkat GPU yang berpartisipasi dalam jaringan jika desentralisasi dihapus. Perangkat ini akan didistribusikan di berbagai benua, di kota yang berbeda, dan perlu dihubungkan satu sama lain, dan latensi serta bandwidth koneksi akan bervariasi. Seperti yang ditunjukkan pada gambar di bawah ini, skenario terdistribusi disimulasikan dengan perangkat yang didistribusikan di seluruh Amerika Utara, Eropa, dan Asia, dengan berbagai bandwidth dan latensi antar perangkat. Jadi apa yang perlu dilakukan untuk menghubungkannya secara seri?
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-42ef6469f3-dd1a6f-cd5cc0.webp)
Pemodelan komputasi pelatihan terdistribusi: Gambar berikut menunjukkan pelatihan model dasar pada beberapa perangkat, dan ada tiga jenis komunikasi dalam hal jenis komunikasi: Aktivasi Maju, Gradien Mundur, dan Komunikasi Lateral.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-ea4665b014-dd1a6f-cd5cc0.webp)
Dalam kombinasi dengan bandwidth komunikasi dan latensi, dua bentuk paralelisme perlu dipertimbangkan: paralelisme pipa dan paralelisme data, sesuai dengan tiga jenis komunikasi dalam kasus multi-perangkat:
Dalam paralelisme pipa, semua lapisan model dibagi menjadi beberapa tahap, di mana setiap perangkat memproses fase, yang merupakan urutan lapisan kontinu, seperti beberapa blok transformator; Dalam passing maju, aktivasi diteruskan ke tahap berikutnya, sedangkan dalam passing mundur, gradien aktivasi diteruskan ke tahap sebelumnya.
Dalam paralelisme data, perangkat secara independen menghitung gradien microbatch yang berbeda, tetapi berkomunikasi untuk menyinkronkan gradien ini.
** Optimasi Penjadwalan: **
Dalam lingkungan yang terdesentralisasi, proses pelatihan seringkali dibatasi oleh komunikasi. Algoritma penjadwalan umumnya menetapkan tugas yang memerlukan sejumlah besar komunikasi ke perangkat dengan kecepatan koneksi yang lebih cepat, dan mempertimbangkan ketergantungan antara tugas dan heterogenitas jaringan, biaya strategi penjadwalan tertentu perlu dimodelkan terlebih dahulu. Untuk menangkap biaya komunikasi yang kompleks dari pelatihan model dasar, Together mengusulkan formula baru dan menguraikan model biaya menjadi dua tingkat melalui teori grafik:
Teori graf adalah cabang matematika yang mempelajari sifat dan struktur graf (jaringan). Grafik terdiri dari simpul (node) dan tepi (garis yang menghubungkan node). Tujuan utama teori grafik adalah untuk mempelajari berbagai sifat grafik, seperti konektivitas grafik, warna grafik, sifat jalur dan loop dalam grafik.
Tingkat pertama adalah partisi grafik seimbang (membagi himpunan simpul grafik menjadi beberapa himpunan bagian dengan ukuran yang sama atau kira-kira sama, sambil meminimalkan jumlah tepi di antara himpunan bagian. Dalam segmentasi ini, setiap subset mewakili partisi, dan biaya komunikasi dikurangi dengan meminimalkan tepi antara partisi, yang sesuai dengan biaya komunikasi paralelisme data.
Tingkat kedua adalah masalah pencocokan grafik bersama dan salesman keliling (masalah pencocokan grafik bersama dan salesman keliling adalah masalah pengoptimalan kombinatorial yang menggabungkan elemen pencocokan grafik dan masalah salesman keliling. Masalah pencocokan grafik adalah menemukan kecocokan dalam grafik sehingga beberapa jenis biaya diminimalkan atau dimaksimalkan. Masalah salesman keliling adalah menemukan jalur terpendek ke semua node dalam grafik), sesuai dengan biaya komunikasi paralelisme pipa.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-15383f3e42-dd1a6f-cd5cc0.webp)
Gambar di atas adalah diagram skematik proses, karena proses implementasi yang sebenarnya melibatkan beberapa rumus perhitungan yang kompleks. Agar lebih mudah dipahami, berikut ini akan dijelaskan proses dalam diagram dalam istilah awam, dan proses implementasi terperinci dapat dikonsultasikan sendiri dalam dokumentasi di situs web resmi Bersama.
Misalkan ada perangkat yang diatur D dengan perangkat N, dan komunikasi di antara mereka memiliki penundaan tak tentu (matriks-A) dan bandwidth (matriks-B). Berdasarkan set perangkat D, pertama-tama kita menghasilkan segmentasi grafik seimbang. Jumlah perangkat di setiap pemisahan atau grup perangkat kira-kira sama, dan semuanya menangani tahapan alur yang sama. Ini memastikan bahwa ketika data diparalelkan, kelompok perangkat melakukan jumlah pekerjaan yang sama. (Paralelisme data adalah ketika beberapa perangkat melakukan tugas yang sama, sedangkan tahap pipelining adalah ketika perangkat melakukan langkah tugas yang berbeda dalam urutan tertentu). Berdasarkan latensi dan bandwidth komunikasi, "biaya" transfer data antar kelompok perangkat dapat dihitung melalui rumus. Setiap kelompok perangkat yang seimbang digabungkan untuk menghasilkan grafik kasar yang terhubung sepenuhnya, di mana setiap node mewakili tahap pipa dan ujung-ujungnya mewakili biaya komunikasi antara dua tahap. Untuk meminimalkan biaya komunikasi, algoritma pencocokan digunakan untuk menentukan kelompok perangkat mana yang harus bekerja sama.
Untuk optimasi lebih lanjut, masalahnya juga dapat dimodelkan sebagai masalah salesman perjalanan loop terbuka (loop terbuka berarti tidak perlu kembali ke asal jalur) untuk menemukan jalur optimal untuk mentransfer data antara semua perangkat. Akhirnya, Together menggunakan algoritma penjadwalan inovatif mereka untuk menemukan strategi alokasi optimal untuk model biaya tertentu, sehingga dapat meminimalkan biaya komunikasi dan memaksimalkan throughput pelatihan. Menurut pengukuran aktual, bahkan jika jaringan 100 kali lebih lambat di bawah pengoptimalan penjadwalan ini, throughput pelatihan ujung ke ujung hanya sekitar 1,7 hingga 2,3 kali lebih lambat.
Optimasi Kompresi Komunikasi:
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a29a418c60-dd1a6f-cd5cc0.webp)
Untuk optimalisasi kompresi komunikasi, Bersama-sama memperkenalkan algoritma AQ-SGD (untuk proses perhitungan terperinci, silakan merujuk ke makalah Fine-tuning Language Models over Slow Networks using Activation Compression with Guarantees). Algoritma AQ-SGD adalah teknologi kompresi aktif baru yang dirancang untuk memecahkan masalah efisiensi komunikasi pelatihan paralel pipa pada jaringan berkecepatan rendah. Tidak seperti metode sebelumnya untuk mengompresi nilai aktivitas secara langsung, AQ-SGD berfokus pada kompresi perubahan nilai aktivitas sampel pelatihan yang sama selama periode yang berbeda, dan metode unik ini memperkenalkan dinamika "self-executing" yang menarik, dan kinerja algoritma diharapkan meningkat secara bertahap saat pelatihan stabil. Setelah analisis teoritis yang ketat, algoritma AQ-SGD membuktikan bahwa ia memiliki tingkat konvergensi yang baik dalam kondisi teknis tertentu dan fungsi kuantisasi dengan kesalahan terbatas. Algoritma ini dapat diimplementasikan secara efisien tanpa menambahkan overhead runtime end-to-end tambahan, meskipun membutuhkan lebih banyak memori dan SSD untuk menyimpan nilai aktif. Melalui validasi eksperimental ekstensif pada klasifikasi urutan dan dataset pemodelan bahasa, AQ-SGD dapat memampatkan nilai aktivitas menjadi 2-4 bit tanpa mengorbankan kinerja konvergensi. Selain itu, AQ-SGD juga dapat diintegrasikan dengan algoritma kompresi gradien canggih untuk mencapai "kompresi komunikasi ujung ke ujung", yaitu, pertukaran data antara semua mesin, termasuk gradien model, nilai aktivitas maju, dan gradien terbalik, dikompresi ke presisi rendah, sehingga sangat meningkatkan efisiensi komunikasi pelatihan terdistribusi. Dibandingkan dengan kinerja pelatihan end-to-end dari jaringan komputasi terpusat (misalnya, 10 Gbps) tanpa kompresi, saat ini hanya 31% lebih lambat. Dikombinasikan dengan data optimasi penjadwalan, meskipun masih ada celah tertentu dari jaringan daya komputasi terpusat, ada harapan yang relatif besar untuk mengejar ketinggalan di masa depan.
Kesimpulan
Di bawah periode dividen yang dibawa oleh gelombang AI, pasar daya komputasi AGI tidak diragukan lagi merupakan pasar dengan potensi terbesar dan permintaan paling banyak di antara banyak pasar daya komputasi. Namun, kesulitan pengembangan, persyaratan perangkat keras, dan persyaratan modal juga yang tertinggi. Dikombinasikan dengan dua proyek di atas, masih ada jarak tertentu dari implementasi pasar daya komputasi AGI, dan jaringan terdesentralisasi yang sebenarnya jauh lebih kompleks daripada situasi ideal, yang jelas tidak cukup untuk bersaing dengan raksasa cloud. Pada saat menulis artikel ini, juga diamati bahwa beberapa proyek yang masih dalam masa pertumbuhan (tahap PPT) telah mulai mengeksplorasi beberapa titik masuk baru, seperti berfokus pada tahap inferensi yang kurang sulit atau pelatihan model kecil, yang merupakan upaya yang lebih praktis.
Meskipun menghadapi banyak tantangan, penting dalam jangka panjang bahwa desentralisasi dan signifikansi tanpa izin dari daya komputasi AGI tidak boleh terkonsentrasi di beberapa raksasa terpusat. Karena umat manusia tidak membutuhkan "agama" baru atau "paus" baru, apalagi membayar "iuran keanggotaan" yang mahal.
bibliografi
Gensyn Litepaper:
2.NeurIPS 2022: Mengatasi Kemacetan Komunikasi untuk Pelatihan Terdesentralisasi :
Fine-tuning Model Bahasa melalui Jaringan Lambat menggunakan Kompresi Aktivasi dengan Jaminan:
Protokol Komputasi Machine Learning dan masa depan kita:
5.Microsoft: Rilis Penghasilan FY23 Q2:
Bersaing untuk tiket AI: BAT dan Byte Meituan bersaing untuk GPU:
Laporan Evaluasi Indeks Daya Komputasi Global IDC: 2022-2023:
Estimasi pelatihan model besar Guosheng Securities:
Wings of Information: Apa hubungan antara daya komputasi dan AI? ：
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)
Oleh Zeke, YBB Capital
Pendahuluan
Sejak kelahiran GPT-3, AI generatif telah mengantarkan titik belok eksplosif di bidang kecerdasan buatan dengan kinerjanya yang luar biasa dan skenario aplikasi yang luas, dan raksasa teknologi telah mulai terjun ke jalur AI dalam kelompok. Namun, pengoperasian pelatihan dan inferensi model bahasa besar (LLM) membutuhkan banyak daya komputasi, dan dengan peningkatan berulang model, permintaan daya komputasi dan biaya meningkat secara eksponensial. Mengambil GPT-2 dan GPT-3 sebagai contoh, perbedaan jumlah parameter antara GPT-2 dan GPT-3 adalah 1.166 kali (150 juta parameter untuk GPT-2 dan 175 miliar parameter untuk GPT-3), dan biaya GPT-3 dapat mencapai hingga $12 juta berdasarkan model harga cloud GPU publik saat itu, yaitu 200 kali lipat dari GPT-2. Dalam proses penggunaan aktual, setiap pertanyaan pengguna perlu disimpulkan dan dihitung, sesuai dengan situasi 13 juta pengguna unik pada awal tahun ini, permintaan chip yang sesuai lebih dari 30.000 buah A100GPU. Biaya awal kemudian akan mengejutkan $ 800 juta, dengan perkiraan $ 700.000 per hari untuk inferensi model.
Daya komputasi yang tidak mencukupi dan biaya tinggi telah menjadi masalah bagi seluruh industri AI, tetapi masalah yang sama tampaknya mengganggu industri blockchain juga. Di satu sisi, separuh keempat Bitcoin dan berlalunya ETF akan datang, dan ketika harga naik di masa depan, permintaan untuk perangkat keras komputasi oleh penambang pasti akan meningkat secara signifikan. Di sisi lain, teknologi "Zero-Knowledge Proof" (ZKP) sedang booming, dan Vitalik telah berulang kali menekankan bahwa dampak ZK pada ruang blockchain dalam dekade berikutnya akan sama pentingnya dengan blockchain itu sendiri. Meskipun masa depan teknologi ini sangat diantisipasi oleh industri blockchain, ZK juga menghabiskan banyak daya komputasi dan waktu dalam proses menghasilkan bukti seperti AI karena proses komputasi yang kompleks.
Di masa mendatang, kekurangan daya komputasi akan menjadi tak terhindarkan, jadi apakah pasar daya komputasi yang terdesentralisasi akan menjadi bisnis yang baik?
Definisi Pasar Komputasi Terdesentralisasi
Pasar daya komputasi terdesentralisasi sebenarnya pada dasarnya setara dengan jalur komputasi awan terdesentralisasi, tetapi dibandingkan dengan komputasi awan terdesentralisasi, saya pribadi berpikir bahwa istilah ini akan lebih tepat untuk menggambarkan proyek-proyek baru yang disebutkan nanti. Pasar daya komputasi terdesentralisasi harus menjadi bagian dari DePIN (jaringan infrastruktur fisik terdesentralisasi), dan tujuannya adalah untuk menciptakan pasar daya komputasi terbuka, melalui insentif token, sehingga siapa pun dengan sumber daya komputasi menganggur dapat menyediakan sumber daya mereka di pasar ini, terutama melayani pengguna B-end dan komunitas pengembang. Dalam hal proyek-proyek terkenal, seperti Render Network, jaringan solusi rendering berdasarkan GPU terdesentralisasi, dan Akash Network, pasar peer-to-peer terdistribusi untuk komputasi awan, termasuk dalam jalur ini.
Berikut ini akan dimulai dengan konsep dasar, dan kemudian membahas tiga pasar negara berkembang di bawah jalur: pasar daya komputasi AGI, pasar daya komputasi Bitcoin, dan pasar daya komputasi AGI di pasar akselerasi perangkat keras ZK, dan dua yang terakhir akan dibahas dalam "Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian II)".
Ikhtisar hashrate
Asal usul konsep daya komputasi dapat ditelusuri kembali ke penemuan komputer, komputer asli adalah perangkat mekanis untuk menyelesaikan tugas komputasi, dan daya komputasi mengacu pada daya komputasi perangkat mekanis. Dengan perkembangan teknologi komputer, konsep daya komputasi juga telah berkembang, dan sekarang daya komputasi biasanya mengacu pada kemampuan perangkat keras komputer (CPU, GPU, FPGA, dll) dan perangkat lunak (sistem operasi, kompiler, aplikasi, dll) untuk bekerja sama.
Definisi
Daya komputasi mengacu pada jumlah data yang dapat diproses oleh komputer atau perangkat komputasi lainnya atau jumlah tugas komputasi yang dapat diselesaikan dalam jangka waktu tertentu. Hashrate sering digunakan untuk menggambarkan kinerja komputer atau perangkat komputasi lainnya, dan ini merupakan ukuran penting dari kekuatan pemrosesan perangkat komputasi.
Metrik
Daya komputasi dapat diukur dengan berbagai cara, seperti kecepatan komputasi, konsumsi energi komputasi, akurasi komputasi, dan paralelisme. Di bidang komputer, metrik daya komputasi yang umum digunakan termasuk FLOPS (operasi floating point per detik), IPS (instruksi per detik), TPS (transaksi per detik), dll.
FLOPS (Floating-Point Operations Per Second) mengacu pada kemampuan komputer untuk menangani operasi floating-point (operasi matematika pada angka dengan titik desimal, dengan mempertimbangkan masalah akun seperti presisi dan kesalahan pembulatan), dan mengukur berapa banyak operasi floating-point komputer dapat menyelesaikan per detik. FLOPS adalah ukuran daya komputasi berkinerja tinggi komputer, dan umumnya digunakan untuk mengukur daya komputasi superkomputer, server komputasi berkinerja tinggi, dan unit pemrosesan grafis (GPU), antara lain. Misalnya, sistem komputer memiliki FLOPS 1 TFLOPS (1 triliun operasi floating-point per detik), yang berarti dapat menyelesaikan 1 triliun operasi floating-point per detik.
IPS (Instructions Per Second) mengacu pada kecepatan di mana komputer memproses instruksi, dan mengukur berapa banyak instruksi komputer mampu mengeksekusi per detik. IPS adalah ukuran kinerja instruksi tunggal komputer, dan sering digunakan untuk mengukur kinerja central processing unit (CPU), dll. Misalnya, CPU dengan IPS 3 GHz (yang dapat mengeksekusi 300 juta instruksi per detik) berarti dapat mengeksekusi 300 juta instruksi per detik.
TPS (Transactions Per Second) mengacu pada kemampuan komputer untuk memproses transaksi, dan mengukur berapa banyak transaksi yang dapat diselesaikan komputer per detik. Ini sering digunakan untuk mengukur kinerja server database. Misalnya, server database dengan TPS 1000 berarti dapat memproses 1000 transaksi database per detik.
Selain itu, ada beberapa indikator daya komputasi untuk skenario aplikasi tertentu, seperti kecepatan inferensi, kecepatan pemrosesan gambar, dan akurasi pengenalan ucapan.
Jenis hashrate
Daya komputasi GPU mengacu pada daya komputasi unit pemrosesan grafis. Berbeda dengan CPU (Central Processing Unit), GPU adalah perangkat keras yang dirancang khusus untuk memproses data grafis seperti gambar dan video, dan memiliki sejumlah besar unit pemrosesan dan daya komputasi paralel yang efisien, yang dapat melakukan sejumlah besar operasi floating-point pada saat yang bersamaan. Karena GPU awalnya digunakan untuk pemrosesan grafis game, mereka biasanya memiliki frekuensi clock yang lebih tinggi dan bandwidth memori yang lebih besar daripada CPU untuk mendukung operasi grafis yang kompleks.
Perbedaan Antara CPU dan GPU
Arsitektur: Arsitektur komputasi CPU dan GPU berbeda. CPU biasanya memiliki satu atau lebih core, yang masing-masing merupakan prosesor tujuan umum yang mampu melakukan berbagai operasi yang berbeda. GPU, di sisi lain, memiliki sejumlah besar Stream Processor dan Shader, yang didedikasikan untuk melakukan operasi yang terkait dengan pemrosesan gambar.
Komputasi paralel: GPU biasanya memiliki kemampuan komputasi paralel yang lebih tinggi. CPU memiliki jumlah core terbatas dan hanya dapat menjalankan satu instruksi per core, tetapi GPU dapat memiliki ribuan stream prosesor yang dapat menjalankan beberapa instruksi dan operasi secara bersamaan. Akibatnya, GPU umumnya lebih cocok daripada CPU untuk melakukan tugas komputasi paralel, seperti pembelajaran mesin dan pembelajaran mendalam, yang membutuhkan banyak komputasi paralel.
Pemrograman: Pemrograman GPU lebih kompleks daripada CPU, membutuhkan penggunaan bahasa pemrograman tertentu (seperti CUDA atau OpenCL) dan penggunaan teknik pemrograman khusus untuk memanfaatkan kekuatan komputasi paralel GPU. Sebaliknya, CPU lebih sederhana untuk diprogram dan dapat menggunakan bahasa pemrograman umum dan alat pemrograman.
Pentingnya daya komputasi
Di era Revolusi Industri, minyak adalah darah dunia, menembus setiap industri. Daya komputasi ada di blockchain, dan di era AI yang akan datang, daya komputasi akan menjadi "minyak digital" dunia. Dari serbuan gila-gilaan perusahaan besar untuk chip AI dan fakta bahwa saham Nvidia melebihi satu triliun, hingga blokade chip kelas atas baru-baru ini di China oleh Amerika Serikat, hingga ukuran daya komputasi, area chip, dan bahkan rencana untuk melarang cloud GPU, kepentingannya terbukti dengan sendirinya, dan daya komputasi akan menjadi komoditas di era berikutnya.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-0827192de8-dd1a6f-cd5cc0.webp)
Gambaran Umum Kecerdasan Buatan
Artificial Intelligence (AI) adalah ilmu teknis baru yang mempelajari dan mengembangkan teori, metode, teknologi, dan sistem aplikasi untuk mensimulasikan, memperluas, dan memperluas kecerdasan manusia. Itu berasal dari tahun lima puluhan dan enam puluhan abad ke-20, dan setelah lebih dari setengah abad evolusi, ia telah mengalami perkembangan yang saling terkait dari tiga gelombang simbolisme, koneksionisme, dan aktor. Definisi AI generatif yang lebih spesifik adalah Artificial General Intelligence (AGI), sistem AI dengan pemahaman luas yang dapat melakukan kecerdasan yang mirip atau lebih unggul dari manusia dalam berbagai tugas dan domain yang berbeda. AGI pada dasarnya perlu terdiri dari tiga elemen: deep learning (DL), big data, dan daya komputasi skala besar.
Pembelajaran mendalam
Pembelajaran mendalam adalah subbidang pembelajaran mesin (ML), dan algoritme pembelajaran mendalam adalah jaringan saraf yang dimodelkan setelah otak manusia. Misalnya, otak manusia mengandung jutaan neuron yang saling berhubungan yang bekerja sama untuk belajar dan memproses informasi. Demikian pula, jaringan saraf pembelajaran mendalam (atau jaringan saraf tiruan) terdiri dari beberapa lapisan neuron buatan yang bekerja bersama di dalam komputer. Neuron buatan adalah modul perangkat lunak yang disebut node yang menggunakan perhitungan matematis untuk memproses data. Jaringan saraf tiruan adalah algoritma pembelajaran mendalam yang menggunakan node ini untuk memecahkan masalah yang kompleks.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-23a44030b8-dd1a6f-cd5cc0.webp)
Jaringan saraf dapat dibagi menjadi lapisan input, lapisan tersembunyi, dan lapisan output, dan parameternya terhubung antara lapisan yang berbeda.
Lapisan Input: Lapisan input adalah lapisan pertama dari jaringan saraf dan bertanggung jawab untuk menerima data input eksternal. Setiap neuron dari lapisan input sesuai dengan fitur data input. Misalnya, saat memproses data gambar, setiap neuron mungkin sesuai dengan satu nilai piksel gambar;
Lapisan Tersembunyi: Lapisan input memproses data dan meneruskannya ke lapisan yang lebih jauh di jaringan saraf. Lapisan tersembunyi ini memproses informasi pada tingkat yang berbeda, menyesuaikan perilaku mereka saat informasi baru diterima. Jaringan pembelajaran mendalam memiliki ratusan lapisan tersembunyi yang dapat digunakan untuk menganalisis masalah dari berbagai sudut. Misalnya, jika Anda diberi gambar hewan yang tidak dikenal yang harus diklasifikasikan, Anda dapat membandingkannya dengan hewan yang sudah Anda kenal. Misalnya, bentuk telinga, jumlah kaki, dan ukuran pupil dapat menentukan jenis hewan itu. Lapisan tersembunyi dalam jaringan saraf dalam bekerja dengan cara yang sama. Jika algoritma pembelajaran mendalam mencoba mengklasifikasikan gambar hewan, masing-masing lapisan tersembunyinya memproses berbagai fitur hewan dan mencoba mengklasifikasikannya secara akurat;
Output Layer: Output layer adalah lapisan terakhir dari jaringan saraf dan bertanggung jawab untuk menghasilkan output dari jaringan. Setiap neuron di lapisan output mewakili kelas atau nilai output yang mungkin. Misalnya, dalam masalah klasifikasi, setiap neuron lapisan output mungkin sesuai dengan kategori, sedangkan dalam masalah regresi, lapisan output mungkin hanya memiliki satu neuron yang nilainya mewakili hasil yang diprediksi;
Parameter: Dalam jaringan saraf, koneksi antara lapisan yang berbeda diwakili oleh parameter Bobot dan Bias, yang dioptimalkan selama pelatihan untuk memungkinkan jaringan mengidentifikasi pola secara akurat dan membuat prediksi dalam data. Peningkatan parameter dapat meningkatkan kapasitas model jaringan saraf, yaitu, kemampuan model untuk belajar dan mewakili pola kompleks dalam data. Namun, peningkatan parameter akan meningkatkan permintaan daya komputasi.
Data besar
Untuk melatih secara efektif, jaringan saraf sering membutuhkan sejumlah besar data, beragam dan berkualitas tinggi dan banyak sumber. Ini adalah dasar untuk pelatihan dan validasi model pembelajaran mesin. Dengan menganalisis big data, model machine learning dapat mempelajari pola dan relasi dalam data untuk membuat prediksi atau klasifikasi.
Kekuatan komputasi besar-besaran
Struktur kompleks multi-layer dari jaringan saraf, sejumlah besar parameter, kebutuhan untuk pemrosesan data besar, metode pelatihan berulang (dalam tahap pelatihan, model perlu berulang kali, dan propagasi maju dan propagasi balik dari setiap lapisan perlu dihitung selama proses pelatihan, termasuk perhitungan fungsi aktivasi, perhitungan fungsi kerugian, perhitungan gradien dan pembaruan bobot), kebutuhan akan komputasi presisi tinggi, kemampuan komputasi paralel, teknologi pengoptimalan dan regularisasi, dan evaluasi model dan proses verifikasi, yang semuanya mengarah pada permintaan daya komputasi yang tinggi. Persyaratan AGI untuk daya komputasi skala besar meningkat sekitar 10 kali setiap tahun. Sejauh ini, model terbaru GPT-4 berisi 1,8 triliun parameter, biaya pelatihan tunggal lebih dari 60 juta dolar AS, dan daya komputasi yang dibutuhkan adalah 2,15e25 FLOPS (21.500 triliun perhitungan floating-point). Permintaan daya komputasi untuk pelatihan model berikutnya masih berkembang, dan model-model baru juga meningkat.
Ekonomi Komputasi AI
Ukuran pasar masa depan
Menurut perkiraan paling otoritatif, "Laporan Evaluasi Indeks Daya Komputasi Global 2022-2023" yang disusun bersama oleh IDC (International Data Corporation) dan Inspur Information and Tsinghua University's Global Industry Research Institute, Ukuran pasar komputasi AI global akan tumbuh dari $19.50 miliar pada tahun 2022 menjadi $34.66 miliar pada tahun 2026, dengan ukuran pasar komputasi AI generatif tumbuh dari $820 juta pada tahun 2022 menjadi $10.99 miliar pada tahun 2026. Komputasi AI generatif akan tumbuh dari 4,2% menjadi 31,7% dari keseluruhan pasar komputasi AI.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-f96a0c08e0-dd1a6f-cd5cc0.webp)
Daya komputasi monopoli ekonomi
Produksi GPU AI telah dimonopoli oleh NVIDA, dan harganya sangat mahal (H100 terbaru telah dijual seharga $ 40.000 per chip), dan GPU telah diambil oleh raksasa Silicon Valley segera setelah dirilis, dan beberapa perangkat ini digunakan untuk melatih model baru mereka sendiri. Bagian lainnya disewakan kepada pengembang AI melalui platform cloud, seperti Google, Amazon, dan platform komputasi awan Microsoft, yang menguasai sejumlah besar sumber daya komputasi seperti server, GPU, dan TPU. Daya komputasi telah menjadi sumber daya baru yang dimonopoli oleh raksasa, dan sejumlah besar pengembang terkait AI bahkan tidak dapat membeli GPU khusus tanpa markup, dan untuk menggunakan peralatan terbaru, pengembang harus menyewa server cloud AWS atau Microsoft. Menurut laporan keuangan, bisnis ini memiliki keuntungan yang sangat tinggi, dengan layanan cloud AWS memiliki margin kotor 61%, sementara Microsoft memiliki margin kotor yang lebih tinggi sebesar 72%.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a2d9d13bc5-dd1a6f-cd5cc0.webp)
Jadi apakah kita harus menerima otoritas dan kontrol terpusat ini, dan membayar 72% dari biaya keuntungan untuk sumber daya komputasi? Akankah raksasa yang memonopoli Web2 memonopoli era berikutnya?
Masalah daya komputasi AGI yang terdesentralisasi
Ketika datang ke antitrust, desentralisasi biasanya merupakan solusi optimal, dan dari proyek yang ada, dapatkah kita menggunakan protokol untuk mencapai daya komputasi skala besar yang dibutuhkan oleh AI melalui proyek penyimpanan di DePIN dan GPU idle seperti RDNR? Jawabannya tidak, jalan untuk membunuh naga tidak begitu sederhana, proyek awal tidak dirancang khusus untuk daya komputasi AGI, itu tidak layak, dan daya komputasi perlu menghadapi setidaknya lima tantangan berikut pada rantai:
Verifikasi pekerjaan: Untuk membangun jaringan komputasi yang benar-benar tidak dapat dipercaya dan memberikan insentif keuangan kepada peserta, jaringan harus memiliki cara untuk memverifikasi bahwa pekerjaan komputasi pembelajaran mendalam benar-benar dilakukan. Inti dari masalah ini adalah ketergantungan negara dari model pembelajaran mendalam; Dalam model deep learning, input dari setiap layer tergantung pada output dari layer sebelumnya. Ini berarti Anda tidak bisa hanya memvalidasi satu lapisan dalam model Anda tanpa mempertimbangkan semua lapisan sebelumnya. Perhitungan untuk setiap lapisan didasarkan pada hasil semua lapisan yang mendahuluinya. Oleh karena itu, untuk memverifikasi pekerjaan yang dilakukan pada titik tertentu (misalnya, lapisan tertentu), semua pekerjaan harus dilakukan dari awal model ke titik tertentu;
Pasar: Sebagai pasar yang sedang berkembang, pasar daya komputasi AI tunduk pada dilema penawaran dan permintaan, seperti masalah cold start, dan likuiditas penawaran dan permintaan perlu dicocokkan secara kasar sejak awal sehingga pasar dapat tumbuh dengan sukses. Untuk menangkap potensi pasokan kekuatan hash, peserta harus ditawari hadiah eksplisit sebagai imbalan atas sumber daya hash mereka. Pasar membutuhkan mekanisme untuk melacak pekerjaan komputasi yang dilakukan dan membayar biaya yang sesuai kepada penyedia tepat waktu. Di pasar tradisional, perantara menangani tugas-tugas seperti manajemen dan orientasi, sekaligus mengurangi biaya operasional dengan menetapkan pembayaran minimum. Namun, pendekatan ini lebih mahal saat menskalakan pasar. Hanya sebagian kecil dari pasokan yang dapat ditangkap secara efektif secara ekonomi, yang mengarah ke keadaan keseimbangan ambang batas di mana pasar hanya dapat menangkap dan mempertahankan pasokan terbatas dan tidak dapat tumbuh lebih jauh;
Masalah Downtime: Masalah downtime adalah masalah mendasar dalam teori komputasi, yang melibatkan penilaian apakah tugas komputasi yang diberikan akan selesai dalam waktu yang terbatas atau tidak akan pernah berhenti. Masalah ini tidak dapat dipecahkan, artinya tidak ada algoritma universal yang dapat memprediksi apakah semua tugas komputasi akan berhenti dalam waktu yang terbatas. Misalnya, di Ethereum, eksekusi kontrak pintar menghadapi downtime yang serupa. yaitu, tidak mungkin untuk menentukan terlebih dahulu berapa banyak sumber daya komputasi yang akan diperlukan untuk pelaksanaan kontrak pintar, atau apakah itu akan selesai dalam waktu yang wajar;
(Dalam konteks pembelajaran mendalam, masalah ini akan lebih kompleks karena model dan kerangka kerja akan beralih dari konstruksi grafik statis ke konstruksi dan eksekusi dinamis.) ）
Privasi: Desain dan pengembangan kesadaran privasi adalah suatu keharusan bagi tim proyek. Sementara sejumlah besar penelitian pembelajaran mesin dapat dilakukan pada himpunan data yang tersedia untuk umum, penyempurnaan model pada data pengguna eksklusif sering diperlukan untuk meningkatkan kinerja model dan menyesuaikannya dengan aplikasi tertentu. Proses penyesuaian ini mungkin melibatkan pemrosesan data pribadi dan oleh karena itu perlu mempertimbangkan persyaratan Perlindungan Privasi;
Paralelisasi: Ini adalah faktor kunci dalam kelayakan proyek saat ini, model pembelajaran mendalam sering dilatih secara paralel pada kluster perangkat keras besar dengan arsitektur eksklusif dan latensi yang sangat rendah, sementara GPU dalam jaringan komputasi terdistribusi memerlukan pertukaran data yang sering untuk memperkenalkan latensi dan dibatasi oleh GPU berkinerja terendah. Dalam kasus sumber daya komputasi yang tidak dapat dipercaya dan tidak dapat diandalkan, bagaimana paralelisasi heterogen adalah masalah yang harus dipecahkan, dan metode yang layak saat ini adalah mencapai paralelisasi melalui model transformator, seperti Switch Transformers, yang sekarang memiliki karakteristik paralelisasi tinggi.
Solusi: Meskipun upaya saat ini di pasar daya komputasi AGI terdesentralisasi masih dalam tahap awal, kebetulan ada dua proyek yang sebelumnya telah memecahkan desain konsensus dari jaringan terdesentralisasi dan proses implementasi jaringan komputasi terdesentralisasi dalam pelatihan model dan inferensi. Berikut ini akan mengambil Gensyn dan Together sebagai contoh untuk menganalisis metode desain dan masalah pasar daya komputasi AGI yang terdesentralisasi.
Reuni
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-1c80fe339c-dd1a6f-cd5cc0.webp)
Gensyn adalah pasar untuk daya komputasi AGI yang masih dalam tahap pembangunan dan bertujuan untuk memecahkan berbagai tantangan komputasi pembelajaran mendalam yang terdesentralisasi dan mengurangi biaya pembelajaran mendalam saat ini. Gensyn pada dasarnya adalah protokol proof-of-stake Layer 1 berdasarkan jaringan Polkadot, yang secara langsung memberi penghargaan kepada solver (Solvers) melalui kontrak pintar dengan imbalan perangkat GPU menganggur mereka untuk komputasi, dan melakukan tugas pembelajaran mesin.
Jadi kembali ke pertanyaan di atas, inti dari membangun jaringan komputasi yang benar-benar tidak dapat dipercaya adalah memvalidasi pekerjaan pembelajaran mesin yang telah dilakukan. Ini adalah masalah yang sangat kompleks yang membutuhkan keseimbangan untuk ditemukan di persimpangan teori kompleksitas, teori permainan, kriptografi, dan optimasi.
Gensyn mengusulkan solusi sederhana di mana pemecah mengirimkan hasil tugas pembelajaran mesin yang telah mereka selesaikan. Untuk memverifikasi bahwa hasil ini akurat, validator independen lain mencoba melakukan pekerjaan yang sama lagi. Metode ini dapat disebut sebagai replikasi tunggal karena hanya satu validator yang akan mengeksekusi ulang. Ini berarti bahwa hanya ada satu upaya tambahan untuk memverifikasi keakuratan karya asli. Namun, jika orang yang memverifikasi pekerjaan itu bukan pemohon pekerjaan asli, maka masalah kepercayaan tetap ada. Karena validator sendiri mungkin tidak jujur, dan pekerjaan mereka perlu diverifikasi. Hal ini menyebabkan masalah potensial bahwa jika orang yang memverifikasi karya tersebut bukan pemohon karya asli, maka validator lain diperlukan untuk memverifikasi karya mereka. Tetapi validator baru ini mungkin juga tidak dipercaya, sehingga validator lain diperlukan untuk memvalidasi pekerjaan mereka, yang dapat berlanjut selamanya, membentuk rantai replikasi yang tak terbatas. Di sini kita perlu memperkenalkan tiga konsep kunci dan menjalinnya untuk membangun sistem peserta empat peran untuk memecahkan masalah rantai tak terbatas.
Bukti Pembelajaran Probabilistik: Gunakan metadata dari proses optimasi berbasis gradien untuk membangun sertifikat pekerjaan yang dilakukan. Dengan mereplikasi tahapan tertentu, Anda dapat dengan cepat memvalidasi sertifikat ini untuk memastikan bahwa pekerjaan telah selesai sesuai jadwal.
Protokol pinpoint berbasis grafik: Menggunakan protokol puncak berbasis grafik multi-granularitas, serta eksekusi cross-evaluator yang konsisten. Hal ini memungkinkan upaya verifikasi dijalankan kembali dan dibandingkan untuk memastikan konsistensi, dan akhirnya dikonfirmasi oleh blockchain itu sendiri.
Game insentif gaya Truebit: Gunakan staking dan slashing untuk membuat game insentif yang memastikan bahwa setiap peserta yang sehat secara finansial akan bertindak jujur dan melakukan tugas yang dimaksudkan.
Sistem kontributor terdiri dari committer, solver, validator, dan whistleblower.
Pengirim:
Pengirim adalah pengguna akhir sistem, menyediakan tugas yang akan dihitung, dan membayar unit kerja yang diselesaikan;
Pemecah:
Pemecah adalah pekerja utama sistem, melakukan pelatihan model dan menghasilkan bukti yang diperiksa oleh validator;
Verifikator:
Verifikator adalah kunci untuk menghubungkan proses pelatihan non-deterministik dengan perhitungan linier deterministik, mereplikasi sebagian dari bukti pemecah dan membandingkan jarak dengan ambang batas yang diharapkan;
Pelapor :
Pelapor adalah garis pertahanan terakhir, memeriksa pekerjaan validator dan membuat tantangan dengan harapan pembayaran bonus yang menguntungkan.
Sistem bekerja
Protokol ini dirancang untuk beroperasi dalam sistem permainan yang akan terdiri dari delapan fase, yang mencakup empat peran peserta utama, dan akan digunakan untuk menyelesaikan proses lengkap dari pengajuan tugas hingga validasi akhir.
Untuk mengirimkan tugas, pengirim menentukan rincian tugas dalam format yang dapat dibaca mesin dan mengirimkannya ke rantai bersama dengan biner model (atau skema yang dapat dibaca mesin) dan lokasi yang dapat diakses publik dari data pelatihan yang telah diproses sebelumnya. Data yang terpapar dapat disimpan di penyimpanan objek sederhana seperti AWS S3 atau dalam penyimpanan terdesentralisasi seperti IPFS, Arweave, atau Subspace.
Profiling: Proses analisis menentukan ambang jarak dasar untuk belajar memvalidasi bukti. Validator akan secara berkala mengikis tugas analisis dan menghasilkan ambang variasi untuk perbandingan proof-of-learning. Untuk menghasilkan ambang batas, validator akan secara deterministik menjalankan dan menjalankan kembali sebagian pelatihan, menggunakan seed acak yang berbeda, menghasilkan dan memeriksa bukti mereka sendiri. Selama proses ini, validator menetapkan ambang batas jarak yang diharapkan secara keseluruhan yang dapat digunakan sebagai upaya non-deterministik untuk memvalidasi solusi.
Pelatihan: Setelah analisis, tugas masuk ke kumpulan tugas publik (mirip dengan Mempool Ethereum). Pilih pemecah untuk menjalankan tugas dan menghapus tugas dari kumpulan tugas. Pemecah melakukan tugas berdasarkan metadata yang dikirimkan oleh pengirim, serta model dan data pelatihan yang disediakan. Saat melakukan tugas pelatihan, pemecah juga menghasilkan bukti pembelajaran dengan memeriksa dan menyimpan metadata secara berkala (termasuk parameter) dari proses pelatihan sehingga verifikator dapat mereplikasi langkah-langkah pengoptimalan berikut seakurat mungkin.
Pembangkitan bukti: Pemecah secara berkala menyimpan bobot atau pembaruan model dan indeks yang sesuai dengan himpunan data pelatihan untuk mengidentifikasi sampel yang digunakan untuk menghasilkan pembaruan bobot. Frekuensi pos pemeriksaan dapat disesuaikan untuk memberikan jaminan yang lebih besar atau untuk menghemat ruang penyimpanan. Bukti dapat "ditumpuk", yang berarti bahwa bukti dapat dimulai dengan distribusi acak bobot yang digunakan untuk menginisialisasi bobot, atau mulai dengan bobot pra-terlatih yang dihasilkan menggunakan bukti mereka sendiri. Hal ini memungkinkan protokol untuk membangun satu set terbukti, model dasar pra-terlatih (yaitu, model dasar) yang dapat disesuaikan untuk tugas-tugas yang lebih spesifik.
Verifikasi bukti: Setelah tugas selesai, pemecah mendaftarkan tugas dengan rantai dan menampilkan bukti pembelajaran mereka di lokasi yang dapat diakses publik untuk diakses validator. Validator menarik tugas validasi dari kumpulan tugas umum dan melakukan pekerjaan komputasi untuk menjalankan kembali sebagian bukti dan melakukan perhitungan jarak. Rantai (bersama dengan ambang batas yang dihitung selama fase analisis) kemudian menggunakan jarak yang dihasilkan untuk menentukan apakah verifikasi cocok dengan bukti.
Tantangan pinpoint berbasis grafik: Setelah memvalidasi bukti pembelajaran, pelapor dapat menyalin karya validator untuk memeriksa apakah validasi itu sendiri dilakukan dengan benar. Jika pelapor yakin bahwa verifikasi telah dilakukan karena kesalahan (berbahaya atau tidak berbahaya), mereka dapat menantang kuorum kontrak untuk menerima hadiah. Hadiah ini dapat berasal dari setoran dari pemecah dan validator (dalam kasus yang benar-benar positif), atau dari kumpulan hadiah brankas lotre (dalam kasus positif palsu) dan arbitrase dilakukan dengan menggunakan rantai itu sendiri. Pelapor (dalam kasus mereka, validator) hanya akan memverifikasi dan kemudian menantang pekerjaan jika mereka mengharapkan untuk menerima kompensasi yang sesuai. Dalam praktiknya, ini berarti bahwa pelapor diharapkan untuk bergabung dan meninggalkan jaringan berdasarkan jumlah pelapor dengan kegiatan lain (yaitu, dengan setoran dan tantangan langsung). Oleh karena itu, strategi default yang diharapkan untuk setiap whistleblower adalah bergabung dengan jaringan ketika ada lebih sedikit whistleblower lainnya, memposting deposit, secara acak memilih tugas aktif, dan memulai proses verifikasi mereka. Setelah tugas pertama selesai, mereka akan mengambil tugas aktif acak lainnya dan mengulangi sampai jumlah pelapor melebihi ambang pembayaran yang ditentukan, dan kemudian mereka akan meninggalkan jaringan (atau, lebih mungkin, pindah ke peran lain dalam jaringan – validator atau pemecah – tergantung pada kemampuan perangkat keras mereka) sampai situasinya berbalik lagi.
Arbitrase kontrak: Ketika validator ditantang oleh pelapor, mereka memasuki proses dengan rantai untuk mencari tahu di mana tindakan atau masukan yang disengketakan, dan akhirnya rantai melakukan operasi dasar akhir dan menentukan apakah tantangan tersebut dibenarkan. Untuk menjaga whistleblower jujur dan kredibel dan mengatasi dilema validator, kesalahan paksa reguler dan pembayaran jackpot diperkenalkan di sini.
Penyelesaian: Selama proses penyelesaian, peserta dibayar berdasarkan kesimpulan pemeriksaan probabilitas dan kepastian. Bergantung pada hasil verifikasi dan tantangan sebelumnya, akan ada pembayaran yang berbeda untuk skenario yang berbeda. Jika pekerjaan dianggap telah dilakukan dengan benar dan semua pemeriksaan telah lulus, penyedia solusi dan validator diberi imbalan berdasarkan tindakan yang diambil.
Ulasan singkat tentang proyek
Gensyn telah merancang sistem permainan yang luar biasa pada lapisan verifikasi dan lapisan insentif, yang dapat dengan cepat mengidentifikasi kesalahan dengan menemukan titik divergensi dalam jaringan, tetapi masih banyak detail yang hilang dalam sistem saat ini. Misalnya, bagaimana cara menetapkan parameter untuk memastikan bahwa penghargaan dan hukuman masuk akal tanpa ambang batas terlalu tinggi? Apakah game mempertimbangkan perbedaan antara kasus ekstrim dan kekuatan komputasi pemecah? Tidak ada penjelasan rinci tentang operasi paralel heterogen dalam versi buku putih saat ini, dan tampaknya implementasi Gensyn masih sulit dan panjang.
Together.ai
Together adalah perusahaan yang berfokus pada open source model besar dan berkomitmen untuk solusi komputasi AI terdesentralisasi, berharap siapa pun dapat mengakses dan menggunakan AI di mana saja. Sebenarnya, Together bukanlah proyek blockchain, tetapi proyek ini sebelumnya telah memecahkan masalah latensi dalam jaringan komputasi AGI yang terdesentralisasi. Oleh karena itu, artikel berikut hanya menganalisis solusi Bersama dan tidak mengevaluasi proyek.
Bagaimana model besar dapat dilatih dan disimpulkan ketika jaringan terdesentralisasi 100 kali lebih lambat daripada pusat data?
Mari kita bayangkan seperti apa distribusi perangkat GPU yang berpartisipasi dalam jaringan jika desentralisasi dihapus. Perangkat ini akan didistribusikan di berbagai benua, di kota yang berbeda, dan perlu dihubungkan satu sama lain, dan latensi serta bandwidth koneksi akan bervariasi. Seperti yang ditunjukkan pada gambar di bawah ini, skenario terdistribusi disimulasikan dengan perangkat yang didistribusikan di seluruh Amerika Utara, Eropa, dan Asia, dengan berbagai bandwidth dan latensi antar perangkat. Jadi apa yang perlu dilakukan untuk menghubungkannya secara seri?
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-42ef6469f3-dd1a6f-cd5cc0.webp)
Pemodelan komputasi pelatihan terdistribusi: Gambar berikut menunjukkan pelatihan model dasar pada beberapa perangkat, dan ada tiga jenis komunikasi dalam hal jenis komunikasi: Aktivasi Maju, Gradien Mundur, dan Komunikasi Lateral.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-ea4665b014-dd1a6f-cd5cc0.webp)
Dalam kombinasi dengan bandwidth komunikasi dan latensi, dua bentuk paralelisme perlu dipertimbangkan: paralelisme pipa dan paralelisme data, sesuai dengan tiga jenis komunikasi dalam kasus multi-perangkat:
Dalam paralelisme pipa, semua lapisan model dibagi menjadi beberapa tahap, di mana setiap perangkat memproses fase, yang merupakan urutan lapisan kontinu, seperti beberapa blok transformator; Dalam passing maju, aktivasi diteruskan ke tahap berikutnya, sedangkan dalam passing mundur, gradien aktivasi diteruskan ke tahap sebelumnya.
Dalam paralelisme data, perangkat secara independen menghitung gradien microbatch yang berbeda, tetapi berkomunikasi untuk menyinkronkan gradien ini.
** Optimasi Penjadwalan: **
Dalam lingkungan yang terdesentralisasi, proses pelatihan seringkali dibatasi oleh komunikasi. Algoritma penjadwalan umumnya menetapkan tugas yang memerlukan sejumlah besar komunikasi ke perangkat dengan kecepatan koneksi yang lebih cepat, dan mempertimbangkan ketergantungan antara tugas dan heterogenitas jaringan, biaya strategi penjadwalan tertentu perlu dimodelkan terlebih dahulu. Untuk menangkap biaya komunikasi yang kompleks dari pelatihan model dasar, Together mengusulkan formula baru dan menguraikan model biaya menjadi dua tingkat melalui teori grafik:
Teori graf adalah cabang matematika yang mempelajari sifat dan struktur graf (jaringan). Grafik terdiri dari simpul (node) dan tepi (garis yang menghubungkan node). Tujuan utama teori grafik adalah untuk mempelajari berbagai sifat grafik, seperti konektivitas grafik, warna grafik, sifat jalur dan loop dalam grafik.
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-15383f3e42-dd1a6f-cd5cc0.webp)
Gambar di atas adalah diagram skematik proses, karena proses implementasi yang sebenarnya melibatkan beberapa rumus perhitungan yang kompleks. Agar lebih mudah dipahami, berikut ini akan dijelaskan proses dalam diagram dalam istilah awam, dan proses implementasi terperinci dapat dikonsultasikan sendiri dalam dokumentasi di situs web resmi Bersama.
Misalkan ada perangkat yang diatur D dengan perangkat N, dan komunikasi di antara mereka memiliki penundaan tak tentu (matriks-A) dan bandwidth (matriks-B). Berdasarkan set perangkat D, pertama-tama kita menghasilkan segmentasi grafik seimbang. Jumlah perangkat di setiap pemisahan atau grup perangkat kira-kira sama, dan semuanya menangani tahapan alur yang sama. Ini memastikan bahwa ketika data diparalelkan, kelompok perangkat melakukan jumlah pekerjaan yang sama. (Paralelisme data adalah ketika beberapa perangkat melakukan tugas yang sama, sedangkan tahap pipelining adalah ketika perangkat melakukan langkah tugas yang berbeda dalam urutan tertentu). Berdasarkan latensi dan bandwidth komunikasi, "biaya" transfer data antar kelompok perangkat dapat dihitung melalui rumus. Setiap kelompok perangkat yang seimbang digabungkan untuk menghasilkan grafik kasar yang terhubung sepenuhnya, di mana setiap node mewakili tahap pipa dan ujung-ujungnya mewakili biaya komunikasi antara dua tahap. Untuk meminimalkan biaya komunikasi, algoritma pencocokan digunakan untuk menentukan kelompok perangkat mana yang harus bekerja sama.
Untuk optimasi lebih lanjut, masalahnya juga dapat dimodelkan sebagai masalah salesman perjalanan loop terbuka (loop terbuka berarti tidak perlu kembali ke asal jalur) untuk menemukan jalur optimal untuk mentransfer data antara semua perangkat. Akhirnya, Together menggunakan algoritma penjadwalan inovatif mereka untuk menemukan strategi alokasi optimal untuk model biaya tertentu, sehingga dapat meminimalkan biaya komunikasi dan memaksimalkan throughput pelatihan. Menurut pengukuran aktual, bahkan jika jaringan 100 kali lebih lambat di bawah pengoptimalan penjadwalan ini, throughput pelatihan ujung ke ujung hanya sekitar 1,7 hingga 2,3 kali lebih lambat.
Optimasi Kompresi Komunikasi:
! [Pratinjau Jalur Potensial: Pasar Daya Komputasi Terdesentralisasi (Bagian I)] (https://img-cdn.gateio.im/webp-social/moments-69a80767fe-a29a418c60-dd1a6f-cd5cc0.webp)
Untuk optimalisasi kompresi komunikasi, Bersama-sama memperkenalkan algoritma AQ-SGD (untuk proses perhitungan terperinci, silakan merujuk ke makalah Fine-tuning Language Models over Slow Networks using Activation Compression with Guarantees). Algoritma AQ-SGD adalah teknologi kompresi aktif baru yang dirancang untuk memecahkan masalah efisiensi komunikasi pelatihan paralel pipa pada jaringan berkecepatan rendah. Tidak seperti metode sebelumnya untuk mengompresi nilai aktivitas secara langsung, AQ-SGD berfokus pada kompresi perubahan nilai aktivitas sampel pelatihan yang sama selama periode yang berbeda, dan metode unik ini memperkenalkan dinamika "self-executing" yang menarik, dan kinerja algoritma diharapkan meningkat secara bertahap saat pelatihan stabil. Setelah analisis teoritis yang ketat, algoritma AQ-SGD membuktikan bahwa ia memiliki tingkat konvergensi yang baik dalam kondisi teknis tertentu dan fungsi kuantisasi dengan kesalahan terbatas. Algoritma ini dapat diimplementasikan secara efisien tanpa menambahkan overhead runtime end-to-end tambahan, meskipun membutuhkan lebih banyak memori dan SSD untuk menyimpan nilai aktif. Melalui validasi eksperimental ekstensif pada klasifikasi urutan dan dataset pemodelan bahasa, AQ-SGD dapat memampatkan nilai aktivitas menjadi 2-4 bit tanpa mengorbankan kinerja konvergensi. Selain itu, AQ-SGD juga dapat diintegrasikan dengan algoritma kompresi gradien canggih untuk mencapai "kompresi komunikasi ujung ke ujung", yaitu, pertukaran data antara semua mesin, termasuk gradien model, nilai aktivitas maju, dan gradien terbalik, dikompresi ke presisi rendah, sehingga sangat meningkatkan efisiensi komunikasi pelatihan terdistribusi. Dibandingkan dengan kinerja pelatihan end-to-end dari jaringan komputasi terpusat (misalnya, 10 Gbps) tanpa kompresi, saat ini hanya 31% lebih lambat. Dikombinasikan dengan data optimasi penjadwalan, meskipun masih ada celah tertentu dari jaringan daya komputasi terpusat, ada harapan yang relatif besar untuk mengejar ketinggalan di masa depan.
Kesimpulan
Di bawah periode dividen yang dibawa oleh gelombang AI, pasar daya komputasi AGI tidak diragukan lagi merupakan pasar dengan potensi terbesar dan permintaan paling banyak di antara banyak pasar daya komputasi. Namun, kesulitan pengembangan, persyaratan perangkat keras, dan persyaratan modal juga yang tertinggi. Dikombinasikan dengan dua proyek di atas, masih ada jarak tertentu dari implementasi pasar daya komputasi AGI, dan jaringan terdesentralisasi yang sebenarnya jauh lebih kompleks daripada situasi ideal, yang jelas tidak cukup untuk bersaing dengan raksasa cloud. Pada saat menulis artikel ini, juga diamati bahwa beberapa proyek yang masih dalam masa pertumbuhan (tahap PPT) telah mulai mengeksplorasi beberapa titik masuk baru, seperti berfokus pada tahap inferensi yang kurang sulit atau pelatihan model kecil, yang merupakan upaya yang lebih praktis.
Meskipun menghadapi banyak tantangan, penting dalam jangka panjang bahwa desentralisasi dan signifikansi tanpa izin dari daya komputasi AGI tidak boleh terkonsentrasi di beberapa raksasa terpusat. Karena umat manusia tidak membutuhkan "agama" baru atau "paus" baru, apalagi membayar "iuran keanggotaan" yang mahal.
bibliografi
2.NeurIPS 2022: Mengatasi Kemacetan Komunikasi untuk Pelatihan Terdesentralisasi :
Fine-tuning Model Bahasa melalui Jaringan Lambat menggunakan Kompresi Aktivasi dengan Jaminan:
Protokol Komputasi Machine Learning dan masa depan kita:
5.Microsoft: Rilis Penghasilan FY23 Q2:
Bersaing untuk tiket AI: BAT dan Byte Meituan bersaing untuk GPU:
Laporan Evaluasi Indeks Daya Komputasi Global IDC: 2022-2023:
Estimasi pelatihan model besar Guosheng Securities:
Wings of Information: Apa hubungan antara daya komputasi dan AI? ：