Bagaimana model bahasa besar mengakar di bidang enkripsi?

Penulis: Yiping, IOSG Ventures

Artikel ini adalah konten asli IOSG. Ini hanya untuk pembelajaran dan komunikasi industri, dan bukan merupakan referensi investasi apa pun. Jika Anda perlu mengutip, harap tunjukkan sumbernya. Untuk mencetak ulang, silakan hubungi tim IOSG untuk instruksi otorisasi dan cetak ulang.

tulis di depan

• Karena model bahasa besar (LLM) menjadi semakin makmur, kami melihat bahwa banyak proyek mengintegrasikan kecerdasan buatan (AI) dan blockchain. Kombinasi LLM dan blockchain meningkat, dan kami juga melihat peluang kecerdasan buatan untuk berintegrasi kembali dengan blockchain. Salah satu yang layak disebut adalah pembelajaran mesin tanpa pengetahuan (ZKML).
• Kecerdasan buatan dan blockchain adalah dua teknologi transformatif dengan karakteristik yang berbeda secara fundamental. Kecerdasan buatan membutuhkan daya komputasi yang kuat, yang biasanya disediakan oleh pusat data terpusat. Sementara blockchain menyediakan komputasi terdesentralisasi dan perlindungan privasi, itu tidak bekerja dengan baik dalam tugas komputasi dan penyimpanan skala besar. Kami masih mengeksplorasi dan meneliti praktik terbaik kecerdasan buatan dan integrasi blockchain, dan kami akan memperkenalkan beberapa kasus proyek saat ini yang menggabungkan "AI + blockchain" di masa mendatang.

Sumber: IOSG Ventures

Laporan penelitian ini dibagi menjadi dua bagian, artikel ini adalah bagian atas, kami akan fokus pada penerapan LLM di bidang enkripsi dan membahas strategi pendaratan aplikasi.

Apa itu LLM?

LLM (Large Language Model) adalah model bahasa terkomputerisasi yang terdiri dari jaringan syaraf tiruan dengan sejumlah besar parameter (biasanya miliaran). Model ini dilatih untuk teks tak berlabel dalam jumlah besar.

Sekitar tahun 2018, kelahiran LLM benar-benar mengubah penelitian pemrosesan bahasa alami. Tidak seperti metode sebelumnya yang memerlukan pelatihan model yang diawasi khusus untuk tugas tertentu, LLM, sebagai model umum, bekerja dengan baik pada berbagai tugas. Kemampuan dan aplikasinya meliputi:

• **Memahami dan meringkas teks:**LLM dapat memahami dan meringkas sejumlah besar bahasa manusia dan data teks. Mereka dapat mengekstrak informasi kunci dan menghasilkan ringkasan singkat.
• **Hasilkan konten baru:**LLM memiliki kemampuan untuk menghasilkan konten berbasis teks. Dengan memasukkannya ke model, ia dapat menjawab pertanyaan, teks yang baru dibuat, ringkasan, atau analisis sentimen.
• **Terjemahan:**LLM dapat digunakan untuk menerjemahkan antar bahasa yang berbeda. Mereka menggunakan algoritme pembelajaran mendalam dan jaringan saraf untuk memahami konteks dan hubungan antar kata.
• **Memprediksi dan menghasilkan teks:**LLM dapat memprediksi dan menghasilkan teks berdasarkan konteks, mirip dengan konten buatan manusia, termasuk lagu, puisi, cerita, materi pemasaran, dll.
• **Aplikasi di berbagai bidang: **Model bahasa besar memiliki penerapan yang luas dalam tugas pemrosesan bahasa alami. Mereka digunakan dalam kecerdasan buatan percakapan, chatbots, perawatan kesehatan, pengembangan perangkat lunak, mesin pencari, bimbingan belajar, alat tulis, dan banyak lainnya.

Kekuatan LLM mencakup kemampuannya untuk memahami data dalam jumlah besar, kemampuannya untuk melakukan berbagai tugas terkait bahasa, dan potensinya untuk menyesuaikan hasil dengan kebutuhan pengguna.

Aplikasi model bahasa umum berskala besar

Karena kemampuan pemahaman bahasa alaminya yang luar biasa, LLM memiliki potensi yang cukup besar, dan pengembang terutama berfokus pada dua aspek berikut:

• Memberi pengguna jawaban yang akurat dan terkini berdasarkan sejumlah besar data dan konten kontekstual
• Selesaikan tugas khusus yang diberikan oleh pengguna dengan menggunakan berbagai agen dan alat

Dua aspek inilah yang membuat aplikasi LLM chatting dengan XX meledak bak jamur usai hujan. Misalnya, mengobrol dengan PDF, mengobrol dengan dokumen, dan mengobrol dengan makalah akademis.

Selanjutnya, upaya dilakukan untuk memadukan LLM dengan berbagai sumber data. Pengembang telah berhasil mengintegrasikan platform seperti Github, Notion, dan beberapa perangkat lunak pencatat dengan LLM.

Untuk mengatasi keterbatasan LLM yang melekat, alat yang berbeda dimasukkan ke dalam sistem. Alat pertama tersebut adalah mesin pencari, yang memberi LLM akses ke pengetahuan terkini. Kemajuan lebih lanjut akan mengintegrasikan alat seperti WolframAlpha, Google Suites, dan Etherscan dengan model bahasa yang besar.

Arsitektur Aplikasi LLM

Gambar di bawah ini menguraikan alur aplikasi LLM saat merespons permintaan pengguna: Pertama, sumber data yang relevan diubah menjadi vektor penyematan dan disimpan dalam database vektor. Adaptor LLM menggunakan kueri pengguna dan pencarian kesamaan untuk menemukan konteks yang relevan dari database vektor. Konteks yang relevan dimasukkan dan dikirim ke LLM. LLM akan menjalankan ini dan menggunakan alat untuk menghasilkan jawaban. Terkadang LLM disetel pada kumpulan data tertentu untuk meningkatkan akurasi dan mengurangi biaya.

Alur kerja aplikasi LLM secara kasar dapat dibagi menjadi tiga fase utama:

1. Persiapan dan penyematan data: Fase ini melibatkan penyimpanan informasi rahasia, seperti memo proyek, untuk akses di masa mendatang. Biasanya, file tersegmentasi dan diproses melalui model penyematan, disimpan dalam tipe database khusus yang disebut database vektor.
2. Perumusan dan Ekstraksi: Saat pengguna mengirimkan permintaan pencarian (dalam hal ini, untuk mencari informasi item), perangkat lunak membuat rangkaian, yang dimasukkan ke dalam model bahasa. Yang terakhir biasanya berisi template cepat yang dikodekan keras oleh pengembang perangkat lunak, contoh keluaran yang valid sebagai contoh beberapa tembakan, dan data apa pun yang diperlukan diperoleh dari API eksternal dan file terkait yang diekstrak dari database vektor.
3. Eksekusi dan inferensi: Setelah selesai, masukkan ke model bahasa yang sudah ada sebelumnya untuk inferensi, yang mungkin mencakup API model berpemilik, sumber terbuka, atau model yang disesuaikan secara individual. Pada tahap ini, beberapa pengembang juga dapat memasukkan sistem operasi seperti logging, caching, dan validasi ke dalam sistem.

Membawa LLM ke Crypto

Meskipun bidang enkripsi (Web3) memiliki beberapa aplikasi yang mirip dengan Web2, mengembangkan aplikasi LLM yang sangat baik di bidang enkripsi memerlukan perhatian khusus.

Ekosistem crypto itu unik, dengan budaya, data, dan konvergensinya sendiri. LLM yang disetel dengan baik pada kumpulan data yang dibatasi secara kriptografis ini dapat memberikan hasil yang unggul dengan biaya yang relatif rendah. Meskipun data tersedia berlimpah, ada kekurangan yang jelas dari kumpulan data terbuka pada platform seperti HuggingFace. Saat ini, hanya ada satu dataset terkait smart contract, yang berisi 113.000 smart contract.

Pengembang juga menghadapi tantangan untuk mengintegrasikan berbagai alat ke dalam LLM. Alat ini berbeda dari yang digunakan di Web2 dengan memberi LLM kemampuan untuk mengakses data terkait transaksi, berinteraksi dengan aplikasi terdesentralisasi (Dapps), dan menjalankan transaksi. Sejauh ini, kami belum menemukan integrasi Dapp di Langchain.

Meskipun investasi tambahan mungkin diperlukan untuk mengembangkan aplikasi LLM kriptografi berkualitas tinggi, LLM sangat cocok untuk ruang kriptografi. Domain ini menyediakan data yang kaya, bersih, dan terstruktur. Ini, dikombinasikan dengan fakta bahwa kode Soliditas seringkali ringkas, memudahkan LLM untuk menghasilkan kode fungsional.

Di Bagian 2, kita akan membahas 8 arah potensial di mana LLM dapat membantu ruang blockchain, seperti:

Mengintegrasikan kemampuan AI/LLM bawaan ke dalam blockchain

• Analisis catatan transaksi menggunakan LLM
• Identifikasi bot potensial menggunakan LLM
• Tulis kode menggunakan LLM
• Baca kode dengan LLM
• Gunakan LLM untuk membantu masyarakat
• Gunakan LLM untuk melacak pasar
• Analisis proyek menggunakan LLM

Pantau terus!