Як велика мовна модель приживається у сфері шифрування?

Автор: Yiping, IOSG Ventures

Ця стаття є оригінальним вмістом IOSG. Вона призначена лише для галузевого навчання та комунікації та не є жодним посиланням на інвестиції. Якщо вам потрібно процитувати, будь ласка, вкажіть джерело. Для повторного друку, будь ласка, зверніться до команди IOSG для авторизації та інструкцій щодо повторного друку.

пишіть спереду

• Оскільки велика мовна модель (LLM) стає все більш процвітаючою, ми бачимо, що багато проектів інтегрують штучний інтелект (AI) і блокчейн. Поєднання LLM і блокчейну зростає, і ми також бачимо можливості для реінтеграції штучного інтелекту з блокчейном. Варто згадати про машинне навчання без знань (ZKML).
• Штучний інтелект і блокчейн — дві трансформаційні технології з принципово різними характеристиками. Штучний інтелект вимагає потужної обчислювальної потужності, яка зазвичай забезпечується централізованими центрами обробки даних. Хоча блокчейн забезпечує децентралізоване обчислення та захист конфіденційності, він погано працює у великомасштабних обчислювальних завданнях і завданнях зберігання. Ми все ще вивчаємо та досліджуємо найкращі практики штучного інтелекту та інтеграції блокчейну, і в майбутньому ми представимо деякі поточні проекти, що поєднують «ШІ + блокчейн».

Джерело: IOSG Ventures

Цей звіт про дослідження складається з двох частин. Ця стаття є верхньою частиною. Ми зосередимося на застосуванні LLM у сфері шифрування та обговоримо стратегію посадки програми.

Що таке LLM?

LLM (Large Language Model) — комп’ютеризована мовна модель, що складається зі штучної нейронної мережі з великою кількістю параметрів (зазвичай мільярди). Ці моделі навчаються на великих обсягах тексту без міток.

Близько 2018 року народження LLM повністю змінило дослідження обробки природної мови. На відміну від попередніх методів, які вимагають навчання конкретної контрольованої моделі для конкретного завдання, LLM, як загальна модель, добре працює з різними завданнями. Його можливості та застосування включають:

• **Розуміти та узагальнювати текст:**LLM може розуміти та узагальнювати велику кількість людської мови та текстових даних. Вони можуть отримувати ключову інформацію та створювати стислі підсумки.
• **Створення нового вмісту:**LLM має можливість генерувати текстовий вміст. Подаючи його в модель, він може відповідати на запитання, щойно створений текст, підсумовувати чи аналізувати почуття.
• Переклад: LLM можна використовувати для перекладу між різними мовами. Вони використовують алгоритми глибокого навчання та нейронні мережі, щоб зрозуміти контекст і зв’язки між словами.
• **Передбачення та генерування тексту:**LLM може передбачати та генерувати текст на основі контексту, подібно до створеного людьми вмісту, включаючи пісні, вірші, оповідання, маркетингові матеріали тощо.
• **Застосування в різних областях: **Великі мовні моделі мають широке застосування в задачах обробки природної мови. Вони використовуються в розмовному штучному інтелекті, чат-ботах, охороні здоров’я, розробці програмного забезпечення, пошукових системах, навчанні, інструментах для написання та багатьох інших.

Сильні сторони LLM включають його здатність розуміти великі обсяги даних, його здатність виконувати багатомовні завдання та його потенціал адаптувати результати до потреб користувачів.

Звичайні програми великомасштабної моделі мови

Завдяки видатній здатності розуміння природної мови, LLM має значний потенціал, і розробники в основному зосереджуються на таких двох аспектах:

• Надавати користувачам точні та актуальні відповіді на основі великої кількості контекстних даних і вмісту
• Виконуйте конкретні завдання, призначені користувачами, використовуючи різні агенти та інструменти

Саме ці два аспекти змушують програму LLM чату з XX вибухати, як гриби після дощу. Наприклад, чат з PDF-файлами, чат з документами та чат з академічними роботами.

Згодом були зроблені спроби злити LLM з різними джерелами даних. Розробники успішно інтегрували такі платформи, як Github, Notion і деякі програми для створення нотаток, із LLM.

Щоб подолати обмеження, властиві LLM, у систему було включено різні інструменти. Першим таким інструментом була пошукова система, яка надала магістрам права доступ до найновіших знань. Подальший прогрес дозволить інтегрувати такі інструменти, як WolframAlpha, Google Suites і Etherscan, із великими мовними моделями.

Архітектура програм LLM

На малюнку нижче показано послідовність роботи програми LLM під час відповіді на запити користувача: спочатку відповідні джерела даних перетворюються на вектори вбудовування та зберігаються у векторній базі даних. Адаптер LLM використовує запити користувача та пошук схожості, щоб знайти відповідний контекст із векторної бази даних. Відповідний контекст вставляється та надсилається до LLM. LLM виконає їх і використає інструменти для створення відповідей. Іноді LLM налаштовуються на певні набори даних, щоб підвищити точність і зменшити вартість.

Робочий процес програми LLM можна умовно розділити на три основні етапи:

1. Підготовка та вбудовування даних: цей етап передбачає збереження конфіденційної інформації, такої як нотатки про проект, для майбутнього доступу. Як правило, файли сегментуються та обробляються за допомогою моделей вбудовування, які зберігаються в спеціальному типі бази даних, яка називається векторною базою даних.
2. Формулювання та вилучення: коли користувач надсилає пошуковий запит (у цьому випадку для пошуку інформації про елемент), програмне забезпечення створює серію, яка вводиться в мовну модель. Останній зазвичай містить шаблон підказки, жорстко закодований розробником програмного забезпечення, приклад дійсного результату як невеликий приклад, а також будь-які необхідні дані, отримані із зовнішнього API та відповідних файлів, витягнутих із векторної бази даних.
3. Виконання та висновок: після завершення передайте їх у вже існуючі мовні моделі для висновку, які можуть включати пропрієтарні моделі API, відкритий код або індивідуально налаштовані моделі. На цьому етапі деякі розробники також можуть включити в систему такі операційні системи, як журналювання, кешування та перевірка.

Перенесення LLM на Crypto

Незважаючи на те, що область шифрування (Web3) має деякі програми, подібні до Web2, розробка чудових програм LLM у сфері шифрування вимагає особливої обережності.

Криптоекосистема є унікальною, має власну культуру, дані та конвергенцію. LLM, налаштовані на ці криптографічно обмежені набори даних, можуть забезпечити чудові результати за відносно низькою ціною. Незважаючи на те, що дані доступні у великій кількості, відкритих наборів даних на таких платформах, як HuggingFace, явно не вистачає. Наразі існує лише один набір даних, пов’язаний зі смарт-контрактами, який містить 113 000 смарт-контрактів.

Розробники також стикаються з проблемою інтеграції різних інструментів у LLM. Ці інструменти відрізняються від тих, що використовуються в Web2, тим, що надають LLM-ам можливість отримувати доступ до даних, пов’язаних з транзакціями, взаємодіяти з децентралізованими програмами (Dapps) і виконувати транзакції. Наразі ми не знайшли жодної інтеграції Dapp у Langchain.

Хоча для розробки високоякісних криптографічних програм LLM можуть знадобитися додаткові інвестиції, LLM природно підходить для криптографічного простору. Цей домен надає багаті, чисті, структуровані дані. Це, у поєднанні з тим фактом, що код Solidity часто є лаконічним, полегшує для LLM створення функціонального коду.

У частині 2 ми обговоримо 8 потенційних напрямків, де LLM може допомогти простору блокчейну, наприклад:

Інтегруйте вбудовані можливості AI/LLM у блокчейн

• Аналізуйте записи транзакцій за допомогою LLM
• Визначте потенційних ботів за допомогою LLM
• Напишіть код за допомогою LLM
• Читайте код за допомогою LLM
• Використовуйте LLM, щоб допомогти спільноті
• Використовуйте LLM для відстеження ринку
• Аналізуйте проекти за допомогою LLM

Залишайтеся на зв'язку!