Как модель большого языка укореняется в области шифрования?

Автор: Ипин, IOSG Ventures

Эта статья является исходным содержанием IOSG, предназначена только для изучения и общения в отрасли и не является справочным материалом по инвестициям. Если вам нужно процитировать, пожалуйста, укажите источник.Для перепечатки, пожалуйста, свяжитесь с командой IOSG для авторизации и инструкций по перепечатке.

напишите впереди

• Поскольку модель большого языка (LLM) становится все более и более процветающей, мы видим, что многие проекты интегрируют искусственный интеллект (ИИ) и блокчейн. Сочетание LLM и блокчейна увеличивается, и мы также видим возможности для реинтеграции искусственного интеллекта с блокчейном. Стоит упомянуть машинное обучение с нулевым разглашением (ZKML).
• Искусственный интеллект и блокчейн — две преобразующие технологии с принципиально разными характеристиками. Искусственный интеллект требует мощной вычислительной мощности, которую обычно предоставляют централизованные центры обработки данных. Хотя блокчейн обеспечивает децентрализованные вычисления и защиту конфиденциальности, он плохо справляется с крупномасштабными задачами вычислений и хранения. Мы все еще изучаем и изучаем лучшие практики интеграции искусственного интеллекта и блокчейна, и в будущем мы представим некоторые текущие проекты, сочетающие «ИИ + блокчейн».

Источник: IOSG Ventures.

Этот исследовательский отчет разделен на две части.Эта статья является верхней частью.Мы сосредоточимся на применении LLM в области шифрования и обсудим стратегию посадки приложений.

Что такое LLM?

LLM (Large Language Model) — компьютеризированная языковая модель, состоящая из искусственной нейронной сети с большим количеством параметров (обычно миллиарды). Эти модели обучаются на большом количестве неразмеченного текста.

Примерно в 2018 году рождение LLM полностью изменило исследования в области обработки естественного языка. В отличие от предыдущих методов, требующих обучения конкретной модели с учителем для конкретной задачи, LLM, как общая модель, хорошо справляется с множеством задач. Его возможности и приложения включают в себя:

• **Понимать и обобщать текст: **LLM может понимать и обобщать большие объемы человеческого языка и текстовых данных. Они могут извлекать ключевую информацию и генерировать краткие сводки.
• **Создание нового контента:**LLM может создавать текстовый контент. Подавая его в модель, он может отвечать на вопросы, вновь сгенерированный текст, резюмировать или анализировать настроения.
• **Перевод:**LLM можно использовать для перевода между разными языками. Они используют алгоритмы глубокого обучения и нейронные сети, чтобы понять контекст и отношения между словами.
• **Прогнозирование и генерация текста:**LLM может прогнозировать и генерировать текст на основе контекста, аналогичный контенту, созданному человеком, включая песни, стихи, рассказы, маркетинговые материалы и т. д.
• **Применения в различных областях: **Большие языковые модели имеют широкое применение в задачах обработки естественного языка. Они используются в диалоговом искусственном интеллекте, чат-ботах, здравоохранении, разработке программного обеспечения, поисковых системах, обучении, инструментах для письма и многих других.

Сильные стороны LLM включают его способность понимать большие объемы данных, его способность выполнять несколько задач, связанных с языком, и его потенциал адаптации результатов к потребностям пользователя.

Общие крупномасштабные приложения языковой модели

Благодаря своей выдающейся способности понимать естественный язык LLM обладает значительным потенциалом, и разработчики в основном сосредотачиваются на следующих двух аспектах:

• Предоставлять пользователям точные и актуальные ответы на основе большого количества контекстуальных данных и контента.
• Выполняйте определенные задачи, поставленные пользователями, используя различные агенты и инструменты.

Именно эти два аспекта заставляют LLM-приложение для общения с XX взрываться, как грибы после дождя. Например, общайтесь в чате с PDF-файлами, в чате с документами и в чате с академическими работами.

Впоследствии были предприняты попытки объединить LLM с различными источниками данных. Разработчики успешно интегрировали такие платформы, как Github, Notion и некоторые программы для создания заметок, с LLM.

Чтобы преодолеть присущие LLM ограничения, в систему были включены различные инструменты. Первым таким инструментом была поисковая система, которая предоставляла LLM доступ к новейшим знаниям. Дальнейший прогресс будет заключаться в интеграции таких инструментов, как WolframAlpha, Google Suites и Etherscan, с большими языковыми моделями.

Архитектура приложений LLM

На рисунке ниже показан поток приложения LLM при ответе на запросы пользователей: Сначала соответствующие источники данных преобразуются во встраивающие векторы и сохраняются в векторной базе данных. Адаптер LLM использует пользовательские запросы и поиск сходства для поиска соответствующего контекста в векторной базе данных. Соответствующий контекст помещается и отправляется в LLM. LLM выполнит их и будет использовать инструменты для получения ответов. Иногда LLM настраиваются на конкретные наборы данных для повышения точности и снижения затрат.

Рабочий процесс приложения LLM можно условно разделить на три основных этапа:

1. Подготовка и встраивание данных. Этот этап включает в себя сохранение конфиденциальной информации, такой как проектные заметки, для будущего доступа. Как правило, файлы сегментируются и обрабатываются с помощью встроенных моделей, которые хранятся в базе данных особого типа, называемой векторной базой данных.
2. Формулировка и извлечение. Когда пользователь отправляет поисковый запрос (в данном случае для поиска информации об элементе), программное обеспечение создает серию, которая передается в языковую модель. Последний обычно содержит шаблон подсказки, жестко закодированный разработчиком программного обеспечения, пример допустимого вывода в качестве примера с несколькими выстрелами и любые необходимые данные, полученные из внешнего API, и связанные файлы, извлеченные из векторной базы данных.
3. Выполнение и вывод: после завершения передайте их в уже существующие языковые модели для вывода, которые могут включать проприетарные модели API, модели с открытым исходным кодом или индивидуально настроенные модели. На этом этапе некоторые разработчики могут также включать в систему такие операционные системы, как ведение журнала, кэширование и проверка.

Привнесение LLM в крипто

Хотя в области шифрования (Web3) есть несколько приложений, аналогичных Web2, разработка отличных LLM-приложений в области шифрования требует особого внимания.

Криптоэкосистема уникальна, со своей собственной культурой, данными и конвергенцией. LLM, настроенные на эти криптографически ограниченные наборы данных, могут обеспечить превосходные результаты при относительно низких затратах. Хотя данные доступны в изобилии, на таких платформах, как HuggingFace, явно не хватает открытых наборов данных. В настоящее время существует только один набор данных, связанный со смарт-контрактами, который содержит 113 000 смарт-контрактов.

Разработчики также сталкиваются с проблемой интеграции различных инструментов в LLM. Эти инструменты отличаются от используемых в Web2 тем, что дают LLM возможность доступа к данным, связанным с транзакциями, взаимодействия с децентрализованными приложениями (Dapps) и выполнения транзакций. До сих пор мы не нашли интеграции Dapp в Langchain.

Хотя для разработки высококачественных криптографических приложений LLM могут потребоваться дополнительные инвестиции, LLM идеально подходит для криптографического пространства. Этот домен предоставляет подробные, чистые и структурированные данные. Это, в сочетании с тем фактом, что код Solidity часто лаконичен, упрощает для LLM создание функционального кода.

Во второй части мы обсудим 8 потенциальных направлений, в которых LLM может помочь пространству блокчейнов, например:

Интегрируйте встроенные возможности AI/LLM в блокчейн

• Анализ записей транзакций с помощью LLM
• Выявление потенциальных ботов с помощью LLM
• Пишите код с помощью LLM
• Чтение кода с LLM
• Используйте LLM, чтобы помочь сообществу
• Используйте LLM для отслеживания рынка
• Анализ проектов с использованием LLM

Следите за обновлениями!