Como o grande modelo de linguagem se enraíza no campo da criptografia?

Autor: Yiping, IOSG Ventures

Este artigo é o conteúdo original do IOSG. É apenas para aprendizado e comunicação da indústria e não constitui nenhuma referência de investimento. Se precisar citar, indique a fonte. Para reimpressão, entre em contato com a equipe do IOSG para autorização e instruções de reimpressão.

escreva na frente

• À medida que o modelo de linguagem grande (LLM) está se tornando cada vez mais próspero, vemos que muitos projetos estão integrando inteligência artificial (IA) e blockchain. A combinação de LLM e blockchain está aumentando e também vemos oportunidades para a inteligência artificial se reintegrar ao blockchain. Um que vale a pena mencionar é o aprendizado de máquina de conhecimento zero (ZKML).
• Inteligência artificial e blockchain são duas tecnologias transformadoras com características fundamentalmente diferentes. A inteligência artificial requer um poderoso poder de computação, que geralmente é fornecido por data centers centralizados. Embora o blockchain forneça computação descentralizada e proteção de privacidade, ele não funciona bem em tarefas de computação e armazenamento em larga escala. Ainda estamos explorando e pesquisando as melhores práticas de integração de inteligência artificial e blockchain, e apresentaremos alguns casos de projetos atuais combinando "AI + blockchain" no futuro.

Fonte: IOSG Ventures

Este relatório de pesquisa é dividido em duas partes. Este artigo é a parte superior. Vamos nos concentrar na aplicação do LLM no campo da criptografia e discutir a estratégia de aterrissagem do aplicativo.

O que é LLM?

LLM (Large Language Model) é um modelo de linguagem computadorizada que consiste em uma rede neural artificial com um grande número de parâmetros (geralmente bilhões). Esses modelos são treinados em grandes quantidades de texto não rotulado.

Por volta de 2018, o nascimento do LLM mudou completamente a pesquisa do processamento de linguagem natural. Ao contrário dos métodos anteriores que exigem o treinamento de um modelo supervisionado específico para uma tarefa específica, o LLM, como modelo geral, funciona bem em uma variedade de tarefas. Suas capacidades e aplicações incluem:

• **Entender e resumir texto:**O LLM pode entender e resumir grandes quantidades de linguagem humana e dados de texto. Eles podem extrair informações importantes e gerar resumos concisos.
• **Gerar novo conteúdo:**LLM tem a capacidade de gerar conteúdo baseado em texto. Ao alimentá-lo ao modelo, ele pode responder a perguntas, texto recém-gerado, resumo ou análise de sentimento.
• **Tradução:**LLM pode ser usado para traduzir entre diferentes idiomas. Eles utilizam algoritmos de aprendizado profundo e redes neurais para entender o contexto e as relações entre as palavras.
• **Prever e gerar texto:**O LLM pode prever e gerar texto com base no contexto, semelhante ao conteúdo gerado por humanos, incluindo músicas, poemas, histórias, materiais de marketing, etc.
• **Aplicações em vários campos: **Modelos de linguagem grandes têm ampla aplicabilidade em tarefas de processamento de linguagem natural. Eles são usados em inteligência artificial conversacional, chatbots, assistência médica, desenvolvimento de software, mecanismos de pesquisa, tutoria, ferramentas de escrita e muitos outros.

Os pontos fortes do LLM incluem sua capacidade de entender grandes quantidades de dados, sua capacidade de executar várias tarefas relacionadas ao idioma e seu potencial para adaptar os resultados às necessidades do usuário.

Aplicações comuns de modelo de linguagem em grande escala

Devido à sua excelente capacidade de compreensão da linguagem natural, o LLM tem um potencial considerável e os desenvolvedores se concentram principalmente nos dois aspectos a seguir:

• Forneça aos usuários respostas precisas e atualizadas com base em uma grande quantidade de dados contextuais e conteúdo
• Conclua tarefas específicas atribuídas pelos usuários usando diferentes agentes e ferramentas

São esses dois aspectos que fazem o aplicativo LLM de bate-papo com XX explodir como cogumelos depois da chuva. Por exemplo, converse com PDFs, converse com documentos e converse com trabalhos acadêmicos.

Posteriormente, foram feitas tentativas de fundir o LLM com várias fontes de dados. Os desenvolvedores integraram com sucesso plataformas como Github, Notion e alguns softwares de anotações com o LLM.

Para superar as limitações inerentes ao LLM, diferentes ferramentas foram incorporadas ao sistema. A primeira dessas ferramentas foi um mecanismo de busca, que fornecia aos LLMs acesso a conhecimento atualizado. O progresso futuro integrará ferramentas como WolframAlpha, Google Suites e Etherscan com grandes modelos de linguagem.

Arquitetura de aplicativos LLM

A figura abaixo descreve o fluxo do aplicativo LLM ao responder às consultas do usuário: Primeiro, as fontes de dados relevantes são convertidas em vetores de incorporação e armazenadas em um banco de dados de vetores. O adaptador LLM usa consultas do usuário e pesquisas de similaridade para encontrar contexto relevante no banco de dados de vetores. O contexto relevante é inserido e enviado ao LLM. O LLM irá executá-los e usar ferramentas para gerar respostas. Às vezes, os LLMs são ajustados em conjuntos de dados específicos para melhorar a precisão e reduzir custos.

O fluxo de trabalho do aplicativo LLM pode ser dividido em três fases principais:

1. Preparação e incorporação de dados: Esta fase envolve a manutenção de informações confidenciais, como memorandos de projetos, para acesso futuro. Normalmente, os arquivos são segmentados e processados por meio de modelos de incorporação, mantidos em um tipo especial de banco de dados denominado banco de dados vetorial.
2. Formulação e Extração: Quando um usuário envia uma solicitação de pesquisa (neste caso, para pesquisar informações do item), o software cria uma série, que é alimentada no modelo de linguagem. O final geralmente contém um modelo de prompt codificado pelo desenvolvedor do software, um exemplo de saída válida como um exemplo de poucos disparos e quaisquer dados necessários obtidos de uma API externa e arquivos relacionados extraídos do banco de dados de vetores.
3. Execução e inferência de: Uma vez concluído, alimente-os com modelos de linguagem pré-existentes para inferência, que podem incluir APIs de modelo proprietário, código aberto ou modelos individualmente ajustados. Nesta fase, alguns desenvolvedores também podem incorporar sistemas operacionais como registro, cache e validação no sistema.

Trazendo LLM para Criptomoedas

Embora o campo de criptografia (Web3) tenha alguns aplicativos semelhantes ao Web2, o desenvolvimento de excelentes aplicativos LLM no campo de criptografia requer cuidados especiais.

O ecossistema criptográfico é único, com sua própria cultura, dados e convergência. Os LLMs ajustados nesses conjuntos de dados criptograficamente restritos podem fornecer resultados superiores a um custo relativamente baixo. Embora os dados estejam disponíveis em abundância, há uma clara falta de conjuntos de dados abertos em plataformas como o HuggingFace. Atualmente, existe apenas um conjunto de dados relacionado a contratos inteligentes, que contém 113.000 contratos inteligentes.

Os desenvolvedores também enfrentam o desafio de integrar diferentes ferramentas ao LLM. Essas ferramentas diferem daquelas usadas na Web2, dando aos LLMs a capacidade de acessar dados relacionados a transações, interagir com aplicativos descentralizados (Dapps) e executar transações. Até agora, não encontramos nenhuma integração Dapp no Langchain.

Embora possa ser necessário investimento adicional para desenvolver aplicativos LLM criptográficos de alta qualidade, o LLM é um ajuste natural para o espaço criptográfico. Este domínio fornece dados ricos, limpos e estruturados. Isso, combinado com o fato de que o código do Solidity costuma ser conciso, torna mais fácil para o LLM gerar código funcional.

Na Parte 2, discutiremos 8 possíveis direções em que o LLM pode ajudar o espaço blockchain, como:

Integre recursos integrados de IA/LLM ao blockchain

• Analisar registros de transações usando LLM
• Identifique bots em potencial usando o LLM
• Escrever código usando LLM
• Leia o código com LLM
• Use o LLM para ajudar a comunidade
• Use o LLM para rastrear o mercado
• Analisar projetos usando LLM

Fique atento!