Comment le grand modèle de langage s'enracine-t-il dans le domaine du chiffrement ?

Auteur : Yiping, IOSG Ventures

Cet article est le contenu original de l'IOSG, il est uniquement destiné à l'apprentissage et à la communication de l'industrie et ne constitue aucune référence d'investissement. Si vous avez besoin de citer, veuillez indiquer la source. Pour la réimpression, veuillez contacter l'équipe de l'IOSG pour l'autorisation et les instructions de réimpression.

écrire devant

• Alors que le grand modèle linguistique (LLM) devient de plus en plus prospère, nous constatons que de nombreux projets intègrent l'intelligence artificielle (IA) et la blockchain. La combinaison de LLM et de blockchain augmente, et nous voyons également des opportunités pour l'intelligence artificielle de se réintégrer à la blockchain. L'apprentissage automatique à connaissance nulle (ZKML) mérite d'être mentionné.
• L'intelligence artificielle et la blockchain sont deux technologies transformatrices aux caractéristiques fondamentalement différentes. L'intelligence artificielle nécessite une puissance de calcul puissante, qui est généralement fournie par des centres de données centralisés. Bien que la blockchain fournisse une informatique décentralisée et une protection de la vie privée, elle ne fonctionne pas bien dans les tâches de calcul et de stockage à grande échelle. Nous explorons et recherchons toujours les meilleures pratiques d'intégration de l'intelligence artificielle et de la blockchain, et nous présenterons à l'avenir quelques cas de projets actuels combinant "IA + blockchain".

Source : IOSG Ventures

Ce rapport de recherche est divisé en deux parties.Cet article est la partie supérieure.Nous nous concentrerons sur l'application du LLM dans le domaine du chiffrement et discuterons de la stratégie d'atterrissage des applications.

Qu'est-ce que le LLM ?

LLM (Large Language Model) est un modèle de langage informatisé constitué d'un réseau neuronal artificiel avec un grand nombre de paramètres (généralement des milliards). Ces modèles sont entraînés sur de grandes quantités de texte sans étiquette.

Vers 2018, la naissance du LLM a complètement changé la recherche sur le traitement du langage naturel. Contrairement aux méthodes précédentes qui nécessitent la formation d'un modèle supervisé spécifique pour une tâche spécifique, LLM, en tant que modèle général, fonctionne bien sur une variété de tâches. Ses capacités et applications incluent :

• **Comprendre et résumer du texte :**LLM peut comprendre et résumer de grandes quantités de langage humain et de données textuelles. Ils peuvent extraire des informations clés et générer des résumés concis.
• **Générer du nouveau contenu :**LLM a la capacité de générer du contenu textuel. En l'alimentant au modèle, il peut répondre aux questions, au texte nouvellement généré, au résumé ou à l'analyse des sentiments.
• **Traduction :**LLM peut être utilisé pour traduire entre différentes langues. Ils utilisent des algorithmes d'apprentissage en profondeur et des réseaux de neurones pour comprendre le contexte et les relations entre les mots.
• **Prédire et générer du texte :**LLM peut prédire et générer du texte en fonction du contexte, similaire au contenu généré par l'homme, y compris des chansons, des poèmes, des histoires, des supports marketing, etc.
• **Applications dans divers domaines : **Les grands modèles de langage ont une large applicabilité dans les tâches de traitement du langage naturel. Ils sont utilisés dans l'intelligence artificielle conversationnelle, les chatbots, la santé, le développement de logiciels, les moteurs de recherche, le tutorat, les outils d'écriture et bien d'autres.

Les points forts de LLM incluent sa capacité à comprendre de grandes quantités de données, sa capacité à effectuer plusieurs tâches liées à la langue et son potentiel à adapter les résultats aux besoins des utilisateurs.

### Applications courantes de modèles de langage à grande échelle

En raison de sa capacité exceptionnelle de compréhension du langage naturel, LLM a un potentiel considérable et les développeurs se concentrent principalement sur les deux aspects suivants :

• Fournir aux utilisateurs des réponses précises et à jour basées sur une grande quantité de données contextuelles et de contenu
• Effectuez des tâches spécifiques assignées par les utilisateurs en utilisant différents agents et outils

Ce sont ces deux aspects qui font que l'application LLM de chat avec XX explose comme des champignons après la pluie. Par exemple, discuter avec des fichiers PDF, discuter avec des documents et discuter avec des articles universitaires.

Par la suite, des tentatives ont été faites pour fusionner LLM avec diverses sources de données. Les développeurs ont intégré avec succès des plates-formes telles que Github, Notion et certains logiciels de prise de notes avec LLM.

Pour surmonter les limites inhérentes au LLM, différents outils ont été intégrés au système. Le premier outil de ce type était un moteur de recherche, qui permettait aux LLM d'accéder à des connaissances à jour. De nouveaux progrès intégreront des outils tels que WolframAlpha, Google Suites et Etherscan avec de grands modèles de langage.

Architecture des applications LLM

La figure ci-dessous décrit le flux de l'application LLM lors de la réponse aux requêtes des utilisateurs : tout d'abord, les sources de données pertinentes sont converties en vecteurs intégrés et stockées dans une base de données vectorielles. L'adaptateur LLM utilise les requêtes des utilisateurs et les recherches de similarité pour trouver le contexte pertinent à partir de la base de données vectorielle. Le contexte pertinent est inséré et envoyé à LLM. LLM les exécutera et utilisera des outils pour générer des réponses. Parfois, les LLM sont réglés sur des ensembles de données spécifiques pour améliorer la précision et réduire les coûts.

Le flux de travail de l'application LLM peut être grossièrement divisé en trois phases principales :

1. Préparation et intégration des données : cette phase implique la conservation d'informations confidentielles, telles que des notes de projet, pour un accès futur. En règle générale, les fichiers sont segmentés et traités via des modèles intégrés, conservés dans un type spécial de base de données appelée base de données vectorielle.
2. Formulation et extraction : lorsqu'un utilisateur soumet une demande de recherche (dans ce cas, pour rechercher des informations sur un article), le logiciel crée une série, qui est introduite dans le modèle de langage. Le dernier contient généralement un modèle d'invite codé en dur par le développeur du logiciel, un exemple de sortie valide sous forme d'exemple en quelques prises de vue, ainsi que toutes les données requises obtenues à partir d'une API externe et des fichiers associés extraits de la base de données vectorielle.
3. Exécution et inférence de : une fois terminés, alimentez-les en modèles de langage préexistants pour l'inférence, qui peuvent inclure des API de modèles propriétaires, des modèles open source ou des modèles individuellement ajustés. À ce stade, certains développeurs peuvent également intégrer des systèmes d'exploitation tels que la journalisation, la mise en cache et la validation dans le système.

Apporter LLM à Crypto

Bien que le domaine du cryptage (Web3) ait des applications similaires à Web2, le développement d'excellentes applications LLM dans le domaine du cryptage nécessite une attention particulière.

L'écosystème crypto est unique, avec sa propre culture, ses données et sa convergence. Les LLM affinés sur ces ensembles de données cryptographiquement restreints peuvent fournir des résultats supérieurs à un coût relativement faible. Bien que les données soient abondamment disponibles, il y a un manque évident d'ensembles de données ouverts sur des plateformes comme HuggingFace. Actuellement, il n'y a qu'un seul ensemble de données lié aux contrats intelligents, qui contient 113 000 contrats intelligents.

Les développeurs sont également confrontés au défi d'intégrer différents outils dans LLM. Ces outils diffèrent de ceux utilisés dans Web2 en donnant aux LLM la possibilité d'accéder aux données liées aux transactions, d'interagir avec des applications décentralisées (Dapps) et d'exécuter des transactions. Jusqu'à présent, nous n'avons trouvé aucune intégration Dapp dans Langchain.

Bien que des investissements supplémentaires puissent être nécessaires pour développer des applications LLM cryptographiques de haute qualité, LLM est un choix naturel pour l'espace cryptographique. Ce domaine fournit des données riches, propres et structurées. Ceci, combiné au fait que le code Solidity est souvent concis, permet à LLM de générer plus facilement du code fonctionnel.

Dans la partie 2, nous discuterons de 8 directions potentielles dans lesquelles LLM peut aider l'espace blockchain, telles que :

Intégrez les capacités intégrées d'IA/LLM dans la blockchain

• Analyser les enregistrements de transactions à l'aide de LLM
• Identifiez les robots potentiels à l'aide de LLM
• Écrire du code en utilisant LLM
• Lire le code avec LLM
• Utilisez LLM pour aider la communauté
• Utilisez LLM pour suivre le marché
• Analyser des projets à l'aide de LLM

Restez à l'écoute!