Dernière version de l'équipe LangChain : LangSmith, une plate-forme de développement d'applications de modèles à grande échelle, permet de mettre LLM en application réelle

Langchain, qui a reçu un financement de 10 millions de dollars en mars, doit être connu de tous : en tant que framework de développement intégré open source, il peut aider les utilisateurs à construire rapidement un prototype d'application LLM. Cependant, il reste encore un long chemin à parcourir entre les simples prototypes de modèles LLM et les applications de production réelles. ** Le 18 juillet, Langchain a continué à lancer la plate-forme de développement d'applications à grande échelle LangSmith, dans l'espoir de permettre aux développeurs de créer rapidement une application LLM pouvant être mise dans l'environnement de production réel. **

Source originale : réflexion profonde SenseAI

Source de l'image : générée par l'IA illimitée‌

La prise en charge d'outils pour les grands modèles de langage (LLM) en est encore à ses balbutiements. En raison de la nature et de la nature dynamique du LLM, les outils logiciels traditionnels sont souvent incapables de répondre pleinement aux besoins de ces modèles.

C'est là qu'interviennent LangChain et LangSmith.

Dans cet article, nous allons explorer la dernière offre de l'équipe qui a créé Langchain (l'outil logiciel LLM le plus populaire) et examiner les nouveaux problèmes que LangSmith espère résoudre dans la pile LLM.

**01. Qu'est-ce que LangSmith ? **

Lorsque Langchain a été créé à l'origine, l'objectif était d'abaisser la barrière à l'entrée pour la construction de modèles LLM. Bien qu'il y ait eu un débat sur la viabilité de Langchain en tant qu'outil, il a largement atteint cet objectif. Après avoir résolu le problème de prototypage, le problème suivant est d'aider ces applications à se développer et de s'assurer qu'elles sont mises en œuvre de manière fiable et maintenable. L'état d'esprit simple est:

Langchain = Prototype

LangSmith = Application

**Mais quels sont les défis les moins pertinents du prototypage qui doivent être résolus lors du développement ? **

Fiabilité - Il est facile de créer des fonctionnalités qui fonctionnent pour des exemples simples et limités, mais créer une application LLM cohérente qui répond aux exigences de la plupart des entreprises est en fait assez difficile.

Pour résoudre ce problème, LangSmith fournit de nouvelles fonctionnalités autour des 5 piliers principaux suivants :

• Débogage
• test
• Évaluer
• surveillance
• Métriques d'utilisation

L'une des grandes valeurs de LangSmith est la possibilité d'effectuer toutes ces opérations via une interface utilisateur simple et intuitive, ce qui réduit considérablement la barrière à l'entrée pour les développeurs sans expérience en logiciel.

De nombreuses fonctionnalités de LLM ne sont pas intuitives d'un point de vue numérique, donc une interface visuelle serait très utile. Les auteurs ont découvert qu'avoir une interface utilisateur bien conçue peut en fait accélérer le prototypage et fonctionner pour les utilisateurs, car tout faire avec juste du code peut souvent être fastidieux.

De plus, être capable de visualiser le processus et la chaîne de commande complexe d'un système LLM est très utile pour comprendre pourquoi vous obtenez une certaine sortie. Au fur et à mesure que les utilisateurs créent des flux de travail plus complexes, il peut être difficile de comprendre exactement comment les requêtes sont transmises à travers différents processus. Par conséquent, la possibilité de visualiser ces processus et d'enregistrer des données historiques via une interface simple constituera un service à valeur ajoutée de premier ordre.

**02. Qui est en concurrence avec LangSmith ? **

Bien qu'il ne soit pas encore un concurrent direct, il serait logique qu'une organisation comme Vercel (avec son AI SDK) déploie des capacités similaires pour devenir la plate-forme de référence pour les constructeurs d'IA. Au cours des 3 à 6 prochains mois, en raison de l'énorme potentiel de marché de ces outils, d'autres plates-formes devraient lancer des outils similaires.

** Actuellement, Vercel se concentre davantage sur le déploiement et les services LLM, car cela correspond mieux à leur produit de base historique, mais à long terme, il est plus logique d'étendre le SDK AI. **

Bien que LangSmith ne semble pas encore profondément impliqué dans la technologie embarquée, il semble y avoir de nombreuses intersections naturelles dans ce domaine, avec des différences par rapport aux nombreux fournisseurs embarqués qui proposent des interfaces utilisateur intégrées. Des écosystèmes tels que LlamaIndex bénéficieraient de ce type de développement de produits, mais la question est de savoir s'ils peuvent rester différenciés dans un espace problématique similaire.

Pourtant, il est agréable de voir que LangSmith veut toujours se connecter avec autant d'outils que possible. Dans le billet de blog publié, ils mentionnent l'intégration avec OpenAI, ainsi que plusieurs fournisseurs de réglage fin, qui permettront aux développeurs d'exporter des données et de s'entraîner directement. Il semble que ces types d'intégrations apporteront non seulement beaucoup d'éloges aux développeurs, mais au fil du temps serviront également de légère barrière de protection (il n'est pas toujours facile de connecter divers outils).

**03. Comment LangSmith s'est-il développé ? **

L'auteur veut surtout qu'il soit extensible. Parce que si LangSmith peut être intégré à d'autres applications et services, sa portée pourrait croître de façon exponentielle. Par exemple, permettre aux développeurs de se connecter avec des comptes LangChain et de surveiller leurs LLM sur Vercel, combiné avec le SDK AI et les informations de déploiement, serait très précieux.

**Que faut-il pour maintenir la différenciation à long terme ? **

L'auteur est très enthousiasmé par LangSmith et pense qu'il résout une série de problèmes réels rencontrés par les développeurs et les constructeurs de produits lorsqu'ils tentent de passer en production. La vraie question à long terme demeure : "Y a-t-il suffisamment de contenu pour construire une entreprise compétitive à long terme". **

Mais l'auteur n'a pas de réponse claire maintenant.L'idée générale maintenant est que beaucoup des fonctions actuelles de LangSmith sont des conditions nécessaires pour les développeurs. La plupart des fournisseurs de LLM espèrent intégrer des fonctionnalités similaires dans leurs plates-formes à l'avenir. Mais cela ne signifie pas que LangSmith ne peut pas réussir. Il suffit de regarder Terraform de HashiCorp, la colle qui relie tous les fournisseurs de cloud et résout un problème suffisamment important pour devenir une entreprise publique. Cependant, LangSmith doit continuer à étendre sa portée afin de rivaliser avec plusieurs fournisseurs et un écosystème d'autres outils.

Les références