Le Web3 n'a pas réussi à renverser le Web2, mais la nouvelle pile de développement à grand modèle permet aux développeurs de passer de l'ère du « cloud natif » à une nouvelle pile technologique d'IA.
Les ingénieurs prompts ne seront peut-être pas en mesure de toucher les nerfs des développeurs pour se précipiter vers de grands modèles, mais les mots des chefs de produit ou des dirigeants : un « agent » peut-il être développé, une « chaîne » peut-elle être implémentée et « Quelle base de données vectorielles utiliser " Les étudiants en technologie de pilotage dans les principales sociétés d'applications de grands modèles grand public surmontent les difficultés liées au développement de l'IA.
Alors, quelles sont les couches de la pile technologique émergente ? Où est la partie la plus difficile ? Cet article vous amènera à le découvrir.
La pile technologique doit être mise à jour et les développeurs inaugurent l'ère des ingénieurs en IA.
Au cours de la dernière année, l’émergence d’outils tels que LangChain et LlamaIndex a permis à l’écosystème de développeurs d’applications d’IA de mûrir. Il existe même désormais un terme pour décrire les développeurs axés sur l'intelligence artificielle : « ingénieurs en IA », qui est la prochaine étape par rapport aux « ingénieurs de pointe », selon son défenseur Shawn @swyx Wang. Il a également créé un graphique qui visualise la place des ingénieurs en IA dans l’écosystème plus large de l’IA :
Source de l'image : swyx
Les grands modèles linguistiques (LLM) constituent la technologie de base des ingénieurs en IA. Ce n'est pas un hasard si LangChain et LlamaIndex sont des outils qui étendent et complètent le LLM. Mais quels autres outils sont disponibles pour cette nouvelle génération de développeurs ?
Jusqu'à présent, le meilleur diagramme que j'ai vu de la pile LLM provient de la société de capital-risque Andreessen Horowitz (a16z). Voici ce qu'il dit à propos de la « pile d'applications LLM » :
Source de l'image : a16z
C'est vrai, le niveau supérieur reste les données.
De toute évidence, la chose la plus importante dans la pile technologique LLM, ce sont les données. Dans le diagramme de a16z, il s'agit de la couche supérieure. C'est dans les « modèles intégrés » qu'intervient le LLM : vous pouvez choisir parmi OpenAI, Cohere, Hugging Face ou des dizaines d'autres options LLM, y compris le LLM open source de plus en plus populaire.
Mais avant même d'utiliser LLM, un « pipeline de données » doit être mis en place : il répertorie Databricks et Airflow comme deux exemples, ou les données peuvent être traitées « non structurées ». Cela s'inscrit également dans le cycle des données et peut aider les entreprises à « nettoyer » ou simplement à organiser les données avant de les saisir dans un LLM personnalisé. Les sociétés de « data intelligence » comme Alation fournissent ce type de service – qui ressemble un peu à des outils tels que la « business intelligence » plus connus dans la pile technologique informatique.
La dernière partie de la couche de données est la base de données vectorielles récemment célèbre pour stocker et traiter les données LLM. Selon la définition de Microsoft, il s'agit d'une « base de données qui stocke les données sous forme de vecteurs de grande dimension, qui sont des représentations mathématiques de caractéristiques ou d'attributs. » Les données sont stockées sous forme de vecteurs grâce à une technologie appelée « intégration ».
Pinecone, principal fournisseur de bases de données vectorielles, a noté lors d'une discussion avec les médias que les outils de Pinecone sont souvent utilisés avec des outils de pipeline de données tels que Databricks. Dans ce cas, les données résident généralement ailleurs (par exemple, un lac de données), qui sont ensuite transformées en intégration via un modèle d'apprentissage automatique. Une fois les données traitées et fragmentées, les vecteurs résultants sont envoyés à Pinecone.
Conseils et requêtes
Les deux couches suivantes peuvent être résumées sous forme d'invites et de requêtes - c'est là que l'application d'IA s'interface avec LLM et (éventuellement) d'autres outils de données. A16z positionne LangChain et LlamaIndex comme des « frameworks d'orchestration », ce qui signifie que les développeurs peuvent utiliser ces outils une fois qu'ils savent quel LLM ils utilisent.
Selon a16z, les frameworks d'orchestration comme LangChain et LlamaIndex « éliminent de nombreux détails de la liaison rapide », ce qui signifie interroger et gérer les données entre l'application et le LLM. Ce processus d'orchestration comprend l'interface avec des API externes, la récupération des données contextuelles de la base de données vectorielles et la gestion de la mémoire sur plusieurs appels LLM. La case la plus intéressante du graphique d'a16z est « Playground », qui comprend OpenAI, nat.dev et Humanloop.
A16z ne l'a pas exactement défini dans le billet de blog, mais nous pouvons en déduire que l'outil "playground" aide les développeurs à réaliser ce qu'A16z appelle le "cue jiu-jitsu". Dans ces endroits, les développeurs peuvent expérimenter diverses techniques d'invite.
Humanloop est une entreprise britannique dont la plateforme propose un « espace de travail collaboratif ». Il se décrit en outre comme une « boîte à outils de développement complète pour les fonctionnalités LLM de production ». Donc, fondamentalement, cela vous permet d'essayer des trucs LLM, puis de les déployer dans votre application si cela fonctionne.
Exploitation du pipeline : LLMOps
La chaîne de montage pour la production de grands modèles se précise progressivement. À droite de la zone d'orchestration se trouvent un certain nombre de zones d'opération, notamment la mise en cache et la vérification LLM. Il existe également une gamme de services cloud et API liés au LLM, notamment des référentiels d'API ouverts tels que Hugging Face et des fournisseurs d'API propriétaires tels qu'OpenAI.
Il s'agit probablement de l'endroit le plus similaire dans la pile technologique de développement auquel nous sommes habitués à l'ère du « cloud natif », et ce n'est pas un hasard si de nombreuses entreprises DevOps ont ajouté l'intelligence artificielle à leur liste de produits. En mai, j'ai parlé avec le PDG de Harness, Jyoti Bansal. Harness gère une « plate-forme de livraison de logiciels » qui se concentre sur la partie « CD » du processus CI/CD.
Bansai m'a dit que l'IA pouvait alléger les tâches fastidieuses et répétitives impliquées dans le cycle de vie de la livraison de logiciels, depuis la génération de spécifications basées sur les fonctionnalités existantes jusqu'à l'écriture de code. De plus, il a déclaré que l'IA peut automatiser les révisions de code, les tests de vulnérabilité, les corrections de bugs et même créer des pipelines CI/CD pour les builds et les déploiements. Selon une autre conversation que j'ai eue en mai, l'IA modifie également la productivité des développeurs. Trisha Gee de l'outil d'automatisation de construction Gradle m'a dit que l'IA peut accélérer le développement en réduisant le temps consacré aux tâches répétitives, comme l'écriture de code passe-partout, et en permettant aux développeurs de se concentrer sur la situation dans son ensemble, comme s'assurer que le code répond aux besoins de l'entreprise.
Le Web3 a disparu, une grande pile de développement de modèles arrive
Dans la pile technologique émergente de développement LLM, nous voyons une série de nouveaux types de produits, tels que des cadres d'orchestration (LangChain et LlamaIndex), des bases de données vectorielles et des plates-formes « de terrain de jeu » telles que Humanloop. Tous ces éléments étendent et/ou complètent la technologie de base sous-jacente de cette époque : les grands modèles de langage.
Tout comme la montée en puissance des outils cloud natifs tels que Spring Cloud et Kubernetes au cours des années précédentes. Cependant, à l'heure actuelle, presque toutes les grandes, petites et grandes entreprises de l'ère du cloud natif font de leur mieux pour adapter leurs outils à l'ingénierie de l'IA, ce qui sera très bénéfique pour le développement futur de la pile technologique LLM.
Oui, cette fois, le grand modèle semble être « posé sur les épaules de géants ». Les meilleures innovations en matière de technologie informatique reposent toujours sur les fondations précédentes. C'est peut-être pour cela que la révolution « Web3 » a échoué : il ne s'agissait pas tant de s'appuyer sur la génération précédente que de tenter de l'usurper.
Il est clair que la pile technologique LLM semble avoir réussi, c'est un pont entre l'ère du développement cloud et un nouvel écosystème de développeurs basé sur l'IA.
Liens de référence :
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La grande pile de développement de modèles est prête !
Auteur | Richard MacManus
Planification | Commentaires
Source丨Pile technologique 51CTO
Le Web3 n'a pas réussi à renverser le Web2, mais la nouvelle pile de développement à grand modèle permet aux développeurs de passer de l'ère du « cloud natif » à une nouvelle pile technologique d'IA.
Les ingénieurs prompts ne seront peut-être pas en mesure de toucher les nerfs des développeurs pour se précipiter vers de grands modèles, mais les mots des chefs de produit ou des dirigeants : un « agent » peut-il être développé, une « chaîne » peut-elle être implémentée et « Quelle base de données vectorielles utiliser " Les étudiants en technologie de pilotage dans les principales sociétés d'applications de grands modèles grand public surmontent les difficultés liées au développement de l'IA.
Alors, quelles sont les couches de la pile technologique émergente ? Où est la partie la plus difficile ? Cet article vous amènera à le découvrir.
La pile technologique doit être mise à jour et les développeurs inaugurent l'ère des ingénieurs en IA.
Au cours de la dernière année, l’émergence d’outils tels que LangChain et LlamaIndex a permis à l’écosystème de développeurs d’applications d’IA de mûrir. Il existe même désormais un terme pour décrire les développeurs axés sur l'intelligence artificielle : « ingénieurs en IA », qui est la prochaine étape par rapport aux « ingénieurs de pointe », selon son défenseur Shawn @swyx Wang. Il a également créé un graphique qui visualise la place des ingénieurs en IA dans l’écosystème plus large de l’IA :
Les grands modèles linguistiques (LLM) constituent la technologie de base des ingénieurs en IA. Ce n'est pas un hasard si LangChain et LlamaIndex sont des outils qui étendent et complètent le LLM. Mais quels autres outils sont disponibles pour cette nouvelle génération de développeurs ?
Jusqu'à présent, le meilleur diagramme que j'ai vu de la pile LLM provient de la société de capital-risque Andreessen Horowitz (a16z). Voici ce qu'il dit à propos de la « pile d'applications LLM » :
C'est vrai, le niveau supérieur reste les données.
De toute évidence, la chose la plus importante dans la pile technologique LLM, ce sont les données. Dans le diagramme de a16z, il s'agit de la couche supérieure. C'est dans les « modèles intégrés » qu'intervient le LLM : vous pouvez choisir parmi OpenAI, Cohere, Hugging Face ou des dizaines d'autres options LLM, y compris le LLM open source de plus en plus populaire.
Mais avant même d'utiliser LLM, un « pipeline de données » doit être mis en place : il répertorie Databricks et Airflow comme deux exemples, ou les données peuvent être traitées « non structurées ». Cela s'inscrit également dans le cycle des données et peut aider les entreprises à « nettoyer » ou simplement à organiser les données avant de les saisir dans un LLM personnalisé. Les sociétés de « data intelligence » comme Alation fournissent ce type de service – qui ressemble un peu à des outils tels que la « business intelligence » plus connus dans la pile technologique informatique.
La dernière partie de la couche de données est la base de données vectorielles récemment célèbre pour stocker et traiter les données LLM. Selon la définition de Microsoft, il s'agit d'une « base de données qui stocke les données sous forme de vecteurs de grande dimension, qui sont des représentations mathématiques de caractéristiques ou d'attributs. » Les données sont stockées sous forme de vecteurs grâce à une technologie appelée « intégration ».
Pinecone, principal fournisseur de bases de données vectorielles, a noté lors d'une discussion avec les médias que les outils de Pinecone sont souvent utilisés avec des outils de pipeline de données tels que Databricks. Dans ce cas, les données résident généralement ailleurs (par exemple, un lac de données), qui sont ensuite transformées en intégration via un modèle d'apprentissage automatique. Une fois les données traitées et fragmentées, les vecteurs résultants sont envoyés à Pinecone.
Conseils et requêtes
Les deux couches suivantes peuvent être résumées sous forme d'invites et de requêtes - c'est là que l'application d'IA s'interface avec LLM et (éventuellement) d'autres outils de données. A16z positionne LangChain et LlamaIndex comme des « frameworks d'orchestration », ce qui signifie que les développeurs peuvent utiliser ces outils une fois qu'ils savent quel LLM ils utilisent.
Selon a16z, les frameworks d'orchestration comme LangChain et LlamaIndex « éliminent de nombreux détails de la liaison rapide », ce qui signifie interroger et gérer les données entre l'application et le LLM. Ce processus d'orchestration comprend l'interface avec des API externes, la récupération des données contextuelles de la base de données vectorielles et la gestion de la mémoire sur plusieurs appels LLM. La case la plus intéressante du graphique d'a16z est « Playground », qui comprend OpenAI, nat.dev et Humanloop.
A16z ne l'a pas exactement défini dans le billet de blog, mais nous pouvons en déduire que l'outil "playground" aide les développeurs à réaliser ce qu'A16z appelle le "cue jiu-jitsu". Dans ces endroits, les développeurs peuvent expérimenter diverses techniques d'invite.
Humanloop est une entreprise britannique dont la plateforme propose un « espace de travail collaboratif ». Il se décrit en outre comme une « boîte à outils de développement complète pour les fonctionnalités LLM de production ». Donc, fondamentalement, cela vous permet d'essayer des trucs LLM, puis de les déployer dans votre application si cela fonctionne.
Exploitation du pipeline : LLMOps
La chaîne de montage pour la production de grands modèles se précise progressivement. À droite de la zone d'orchestration se trouvent un certain nombre de zones d'opération, notamment la mise en cache et la vérification LLM. Il existe également une gamme de services cloud et API liés au LLM, notamment des référentiels d'API ouverts tels que Hugging Face et des fournisseurs d'API propriétaires tels qu'OpenAI.
Il s'agit probablement de l'endroit le plus similaire dans la pile technologique de développement auquel nous sommes habitués à l'ère du « cloud natif », et ce n'est pas un hasard si de nombreuses entreprises DevOps ont ajouté l'intelligence artificielle à leur liste de produits. En mai, j'ai parlé avec le PDG de Harness, Jyoti Bansal. Harness gère une « plate-forme de livraison de logiciels » qui se concentre sur la partie « CD » du processus CI/CD.
Bansai m'a dit que l'IA pouvait alléger les tâches fastidieuses et répétitives impliquées dans le cycle de vie de la livraison de logiciels, depuis la génération de spécifications basées sur les fonctionnalités existantes jusqu'à l'écriture de code. De plus, il a déclaré que l'IA peut automatiser les révisions de code, les tests de vulnérabilité, les corrections de bugs et même créer des pipelines CI/CD pour les builds et les déploiements. Selon une autre conversation que j'ai eue en mai, l'IA modifie également la productivité des développeurs. Trisha Gee de l'outil d'automatisation de construction Gradle m'a dit que l'IA peut accélérer le développement en réduisant le temps consacré aux tâches répétitives, comme l'écriture de code passe-partout, et en permettant aux développeurs de se concentrer sur la situation dans son ensemble, comme s'assurer que le code répond aux besoins de l'entreprise.
Le Web3 a disparu, une grande pile de développement de modèles arrive
Dans la pile technologique émergente de développement LLM, nous voyons une série de nouveaux types de produits, tels que des cadres d'orchestration (LangChain et LlamaIndex), des bases de données vectorielles et des plates-formes « de terrain de jeu » telles que Humanloop. Tous ces éléments étendent et/ou complètent la technologie de base sous-jacente de cette époque : les grands modèles de langage.
Tout comme la montée en puissance des outils cloud natifs tels que Spring Cloud et Kubernetes au cours des années précédentes. Cependant, à l'heure actuelle, presque toutes les grandes, petites et grandes entreprises de l'ère du cloud natif font de leur mieux pour adapter leurs outils à l'ingénierie de l'IA, ce qui sera très bénéfique pour le développement futur de la pile technologique LLM.
Oui, cette fois, le grand modèle semble être « posé sur les épaules de géants ». Les meilleures innovations en matière de technologie informatique reposent toujours sur les fondations précédentes. C'est peut-être pour cela que la révolution « Web3 » a échoué : il ne s'agissait pas tant de s'appuyer sur la génération précédente que de tenter de l'usurper.
Il est clair que la pile technologique LLM semble avoir réussi, c'est un pont entre l'ère du développement cloud et un nouvel écosystème de développeurs basé sur l'IA.
Liens de référence :