Source : AI New Intelligence (en anglais seulement)
Source de l’image : Générée par Unbounded AI
grand modèle + modèle plug-in est très probablement l’une des réponses à la commercialisation des grands modèles d’IA.
Le 17 octobre, lors de la « 2023 Baidu World Conference », Robin Li a officiellement publié la dernière version du modèle Wenxin 4.0.
Pendant un certain temps, diverses évaluations ont afflué, et les principaux médias scientifiques et technologiques ont effectué des évaluations globales du modèle sous les aspects de la compréhension, de la génération, de la logique et de la capacité de mémoire.
Cependant, en plus du Wenxin 4.0 dont on a parlé à plusieurs reprises, une autre fonction un peu discrète lors de la conférence de presse a également montré froidement la tendance de développement des futurs grands modèles.
**Il s’agit de la fonction plug-in de Baidu Wenxin 4.0. **
À l’heure actuelle, Wenxin 4.0 dispose de 8 plug-ins à lui seul, y compris une ombre de flux miroir (texte à vidéo), disons peinture d’image (regarder des images et parler), E Yan Yi Tu (analyse visuelle de données) et ainsi de suite.
Ces plugins peuvent également être librement combinés pour accomplir des tâches plus complexes.
De plus, la plate-forme de développement de plug-ins pour grands modèles de Baidu Wenxin, Lingjing Matrix Platform, a été appliquée par 27 000 développeurs pendant un mois après son lancement, et les développeurs individuels représentent plus de 30 %.
Alors, pourquoi Baidu attache-t-il autant d’importance aux plugins ? Et qu’est-ce que la prospérité de l’écosystème plug-in signifie pour le grand modèle ?
Plugin, laissez le grand modèle comme une aile de tigre
Dans une certaine mesure, les plug-ins sont équivalents à une autre « killer app » cachée pour les grands modèles. "
Sans améliorer l’algorithme et les paramètres du modèle, il est possible d’étendre et d’améliorer considérablement les capacités du modèle à l’aide d’un simple complément.
Auparavant, GPT-4 a obtenu l’effet de renforcer le tigre grâce à la fonction plug-in. Le monde extérieur a même appelé cette augmentationL’arrivée de GPT-4.5.
Le 9 juillet de cette année, OpenAI a annoncé que le plugin officiel Code Interpreter (Code Interpreter) sera disponible pour tous les utilisateurs de ChatGPT Plus via le panneau bêta dans les paramètres.
Alors, que peut faire exactement Code Interpreter ?
En termes simples, cela équivaut à une expansion majeure de la limite de capacité de GPT-4, permettant à GPT-4 de faire beaucoup de choses qui n’étaient pas possibles auparavant.
Par exemple, après le lancement du plugin, l’utilisateur de Twitter @歸藏 a fait la démonstration du processus d’analyse des données des abonnés à la newsletter avec un analyseur de code.
L’analyseur de code n’a pas besoin d’utiliser un logiciel compliqué, de l’analyse des données à la cartographie, il suffit de dire quelque chose d’aussi direct : « Je veux analyser la tendance de la croissance des abonnés au cours du dernier mois. »
En outre, les gens peuvent également utiliser directement la « parole humaine » pour permettre à GPT de créer des images GIF visuelles à partir de données.
Par exemple, si les gens veulent créer une icône géographique d’un phare américain, il leur suffit de télécharger les données de localisation géographique, et GPT peut automatiquement créer le GIF suivant via la fonction de plug-in.
Et même si vous souhaitez générer des vidéos à partir d’images, CodeInterpreter peut le faire du bout des doigts. Après avoir activé le plugin, dites simplement à GPT : « Je veux utiliser cette image pour faire une vidéo panoramique de droite à gauche. » "
GPT réalisera automatiquement une vidéo des images générées par Midjourney en fonction de vos besoins.
L’internaute ChaseLean utilise ChatGPT pour générer une vidéo de hamburger
Même les personnes ayant peu d’expérience en code et en programmation peuvent utiliser le plugin CodeInterpreter pour créer un jeu simple en 5 minutes.
Avec seulement quelques invites, un mini-jeu simple est complet
En général, CodeInterpreter inclut des fonctions qui couvrent de nombreuses tâches différentes, telles que le franchissement des barrières modales, la conversion de formes matérielles et l’analyse de données.
La raison pour laquelle le plugin a une telle fonction « défiant le ciel » est qu’il brise la barrière entre le langage naturel et le langage de code. **
Grâce à lui, les utilisateurs peuvent découper les processus de codage complexes et effectuer directement diverses tâches inter-domaines et intermodales grâce à l’interaction en langage naturel (ce que l’on appelle la « parole humaine »).
Pour cette raison, certaines personnes se sont exclamées que ce plug-in qui double les capacités du modèle est l’arrivée de GPT-4.5.
Par conséquent, il n’est pas difficile de comprendre pourquoi Baidu attache autant d’importance au développement des plugins.
Pour les grandes équipes de développement de modèles, il est impossible et irréaliste de faire en sorte qu’un modèle inclue tous les besoins des utilisateurs. Parce que dans le processus d’évolution de l’IA, les utilisateurs généreront inévitablement plus d’idées et de besoins nouveaux et imprévisibles.
À l’heure actuelle, une variété de plug-ins flexibles sont devenus une « prothèse » qui étend la capacité des grands modèles.
Les plugins fleurissent
En plus des plugins natifs fournis avec OpenAI, d’autres plugins ont émergé sur la piste actuelle de l’IA.
Ici, nous allons faire une énumération simple pour voir ce que divers plugins d’extension avec différentes fonctions apporteront aux modèles plus grands.
ClavardagePDF
ChatPDF est un puissant outil PDF en ligne, les utilisateurs n’ont qu’à télécharger des fichiers PDF sur ChatPDF, ChatPDF peut rapidement utiliser l’IA pour analyser le contenu du fichier PDF et générer des réponses précises pour répondre aux questions des utilisateurs.
En plus de la fonction intelligente de questions-réponses, ChatPDF propose également l’édition, la conversion et la compression de fichiers en ligne. Si les utilisateurs souhaitent ajouter ou supprimer des éléments d’un fichier PDF, ou modifier du texte ou des images, la fonction d’édition en ligne de ChatPDF sera très utile.
### Monica
Un plugin de barre latérale de page Web qui se connecte à l’interface API de ChatGPT, et lorsqu’il est lancé, Monica peut utiliser la capacité de ChatGPT à interpréter n’importe quelle information ou texte, ou à discuter du contenu de la page, et à fournir des traductions lors de la navigation sur n’importe quel site Web.
Il convient de mentionner qu’en plus de ChatGPT, Monica intègre également les interfaces d’autres IA telles que Claued et Bard, et si cela ne suffit pas, les utilisateurs peuvent également rechercher et ajouter d’autres outils d’IA par eux-mêmes dans la bibliothèque d’IA à laquelle ils accèdent, afin qu’ils puissent répondre à leurs divers besoins grâce à différentes IA.
### ChatHub
Il s’agit d’un plugin qui vous permet d’utiliser différents chatbots dans une seule application, qui prend actuellement en charge ChatGPT et le nouveau BingChat, et intégrera d’autres chatbots comme Google Bard à l’avenir. Les utilisateurs peuvent communiquer avec plusieurs chatbots en même temps et comparer facilement leurs réponses.
### NoteGPT
Il s’agit d’un plugin qui utilise ChatGPT pour résumer des vidéos. Prise en charge de la prise de captures d’écran et de la prise de notes sur les sites Web vidéo en un seul clic.
Après avoir lancé le plugin, les utilisateurs peuvent rapidement utiliser ChatGPT pour obtenir des informations clés sur le contenu vidéo et générer des résumés et des résumés lorsqu’ils sont confrontés à certaines longues vidéos, tout en prenant des captures d’écran ou en enregistrant des notes horodatées tout en regardant des vidéos en un seul clic.
### Assistant IA Smart Star
Il s’agit du premier produit de modèle cognitif d’IA en Chine qui prend en charge les plug-ins, et Zhixing AI a actuellement accès à 7 plug-ins, y compris la requête météo, la recherche Bing, Wolfram, etc., qui peuvent rapidement fournir des informations météorologiques en temps réel, répondre à des problèmes mathématiques avancés et effectuer une analyse financière approfondie.
En comparaison, ChatGPT ne peut utiliser que 3 plugins à la fois, tandis que Smartstar AI n’a pas de limite sur le nombre de plugins.
### WPSAI
Il est équivalent à la version domestique de Microsoft365 Copilot, avec l’abréviation, l’expansion, la continuation, la modification du style d’écriture, la synthèse et le résumé des principaux points de l’article, la génération rapide de contours PPT, la production en un clic de modèles PPT, le traitement intelligent des tableaux Excel et d’autres fonctions, et dispose de nouvelles fonctionnalités d’interaction vocale, qui peuvent être utilisées pour le bureau mobile sur des terminaux à petit écran tels que les téléphones mobiles.
Ambition dans le plugin
En plus des différents types de fonctions de plug-ins tiers mentionnés ci-dessus, les grands géants de la technologie ont également montré une dynamique en direction des plug-ins.
Par exemple, la plate-forme de plug-ins Microsoft AI fournit une série d’outils et de services qui permettent aux développeurs d’utiliser ChatGPT de Microsoft et le nouveau Bing pour créer et déployer divers plug-ins d’IA, notamment des classes de modèles de capacité, des classes de données, des classes d’applications, etc. Ses plug-ins couvrent plusieurs scénarios et produits, tels que Dynamics 365, Microsoft 365, etc. **
En Chine, Baidu a également lancé la plate-forme « Spirit Matrix », connue pour permettre à tout le monde de développer des plug-ins d’IA, en essayant de construire un énorme écosystème de plug-ins basé sur les mots de Wen Xin.
Derrière ce grand aménagement, au moins les intentions des géants se dévoilent sous deux aspects :
**1. Prendre les plug-ins comme un point de rupture pour ouvrir la voie à la commercialisation à grande échelle ; **
**2. Avec un énorme écosystème de plug-ins, construisez des barrières logicielles comme CUDA de NVIDIA. **
En ce qui concerne le premier point, pourquoi le modèle grand modèle + modèle plug-in est-il le plus susceptible d’être la réponse à la commercialisation à grande échelle de l’IA ?
La raison est en fait très simple, le grand modèle précédent, qu’il s’agisse de texte d’IA, de dessin, son champ d’activation ne peut être limité qu’à une seule portée étroite.
Un grand modèle peut avoir un bon niveau d’écriture, mais en réalité, comment résoudre les tâches multi-catégories et spécifiques de comparaison de matières premières et d’analyse financière ?
Les besoins des gens dans la vie sont divers et à plusieurs niveaux, de ce point de vue, lorsque le grand modèle brise la limitation d’un seul mode et répond à cette demande diversifiée, c’est le début de sa véritable commercialisation à grande échelle. **
Et les fonctions plug-in de chaque externe sont équivalentes à celles des grands modèles ? « L’œil » et la « main » font qu’il ne se limite plus à un seul champ et à la portée de la modalité.
À l’avenir, les utilisateurs n’auront peut-être besoin que d’une grande entrée modèle pour effectuer des tâches telles que la réservation de billets, la commande de nourriture, la commande de nourriture et la commande de plats à emporter.
Cela nous amène également au deuxième point, c’est-à-dire la barrière écologique dominée par les plug-ins. **
Dans la voie actuelle des grands modèles, bien qu’il existe d’innombrables applications d’IA dérivées au pays et à l’étranger, alors qu’une partie considérable d’entre elles sont encore des produits « shell » basés sur ChatGPT.
Cette réalité se reflète également d’un côté : dans le choix des grands modèles, la plupart des développeurs et des utilisateurs ne reconnaissent encore que les produits de tête les plus solides.
A16Z, une institution d’investissement bien connue, a annoncé le mois dernier qu’une partie considérable des 50 sites Web d’IA les plus visités par le trafic sont des applications « shell »
En d’autres termes, pour les grands modèles, tant que l’utilisateur rencontre celui qui est le meilleur à utiliser, il est moins susceptible d’utiliser l’autre.
Dans cette logique, si de nombreuses entreprises ne veulent pas tomber dans la situation de répétition de la roue, le meilleur choix doit être de se concentrer sur le côté applicatif.
L’expérience historique montre que dans la concurrence des logiciels et des applications, qui peut fournir aux développeurs un environnement de développement à bas seuil et convivial, qui peut prendre l’initiative d’établir ses propres barrières écologiques.
À cet égard, on peut dire que CUDA de NVIDIA en est un excellent exemple.
Après une évolution continue, CUDA a formé un écosystème riche et mature. NVIDIA a également réussi à établir une liaison logicielle et matérielle approfondie : avec son logiciel, vous devez acheter son matériel, et l’achat de son matériel à l’aide de CUDA peut être deux fois plus efficace.
À l’heure actuelle, la disposition des grands géants des plug-ins est également assez similaire à celle de CUDA de NVIDIA : si les développeurs ou les utilisateurs veulent réaliser un développement d’applications d’IA rapide et à bas seuil, ils doivent se baser sur les capacités de leurs grands modèles.
À son tour, la prospérité de l’écologie applicative renforcera la dépendance des gens à l’égard de son grand modèle.
Celui qui prendra l’initiative de réaliser un tel écosystème qui se promeut et se complète mutuellement avec des applications sera le premier à ériger ses propres barrières écologiques à l’ère de l’IA.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Plugins : des applications natives alternatives à l’IA avec la barrière à l’entrée la plus faible
Source : AI New Intelligence (en anglais seulement)
Le 17 octobre, lors de la « 2023 Baidu World Conference », Robin Li a officiellement publié la dernière version du modèle Wenxin 4.0.
Pendant un certain temps, diverses évaluations ont afflué, et les principaux médias scientifiques et technologiques ont effectué des évaluations globales du modèle sous les aspects de la compréhension, de la génération, de la logique et de la capacité de mémoire.
**Il s’agit de la fonction plug-in de Baidu Wenxin 4.0. **
À l’heure actuelle, Wenxin 4.0 dispose de 8 plug-ins à lui seul, y compris une ombre de flux miroir (texte à vidéo), disons peinture d’image (regarder des images et parler), E Yan Yi Tu (analyse visuelle de données) et ainsi de suite.
De plus, la plate-forme de développement de plug-ins pour grands modèles de Baidu Wenxin, Lingjing Matrix Platform, a été appliquée par 27 000 développeurs pendant un mois après son lancement, et les développeurs individuels représentent plus de 30 %.
Alors, pourquoi Baidu attache-t-il autant d’importance aux plugins ? Et qu’est-ce que la prospérité de l’écosystème plug-in signifie pour le grand modèle ?
Plugin, laissez le grand modèle comme une aile de tigre
Dans une certaine mesure, les plug-ins sont équivalents à une autre « killer app » cachée pour les grands modèles. "
Sans améliorer l’algorithme et les paramètres du modèle, il est possible d’étendre et d’améliorer considérablement les capacités du modèle à l’aide d’un simple complément.
Auparavant, GPT-4 a obtenu l’effet de renforcer le tigre grâce à la fonction plug-in. Le monde extérieur a même appelé cette augmentationL’arrivée de GPT-4.5.
Alors, que peut faire exactement Code Interpreter ?
En termes simples, cela équivaut à une expansion majeure de la limite de capacité de GPT-4, permettant à GPT-4 de faire beaucoup de choses qui n’étaient pas possibles auparavant.
Par exemple, après le lancement du plugin, l’utilisateur de Twitter @歸藏 a fait la démonstration du processus d’analyse des données des abonnés à la newsletter avec un analyseur de code.
L’analyseur de code n’a pas besoin d’utiliser un logiciel compliqué, de l’analyse des données à la cartographie, il suffit de dire quelque chose d’aussi direct : « Je veux analyser la tendance de la croissance des abonnés au cours du dernier mois. »
Par exemple, si les gens veulent créer une icône géographique d’un phare américain, il leur suffit de télécharger les données de localisation géographique, et GPT peut automatiquement créer le GIF suivant via la fonction de plug-in.
GPT réalisera automatiquement une vidéo des images générées par Midjourney en fonction de vos besoins.
Même les personnes ayant peu d’expérience en code et en programmation peuvent utiliser le plugin CodeInterpreter pour créer un jeu simple en 5 minutes.
En général, CodeInterpreter inclut des fonctions qui couvrent de nombreuses tâches différentes, telles que le franchissement des barrières modales, la conversion de formes matérielles et l’analyse de données.
La raison pour laquelle le plugin a une telle fonction « défiant le ciel » est qu’il brise la barrière entre le langage naturel et le langage de code. **
Grâce à lui, les utilisateurs peuvent découper les processus de codage complexes et effectuer directement diverses tâches inter-domaines et intermodales grâce à l’interaction en langage naturel (ce que l’on appelle la « parole humaine »).
Pour cette raison, certaines personnes se sont exclamées que ce plug-in qui double les capacités du modèle est l’arrivée de GPT-4.5.
Pour les grandes équipes de développement de modèles, il est impossible et irréaliste de faire en sorte qu’un modèle inclue tous les besoins des utilisateurs. Parce que dans le processus d’évolution de l’IA, les utilisateurs généreront inévitablement plus d’idées et de besoins nouveaux et imprévisibles.
À l’heure actuelle, une variété de plug-ins flexibles sont devenus une « prothèse » qui étend la capacité des grands modèles.
Les plugins fleurissent
En plus des plugins natifs fournis avec OpenAI, d’autres plugins ont émergé sur la piste actuelle de l’IA.
Ici, nous allons faire une énumération simple pour voir ce que divers plugins d’extension avec différentes fonctions apporteront aux modèles plus grands.
ClavardagePDF
ChatPDF est un puissant outil PDF en ligne, les utilisateurs n’ont qu’à télécharger des fichiers PDF sur ChatPDF, ChatPDF peut rapidement utiliser l’IA pour analyser le contenu du fichier PDF et générer des réponses précises pour répondre aux questions des utilisateurs.
En plus de la fonction intelligente de questions-réponses, ChatPDF propose également l’édition, la conversion et la compression de fichiers en ligne. Si les utilisateurs souhaitent ajouter ou supprimer des éléments d’un fichier PDF, ou modifier du texte ou des images, la fonction d’édition en ligne de ChatPDF sera très utile.
Un plugin de barre latérale de page Web qui se connecte à l’interface API de ChatGPT, et lorsqu’il est lancé, Monica peut utiliser la capacité de ChatGPT à interpréter n’importe quelle information ou texte, ou à discuter du contenu de la page, et à fournir des traductions lors de la navigation sur n’importe quel site Web.
Il convient de mentionner qu’en plus de ChatGPT, Monica intègre également les interfaces d’autres IA telles que Claued et Bard, et si cela ne suffit pas, les utilisateurs peuvent également rechercher et ajouter d’autres outils d’IA par eux-mêmes dans la bibliothèque d’IA à laquelle ils accèdent, afin qu’ils puissent répondre à leurs divers besoins grâce à différentes IA.
Il s’agit d’un plugin qui vous permet d’utiliser différents chatbots dans une seule application, qui prend actuellement en charge ChatGPT et le nouveau BingChat, et intégrera d’autres chatbots comme Google Bard à l’avenir. Les utilisateurs peuvent communiquer avec plusieurs chatbots en même temps et comparer facilement leurs réponses.
Il s’agit d’un plugin qui utilise ChatGPT pour résumer des vidéos. Prise en charge de la prise de captures d’écran et de la prise de notes sur les sites Web vidéo en un seul clic.
Après avoir lancé le plugin, les utilisateurs peuvent rapidement utiliser ChatGPT pour obtenir des informations clés sur le contenu vidéo et générer des résumés et des résumés lorsqu’ils sont confrontés à certaines longues vidéos, tout en prenant des captures d’écran ou en enregistrant des notes horodatées tout en regardant des vidéos en un seul clic.
Il s’agit du premier produit de modèle cognitif d’IA en Chine qui prend en charge les plug-ins, et Zhixing AI a actuellement accès à 7 plug-ins, y compris la requête météo, la recherche Bing, Wolfram, etc., qui peuvent rapidement fournir des informations météorologiques en temps réel, répondre à des problèmes mathématiques avancés et effectuer une analyse financière approfondie.
En comparaison, ChatGPT ne peut utiliser que 3 plugins à la fois, tandis que Smartstar AI n’a pas de limite sur le nombre de plugins.
Il est équivalent à la version domestique de Microsoft365 Copilot, avec l’abréviation, l’expansion, la continuation, la modification du style d’écriture, la synthèse et le résumé des principaux points de l’article, la génération rapide de contours PPT, la production en un clic de modèles PPT, le traitement intelligent des tableaux Excel et d’autres fonctions, et dispose de nouvelles fonctionnalités d’interaction vocale, qui peuvent être utilisées pour le bureau mobile sur des terminaux à petit écran tels que les téléphones mobiles.
Ambition dans le plugin
En plus des différents types de fonctions de plug-ins tiers mentionnés ci-dessus, les grands géants de la technologie ont également montré une dynamique en direction des plug-ins.
Par exemple, la plate-forme de plug-ins Microsoft AI fournit une série d’outils et de services qui permettent aux développeurs d’utiliser ChatGPT de Microsoft et le nouveau Bing pour créer et déployer divers plug-ins d’IA, notamment des classes de modèles de capacité, des classes de données, des classes d’applications, etc. Ses plug-ins couvrent plusieurs scénarios et produits, tels que Dynamics 365, Microsoft 365, etc. **
Derrière ce grand aménagement, au moins les intentions des géants se dévoilent sous deux aspects :
**1. Prendre les plug-ins comme un point de rupture pour ouvrir la voie à la commercialisation à grande échelle ; **
**2. Avec un énorme écosystème de plug-ins, construisez des barrières logicielles comme CUDA de NVIDIA. **
La raison est en fait très simple, le grand modèle précédent, qu’il s’agisse de texte d’IA, de dessin, son champ d’activation ne peut être limité qu’à une seule portée étroite.
Un grand modèle peut avoir un bon niveau d’écriture, mais en réalité, comment résoudre les tâches multi-catégories et spécifiques de comparaison de matières premières et d’analyse financière ?
Les besoins des gens dans la vie sont divers et à plusieurs niveaux, de ce point de vue, lorsque le grand modèle brise la limitation d’un seul mode et répond à cette demande diversifiée, c’est le début de sa véritable commercialisation à grande échelle. **
À l’avenir, les utilisateurs n’auront peut-être besoin que d’une grande entrée modèle pour effectuer des tâches telles que la réservation de billets, la commande de nourriture, la commande de nourriture et la commande de plats à emporter.
Cela nous amène également au deuxième point, c’est-à-dire la barrière écologique dominée par les plug-ins. **
Dans la voie actuelle des grands modèles, bien qu’il existe d’innombrables applications d’IA dérivées au pays et à l’étranger, alors qu’une partie considérable d’entre elles sont encore des produits « shell » basés sur ChatGPT.
Cette réalité se reflète également d’un côté : dans le choix des grands modèles, la plupart des développeurs et des utilisateurs ne reconnaissent encore que les produits de tête les plus solides.
En d’autres termes, pour les grands modèles, tant que l’utilisateur rencontre celui qui est le meilleur à utiliser, il est moins susceptible d’utiliser l’autre.
Dans cette logique, si de nombreuses entreprises ne veulent pas tomber dans la situation de répétition de la roue, le meilleur choix doit être de se concentrer sur le côté applicatif.
L’expérience historique montre que dans la concurrence des logiciels et des applications, qui peut fournir aux développeurs un environnement de développement à bas seuil et convivial, qui peut prendre l’initiative d’établir ses propres barrières écologiques.
À cet égard, on peut dire que CUDA de NVIDIA en est un excellent exemple.
À l’heure actuelle, la disposition des grands géants des plug-ins est également assez similaire à celle de CUDA de NVIDIA : si les développeurs ou les utilisateurs veulent réaliser un développement d’applications d’IA rapide et à bas seuil, ils doivent se baser sur les capacités de leurs grands modèles.
À son tour, la prospérité de l’écologie applicative renforcera la dépendance des gens à l’égard de son grand modèle.
Celui qui prendra l’initiative de réaliser un tel écosystème qui se promeut et se complète mutuellement avec des applications sera le premier à ériger ses propres barrières écologiques à l’ère de l’IA.