"Avez-vous l'impression que la qualité du GPT-4 a baissé récemment ?"
Dès la mi-mai de cette année, les utilisateurs de GPT-4 ont posté sur le forum des développeurs en ligne d'OpenAI, disant que GPT-4 semblait "devenir stupide":
"J'utilise ChatGPT depuis un certain temps et je suis un utilisateur de GPT Plus depuis la sortie de GPT-4. J'utilise généralement GPT-4 pour aider à l'analyse et à la création de contenu long. Dans le passé, GPT-4 semblait bien fonctionner, j'ai bien compris ma demande. Mais maintenant, il semble perdre la trace de l'information, me donner beaucoup d'informations erronées et mal interpréter ma demande de plus en plus... Actuellement, GPT-4 ressemble plus à GPT -3.5.
Est-ce que quelqu'un d'autre l'a remarqué ou est-ce moi qui suis tombé sur ce problème ? "
Il s'avère que l'utilisateur de GPT-4 n'était pas seul. Un certain nombre d'utilisateurs ont commenté le fil : "Je ressens la même chose !"
La nouvelle version problématique de GPT-4
Selon les retours de nombreux utilisateurs, GPT-4 a non seulement décliné dans l'analyse et la création de contenu long, mais aussi dans la qualité de l'écriture.
Peter Yang, chef de produit chez Roblox, a tweeté que la sortie du modèle GPT-4 est plus rapide, mais la qualité s'est détériorée : « Juste des problèmes simples, comme rendre l'écriture plus claire et concise et fournir des idées... à mon avis, la qualité de l'écriture a diminué.
La capacité logique de la dernière version de GPT-4 diminue considérablement lors de la discussion/évaluation de problèmes inverses complexes, de différents taux ou modèles de changement et de la variabilité spatio-temporelle.
"Avant la mise à jour GPT-4, je recevais rarement des réponses d'erreur, mais maintenant je dois revérifier toutes les sorties (c'est-à-dire que les conditions doublement négatives ne sont parfois plus correctement converties en conditions positives). Je pense que ces erreurs sont plus similaires à GPT - 3.5 au lieu du niveau d'inférence GPT-4 précédent."
Même en termes de capacité d'encodage, la qualité de sortie de la nouvelle version de GPT-4 n'est pas aussi bonne qu'avant.
Un développeur utilisant GPT-4 pour écrire du code fonctionnel pour un site Web s'est plaint : "Le GPT-4 actuel est très décevant. C'est comme conduire une Ferrari pendant un mois, puis tout à coup, cela devient une vieille camionnette. Je ne suis pas sûr de vouloir continuez à le payer."
Un autre développeur a également mentionné que GPT-4 boucle maintenant le code : "Totalement nul, GPT-4 commence à boucler du code ou d'autres informations encore et encore. Je l'ai laissé écrire du code, et il a écrit à un moment donné, tout à coup un "", et puis recommencer ! Comparé à avant, c'est un idiot maintenant.
De plus, dans les forums de développeurs en ligne de Twitter et d'OpenAI, les utilisateurs continuent de signaler que la nouvelle version de GPT-4 a affaibli la logique, généré de nombreuses réponses d'erreur, n'a pas suivi les informations fournies, n'a pas suivi les instructions et a oublié d'écrire dans le code logiciel de base. Mettre des parenthèses dans , ne mémoriser que les rappels les plus récents, etc.
Concernant les performances de la "réduction soudaine de l'intelligence" du GPT-4, certains utilisateurs ont émis l'hypothèse : "La version actuelle semble très différente de la version au moment de son lancement. Je suppose qu'OpenAI a choisi de faire des compromis sur la qualité afin d'accueillir plus de clients !"
De ce point de vue, l'évaluation de GPT-4 par les utilisateurs aujourd'hui n'est en effet pas aussi bonne que la période de pointe de "l'évaluation du vent" lors de ses débuts.
GPT-4 est plus rapide, mais aussi "stupide"
À la fin de l'année dernière, ChatGPT basé sur GPT-3.5 est né et son excellente capacité de génération a déclenché un boom AIGC.Par conséquent, lorsque OpenAI a annoncé GPT-4, qui est plus puissant que GPT-3.5, en mars de cette année, le monde entier était émerveillé.
À cette époque, GPT-4 était appelé "le modèle d'IA le plus puissant de l'histoire", en particulier sa multimodalité, ce qui signifie qu'il peut comprendre à la fois les images et la saisie de texte, il est donc rapidement devenu un outil populaire pour les développeurs et d'autres industries technologiques. Le modèle de choix pour les professionnels a également produit plus d'éloges pour GPT-4 : générer un site Web en 10 secondes, réussir le test de droit américain le plus difficile et réussir le test de mathématiques de premier cycle du MIT avec toutes les notes...
Cependant, lorsque les gens sont étonnés de la puissance du GPT-4, beaucoup de gens sont également choqués par son coût et sa vitesse de réponse. "GPT-4 est lent, mais très précis", a déclaré Sharon Zhou, PDG de Lamini, une startup qui aide les développeurs à créer des modèles de langage personnalisés à grande échelle.
Jusqu'en mai, le GPT-4 est resté "lent et coûteux mais précis" - plus tard, le GPT-4 a répondu plus rapidement et, en même temps, les utilisateurs ont remis en question sa dégradation des performances.
Pour ce phénomène, plusieurs experts en IA, dont Sharon Zhou, pensent qu'OpenAI pourrait créer plusieurs modèles GPT-4 plus petits qui fonctionnent de manière similaire aux modèles plus grands mais sont moins coûteux à exécuter.
Les experts spéculent : cela peut être lié à la technologie MoE
Selon l'introduction de Sharon Zhou, cette méthode est appelée Mixture-of-Experts (MoE), c'est-à-dire un système expert mixte. La technologie MoE est une technologie d'apprentissage intégrée développée dans le domaine des réseaux de neurones, et c'est également une technologie clé pour la formation de modèles avec des billions de paramètres. En raison de la taille croissante du modèle à ce stade, les frais généraux de formation augmentent également, et MoE La technologie peut activer dynamiquement une partie du réseau de neurones, augmentant ainsi considérablement la quantité de paramètres du modèle sans augmenter la quantité de calculs.
Plus précisément, le MoE décompose la tâche de modélisation prédictive en plusieurs sous-tâches, forme un modèle expert (Expert Model) sur chaque sous-tâche et développe un modèle de déclenchement (Gating Model), qui peut être prédit en fonction de l'entrée Venez apprendre à quels experts faire confiance, et combiner les résultats des prévisions.
Alors, quelle est la situation lorsque la technologie MoE est référencée au GPT-4 ? Sharon Zhou a expliqué que dans GPT-4, ces petits modèles experts seront entraînés pour différentes tâches et domaines. Par exemple, il peut y avoir de petits modèles experts GPT-4 pour la biologie, la physique, la chimie, etc. , le nouveau système sait à quel modèle expert envoyer la question. De plus, juste au cas où, le nouveau système pourrait envoyer des requêtes à deux modèles experts ou plus, puis mélanger les résultats ensemble.
Pour cette approche, Sharon Zhou l'a décrit comme "Le Navire de Thésée" (un paradoxe sur le remplacement d'identité, en supposant que les éléments constitutifs d'un objet sont remplacés, mais est-ce toujours l'objet d'origine ?), C'est-à-dire avec Au fil du temps, OpenAI remplacera des parties de GPT-4 : "OpenAI transforme GPT-4 en une petite flotte."
Sur la base de la spéculation ci-dessus, Sharon Zhou pense que les récentes remarques "stupides" de GPT-4 sont susceptibles d'être liées à la méthode de formation du MoE : "Lorsque les utilisateurs testent GPT-4, nous poserons de nombreuses questions différentes, et l'échelle est petite. Le modèle expert GPT-4 ne fonctionnera pas aussi bien, mais il collecte nos données, s'améliore et apprend. »
**L'architecture GPT-4 exposée ? **
Plusieurs experts en intelligence artificielle ont également publié cette semaine les soi-disant "détails de l'architecture GPT-4" au milieu des commentaires croissants des utilisateurs sur la "maladresse" de GPT-4.
Parmi eux, un blogueur Twitter nommé Yam Peleg a déclaré que GPT-4 a environ 1,8 billion de paramètres, s'étend sur 120 couches, est plus de 10 fois plus grand que GPT-3 et est formé sur environ 13 jetons T. La formation a coûté environ 63 millions de dollars. .. Il convient de mentionner que Yam Peleg a également déclaré qu'OpenAI utilise MoE, qui consiste à réduire le coût de fonctionnement du GPT-4 en utilisant 16 modèles experts mixtes.
Pour l'instant, OpenAI n'a pas répondu à cette déclaration. Mais Oren Etzioni, le PDG fondateur de l'Allen Institute for Artificial Intelligence, a déclaré aux médias : "Bien que je n'aie pas été confirmé, je pense que ces spéculations devraient être à peu près correctes."
Il a expliqué qu'il y a généralement deux raisons d'utiliser la méthode MOE : soit vous voulez générer une meilleure réponse, soit vous voulez une réponse moins chère et plus rapide.
"Idéalement, MOE vous permettra d'obtenir les deux avantages en même temps, mais en réalité, vous devez généralement faire un compromis entre coût et qualité." Sur cette base, Oren Etzioni estime que, combiné à la situation actuelle, OpenAI semble réduire GPT -4 au prix de sacrifier une certaine qualité.
Alors, quelle est votre opinion à ce sujet?
Lien de référence :
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPT-4 a été exposé comme "stupide" ! Afin de réduire les coûts, OpenAI s'est secrètement engagé dans des "petits déménagements" ?
Organiser | Zheng Liyuan
Liste | CSDN (ID : CSDNnews)
"Avez-vous l'impression que la qualité du GPT-4 a baissé récemment ?"
Dès la mi-mai de cette année, les utilisateurs de GPT-4 ont posté sur le forum des développeurs en ligne d'OpenAI, disant que GPT-4 semblait "devenir stupide":
"J'utilise ChatGPT depuis un certain temps et je suis un utilisateur de GPT Plus depuis la sortie de GPT-4. J'utilise généralement GPT-4 pour aider à l'analyse et à la création de contenu long. Dans le passé, GPT-4 semblait bien fonctionner, j'ai bien compris ma demande. Mais maintenant, il semble perdre la trace de l'information, me donner beaucoup d'informations erronées et mal interpréter ma demande de plus en plus... Actuellement, GPT-4 ressemble plus à GPT -3.5.
Est-ce que quelqu'un d'autre l'a remarqué ou est-ce moi qui suis tombé sur ce problème ? "
La nouvelle version problématique de GPT-4
Selon les retours de nombreux utilisateurs, GPT-4 a non seulement décliné dans l'analyse et la création de contenu long, mais aussi dans la qualité de l'écriture.
Peter Yang, chef de produit chez Roblox, a tweeté que la sortie du modèle GPT-4 est plus rapide, mais la qualité s'est détériorée : « Juste des problèmes simples, comme rendre l'écriture plus claire et concise et fournir des idées... à mon avis, la qualité de l'écriture a diminué.
"Avant la mise à jour GPT-4, je recevais rarement des réponses d'erreur, mais maintenant je dois revérifier toutes les sorties (c'est-à-dire que les conditions doublement négatives ne sont parfois plus correctement converties en conditions positives). Je pense que ces erreurs sont plus similaires à GPT - 3.5 au lieu du niveau d'inférence GPT-4 précédent."
Un développeur utilisant GPT-4 pour écrire du code fonctionnel pour un site Web s'est plaint : "Le GPT-4 actuel est très décevant. C'est comme conduire une Ferrari pendant un mois, puis tout à coup, cela devient une vieille camionnette. Je ne suis pas sûr de vouloir continuez à le payer."
Un autre développeur a également mentionné que GPT-4 boucle maintenant le code : "Totalement nul, GPT-4 commence à boucler du code ou d'autres informations encore et encore. Je l'ai laissé écrire du code, et il a écrit à un moment donné, tout à coup un "", et puis recommencer ! Comparé à avant, c'est un idiot maintenant.
Concernant les performances de la "réduction soudaine de l'intelligence" du GPT-4, certains utilisateurs ont émis l'hypothèse : "La version actuelle semble très différente de la version au moment de son lancement. Je suppose qu'OpenAI a choisi de faire des compromis sur la qualité afin d'accueillir plus de clients !"
De ce point de vue, l'évaluation de GPT-4 par les utilisateurs aujourd'hui n'est en effet pas aussi bonne que la période de pointe de "l'évaluation du vent" lors de ses débuts.
GPT-4 est plus rapide, mais aussi "stupide"
À la fin de l'année dernière, ChatGPT basé sur GPT-3.5 est né et son excellente capacité de génération a déclenché un boom AIGC.Par conséquent, lorsque OpenAI a annoncé GPT-4, qui est plus puissant que GPT-3.5, en mars de cette année, le monde entier était émerveillé.
À cette époque, GPT-4 était appelé "le modèle d'IA le plus puissant de l'histoire", en particulier sa multimodalité, ce qui signifie qu'il peut comprendre à la fois les images et la saisie de texte, il est donc rapidement devenu un outil populaire pour les développeurs et d'autres industries technologiques. Le modèle de choix pour les professionnels a également produit plus d'éloges pour GPT-4 : générer un site Web en 10 secondes, réussir le test de droit américain le plus difficile et réussir le test de mathématiques de premier cycle du MIT avec toutes les notes...
Cependant, lorsque les gens sont étonnés de la puissance du GPT-4, beaucoup de gens sont également choqués par son coût et sa vitesse de réponse. "GPT-4 est lent, mais très précis", a déclaré Sharon Zhou, PDG de Lamini, une startup qui aide les développeurs à créer des modèles de langage personnalisés à grande échelle.
Jusqu'en mai, le GPT-4 est resté "lent et coûteux mais précis" - plus tard, le GPT-4 a répondu plus rapidement et, en même temps, les utilisateurs ont remis en question sa dégradation des performances.
Pour ce phénomène, plusieurs experts en IA, dont Sharon Zhou, pensent qu'OpenAI pourrait créer plusieurs modèles GPT-4 plus petits qui fonctionnent de manière similaire aux modèles plus grands mais sont moins coûteux à exécuter.
Les experts spéculent : cela peut être lié à la technologie MoE
Selon l'introduction de Sharon Zhou, cette méthode est appelée Mixture-of-Experts (MoE), c'est-à-dire un système expert mixte. La technologie MoE est une technologie d'apprentissage intégrée développée dans le domaine des réseaux de neurones, et c'est également une technologie clé pour la formation de modèles avec des billions de paramètres. En raison de la taille croissante du modèle à ce stade, les frais généraux de formation augmentent également, et MoE La technologie peut activer dynamiquement une partie du réseau de neurones, augmentant ainsi considérablement la quantité de paramètres du modèle sans augmenter la quantité de calculs.
Plus précisément, le MoE décompose la tâche de modélisation prédictive en plusieurs sous-tâches, forme un modèle expert (Expert Model) sur chaque sous-tâche et développe un modèle de déclenchement (Gating Model), qui peut être prédit en fonction de l'entrée Venez apprendre à quels experts faire confiance, et combiner les résultats des prévisions.
Alors, quelle est la situation lorsque la technologie MoE est référencée au GPT-4 ? Sharon Zhou a expliqué que dans GPT-4, ces petits modèles experts seront entraînés pour différentes tâches et domaines. Par exemple, il peut y avoir de petits modèles experts GPT-4 pour la biologie, la physique, la chimie, etc. , le nouveau système sait à quel modèle expert envoyer la question. De plus, juste au cas où, le nouveau système pourrait envoyer des requêtes à deux modèles experts ou plus, puis mélanger les résultats ensemble.
Pour cette approche, Sharon Zhou l'a décrit comme "Le Navire de Thésée" (un paradoxe sur le remplacement d'identité, en supposant que les éléments constitutifs d'un objet sont remplacés, mais est-ce toujours l'objet d'origine ?), C'est-à-dire avec Au fil du temps, OpenAI remplacera des parties de GPT-4 : "OpenAI transforme GPT-4 en une petite flotte."
Sur la base de la spéculation ci-dessus, Sharon Zhou pense que les récentes remarques "stupides" de GPT-4 sont susceptibles d'être liées à la méthode de formation du MoE : "Lorsque les utilisateurs testent GPT-4, nous poserons de nombreuses questions différentes, et l'échelle est petite. Le modèle expert GPT-4 ne fonctionnera pas aussi bien, mais il collecte nos données, s'améliore et apprend. »
**L'architecture GPT-4 exposée ? **
Plusieurs experts en intelligence artificielle ont également publié cette semaine les soi-disant "détails de l'architecture GPT-4" au milieu des commentaires croissants des utilisateurs sur la "maladresse" de GPT-4.
Parmi eux, un blogueur Twitter nommé Yam Peleg a déclaré que GPT-4 a environ 1,8 billion de paramètres, s'étend sur 120 couches, est plus de 10 fois plus grand que GPT-3 et est formé sur environ 13 jetons T. La formation a coûté environ 63 millions de dollars. .. Il convient de mentionner que Yam Peleg a également déclaré qu'OpenAI utilise MoE, qui consiste à réduire le coût de fonctionnement du GPT-4 en utilisant 16 modèles experts mixtes.
Pour l'instant, OpenAI n'a pas répondu à cette déclaration. Mais Oren Etzioni, le PDG fondateur de l'Allen Institute for Artificial Intelligence, a déclaré aux médias : "Bien que je n'aie pas été confirmé, je pense que ces spéculations devraient être à peu près correctes."
Il a expliqué qu'il y a généralement deux raisons d'utiliser la méthode MOE : soit vous voulez générer une meilleure réponse, soit vous voulez une réponse moins chère et plus rapide.
"Idéalement, MOE vous permettra d'obtenir les deux avantages en même temps, mais en réalité, vous devez généralement faire un compromis entre coût et qualité." Sur cette base, Oren Etzioni estime que, combiné à la situation actuelle, OpenAI semble réduire GPT -4 au prix de sacrifier une certaine qualité.
Alors, quelle est votre opinion à ce sujet?
Lien de référence :