GPT-4 est trop cher, Microsoft veut se débarrasser d'OpenAI ? Plan B dévoilé : Des milliers de GPU dédiés à la formation des "petits modèles", les tests internes de Bing démarrent
**Introduction : **GPT-4 est trop exigeant en termes de calcul, et Microsoft a été exposé à avoir formulé un plan B en interne pour former des modèles plus petits et moins coûteux afin de se débarrasser d'OpenAI.
GPT-4 est tellement exigeant en termes de calcul que même Microsoft ne peut pas le supporter !
Cette année, lors de nombreuses conférences Microsoft sur l'IA, le PDG Nadella a annoncé avec enthousiasme l'intégration de GPT-4 et DALL·E 3 dans le « Family Bucket » de Microsoft.
L'ensemble de la gamme de produits Microsoft a été remodelée selon le modèle OpenAI, avec la vision de faire de l'IA un partenaire de vie pour chacun.
Cependant, en coulisses, parce que le coût de fonctionnement de GPT-4 était trop élevé, Microsoft a discrètement développé un plan B.
The Information a annoncé en exclusivité que, afin de se débarrasser de la dépendance à l'égard d'OpenAI, une partie de l'équipe de recherche de 1 500 personnes dirigée par Peter Lee s'est tournée vers le développement d'une nouvelle IA conversationnelle.
On dit que les performances du modèle développé ne sont peut-être pas aussi bonnes que celles du GPT-4, mais l'échelle des paramètres est petite, le coût de la recherche est inférieur et la vitesse d'exécution est plus rapide.
Actuellement, Microsoft a lancé des tests internes sur des produits tels que Bing Chat.
Non seulement Microsoft, mais d’autres géants de la technologie, dont Google, trouvent d’autres moyens de réduire les coûts, à la fois en matière de logiciels de chat IA et de puces.
La coopération entre Microsoft et Meta lors de l'annonce de Llama 2 n'était rien d'autre qu'un moyen de ne plus dépendre entièrement d'OpenAI.
C’est la voie que l’empire Microsoft est destiné à emprunter à mesure qu’il continue de croître et de dépasser ses limites actuelles.
Des modèles plus "raffinés", vous devriez d'abord les essayer
En février de cette année, Microsoft a officiellement lancé New Bing, qui combine ChatGPT et son propre modèle Prometheus.
Après l'annonce de GPT-4, Microsoft a immédiatement annoncé que GPT-4 serait intégré à Bing, portant ainsi l'expérience de recherche à un nouveau niveau.
Le directeur de recherche de Microsoft, Mikhail Parakhin, a récemment déclaré que Bing Chat utilisait actuellement 100 % de GPT-4 en modes "créatif" et "précis".
En mode équilibré (mode sélectionné par la plupart des utilisateurs), Microsoft utilise le modèle Prometheus et les modèles de langage Turing comme compléments.
Le modèle Prometheus est un ensemble de compétences et de technologies. Le modèle de Turing n'est pas aussi puissant que GPT-4 et est conçu pour identifier et répondre à des questions simples et transmettre des questions plus difficiles à GPT-4.
Au sein de Microsoft, la plupart des 2 000 GPU dont elle dispose ont été investis dans la formation de « petits modèles ». Bien entendu, cela n’est rien en comparaison du nombre de puces fournies par Microsoft à OpenAI.
Cependant, ces modèles peuvent effectuer des tâches plus simples que GPT-4 et constituent les efforts de Microsoft pour briser la glace.
Brisez les chaînes d'OpenAI
Au fil des années, Microsoft et OpenAI ont entretenu des liens inextricables.
Cependant, avec le lancement de ChatGPT, Microsoft Bing et d’autres groupes familiaux, Microsoft et OpenAI ont également commencé à rivaliser secrètement pour le marché.
Bien que les efforts de Microsoft n'en soient qu'à leurs débuts, Nadella dirige les efforts de Microsoft pour tracer la voie à ses propres produits d'IA qui ne reposent pas entièrement sur OpenAI.
"Cela finira par arriver", a déclaré Naveen Rao, directeur de Databricks, à propos des efforts internes de Microsoft en matière d'IA.
"Microsoft est une entreprise intelligente. Lorsque vous déployez des produits utilisant le modèle géant GPT-4, ils veulent de l'efficacité. C'est comme dire que nous n'avons pas besoin d'une personne avec trois doctorats pour être opérateur téléphonique. Ce n'est pas économiquement viable."
Cependant, Nadella et le directeur de recherche Peter Lee espèrent développer une IA complexe sans OpenAI, ce qui n’est probablement qu’un vœu pieux.
Depuis que Microsoft a investi dans OpenAI, le département de recherche du géant a passé la plupart de son temps à ajuster les modèles d'OpenAI pour les rendre adaptés aux produits Microsoft, plutôt que de développer ses propres modèles.
L'équipe de recherche de Microsoft ne se fait aucune illusion sur sa capacité à développer une IA aussi puissante que GPT-4.
Ils savent clairement qu'ils ne disposent pas des ressources informatiques d'OpenAI, ni d'un grand nombre d'examinateurs humains pour répondre aux questions répondues par LLM afin que les ingénieurs puissent améliorer le modèle.
Le département de recherche a également perdu des talents au cours de l'année écoulée, avec plusieurs vagues de départs de chercheurs, dont certains vers des équipes produit au sein de Microsoft.
Pour Microsoft lui-même, développer un LLM de haute qualité sans l'aide d'OpenAI peut gagner davantage de monnaie d'échange lorsque les deux sociétés discuteront du renouvellement de leur partenariat dans les prochaines années.
Peter Lee, directeur de la recherche sur l'IA de Microsoft
À l'heure actuelle, les deux transactions profitent aux deux parties.
Microsoft a investi plus de 10 milliards de dollars dans OpenAI. En échange, il aura le droit exclusif d'utiliser en permanence la propriété intellectuelle existante d'OpenAI dans les produits Microsoft.
De plus, Microsoft percevra 75 % des revenus d'exploitation théoriques d'OpenAI jusqu'au remboursement de son investissement initial, et recevra 49 % des bénéfices jusqu'à ce qu'un certain plafond soit atteint.
Désormais, Microsoft espère générer au moins 10 milliards de dollars de nouveaux revenus pendant une période incertaine grâce aux alliances existantes avec OpenAI et d'autres sociétés d'IA.
Office 365 Family Bucket a montré les premiers signes de croissance des revenus après avoir reçu la bénédiction des capacités GPT-4.
Microsoft a également déclaré en juillet que plus de 27 000 entreprises avaient payé pour l'outil d'écriture de code GitHub Copilot.
Selon les statistiques de Statista, outre le fait que les services cloud de Microsoft représentent la plus grande proportion en 2023, la part des revenus des produits logiciels qui accélèrent la productivité des processus métier augmente également progressivement.
Cependant, l’ironie est que les termes de la transaction entre Microsoft et OpenAI aident également indirectement Microsoft à s’efforcer de se débarrasser de sa dépendance à l’égard d’OpenAI.
Lorsque les utilisateurs utilisent Bing, Microsoft peut accéder aux résultats générés par le modèle OpenAI.
Actuellement, Microsoft utilise ces données pour créer des modèles plus « raffinés ». Les résultats des chercheurs internes montrent que ces modèles peuvent produire des résultats similaires avec moins de ressources informatiques.
Exploration des "Petits Modèles"
Après avoir passé un an dans l'ombre d'OpenAI, certains chercheurs de Microsoft ont trouvé un nouvel objectif : créer un modèle « distillé » qui imite GPT-4.
En juin de cette année, Microsoft a formé un modèle qui ne consomme qu'un dixième de la puissance de calcul de GPT-4 : Orca.
Pour créer Orca, Microsoft a intégré des millions de réponses générées par GPT-4 dans un modèle open source plus basique et lui a appris à imiter GPT-4.
Adresse papier :
Les résultats montrent qu'Orca surpasse non seulement les autres modèles de réglage fin des instructions SOTA, mais atteint également le double des performances du Vicuna-13B dans des tests d'inférence complexes à tir nul tels que BigBench Hard (BBH).
De plus, Orca atteint des performances comparables à celles de ChatGPT sur le benchmark BBH, avec seulement un écart de performance de 4 % aux examens professionnels et académiques tels que le SAT, le LSAT, le GRE et le GMAT, tous mesurés dans un environnement à échantillon nul sans enchaînement de réflexion. .
Même, dans certains cas, les performances d'Orca sont comparables à celles de la version gratuite ChatGPT d'OpenAI.
De même, Microsoft a également annoncé un modèle avec des paramètres inférieurs au millième de GPT-4-phi-1.
Grâce à l'utilisation de données de formation de haute qualité « au niveau des manuels scolaires », la maîtrise de phi-1 en mathématiques et en problèmes logiques n'est pas moins de cinq fois supérieure à celle de son modèle open source.
Adresse papier :
Par la suite, Microsoft est allé plus loin en étudiant « quelle taille doit avoir un LLM pour atteindre une certaine capacité » et a lancé le modèle phi-1.5 avec seulement 1,3 milliard de paramètres.
Adresse papier :
phi-1.5 démontre les capacités de nombreux grands modèles, étant capables de « penser étape par étape » ou d'effectuer un apprentissage contextuel de base.
Les résultats montrent que phi-1.5 est comparable à des modèles 10 fois plus grands en termes de raisonnement de bon sens et de compétences linguistiques.
Dans le même temps, il surpasse de loin les autres grands modèles en termes de raisonnement en plusieurs étapes.
Bien qu’il ne soit pas clair si les « petits modèles » comme Orca et Phi peuvent réellement rivaliser avec des modèles SOTA plus grands comme GPT-4. Mais leur énorme avantage en termes de coûts a renforcé la motivation de Microsoft à continuer de promouvoir la recherche dans ce domaine.
Selon une personne proche du dossier, la première priorité de l’équipe après la sortie de Phi est de vérifier la qualité de ces modèles.
Dans un article à paraître, les chercheurs proposent une méthode basée sur l'apprentissage contrastif qui permet aux ingénieurs d'améliorer Orca en apprenant au modèle à distinguer les réponses de haute qualité et de mauvaise qualité.
Dans le même temps, d'autres équipes de Microsoft développent également intensivement un nouveau grand modèle multimodal, c'est-à-dire un LLM capable à la fois d'interpréter et de générer du texte et des images.
GPT-4V
De toute évidence, des modèles comme Orca et Phi peuvent aider Microsoft à réduire les coûts informatiques nécessaires pour fournir des capacités d'IA aux clients.
Selon un employé actuel, les chefs de produit Microsoft testent déjà comment utiliser Orca et Phi au lieu des modèles OpenAI pour gérer les requêtes du chatbot Bing. Par exemple, des questions relativement simples comme résumer un court paragraphe de texte et répondre par oui ou par non.
En outre, Microsoft réfléchit également à l’opportunité de proposer le modèle Orca aux clients cloud Azure.
Selon des sources proches du dossier, dès la parution du journal Orca, les clients sont venus demander quand ils pourraient l'utiliser.
Mais la question est la suivante : si cela doit réellement être fait, Microsoft doit-il encore obtenir une licence de Meta ? Après tout, ce dernier a toujours des restrictions quant aux entreprises qui peuvent commercialiser leur LLM open source.
Les références:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
GPT-4 est trop cher, Microsoft veut se débarrasser d'OpenAI ? Plan B dévoilé : Des milliers de GPU dédiés à la formation des "petits modèles", les tests internes de Bing démarrent
**Source :**Xinzhiyuan
**Introduction : **GPT-4 est trop exigeant en termes de calcul, et Microsoft a été exposé à avoir formulé un plan B en interne pour former des modèles plus petits et moins coûteux afin de se débarrasser d'OpenAI.
GPT-4 est tellement exigeant en termes de calcul que même Microsoft ne peut pas le supporter !
Cette année, lors de nombreuses conférences Microsoft sur l'IA, le PDG Nadella a annoncé avec enthousiasme l'intégration de GPT-4 et DALL·E 3 dans le « Family Bucket » de Microsoft.
L'ensemble de la gamme de produits Microsoft a été remodelée selon le modèle OpenAI, avec la vision de faire de l'IA un partenaire de vie pour chacun.
The Information a annoncé en exclusivité que, afin de se débarrasser de la dépendance à l'égard d'OpenAI, une partie de l'équipe de recherche de 1 500 personnes dirigée par Peter Lee s'est tournée vers le développement d'une nouvelle IA conversationnelle.
Actuellement, Microsoft a lancé des tests internes sur des produits tels que Bing Chat.
Non seulement Microsoft, mais d’autres géants de la technologie, dont Google, trouvent d’autres moyens de réduire les coûts, à la fois en matière de logiciels de chat IA et de puces.
La coopération entre Microsoft et Meta lors de l'annonce de Llama 2 n'était rien d'autre qu'un moyen de ne plus dépendre entièrement d'OpenAI.
C’est la voie que l’empire Microsoft est destiné à emprunter à mesure qu’il continue de croître et de dépasser ses limites actuelles.
Des modèles plus "raffinés", vous devriez d'abord les essayer
En février de cette année, Microsoft a officiellement lancé New Bing, qui combine ChatGPT et son propre modèle Prometheus.
Après l'annonce de GPT-4, Microsoft a immédiatement annoncé que GPT-4 serait intégré à Bing, portant ainsi l'expérience de recherche à un nouveau niveau.
Le directeur de recherche de Microsoft, Mikhail Parakhin, a récemment déclaré que Bing Chat utilisait actuellement 100 % de GPT-4 en modes "créatif" et "précis".
En mode équilibré (mode sélectionné par la plupart des utilisateurs), Microsoft utilise le modèle Prometheus et les modèles de langage Turing comme compléments.
Au sein de Microsoft, la plupart des 2 000 GPU dont elle dispose ont été investis dans la formation de « petits modèles ». Bien entendu, cela n’est rien en comparaison du nombre de puces fournies par Microsoft à OpenAI.
Cependant, ces modèles peuvent effectuer des tâches plus simples que GPT-4 et constituent les efforts de Microsoft pour briser la glace.
Brisez les chaînes d'OpenAI
Au fil des années, Microsoft et OpenAI ont entretenu des liens inextricables.
Cependant, avec le lancement de ChatGPT, Microsoft Bing et d’autres groupes familiaux, Microsoft et OpenAI ont également commencé à rivaliser secrètement pour le marché.
Bien que les efforts de Microsoft n'en soient qu'à leurs débuts, Nadella dirige les efforts de Microsoft pour tracer la voie à ses propres produits d'IA qui ne reposent pas entièrement sur OpenAI.
"Microsoft est une entreprise intelligente. Lorsque vous déployez des produits utilisant le modèle géant GPT-4, ils veulent de l'efficacité. C'est comme dire que nous n'avons pas besoin d'une personne avec trois doctorats pour être opérateur téléphonique. Ce n'est pas économiquement viable."
Cependant, Nadella et le directeur de recherche Peter Lee espèrent développer une IA complexe sans OpenAI, ce qui n’est probablement qu’un vœu pieux.
Depuis que Microsoft a investi dans OpenAI, le département de recherche du géant a passé la plupart de son temps à ajuster les modèles d'OpenAI pour les rendre adaptés aux produits Microsoft, plutôt que de développer ses propres modèles.
L'équipe de recherche de Microsoft ne se fait aucune illusion sur sa capacité à développer une IA aussi puissante que GPT-4.
Le département de recherche a également perdu des talents au cours de l'année écoulée, avec plusieurs vagues de départs de chercheurs, dont certains vers des équipes produit au sein de Microsoft.
Pour Microsoft lui-même, développer un LLM de haute qualité sans l'aide d'OpenAI peut gagner davantage de monnaie d'échange lorsque les deux sociétés discuteront du renouvellement de leur partenariat dans les prochaines années.
À l'heure actuelle, les deux transactions profitent aux deux parties.
Microsoft a investi plus de 10 milliards de dollars dans OpenAI. En échange, il aura le droit exclusif d'utiliser en permanence la propriété intellectuelle existante d'OpenAI dans les produits Microsoft.
De plus, Microsoft percevra 75 % des revenus d'exploitation théoriques d'OpenAI jusqu'au remboursement de son investissement initial, et recevra 49 % des bénéfices jusqu'à ce qu'un certain plafond soit atteint.
Office 365 Family Bucket a montré les premiers signes de croissance des revenus après avoir reçu la bénédiction des capacités GPT-4.
Microsoft a également déclaré en juillet que plus de 27 000 entreprises avaient payé pour l'outil d'écriture de code GitHub Copilot.
Selon les statistiques de Statista, outre le fait que les services cloud de Microsoft représentent la plus grande proportion en 2023, la part des revenus des produits logiciels qui accélèrent la productivité des processus métier augmente également progressivement.
Lorsque les utilisateurs utilisent Bing, Microsoft peut accéder aux résultats générés par le modèle OpenAI.
Actuellement, Microsoft utilise ces données pour créer des modèles plus « raffinés ». Les résultats des chercheurs internes montrent que ces modèles peuvent produire des résultats similaires avec moins de ressources informatiques.
Exploration des "Petits Modèles"
Après avoir passé un an dans l'ombre d'OpenAI, certains chercheurs de Microsoft ont trouvé un nouvel objectif : créer un modèle « distillé » qui imite GPT-4.
En juin de cette année, Microsoft a formé un modèle qui ne consomme qu'un dixième de la puissance de calcul de GPT-4 : Orca.
Pour créer Orca, Microsoft a intégré des millions de réponses générées par GPT-4 dans un modèle open source plus basique et lui a appris à imiter GPT-4.
Les résultats montrent qu'Orca surpasse non seulement les autres modèles de réglage fin des instructions SOTA, mais atteint également le double des performances du Vicuna-13B dans des tests d'inférence complexes à tir nul tels que BigBench Hard (BBH).
De plus, Orca atteint des performances comparables à celles de ChatGPT sur le benchmark BBH, avec seulement un écart de performance de 4 % aux examens professionnels et académiques tels que le SAT, le LSAT, le GRE et le GMAT, tous mesurés dans un environnement à échantillon nul sans enchaînement de réflexion. .
Grâce à l'utilisation de données de formation de haute qualité « au niveau des manuels scolaires », la maîtrise de phi-1 en mathématiques et en problèmes logiques n'est pas moins de cinq fois supérieure à celle de son modèle open source.
Par la suite, Microsoft est allé plus loin en étudiant « quelle taille doit avoir un LLM pour atteindre une certaine capacité » et a lancé le modèle phi-1.5 avec seulement 1,3 milliard de paramètres.
phi-1.5 démontre les capacités de nombreux grands modèles, étant capables de « penser étape par étape » ou d'effectuer un apprentissage contextuel de base.
Dans le même temps, il surpasse de loin les autres grands modèles en termes de raisonnement en plusieurs étapes.
Selon une personne proche du dossier, la première priorité de l’équipe après la sortie de Phi est de vérifier la qualité de ces modèles.
Dans un article à paraître, les chercheurs proposent une méthode basée sur l'apprentissage contrastif qui permet aux ingénieurs d'améliorer Orca en apprenant au modèle à distinguer les réponses de haute qualité et de mauvaise qualité.
Dans le même temps, d'autres équipes de Microsoft développent également intensivement un nouveau grand modèle multimodal, c'est-à-dire un LLM capable à la fois d'interpréter et de générer du texte et des images.
De toute évidence, des modèles comme Orca et Phi peuvent aider Microsoft à réduire les coûts informatiques nécessaires pour fournir des capacités d'IA aux clients.
Selon un employé actuel, les chefs de produit Microsoft testent déjà comment utiliser Orca et Phi au lieu des modèles OpenAI pour gérer les requêtes du chatbot Bing. Par exemple, des questions relativement simples comme résumer un court paragraphe de texte et répondre par oui ou par non.
En outre, Microsoft réfléchit également à l’opportunité de proposer le modèle Orca aux clients cloud Azure.
Selon des sources proches du dossier, dès la parution du journal Orca, les clients sont venus demander quand ils pourraient l'utiliser.
Mais la question est la suivante : si cela doit réellement être fait, Microsoft doit-il encore obtenir une licence de Meta ? Après tout, ce dernier a toujours des restrictions quant aux entreprises qui peuvent commercialiser leur LLM open source.
Les références: