Le coût d’entraînement et d’exploitation des grands modèles est extrêmement élevé, et OpenAI a également essayé de réduire les coûts, mais a malheureusement échoué.
À la fin de l’année dernière, lorsque ChatGPT est devenu une sensation mondiale, les ingénieurs d’OpenAI ont commencé à travailler sur un nouveau modèle d’IA, nom de code Arrakis. Arrakis vise à permettre à OpenAI d’exécuter des chatbots à moindre coût.
Mais selon des personnes familières avec la question : à la mi-2023, OpenAI a annulé la sortie d’Arrakis car le modèle ne fonctionne pas aussi efficacement que l’entreprise l’avait prévu.
Cet échec signifiait qu’OpenAI perdait un temps précieux et devait détourner des ressources vers le développement de différents modèles.
En ce qui concerne le co-investissement, le programme de R&D d’Arrakis sera d’une valeur inestimable pour les deux sociétés afin de mener à bien les négociations d’investissement et d’accord sur les produits d’un montant de 10 milliards de dollars. Selon un employé de Microsoft proche du dossier, l’échec d’Arrakis a déçu certains dirigeants de Microsoft.
De plus, l’échec d’Arrakis est un signe avant-coureur de l’avenir de l’IA qui pourrait être semé d’embûches difficiles à prévoir.
Quel type de modèle est Arrakis ? **
Selon des personnes familières avec la question, OpenAI espère qu’Arrakis est un modèle avec des performances comparables et une efficacité opérationnelle supérieure à celle de GPT-4. L’approche clé utilisée dans le modèle d’Arrakis consiste à tirer parti de la parcimonie.
La parcimonie est un concept d’apprentissage automatique dont d’autres développeurs d’IA tels que Google discutent et utilisent ouvertement. Jeff Dean, dirigeant de Google, a déclaré : « L’informatique parcimonieuse deviendra une tendance importante à l’avenir. »
OpenAI a commencé très tôt à faire des recherches sur la parcimonie, et a introduit des noyaux de calcul clairsemés en 2017. Arrakis aurait pu permettre à OpenAI de promouvoir sa technologie plus largement, car la société pouvait utiliser un nombre limité de puces de serveur dédiées pour alimenter son logiciel.
À l’heure actuelle, un moyen courant d’augmenter la parcimonie consiste à utiliser la technologie des « systèmes experts hybrides (MoE) ». Cependant, Ion Stoica, professeur d’informatique à l’Université de Californie à Berkeley, a déclaré : « En général, plus le nombre de modèles experts est élevé, plus le modèle est clairsemé et efficace, mais cela peut conduire à des résultats moins précis générés par le modèle. »
Vers le printemps de cette année, les chercheurs d’OpenAI ont commencé à entraîner les modèles Arrakis, ce qui implique l’utilisation de matériel informatique avancé pour aider les modèles à traiter de grandes quantités de données. Selon des personnes familières avec la question, la société s’attend à ce que la formation d’Arrakis soit beaucoup moins chère que la formation de GPT-4. Cependant, l’équipe de recherche s’est vite rendu compte que le modèle n’était pas assez performant pour atteindre les gains escomptés. Après que l’équipe de recherche ait passé environ un mois à essayer de résoudre le problème, la haute direction d’OpenAI a décidé d’arrêter d’entraîner le modèle.
La bonne nouvelle, c’est qu’OpenAI peut intégrer son travail sur Arrakis dans d’autres modèles, comme le prochain grand modèle multimodal Gobi.
Arrakis a sous-performé les attentes d’OpenAI parce que la société essaie d’améliorer la parcimonie du modèle, ce qui signifie que seule une partie du modèle sera utilisée pour générer des réponses, réduisant ainsi les coûts de fonctionnement, ont déclaré deux personnes familières avec la question. La raison pour laquelle le modèle a fonctionné lors des premiers tests, mais a ensuite donné de mauvais résultats, est inconnue.
Il convient de mentionner que des personnes familières avec la question ont déclaré que le nom public d’OpenAI envisagé pour Arrakis est GPT-4 Turbo.
**Dans quelle mesure est-il important de réduire les coûts ? **
Pour OpenAI, avec les préoccupations croissantes concernant le coût de la technologie et la prolifération des alternatives open source, rendre ses modèles moins chers et plus efficaces est une priorité absolue.
Selon des personnes familières avec la question, Microsoft utilise le modèle GPT d’OpenAI pour alimenter les fonctionnalités d’IA dans les applications Office 365 et d’autres services, et Microsoft s’attendait à ce qu’Arrakis améliore les performances de ces fonctionnalités et réduise les coûts.
Dans le même temps, Microsoft commence à développer son propre LLM, et son LLM pourrait coûter moins cher à exécuter que le modèle d’OpenAI.
Bien que ce revers n’ait pas ralenti le développement commercial d’OpenAI cette année, OpenAI est également susceptible de décliner sur cette voie avec une concurrence croissante dans le domaine du LLM, en particulier l’accélération de la recherche et du développement de géants de la technologie tels que Google et Microsoft.
Lien d’origine :
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le développement de nouveaux modèles d’OpenAI a été frustré, la parcimonie est-elle la clé pour réduire le coût des grands modèles ?
Source originale : Heart of the Machine
Le coût d’entraînement et d’exploitation des grands modèles est extrêmement élevé, et OpenAI a également essayé de réduire les coûts, mais a malheureusement échoué.
À la fin de l’année dernière, lorsque ChatGPT est devenu une sensation mondiale, les ingénieurs d’OpenAI ont commencé à travailler sur un nouveau modèle d’IA, nom de code Arrakis. Arrakis vise à permettre à OpenAI d’exécuter des chatbots à moindre coût.
Mais selon des personnes familières avec la question : à la mi-2023, OpenAI a annulé la sortie d’Arrakis car le modèle ne fonctionne pas aussi efficacement que l’entreprise l’avait prévu.
En ce qui concerne le co-investissement, le programme de R&D d’Arrakis sera d’une valeur inestimable pour les deux sociétés afin de mener à bien les négociations d’investissement et d’accord sur les produits d’un montant de 10 milliards de dollars. Selon un employé de Microsoft proche du dossier, l’échec d’Arrakis a déçu certains dirigeants de Microsoft.
De plus, l’échec d’Arrakis est un signe avant-coureur de l’avenir de l’IA qui pourrait être semé d’embûches difficiles à prévoir.
Quel type de modèle est Arrakis ? **
Selon des personnes familières avec la question, OpenAI espère qu’Arrakis est un modèle avec des performances comparables et une efficacité opérationnelle supérieure à celle de GPT-4. L’approche clé utilisée dans le modèle d’Arrakis consiste à tirer parti de la parcimonie.
La parcimonie est un concept d’apprentissage automatique dont d’autres développeurs d’IA tels que Google discutent et utilisent ouvertement. Jeff Dean, dirigeant de Google, a déclaré : « L’informatique parcimonieuse deviendra une tendance importante à l’avenir. »
OpenAI a commencé très tôt à faire des recherches sur la parcimonie, et a introduit des noyaux de calcul clairsemés en 2017. Arrakis aurait pu permettre à OpenAI de promouvoir sa technologie plus largement, car la société pouvait utiliser un nombre limité de puces de serveur dédiées pour alimenter son logiciel.
À l’heure actuelle, un moyen courant d’augmenter la parcimonie consiste à utiliser la technologie des « systèmes experts hybrides (MoE) ». Cependant, Ion Stoica, professeur d’informatique à l’Université de Californie à Berkeley, a déclaré : « En général, plus le nombre de modèles experts est élevé, plus le modèle est clairsemé et efficace, mais cela peut conduire à des résultats moins précis générés par le modèle. »
Vers le printemps de cette année, les chercheurs d’OpenAI ont commencé à entraîner les modèles Arrakis, ce qui implique l’utilisation de matériel informatique avancé pour aider les modèles à traiter de grandes quantités de données. Selon des personnes familières avec la question, la société s’attend à ce que la formation d’Arrakis soit beaucoup moins chère que la formation de GPT-4. Cependant, l’équipe de recherche s’est vite rendu compte que le modèle n’était pas assez performant pour atteindre les gains escomptés. Après que l’équipe de recherche ait passé environ un mois à essayer de résoudre le problème, la haute direction d’OpenAI a décidé d’arrêter d’entraîner le modèle.
La bonne nouvelle, c’est qu’OpenAI peut intégrer son travail sur Arrakis dans d’autres modèles, comme le prochain grand modèle multimodal Gobi.
Arrakis a sous-performé les attentes d’OpenAI parce que la société essaie d’améliorer la parcimonie du modèle, ce qui signifie que seule une partie du modèle sera utilisée pour générer des réponses, réduisant ainsi les coûts de fonctionnement, ont déclaré deux personnes familières avec la question. La raison pour laquelle le modèle a fonctionné lors des premiers tests, mais a ensuite donné de mauvais résultats, est inconnue.
Il convient de mentionner que des personnes familières avec la question ont déclaré que le nom public d’OpenAI envisagé pour Arrakis est GPT-4 Turbo.
**Dans quelle mesure est-il important de réduire les coûts ? **
Pour OpenAI, avec les préoccupations croissantes concernant le coût de la technologie et la prolifération des alternatives open source, rendre ses modèles moins chers et plus efficaces est une priorité absolue.
Selon des personnes familières avec la question, Microsoft utilise le modèle GPT d’OpenAI pour alimenter les fonctionnalités d’IA dans les applications Office 365 et d’autres services, et Microsoft s’attendait à ce qu’Arrakis améliore les performances de ces fonctionnalités et réduise les coûts.
Dans le même temps, Microsoft commence à développer son propre LLM, et son LLM pourrait coûter moins cher à exécuter que le modèle d’OpenAI.
Bien que ce revers n’ait pas ralenti le développement commercial d’OpenAI cette année, OpenAI est également susceptible de décliner sur cette voie avec une concurrence croissante dans le domaine du LLM, en particulier l’accélération de la recherche et du développement de géants de la technologie tels que Google et Microsoft.
Lien d’origine :