La puissance de calcul de l’IA a été multipliée par 680 millions en 70 ans, et trois étapes historiques ont vu l’explosion exponentielle de la technologie de l’IA.
Une image révèle que la puissance de calcul de l'IA s'est développée 670 millions de fois en plus de 70 ans. À l'avenir, l'IA dépassera les humains dans tous les aspects de ses capacités. Ce qui est vraiment excitant, c'est que l'industrie de l'IA vient d'entrer dans la phase embryonnaire stade précédant l’épidémie.
Les ordinateurs électroniques sont nés dans les années 1940 et, dix ans après leur apparition, la première application de l’IA dans l’histoire de l’humanité est apparue.
Plus de 70 ans plus tard, les modèles d’IA peuvent désormais non seulement écrire des poèmes, mais également générer des images basées sur des invites textuelles et même aider les humains à découvrir des structures protéiques inconnues.
Alors, qu’est-ce qui a motivé la croissance exponentielle de la technologie de l’IA en si peu de temps ?
Un long graphique de « Our World in Data » retrace l'histoire du développement de l'IA à travers les changements dans la puissance de calcul utilisée pour former les modèles d'IA à l'échelle.
Grande image haute définition :
La source des données de la figure provient d'un article publié par des chercheurs du MIT et d'autres universités.
Adresse papier :
En plus de l'article, une équipe de recherche a également créé un tableau visuel basé sur les données de cet article. Les icônes peuvent être zoomées et dézoomées pour obtenir des données détaillées.
Adresse du formulaire :
L'auteur du graphique estime principalement la quantité de calcul d'entraînement de chaque modèle en calculant le nombre d'opérations et le temps GPU. Quant au modèle à choisir comme représentant d'un modèle important, l'auteur le détermine principalement à travers trois propriétés :
Importance significative : un système a un impact historique significatif, améliore considérablement la SOTA ou a été cité plus de 1 000 fois.
Pertinence : l'auteur n'inclut que les articles contenant des résultats expérimentaux et des composants clés de l'apprentissage automatique, et l'objectif de l'article est de promouvoir le développement de SOTA existant.
Unicité : si un autre article décrivant le même système est plus influent, cet article sera exclu de l'ensemble de données de l'auteur.
Trois époques de développement de l'IA
Dans les années 1950, le mathématicien américain Claude Shannon a entraîné une souris robotique nommée Theseus à naviguer dans un labyrinthe et à mémoriser ses chemins – le premier exemple d'apprentissage artificiel.
Theseus est construit sur 40 opérations à virgule flottante (FLOP). Les FLOP sont couramment utilisés comme mesure des performances informatiques du matériel informatique. Plus le nombre de FLOP est élevé, plus la puissance de calcul est grande et plus le système est puissant.
La puissance de calcul, les données d’entraînement disponibles et les algorithmes sont les trois éléments majeurs du progrès de l’IA. Au cours des premières décennies de développement de l'IA, la puissance de calcul requise a augmenté conformément à la loi de Moore : la puissance de calcul a doublé en 20 mois environ.
Cependant, au moment où 2012 a marqué le début de l'ère de l'apprentissage profond avec AlexNet, une IA de reconnaissance d'images, ce temps de doublement avait été considérablement réduit à six mois, les chercheurs investissant davantage dans l'informatique et les processeurs.
Avec l’émergence d’AlphaGo en 2015 – un programme informatique qui a vaincu les joueurs professionnels de Go – les chercheurs ont découvert une troisième ère : l’ère des modèles d’IA à grande échelle avec des exigences de calcul plus grandes que tous les systèmes d’IA précédents.
Progrès futurs de la technologie de l'IA
Au cours de la dernière décennie, la puissance de calcul a augmenté si rapidement que c’en est presque ahurissant.
Par exemple, la puissance de calcul utilisée pour entraîner Minerva, une IA capable de résoudre des problèmes mathématiques complexes, était près de 6 millions de fois supérieure à celle utilisée pour entraîner AlexNet il y a dix ans.
Cette croissance de l’informatique, associée au grand nombre d’ensembles de données disponibles et à de meilleurs algorithmes, a permis à l’IA de faire de grands progrès en un laps de temps extrêmement court. Aujourd’hui, l’IA peut non seulement atteindre les niveaux de performance humaine, mais même surpasser l’humain dans de nombreux domaines.
Les capacités de l'IA continueront de surpasser les humains dans tous les aspects
Comme le montre clairement le graphique ci-dessus, l’IA a déjà dépassé les performances humaines dans de nombreux domaines et dépassera bientôt les performances humaines dans d’autres également.
La figure ci-dessous montre l'année au cours de laquelle l'IA a atteint ou dépassé les niveaux humains dans les capacités courantes utilisées dans le travail et la vie quotidienne.
### Le potentiel de développement de la technologie de l'IA est suffisant
Il est difficile de dire si la croissance de l’informatique maintiendra le même rythme. Les modèles à grande échelle nécessitent de plus en plus de puissance de calcul pour être entraînés. Si l'offre de puissance de calcul ne peut pas continuer à croître, cela pourrait ralentir les progrès du développement de la technologie de l'IA.
De même, l’utilisation de toutes les données actuellement disponibles pour former des modèles d’IA pourrait également entraver le développement et la mise en œuvre de nouveaux modèles.
Cependant, en 2023, une grande quantité de capitaux affluera dans l’industrie de l’IA, en particulier l’IA générative représentée par de grands modèles linguistiques. Peut-être que d'autres percées sont sur le point d'apparaître.Il semble que les trois éléments ci-dessus qui favorisent le développement de la technologie de l'IA seront encore optimisés et développés à l'avenir.
Au premier semestre 2023, l'échelle de financement des startups de l'industrie de l'IA a atteint 14 milliards de dollars, soit encore plus que le financement total reçu au cours des quatre dernières années.
Un grand nombre (78 %) de startups d’IA générative en sont encore aux tout premiers stades de développement, et même 27 % des startups d’IA générative n’ont pas encore levé de fonds.
Il existe plus de 360 sociétés d’intelligence artificielle générative, dont 27 % n’ont pas encore levé de fonds. Plus de la moitié sont des projets à un stade précoce ou antérieurs, ce qui indique que l’ensemble du secteur de l’IA générative en est encore à ses débuts.
En raison de la nature capitaliste du développement de grands modèles de langage, la catégorie des infrastructures d’IA générative a reçu plus de 70 % du financement depuis le troisième trimestre 2022, ce qui ne représente que 10 % de tout le volume des transactions d’IA générative. Une grande partie du financement provient de l'intérêt des investisseurs pour les infrastructures émergentes telles que les modèles et API sous-jacents, les MLOps (opérations d'apprentissage automatique) et la technologie des bases de données vectorielles.
Les références:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La puissance de calcul de l’IA a été multipliée par 680 millions en 70 ans, et trois étapes historiques ont vu l’explosion exponentielle de la technologie de l’IA.
**Source :**Xinzhiyuan
Les ordinateurs électroniques sont nés dans les années 1940 et, dix ans après leur apparition, la première application de l’IA dans l’histoire de l’humanité est apparue.
Plus de 70 ans plus tard, les modèles d’IA peuvent désormais non seulement écrire des poèmes, mais également générer des images basées sur des invites textuelles et même aider les humains à découvrir des structures protéiques inconnues.
Alors, qu’est-ce qui a motivé la croissance exponentielle de la technologie de l’IA en si peu de temps ?
Un long graphique de « Our World in Data » retrace l'histoire du développement de l'IA à travers les changements dans la puissance de calcul utilisée pour former les modèles d'IA à l'échelle.
La source des données de la figure provient d'un article publié par des chercheurs du MIT et d'autres universités.
En plus de l'article, une équipe de recherche a également créé un tableau visuel basé sur les données de cet article. Les icônes peuvent être zoomées et dézoomées pour obtenir des données détaillées.
L'auteur du graphique estime principalement la quantité de calcul d'entraînement de chaque modèle en calculant le nombre d'opérations et le temps GPU. Quant au modèle à choisir comme représentant d'un modèle important, l'auteur le détermine principalement à travers trois propriétés :
Importance significative : un système a un impact historique significatif, améliore considérablement la SOTA ou a été cité plus de 1 000 fois.
Pertinence : l'auteur n'inclut que les articles contenant des résultats expérimentaux et des composants clés de l'apprentissage automatique, et l'objectif de l'article est de promouvoir le développement de SOTA existant.
Unicité : si un autre article décrivant le même système est plus influent, cet article sera exclu de l'ensemble de données de l'auteur.
Trois époques de développement de l'IA
Dans les années 1950, le mathématicien américain Claude Shannon a entraîné une souris robotique nommée Theseus à naviguer dans un labyrinthe et à mémoriser ses chemins – le premier exemple d'apprentissage artificiel.
Theseus est construit sur 40 opérations à virgule flottante (FLOP). Les FLOP sont couramment utilisés comme mesure des performances informatiques du matériel informatique. Plus le nombre de FLOP est élevé, plus la puissance de calcul est grande et plus le système est puissant.
La puissance de calcul, les données d’entraînement disponibles et les algorithmes sont les trois éléments majeurs du progrès de l’IA. Au cours des premières décennies de développement de l'IA, la puissance de calcul requise a augmenté conformément à la loi de Moore : la puissance de calcul a doublé en 20 mois environ.
Avec l’émergence d’AlphaGo en 2015 – un programme informatique qui a vaincu les joueurs professionnels de Go – les chercheurs ont découvert une troisième ère : l’ère des modèles d’IA à grande échelle avec des exigences de calcul plus grandes que tous les systèmes d’IA précédents.
Progrès futurs de la technologie de l'IA
Au cours de la dernière décennie, la puissance de calcul a augmenté si rapidement que c’en est presque ahurissant.
Par exemple, la puissance de calcul utilisée pour entraîner Minerva, une IA capable de résoudre des problèmes mathématiques complexes, était près de 6 millions de fois supérieure à celle utilisée pour entraîner AlexNet il y a dix ans.
Les capacités de l'IA continueront de surpasser les humains dans tous les aspects
La figure ci-dessous montre l'année au cours de laquelle l'IA a atteint ou dépassé les niveaux humains dans les capacités courantes utilisées dans le travail et la vie quotidienne.
Il est difficile de dire si la croissance de l’informatique maintiendra le même rythme. Les modèles à grande échelle nécessitent de plus en plus de puissance de calcul pour être entraînés. Si l'offre de puissance de calcul ne peut pas continuer à croître, cela pourrait ralentir les progrès du développement de la technologie de l'IA.
De même, l’utilisation de toutes les données actuellement disponibles pour former des modèles d’IA pourrait également entraver le développement et la mise en œuvre de nouveaux modèles.
Cependant, en 2023, une grande quantité de capitaux affluera dans l’industrie de l’IA, en particulier l’IA générative représentée par de grands modèles linguistiques. Peut-être que d'autres percées sont sur le point d'apparaître.Il semble que les trois éléments ci-dessus qui favorisent le développement de la technologie de l'IA seront encore optimisés et développés à l'avenir.
Au premier semestre 2023, l'échelle de financement des startups de l'industrie de l'IA a atteint 14 milliards de dollars, soit encore plus que le financement total reçu au cours des quatre dernières années.
Les références: