De la simulation à l’innovation : qu’apprend l’IA des jeux ?

Wang Shu Boursier postdoctoral, Tencent Research Institute

Meng Jingzhi Stagiaire à l'Institut de recherche Tencent

Source de l'image : générée par l'outil d'IA illimitée

Le 13 juillet, le magazine "Science" a publié un article intitulé "Les jeux continuent de stimuler le développement et les progrès de l'intelligence artificielle", qui discutait en détail de la relation entre les jeux et l'intelligence artificielle, et estimait que "les jeux offrent un champ d'application prometteur pour le grand public". " L'utilisation des jeux comme plate-forme pour étudier l'intelligence artificielle présente un avantage direct pour l'industrie mondiale du jeu vidéo, estimée à 200 milliards de dollars. " [1]

Alors, quelle est la relation entre les jeux et l'intelligence artificielle, comment les jeux favorisent-ils le développement et les progrès de l'intelligence artificielle, et quel impact auront-ils sur la vie des gens ?

Synergie et symbiose : jeux et intelligence artificielle se complètent

En regardant l'ensemble de l'histoire du développement des sciences de l'information ou de l'informatique, il n'est pas difficile de constater que les jeux traversent presque tout le processus de développement de la recherche sur l'intelligence artificielle, et que chaque avancée majeure dans le domaine de l'intelligence artificielle est étroitement liée aux jeux. Auparavant, le Centre de recherche sur la philosophie du jeu de l'Université de Xiamen a discuté de la relation entre les jeux et le développement de l'intelligence artificielle à partir des trois niveaux de théorie, de matériel et d'application. [2] ：

**Le jeu inspire la théorie de l'intelligence artificielle et aide à la recherche et au développement de l'intelligence artificielle. **De Shannon, le père de l'information, a commencé à étudier l'intelligence artificielle avec les échecs comme objet en 1950, à Samuel, le pionnier de l'intelligence artificielle, a inventé des algorithmes d'apprentissage par renforcement basés sur des dames. Les jeux de société tels que les échecs et les dames ont longtemps été considérés comme les "mouches des fruits de la recherche sur l'IA", c'est-à-dire un moyen peu coûteux et perceptible pour vérifier rapidement les problèmes. Aujourd’hui, le développement rapide de l’industrie du jeu vidéo favorise directement la prospérité de la recherche théorique sur l’intelligence artificielle. De 1971 à 2015, le nombre d'articles de recherche sur l'intelligence artificielle liés au jeu était inférieur à 1 000. Cependant, depuis qu'AlphaGO a battu le triple champion européen de Go Fan Hui en 2015, la recherche sur l'intelligence artificielle liée au jeu a connu une croissance explosive. à 2022 Au cours des 7 années de 2019, le nombre d'articles pertinents a atteint 1625, dont 17 articles sont devenus les articles de couverture de "Nature" et "Science". [3]

** Le jeu promeut l'itération innovante de l'infrastructure de puissance de calcul de l'intelligence artificielle GPU (carte graphique). ** En prenant l'exemple de la société de puces Nvidia, à en juger par l'évolution des revenus et des revenus totaux de l'activité de jeux et de centres de données de Nvidia de 1995 à 2022, la quasi-totalité des revenus de Nvidia au début provenaient de l'activité de jeux, et Nvidia, en s'appuyant sur l'activité du jeu, a terminé l'accumulation de fonds et construit des barrières techniques pour renforcer la transformation ultérieure. Aujourd'hui, Nvidia s'est rapidement imposé comme le leader des puces d'intelligence artificielle en raison de sa riche accumulation de technologies dans les cartes graphiques de jeu et de ses investissements élevés en R & D. Actuellement, Nvidia détient une part de marché de 95% dans les puces de formation à l'IA. [4] . De nombreuses technologies accumulées par les cartes graphiques de jeu sont également devenues les principales capacités sous-jacentes des GPU NVIDIA et sont appliquées à davantage de domaines tels que la conduite autonome, les soins médicaux, les sciences de la vie, l'énergie, les services financiers et la fabrication.

**Les jeux fournissent à l'intelligence artificielle un environnement de formation contrôlable et des normes de mesure claires. **Un jeu contient des objectifs, des règles et des défis, et le processus de résolution des défis reflète l'intelligence. Par conséquent, lors de la création d'un programme qui peut compléter un certain jeu, on peut supposer que ce programme possédera une sorte d '"intelligence" "humaine" dans une certaine mesure. D'une part, le jeu a de riches scènes d'interaction homme-ordinateur et des règles stables et contrôlables, ce qui peut résoudre le problème du manque de scènes de recherche sur l'intelligence artificielle. D'autre part, les jeux fournissent des normes de mesure claires pour l'intelligence artificielle, et la capacité d'évaluer l'intelligence artificielle avec des règles claires et quantifiables dans les jeux peut grandement améliorer l'efficacité de l'itération et des tests technologiques.

Parallèlement à l'itération technologique et à l'innovation des applications, de plus en plus d'entreprises, d'universités et d'instituts de recherche scientifique ont commencé à mener des recherches sur l'innovation en intelligence artificielle basées sur les jeux. La recherche sur l'intelligence artificielle des jeux s'est engagée dès le début à créer des corps intelligents ressemblant à ceux de l'homme et à s'affronter avec des humains dans des environnements d'information parfaits/imparfaits (tels que l'intelligence artificielle AlphaStar basée sur "StarCraft 2", l'intelligence artificielle basée sur "DOTA2 ") Intelligent OpenAIFive, etc.), étendu pour se concentrer sur la génération automatique de divers contenus dans le jeu (environnement virtuel), afin d'améliorer encore l'expérience d'interaction homme-ordinateur. Il n'y a pas si longtemps, lors de la Conférence mondiale sur l'intelligence artificielle de 2023, un certain nombre d'universités ont lancé conjointement le "Game Artificial Intelligence University Joint Research Center", axé sur la relation de développement entre les jeux et l'industrie de l'intelligence artificielle.

Des règles simples à des simulations complexes : les humains apprennent à l'IA à "marcher et courir"

Parmi les nombreuses recherches sur l’intelligence artificielle des jeux axées sur l’expérience interactive, la plus typique est la génération d’actions d’agents intelligents. Un agent est un objet virtuel ou réel contrôlé par une machine qui peut agir et réagir en fonction de différentes conditions internes et externes. Un représentant typique est un personnage non contrôlé par le joueur (PNJ) dans un jeu. La technologie intelligente de génération de mouvements corporels étudie principalement comment rendre le comportement du corps intelligent aussi fluide et naturel qu'une personne réelle, et améliorer encore l'expérience d'interaction homme-machine. Si les domaines de la vision par ordinateur et du traitement du langage naturel dans la recherche sur l’intelligence artificielle se concentrent respectivement sur les capacités de compréhension des images, des textes et du langage, alors la génération d’actions d’agents correspond au domaine de l’intelligence artificielle pour contrôler les comportements et les actions.

Historiquement, le développement de la technologie de génération d'action est passé par un processus allant de règles simples à des simulations complexes, de la première machine à états finis aux algorithmes d'adaptation de mouvement, puis à la génération d'action basée sur l'apprentissage automatique.En simulant des actions humaines, les agents apprennent progressivement à marcher et cours comme un humain.

(1) Génération d'action basée sur la correspondance des règles

1. Génération d'actions basée sur une machine à états

Dans l’environnement virtuel, diverses actions de l’agent, telles que marcher, courir, sauter, attaquer, etc., sont considérées comme différents états. Les premiers développeurs utilisent généralement une « machine à états » pour contrôler le comportement de l'agent, en associant différentes actions de l'agent selon différentes conditions. L'avantage de cette approche est que les règles de transition entre les états peuvent être clairement définies, par exemple, l'état de marche peut être transformé en état de course ou de saut. La figure ci-dessous montre la machine à états finis utilisée par l'agent dans le jeu.

Figure 1 Diagramme schématique de la machine à états dans le jeu [5]

Il n'est pas difficile de constater que l'avantage de cette approche est qu'elle peut définir clairement les règles de transition entre les états, par exemple, l'état de marche peut être transformé en course ou en saut ; la limitation est qu'il peut être difficile de traiter des interactions comportementales et prévoir les changements d'état futurs. La conception et la maintenance de la machine d'état peuvent devenir extrêmement complexes et chronophages pour les systèmes très complexes en raison de la nécessité d'une logique écrite à la main pour passer d'un nœud à un autre.

2. Génération d'actions basée sur la correspondance de mouvement

Afin de résoudre les limites d'application de la machine à états, les scientifiques en intelligence artificielle des jeux ont commencé à explorer des solutions de génération de mouvement plus efficaces, et la technologie de correspondance de mouvement (Motion Matching) a vu le jour. Par rapport à la machine d'état, cette technologie n'a plus besoin de séparer manuellement différents segments de données de capture de mouvement, mais utilise les données de capture de mouvement pour créer une base de données de poses d'action, et sélectionne et mélange les segments de mouvement les plus appropriés en temps réel en fonction de l'état actuel. et l'état cible de l'agent. En conséquence, un contrôle d'animation plus complexe et plus fin peut être réalisé en fonction de l'état en temps réel du personnage et des facteurs environnementaux, de sorte que le corps intelligent puisse présenter un effet de mouvement plus naturel et plus fluide.

Figure 2 Diagramme schématique du processus Motin Matching [6]

Bien sûr, la technologie de correspondance de mouvement a également certaines limites dans la pratique. Par exemple, elle doit garder toutes les données d'animation en mémoire lors de son utilisation, ce qui prend beaucoup de mémoire ; toutes les animations sont du contenu existant dans la base de données, qui ne peut pas être réalisé. L'innovation dans l'animation en mouvement. Même dans "Red Dead Redemption 2", qui rend les PNJ suffisamment réalistes, il ne réalise que des "matchs sportifs". Bien que le jeu ait conçu des centaines d'animations d'action différentes pour le cheval, et qu'il y ait même des centaines de sons différents pour haleter, ce ne sont pas une véritable intelligence, mais sont empilés par d'énormes règles de machine à états et des ressources d'animation.

(2) Génération d'actions d'agent basées sur l'apprentissage automatique

Qu'il soit basé sur une machine d'état ou une technologie d'adaptation de mouvement, il n'a pas réalisé de véritable génération d'action intelligente par essence, et il existe des problèmes de système complexe et de perte importante dans le processus d'application d'atterrissage. Alors, existe-t-il un moyen d'ajouter autant de données d'action que vous le souhaitez lors de la formation du modèle, et il n'est pas nécessaire de mettre ces données supplémentaires en mémoire lors de l'exécution du jeu ?

À cette fin, les cercles universitaires et les industries du pays et de l'étranger ont mené de nombreuses explorations, essayant de réaliser la génération automatique d'actions corporelles intelligentes basées sur l'apprentissage automatique. À l’étranger, la société américaine EA a développé en 2021 la technologie HyperMotion, qui a considérablement amélioré le réalisme et la vitesse de réponse des mouvements intelligents du corps dans les jeux de la série FIFA. La solution technique utilise d'abord la technologie de capture de mouvement pour capturer plus de 8,7 millions d'images de données de mouvement de 22 joueurs de football professionnels humains dans le jeu, puis utilise des algorithmes d'apprentissage automatique pour apprendre en continu à partir des 8,7 millions d'images de données, et réalise enfin le réel -le mouvement temporel des corps intelligents dans le jeu génère. [7]

En Chine, depuis 2019, Tencent a tenté d'appliquer le modèle de réseau de neurones auto-régressif (ARNN) à la solution de génération d'action de l'agent, et a fait des progrès décisifs. ARNN est un algorithme d'apprentissage automatique largement utilisé dans l'analyse et le traitement de données de séries chronologiques, et est souvent utilisé dans des scénarios tels que les prévisions météorologiques et boursières. S'il peut être utilisé dans le domaine de l'action, il sera possible de capturer un grand nombre de personnes réelles et d'entrer des données pour la formation, de laisser le modèle d'IA prédire la prochaine image de l'image de séquence d'action, et enfin de générer une complète et l'action naturelle de manière cohérente.

Afin d'atteindre cet objectif, en 2019, l'équipe "Reverse Battle Mobile Games" de Tianmei J3 Studio s'est associée au laboratoire Tencent RoboticsX, basé sur la recherche du modèle ARNN, a ouvert et complété progressivement la technologie de pointe dans le domaine de jeux et de robots - recherche et développement "Intelligent Body Action Generation Technology". Cette technologie est basée sur le principe du modèle ARNN, apprend les données de capture de mouvement et utilise des algorithmes adaptatifs basés sur les données pour permettre aux PNJ ou aux robots de générer automatiquement des actions, des réactions et des expressions qui ressemblent davantage à de vraies créatures en fonction de différentes réactions externes telles que comme les opérations des joueurs ou les changements environnementaux.

Figure 3 Diagramme schématique de la technologie de génération d'actions d'agent

Cet ensemble de solutions technologiques de génération d'action basées sur ARNN proposées par l'équipe de jeux mobiles anti-guerre de Tencent a réalisé plusieurs avancées dans l'industrie :

Tout d'abord, afin de mettre en œuvre l'algorithme de réseau neuronal autorégressif, les chercheurs ont créé une chaîne d'outils complète à partir de zéro et ont établi un pipeline de production complet à travers des étapes telles que la capture de mouvement, le prétraitement de l'animation, la formation et le réglage. Afin de résoudre les problèmes de synchronisation du réseau et d'optimisation des performances qui peuvent exister lorsque cette technologie est appliquée sur le terminal mobile, l'équipe a adopté la technologie d'adaptation de trajectoire, la technologie d'animation de fusion et les solutions correspondantes au niveau de l'algorithme, ce qui a considérablement amélioré les performances globales et réduit le neurone. Performances du réseau. Surcharge de mémoire pour l'inférence.

Deuxièmement, l'équipe de recherche a coopéré avec Tencent RoboticsX Lab pour appliquer la technologie intelligente de génération de mouvements corporels au robot quadrupède afin de l'aider à réaliser un contrôle et une prise de décision intelligents, et à améliorer considérablement l'efficacité de l'entraînement. Dans l'application de l'algorithme lui-même, cet ensemble de technologies peut aider les robots à améliorer leur capacité de réflexion, à prendre des décisions autonomes et à générer automatiquement des actions, des réactions et des expressions qui ressemblent davantage à de vraies créatures basées sur des réactions externes. Dans le cadre de recherches et de formations continues, après de nombreux entraînements par simulation, le robot équipé de cette technologie a appris les mouvements de vrais chiens tels que marcher, courir, sauter, se tenir debout, etc., et peut utiliser ces postures avec flexibilité pour terminer ramper, franchir des obstacles. course à pied, obstacle Parkour navette entre objets et autres tâches ; même si vous rencontrez un obstacle que vous ne connaissez pas à l'avance, vous pouvez l'esquiver avec un flash lumineux, l'éviter adroitement, modifier la trajectoire de manière indépendante et utiliser différents plans d'itinéraire pour atteindre l'objectif fixé (comme le montre la figure ci-dessous). [8]

Figure 4 Robot quadrupède multimodal développé par Tencent

De l'imitation à la transcendance : l'intelligence artificielle des jeux affecte le monde réel

Sur la base de l'environnement du jeu, les humains ont appris à l'intelligence artificielle comment mieux réussir à "marcher et courir" dans l'environnement virtuel, mais la valeur de la recherche sur l'intelligence artificielle des jeux ne s'arrête pas là. Comme mentionné dans l'article du magazine Science, "Les progrès de l'intelligence artificielle dans les jeux seront également une étape importante vers des systèmes d'IA plus puissants et plus flexibles opérant dans le monde réel." ** Les dix-huit arts martiaux appris par l'intelligence artificielle par "imitation" dans le jeu a des caractéristiques et des valeurs transférables et universelles dans une variété de problèmes et de scénarios réels. **

Dans la pratique du milieu universitaire et de l'industrie au pays et à l'étranger, les chercheurs des instituts de recherche scientifique et des entreprises tentent également d'appliquer davantage de technologie d'intelligence artificielle de jeu à d'autres domaines, d'utiliser l'IA de jeu pour connecter l'économie réelle et de former la productivité numérique dans plus de domaines :

Dans le domaine du diagnostic médical, les technologies connexes de l'intelligence artificielle des jeux sont également utilisées dans la recherche médicale et la pratique clinique et dans d'autres domaines médicaux et de santé, y compris le dépistage personnalisé, le diagnostic, le pronostic, la surveillance, la modélisation des risques, la découverte de médicaments et la prédiction de la réponse au traitement, etc. . En particulier pour améliorer la rapidité et la précision de l'identification et du diagnostic des maladies, la technologie de l'intelligence artificielle des jeux fournit un soutien efficace. La technologie d'intelligence artificielle des jeux peut également simuler la scène virtuelle de l'état ou de l'opération d'un patient grâce à des données historiques, fournir une aide à la prise de décision médicale grâce à l'apprentissage par renforcement et également rendre possible la chirurgie assistée par robot.

Dans le domaine des activités éducatives, l’intelligence artificielle des jeux présente également un grand potentiel d’application. D'une part, les gens peuvent se référer aux résultats de la recherche sur l'intelligence artificielle des jeux pour créer ou améliorer de nouvelles formes d'activités pédagogiques telles que "l'apprentissage basé sur le jeu" et la "gamification dans l'éducation", afin d'améliorer le processus d'enseignement traditionnel. les éléments et mécanismes uniques du jeu dans le jeu pour atteindre l'objectif d'améliorer l'effet d'apprentissage ; d'autre part, les gens peuvent également utiliser des environnements de jeu tels que "My World", "StarCraft" et "Glory of the King" pour aider à réaliser des activités d'enseignement de l'intelligence artificielle (en fait, il est presque impossible de mener des activités d'enseignement d'apprentissage par renforcement sans l'environnement de jeu). [9]

Il est prévisible que dans la prochaine période, sortir la technologie de l'intelligence artificielle du jeu de l'environnement du jeu deviendra une direction d'application majeure. Nous espérons également que l’intelligence artificielle des jeux pourra contribuer à l’innovation et au développement de tous les horizons une fois sortie du monde virtuel.

Merci aux nombreux experts de Tencent Tianmei J3 Studio pour leurs conseils tout au long du processus de rédaction de cet article.

Source de référence:

[1] Wurman, P R., Stone, P. et Spranger, M (2023) Améliorer l'intelligence artificielle avec les jeux. Sciences,381(6654), 147-148.

[2] Centre de recherche sur la philosophie du jeu de l'Université de Xiamen, etc. "Rapport d'observation de l'industrie de l'intelligence artificielle du jeu"

[3] Les dernières recherches de l'équipe de l'Académie chinoise des sciences : La technologie des jeux est devenue un moteur important pour l'innovation et le développement de l'intelligence artificielle.

[4] Du gaming à l'accélération de l'IA : Nvidia à gauche, AMD à droite.

[5] Holden, Daniel "Contrôle des personnages avec les réseaux de neurones et l'apprentissage automatique".

[6] Holden, Daniel "Contrôle des personnages avec les réseaux de neurones et l'apprentissage automatique".

[7] Technologie d'hypermotion FIFA22

[8] Les derniers développements des robots Tencent : apprenez à « courir et sauter » à partir de vrais chiens

[9] Centre de recherche sur la philosophie du jeu de l'Université de Xiamen « Rapport sur le développement de l'intelligence artificielle des jeux 2023 »