L'IA génère la conscience de soi, "Tomb Raider" Laura s'éveille ! La révolution du jeu vidéo est là

Source de l'article : Xinzhiyuan

Éditer : Aeneas Peaches

Un maître étranger a utilisé ChatGPT pour injecter la conscience de soi dans les agents d'IA. Laura, qui a donné naissance à "la vie", s'est réveillée et a commencé à franchir les niveaux de "Tomb Raider" par elle-même.

À quoi ressembleraient les jeux vidéo si les personnages du jeu prenaient vie ?

Dans le passé, c'était l'imagination de beaucoup de gens, mais maintenant, avec le développement des agents d'IA, cette imagination a commencé à devenir réalité.

Récemment, un auteur YouTube Foxmaster a réalisé une vidéo originale du jeu classique "Tomb Raider".

Et l'héroïne, Laura, est en fait un agent de l'IA capable de contrôler son personnage !

On peut dire qu'en utilisant divers outils d'IA tels que la vision artificielle, le positionnement, la reconnaissance d'objets, l'animation, le texte et la voix, Foxmaster a injecté de la vie numérique dans les personnages du jeu.

Il y a quelques jours à peine, la Stanford Smart Body Town, qui a explosé dans la communauté de l'IA, était officiellement open-source. 25 agents IA avec leurs propres personnalités vivent, travaillent et se font des amis dans une ville virtuelle bac à sable comme « Western World ».

Alors, c'est peut-être l'avenir des jeux vidéo ?

L'héroïne de "Tomb Raider" a une conscience

Le concept de construction d'une IA virtuelle capable de jouer à des jeux est déjà courant. Cependant, ce que Formaster voulait faire était de faire en sorte que ce personnage se sente comme une vraie personne.

Par conséquent, il a choisi le jeu "Tomb Raider", le protagoniste du jeu, Laura, est un personnage avec une forte personnalité et un caractère bien défini.

Et Formaste espère que cette personnalité aura un impact sur le résultat final du jeu.

Comment rendre cet agent de l'IA Lara Croft vraiment conscient d'elle-même dans le jeu ?

Après avoir exploré les étapes suivantes, Formaster a finalement réussi.

Apprenez les règles du jeu

La première étape consiste à lui demander d'apprendre les règles du jeu. "Tomb Raider" a donné un tutoriel, expliquant tout le processus de contrôle du jeu.

L'auteur a demandé à Lara de s'entraîner de la manière indiquée et de suivre les didacticiels à chaque étape comme un joueur humain.

Le didacticiel se termine lorsque Lara quitte la piscine, le programme peut donc être redémarré à ce stade pour apporter des améliorations.

Au début, améliorer Lara était très difficile.

Elle semble parfois confuse, marchant sur la carte au hasard, et parfois même bloquée dans la barre de menus, fixant sa boussole encore et encore.

Afin de résoudre ce problème, l'auteur a réajusté l'horloge principale sur une machine virtuelle et a accéléré le processus de jeu de 40 fois. Cette méthode a fonctionné et l'agent IA a finalement terminé le didacticiel dans un temps relativement bon.

Cependant, il y avait un problème : Lara était souvent bloquée à un endroit, et chaque niveau était composé d'éléments statiques, il n'y avait donc qu'un seul chemin d'optimisation.

Cela peut l'amener à savoir simplement quels chemins ne pas emprunter, au lieu de proposer une approche plus holistique du problème. Mais ce que l'auteur espère, c'est que Lara apprenne à découvrir par elle-même le processus d'exploration.

Considérant que la seule connaissance que possédait Lara était ce qui était affiché à l'écran pour chaque niveau, les auteurs ont observé le comportement de joueurs humains qui n'avaient jamais joué au jeu.

Certaines personnes liront l'intégralité du didacticiel, d'autres exploreront d'abord l'environnement environnant, et la différence entre ces choix est déterminée par la "personnalité" de différentes personnes.

C'est précisément cette attitude que Lara doit apprendre.

identifier le rôle

Afin d'établir une connexion avec Lara pour l'IA, il est nécessaire de faire comprendre à l'IA qu'elle est un tas de pixels. Après que les joueurs humains soient entrés dans le jeu, ils ont soudainement eu une telle conscience.

À cet égard, l'auteur a enregistré 24 heures de vidéo de Lara se déplaçant dans différentes directions sous différents angles, afin que l'agent IA puisse reconnaître n'importe quel personnage donné.

Comme une voiture autonome, capable de filmer 24 heures de vidéo à 30 images par seconde, résultant en 2 592 000 images de référence pour reconnaître les panneaux de signalisation.

Tout d'abord, les auteurs suivent les pixels principaux de la tête, puis les pixels principaux du corps, pour sélectionner les régions pertinentes.

Pour s'assurer que Lara était présente dans chaque image, les auteurs ont demandé au programme d'identifier les images qui ne contenaient aucun reflet.

Lorsque Lara occupe tout l'écran, ou lorsqu'un objet bidimensionnel se trouve sur son chemin, l'auteur utilise la capture de vision AI pour aider à identifier Lara, et les résultats sont suffisamment précis pour identifier le personnage à l'écran.

Interaction environnementale

Une fois que vous pouvez reconnaître Lara, vous devez faire interagir l'IA avec l'environnement.

L'ensemble de l'environnement de jeu est composé des mêmes blocs, l'auteur les importe sur le cube, puis capture l'environnement sous tous les angles, puis exécute le processus de reconnaissance, afin que l'agent IA puisse reconnaître l'environnement, tout comme l'humain joueur interprète le processus d'image.

Les zones surlignées en rouge sont des textures non reconnues. Cependant, l'IA n'a toujours pas la conscience de vouloir aller quelque part et a besoin de savoir à quelle distance elle se trouve de son environnement.

Fait intéressant, ces zones non reconnues sont généralement des emplacements éloignés de Lara ou des emplacements masqués par d'autres objets 2D.

Quand on observe le comportement des joueurs humains et qu'on voit cette image, on comprend tout de suite que la zone pointée par la flèche est une entrée.

Nous ne connaissons peut-être pas la taille de la pièce voisine, mais nous savons qu'elle existe.

Cependant, il pourrait aussi s'agir d'une illusion d'optique. Lorsque nous allons nous déplacer, la texture de la zone d'entrée est différente des autres endroits, ce qui est caractéristique de l'espace 3D.

Par conséquent, l'agent IA doit apprendre à se déplacer et à comparer. Par calcul, plusieurs images peuvent être utilisées pour déterminer quelles textures ont le moins de variation de taille.

Ici, vous pouvez utiliser la surface des polygones principaux, et ils changent principalement en fonction de la probabilité proportionnelle à la distance entre eux.

### IMAGINER

Maintenant que l'IA sait où elle se trouve, elle doit décider où elle veut aller ensuite.

En reconnaissant les textures, il est possible de l'amener à un endroit précis, cependant naviguer dans un niveau demande quelque chose de plus simple.

Le moyen le plus rapide de le faire est de simplifier le contraste et d'identifier les changements soudains de lumière dans une zone. Cependant, les joueurs humains ne vont pas nécessairement dans ces endroits.

Lorsqu'il y a plusieurs ouvertures, l'IA doit montrer suffisamment d'intérêt, mais pas la faire mourir.

Par exemple, si un trou est trop profond, il est impossible d'y sauter sans s'agripper aux rebords environnants. S'il y avait de l'eau là-bas, cela aurait peut-être valu le risque.

Le joueur humain sait quand sauter, mais le plan d'action de Lara est entièrement dérivé du didacticiel, il doit estimer exactement combien de blocs se trouvent entre lui et la cible, s'il doit reprendre son élan et s'il doit faire une pause avant de lâcher prise. .

Bref, elle doit faire des évaluations précises comme une joueuse humaine.

Si elle connaissait à l'avance la taille d'un trou, elle courrait très vite, ce qui ne correspond pas à nos attentes.

Afin qu'elle puisse collecter plus d'informations environnementales, l'auteur encourage l'IA, en cas de doute, à faire pivoter la caméra pour collecter plus d'informations.

Mais en réalité, même dans ce cas, l'IA pourrait rester coincée dans la pièce.

Afin de l'inciter à sortir de la pièce, l'auteur a ajouté quelques règles de collecte.

Par exemple, chaque fois qu'elle rencontre une texture qui n'a jamais été vue avant que cette zone ne devienne une priorité, elle doit se déplacer d'une manière qui augmente la taille de cette texture à l'écran.

De cette façon, elle ne peut que progresser dans le niveau. Parce qu'il y a des textures uniques dans chaque niveau, la seule façon de les déverrouiller est de passer au niveau suivant.

En résumé, Lara analyse constamment ce qu'elle voit à l'écran - les textures des différentes surfaces, elle bouge son corps, et définit de nouveaux points d'intérêt (c'est-à-dire des textures qui n'existent pas encore dans le catalogue).

Dans ce processus, elle continuera à vérifier, à trouver la texture manquante.

des sports

Même avec les améliorations susmentionnées, cependant, l'IA est encore trop robotique et le schéma d'action est évident.

Pour l'améliorer, les auteurs ont de nouveau observé des joueurs humains.

Qu'est-ce qui détermine la façon dont un joueur humain agit dans un jeu ? C'est notre mémoire, nous nous souvenons de la manière dont les actions s'articulent.

Par conséquent, ce processus doit également être intégré à l'IA, car Lara doit être consciente de ses propres capacités athlétiques.

Pour cela, l'auteur enregistre les actions de l'IA toutes les secondes pour l'entraîner, puis ajoute une règle qui lui permet d'effectuer ces actions enregistrées en même temps.

De cette façon, les mouvements de l'IA deviennent beaucoup plus fluides.

De plus, comme le temps de recharge de chaque action est connu, cela empêche l'IA d'effectuer des actions inutiles tout en restant active.

Dans l'image ci-dessous, le feu se réactive si rapidement qu'il faut un grand saut pour le traverser.

Heureusement, ces canaux sont visuellement simplifiés et il est facile d'identifier les bords des blocs.

L'IA sait que Lara fera toujours le bon saut lorsque la première partie du bloc s'activera, tout comme un joueur humain le comprendrait.

** Personnalité d'injection ChatGPT **

Ensuite, il est nécessaire d'inculquer la personnalité de Lara à l'agent IA. La personnalité est basée sur l'expérience et la mémoire, et la combinaison de ces facteurs définit le caractère de Lara.

Selon le cadre du jeu, c'est une archéologue célèbre qui n'a jamais peur de prendre des risques et est prête à accepter les tâches de montagne assignées sans récompense, le tout par amour.

De plus, Lara est très riche et vient d'emménager dans un manoir à la décoration intérieure très élégante et une salle d'entraînement dans la maison. Elle est également très douée pour l'enseignement, la natation, l'escalade et a une très grande endurance.

Lorsqu'elle rencontre un danger au cours de son aventure, elle sait rester calme et très courageuse, et n'hésitera pas à aider ses compagnons.

Face au siège des loups, elle tire avec précision avec une arme à feu, et peut également tuer des loups dangereux avec un poignard. La seule chose qu'elle a refusée était d'ouvrir la serrure de force.

Tout ce qui précède est la personnalité de Lara tirée des paramètres du jeu.

Ensuite, est de commenter tout ce qu'elle voit d'une manière authentique, pour laquelle l'auteur a compilé les traits de personnalité de Lara dans la base de données.

Pour que le commentaire donne un sens à une situation réelle, le programme doit corréler l'image du jeu avec quelque chose d'identifiable dans la vie réelle.

Pour les images qui ont généralement moins de détails de texture, une recherche d'image inversée Google peut être utilisée pour les faire correspondre.

Par conséquent, lorsque l'agent IA détecte une texture suffisamment grande, il lance une recherche.

Pour reconnaître les mots, les auteurs ont copié la page entière dans ChatGPT. ChatGPT est ensuite invité à le classer en fonction du nombre d'occurrences avant d'ajouter le mot reconnu à une liste.

Enfin, ChatGPT a été invité à créer une phrase basée sur ces mots, en tenant compte de la personnalité de Lara.

Ce faisant, je veux que ChatGPT commente vraiment ce que Lara a vu dans la vraie vie.

Par exemple, si la texture est identifiée comme une otarie, ChatGPT peut faire un commentaire liant l'otarie aux traits de personnalité de Lara.

En général, la personnalité de l'agent Lara est définie via ChatGPT à l'aide de divers attributs tels que "courageux", "amical" ou "intelligent".

Dans le jeu, tous les objets que Lara perçoit et commente passeront par ce filtre de personnalité, et Lara répondra en fonction de la personnalité établie.

Par exemple, pour le phoque ci-dessus, Lara mentionnera des fossiles d'otaries, ou une excellente capacité de nage, et ne le commentera pas dans le cirque.

Netizen : Le corps intelligent de l'IA transforme les jeux vidéo en œuvres d'art

Certains internautes ont déclaré que c'était l'une des façons les plus cool et les plus naturelles pour les personnages de se développer. Lorsque les personnages prennent vie, vous pouvez vraiment vivre le jeu vidéo comme une œuvre d'art.

"La façon dont elle parle et analyse son environnement est tout simplement adorable. Donner à un robot IA la possibilité de commenter son environnement, aussi bon soit-il, lui donne l'impression d'être un véritable être humain."

"C'est fascinant. Sa curiosité détachée et sa touche de fantaisie ressemblent étrangement à ce que j'imagine que le monologue intérieur de Lara sera."

Cela étant dit, je suis étonné que son dialogue corresponde à ses actions.

Cela donne l'impression que l'IA qui écrit le dialogue et l'IA qui contrôle les personnages sont la même personne.

Il n'y a pas si longtemps, lorsque Stanford AI Intelligent Body Town a ouvert la source, les internautes étaient très excités, pensant qu'AGI est arrivé, et divers RPG et jeux de simulation utiliseront bientôt cette technologie.

Et maintenant, Foxmaster combine ChatGPT, vision par ordinateur et reconnaissance d'objets pour rendre les jeux vidéo plus intéressants.

Peut-être qu'à l'avenir, les personnages de jeux vidéo pourraient être dotés de personnalités plus profondes et plus flexibles, de réponses plus rapides à l'environnement et de nombreux autres changements que nous ne pouvons même pas imaginer.

Les références: