La IA genera autoconciencia, ¡"Tomb Raider" Laura despierta! La revolución de los videojuegos está aquí.

Fuente del artículo: Xinzhiyuan

Editar: Eneas Melocotones

Un maestro extranjero usó ChatGPT para inyectar autoconciencia en los agentes de IA. Laura, quien dio a luz a la "vida", despertó y comenzó a atravesar niveles en "Tomb Raider" por sí misma.

¿Cómo serían los videojuegos si los personajes del juego cobraran vida?

En el pasado, esta era la imaginación de muchas personas, pero ahora, con el desarrollo de agentes de IA, esta imaginación ha comenzado a hacerse realidad.

Recientemente, un autor de YouTube, Foxmaster, hizo un video original del clásico juego "Tomb Raider".

¡Y la heroína, Laura, es en realidad un agente de IA que puede controlar a su personaje!

Se puede decir que usando varias herramientas de IA como visión artificial, posicionamiento, reconocimiento de objetos, animación, texto y voz, Foxmaster ha inyectado vida digital a los personajes del juego.

Hace solo unos días, Stanford Smart Body Town, que explotó en la comunidad de IA, fue oficialmente de código abierto. 25 agentes de IA con sus propias personalidades viven, trabajan y hacen amigos en una ciudad virtual sandbox como "Western World".

Entonces, ¿tal vez este sea el futuro de los videojuegos?

La heroína de "Tomb Raider" tiene conciencia

El concepto de construir una IA virtual que pueda jugar juegos ya es común. Sin embargo, lo que Formaster quería hacer era hacer que este personaje se sintiera como una persona real.

Por ello, eligió el juego “Tomb Raider”, la protagonista del juego, Laura, es un personaje con una personalidad fuerte y un carácter bien definido.

Y Formaste espera que esta personalidad tenga un impacto en el resultado final del juego.

¿Cómo hacer que esta agente de IA, Lara Croft, sea realmente consciente de sí misma en el juego?

Después de explorar los siguientes pasos, Formaster finalmente tuvo éxito.

Aprende las reglas del juego

El primer paso es pedirle que aprenda las reglas del juego. "Tomb Raider" ha dado un tutorial, explicando todo el proceso de control del juego.

El autor le pidió a Lara que practicara de la manera indicada y completara los tutoriales en cada etapa como un jugador humano.

El tutorial finaliza cuando Lara sale de la piscina, por lo que el programa se puede reiniciar en ese momento para realizar mejoras.

Al principio, mejorar a Lara fue muy difícil.

A veces parece confundida, camina por el mapa al azar y, a veces, incluso se queda atascada en la barra de menú, mirando su brújula una y otra vez.

Para resolver este problema, el autor reajustó el reloj principal de una máquina virtual y aceleró el proceso del juego 40 veces. Este método funcionó y el agente de IA finalmente completó el tutorial en un tiempo relativamente bueno.

Sin embargo, había un problema: Lara a menudo estaba atrapada en un lugar y cada nivel estaba hecho de elementos estáticos, por lo que solo había una ruta de optimización.

Esto puede llevarla a simplemente saber qué caminos no tomar, en lugar de idear un enfoque más holístico del problema. Pero lo que el autor espera es que Lara aprenda a descubrir por sí misma el proceso de exploración.

Teniendo en cuenta que el único conocimiento que poseía Lara era lo que se mostraba en la pantalla para cada nivel, los autores observaron el comportamiento de los jugadores humanos que nunca habían jugado el juego.

Algunas personas leerán el tutorial completo y otras explorarán primero el entorno circundante, y la diferencia en estas opciones está determinada por la "personalidad" de las diferentes personas.

Es precisamente esta actitud la que Lara necesita aprender.

identificar rol

Para establecer una conexión con Lara para AI, es necesario dejar que AI entienda que ella es un montón de píxeles. Después de que los jugadores humanos ingresaron al juego, de repente tuvieron tal conciencia.

En este sentido, el autor grabó 24 horas de video de Lara moviéndose en diferentes direcciones desde varios ángulos, para que el agente de IA pueda reconocer a cualquier personaje dado.

Como un coche autónomo, capaz de grabar 24 horas de vídeo a 30 fotogramas por segundo, lo que da como resultado 2 592 000 imágenes de referencia para reconocer las señales de tráfico.

Primero, los autores rastrean los píxeles principales de la cabeza y luego los píxeles principales del cuerpo para seleccionar las regiones relevantes.

Para asegurarse de que Lara estuviera presente en cada imagen, los autores le pidieron al programa que identificara las imágenes que no contenían ningún punto destacado.

Cuando Lara ocupa toda la pantalla, o cuando un objeto bidimensional se interpone en su camino, el autor usa la captura de visión de IA para ayudar a identificar a Lara, y los resultados son lo suficientemente precisos como para identificar al personaje en la pantalla.

Interacción Ambiental

Una vez que puedas reconocer a Lara, debes hacer que la IA interactúe con el entorno.

Todo el entorno del juego está compuesto por los mismos bloques, el autor los importa en el cubo, luego captura el entorno desde todos los ángulos y luego ejecuta el proceso de reconocimiento, para que el agente de IA pueda reconocer el entorno, al igual que el proceso. de jugadores humanos interpretando imágenes.

Las áreas resaltadas en rojo son texturas no reconocidas. Sin embargo, la IA todavía carece de la conciencia de querer ir a algún lugar y necesita saber qué tan lejos está de su entorno.

Curiosamente, estas áreas no reconocidas suelen ser ubicaciones alejadas de Lara o ubicaciones que están ocultas por otros objetos 2D.

Cuando observamos el comportamiento de los jugadores humanos y vemos esta imagen, inmediatamente podemos entender que el área señalada por la flecha es una entrada.

Puede que no sepamos el tamaño de la habitación de al lado, pero sabemos que existe.

Sin embargo, también podría ser una ilusión óptica. Cuando vamos a movernos, la textura del área de entrada es diferente a otros lugares, lo cual es característico del espacio 3D.

Por tanto, el agente de IA tiene que aprender a moverse y comparar. Computacionalmente, se pueden usar múltiples imágenes para determinar qué texturas tienen la menor variación de tamaño.

Aquí puede usar el área de los polígonos principales, y cambian principalmente en función de la probabilidad proporcional a la distancia entre ellos.

### IMAGINAR

Ahora que la IA sabe dónde está, tiene que decidir adónde quiere ir a continuación.

Al reconocer texturas, es posible llevarla a un lugar específico, sin embargo, navegar un nivel requiere algo más simple.

La forma más rápida de hacerlo es simplificar el contraste e identificar cambios repentinos de luz en un área. Sin embargo, los jugadores humanos no necesariamente van a estos lugares.

Cuando hay múltiples aperturas, la IA debe mostrar suficiente interés, pero no causarle la muerte.

Por ejemplo, si un agujero es demasiado profundo, es imposible saltar sin agarrarse a las repisas circundantes. Si hubiera agua allí abajo, podría haber valido la pena el riesgo.

Un jugador humano sabe cuándo saltar, pero el curso de acción de Lara se deriva del tutorial. Tiene que estimar exactamente cuántos bloques hay entre él y el objetivo, si debe tomar impulso y si debe hacer una pausa antes de soltarlo. .

En resumen, debe hacer evaluaciones precisas como un jugador humano.

Si supiera el tamaño de un agujero de antemano, correría muy rápido, lo que no cumple con nuestras expectativas.

Para que pueda recopilar más información ambiental, la autora recomienda a la IA que, en caso de duda, debe rotar la cámara para recopilar más información.

Pero en realidad, incluso entonces, la IA podría quedarse atascada en la habitación.

Para animarla a salir de la habitación, el autor añadió algunas reglas de colección.

Por ejemplo, cada vez que se encuentra con una textura que nunca antes se había visto, esa área se convierte en una prioridad, tiene que moverse de manera que aumente el tamaño de esa textura en la pantalla.

De esta manera, ella solo puede progresar a través del nivel. Debido a que hay texturas únicas en cada nivel, la única forma de desbloquearlas es avanzar al siguiente nivel.

En resumen, Lara está constantemente analizando lo que ve en la pantalla: las texturas de diferentes superficies, mueve su cuerpo y define nuevos puntos de interés (es decir, texturas que aún no existen en el catálogo).

En este proceso, seguirá verificando para encontrar la textura que falta.

Deportes

Sin embargo, incluso con las mejoras antes mencionadas, la IA sigue siendo demasiado robótica y el patrón de acción es obvio.

Para mejorarlo, los autores observaron jugadores humanos nuevamente.

¿Qué determina cómo actúa un jugador humano en un juego? Es nuestra memoria, recordamos cómo se arman las acciones.

Por lo tanto, este proceso también debe integrarse en la IA, ya que Lara debe ser consciente de sus propias habilidades atléticas.

Con este fin, el autor guarda las acciones de AI cada segundo para entrenarla y luego agrega una regla que le permite realizar estas acciones guardadas al mismo tiempo.

De esta forma, los movimientos de la IA se vuelven mucho más suaves.

Además, debido a que se conoce el tiempo de reutilización de cada acción, evita que la IA realice acciones innecesarias mientras aún está activa.

En la imagen de abajo, el fuego se reactiva tan rápido que se necesita un gran salto para cruzar.

Afortunadamente, estos canales se simplifican visualmente y es fácil identificar los bordes de los bloques.

La IA sabe que Lara siempre hará el salto correcto cuando se activa la primera parte del bloque, tal como lo entendería un jugador humano.

Personalidad de inyección de ChatGPT

A continuación, es necesario inculcar la personalidad de Lara en el agente de IA. La personalidad se basa en la experiencia y la memoria, y la combinación de estos factores define el carácter de Lara.

Según el escenario del juego, ella es una arqueóloga famosa que nunca tiene miedo de correr riesgos y está dispuesta a aceptar las tareas de montaña asignadas sin recompensa, todo por amor.

Además, Lara es muy rica y se acaba de mudar a una mansión con una decoración interior muy elegante y una sala de entrenamiento en la casa. También es muy buena para enseñar, nadar, escalar y tiene una gran resistencia.

Cuando se encuentra en peligro durante su aventura, puede permanecer tranquila y muy valiente, y no dudará en ayudar a sus compañeros.

Frente al asedio de los lobos, dispara con precisión con un arma y también puede matar lobos peligrosos con una daga. Lo único que se negó fue a abrir la cerradura a la fuerza.

Todo lo anterior es la personalidad de Lara aprendida de la configuración del juego.

Lo siguiente es comentar todo lo que ve de manera auténtica, para lo cual la autora ha recopilado los rasgos de personalidad de Lara en la base de datos.

Para que el comentario tenga sentido de una situación real, el programa necesita correlacionar la imagen del juego con algo identificable en la vida real.

Para las imágenes que normalmente tienen menos detalles de textura, se puede utilizar una búsqueda inversa de imágenes de Google para encontrarlas.

Por lo tanto, cuando el agente de IA detecta una textura lo suficientemente grande, inicia una búsqueda.

Para reconocer palabras, los autores copiaron la página completa en ChatGPT. Luego se le pide a ChatGPT que lo clasifique según el número de ocurrencias antes de agregar la palabra reconocida a una lista.

Finalmente, se le pidió a ChatGPT que creara una oración basada en estas palabras, teniendo en cuenta la personalidad de Lara.

Al hacerlo, quiero que ChatGPT realmente comente lo que vio Lara en la vida real.

Por ejemplo, si la textura se identifica como un león marino, ChatGPT puede hacer un comentario que vincule al león marino con los rasgos de personalidad de Lara.

Por lo general, la personalidad del agente Lara se configura a través de ChatGPT utilizando varios atributos como "valiente", "amigable" o "inteligente".

En el juego, todos los objetos que Lara percibe y comenta pasarán por este filtro de personalidad, y Lara responderá de acuerdo a la personalidad establecida.

Por ejemplo, para la foca de arriba, Lara mencionará fósiles de leones marinos o una excelente habilidad para nadar, y no hará comentarios al respecto en el circo.

Cibernauta: El cuerpo inteligente de la IA convierte los videojuegos en obras de arte

Algunos internautas dijeron que esta es una de las formas de sentir más geniales y naturales para que los personajes se desarrollen. Cuando los personajes cobran vida, puedes experimentar verdaderamente el videojuego como una obra de arte.

"La forma en que habla y analiza su entorno es tan linda. Darle a un robot de IA la capacidad de comentar sobre su entorno, sin importar cuán bueno sea en realidad, hace que se sienta como si fuera un ser humano real".

"Es fascinante. Su curiosidad indiferente y un toque de fantasía son inquietantemente similares a lo que imagino que será el monólogo interior de Lara".

Dicho esto, me sorprende que su diálogo coincida con sus acciones.

Da la sensación de que la IA que escribe el diálogo y la IA que controla a los personajes son la misma persona.

No hace mucho, cuando Stanford AI Intelligent Body Town abrió el código, los internautas estaban muy emocionados, pensando que AGI había llegado, y varios juegos de rol y simulación pronto utilizarán esta tecnología.

Y ahora, Foxmaster combina ChatGPT, visión artificial y reconocimiento de objetos para hacer que los videojuegos sean más interesantes.

Quizás en el futuro, los personajes de los videojuegos puedan estar dotados de personalidades más profundas y flexibles, respuestas más rápidas al entorno y muchos otros cambios que ni siquiera podemos imaginar.

Referencias: