De la simulación a la innovación: ¿qué aprende la IA de los juegos?

Wang Shu Becario postdoctoral, Instituto de Investigación Tencent

Meng Jingzhi Pasante en el Instituto de Investigación Tencent

Fuente de la imagen: generada por la herramienta Unbounded AI

El 13 de julio, la revista "Science" publicó un artículo titulado "Los juegos continúan impulsando el desarrollo y el progreso de la inteligencia artificial", que analiza en detalle la relación entre los juegos y la inteligencia artificial y cree que "los juegos proporcionan un campo de aplicación prometedor para la generalidad". trabajo de inteligencia. El uso de juegos como plataforma para estudiar la inteligencia artificial tiene un beneficio directo para la industria mundial de los videojuegos de 200 mil millones de dólares ". [1]

Entonces, ¿cuál es la relación entre los juegos y la inteligencia artificial? ¿Cómo promueven los juegos el desarrollo y el progreso de la inteligencia artificial y qué impacto tendrán en la vida de las personas?

Sinergia y simbiosis: juegos e inteligencia artificial se complementan

Mirando hacia atrás en toda la historia del desarrollo de la ciencia de la información o la informática, no es difícil encontrar que los juegos casi pasan por todo el proceso de desarrollo de la investigación de inteligencia artificial, y cada avance histórico en el campo de la inteligencia artificial está estrechamente relacionado con los juegos. Previamente, el Centro de Investigación de Filosofía de Juegos de la Universidad de Xiamen y otros analizaron la relación entre los juegos y el desarrollo de la inteligencia artificial desde tres niveles: teoría, hardware y aplicación. [2] ：

**El juego inspira la teoría de la inteligencia artificial y ayuda a la investigación y el desarrollo de la inteligencia artificial. **Desde Shannon, el padre de la información, comenzó a estudiar inteligencia artificial con el ajedrez como objeto en 1950, hasta Samuel, el pionero de la inteligencia artificial, inventó algoritmos de aprendizaje por refuerzo basados en damas. Los juegos de mesa como el ajedrez y las damas se han considerado durante mucho tiempo como las "moscas de la fruta de la investigación de la IA", es decir, un medio perceptible y de bajo costo para verificar problemas rápidamente. Hoy en día, el rápido desarrollo de la industria de los juegos promueve directamente la prosperidad de la investigación teórica sobre inteligencia artificial. Desde 1971 hasta 2015, la cantidad de trabajos de investigación de inteligencia artificial relacionados con juegos fue inferior a 1000. Sin embargo, desde que AlphaGO derrotó al tres veces campeón europeo de Go Fan Hui en 2015, la investigación de inteligencia artificial relacionada con juegos ha experimentado un crecimiento explosivo. hasta 2022 En los 7 años de 2019, el número de artículos relevantes llegó a 1625, de los cuales 17 artículos se convirtieron en los artículos de portada de "Naturaleza" y "Ciencia". [3]

** El juego promueve la innovación y la iteración de la infraestructura de potencia informática de inteligencia artificial GPU (tarjeta gráfica). **Tomando como ejemplo a la compañía de chips Nvidia, a juzgar por los cambios en los ingresos y los ingresos totales del negocio de juegos y centros de datos de Nvidia de 1995 a 2022, casi todos los ingresos de Nvidia en los primeros días provinieron del negocio de juegos, y Nvidia, confiando en el negocio del juego, completó la acumulación de fondos y construyó barreras técnicas para fortalecerse para la transformación posterior. Hoy, Nvidia se ha convertido rápidamente en el líder de chips de inteligencia artificial en virtud de su rica acumulación de tecnología en tarjetas gráficas de juegos y su alta inversión en I + D. Actualmente, Nvidia tiene una participación de mercado del 95 % en chips de entrenamiento de IA. [4] . Muchas tecnologías acumuladas por las tarjetas gráficas de juegos también se han convertido en las capacidades subyacentes clave de las GPU NVIDIA y se aplican a más campos, como la conducción autónoma, la atención médica, las ciencias de la vida, la energía, los servicios financieros y la fabricación.

**Los juegos proporcionan inteligencia artificial con un entorno de entrenamiento controlable y estándares de medición claros. **Un juego contiene objetivos, reglas y desafíos, y el proceso de resolución de desafíos refleja inteligencia. Por lo tanto, al crear un programa que puede completar un determinado juego, se puede suponer que este programa poseerá algún tipo de "inteligencia" "similar a la humana" hasta cierto punto. Por un lado, el juego tiene ricas escenas de interacción humano-computadora y reglas estables y controlables, que pueden resolver el problema de la falta de escenas de investigación de inteligencia artificial. Por otro lado, los juegos proporcionan estándares de medición claros para la inteligencia artificial, y la capacidad de evaluar la inteligencia artificial con reglas claras y cuantificables en los juegos puede mejorar en gran medida la eficiencia de la iteración y las pruebas de tecnología.

Junto con la iteración tecnológica y la innovación de aplicaciones, cada vez más empresas, universidades e instituciones de investigación científica han comenzado a llevar a cabo investigaciones de innovación en inteligencia artificial basadas en juegos. La investigación de la inteligencia artificial de juegos se ha comprometido a crear cuerpos inteligentes similares a los humanos desde el principio y a lograr la confrontación con los humanos en entornos de información perfecta/información imperfecta (como la inteligencia artificial AlphaStar basada en "StarCraft 2", la inteligencia artificial basada en "DOTA2 ") OpenAIFive inteligente, etc.), ampliado para centrarse en la generación automática de diversos contenidos en el juego (entorno virtual), a fin de mejorar aún más la experiencia de interacción persona-computadora. No hace mucho, en la Conferencia Mundial de Inteligencia Artificial de 2023, varias universidades lanzaron conjuntamente el "Centro Conjunto de Investigación de la Universidad de Inteligencia Artificial de Juegos", centrándose en la relación de desarrollo entre los juegos y la industria de la inteligencia artificial.

De reglas simples a simulaciones complejas: los humanos enseñan a la IA a "caminar y correr"

Entre las muchas investigaciones sobre inteligencia artificial de juegos que se centran en la experiencia interactiva, la típica es la generación de acción de agentes inteligentes. Un agente es un objeto virtual o real controlado por una máquina que puede actuar y reaccionar de acuerdo con diferentes condiciones internas y externas. Un representante típico es un personaje no controlado por el jugador (NPC) en un juego. La tecnología de generación de movimiento corporal inteligente estudia principalmente cómo hacer que el comportamiento del cuerpo inteligente sea tan fluido y natural como el de una persona real, y mejorar aún más la experiencia de interacción entre humanos y computadoras. Si los campos de la visión por computadora y el procesamiento del lenguaje natural en la investigación de la inteligencia artificial se centran en las capacidades de comprensión de imágenes, texto y lenguaje respectivamente, entonces la generación de acciones de agentes corresponde al campo de la inteligencia artificial para controlar comportamientos y acciones.

Históricamente, el desarrollo de la tecnología de generación de acciones ha pasado por un proceso que va desde reglas simples hasta simulaciones complejas, desde la primera máquina de estados finitos hasta los algoritmos de coincidencia de movimiento, y luego hasta la generación de acciones basada en el aprendizaje automático. Al simular acciones humanas, los agentes aprenden gradualmente Walk y correr como un humano.

(1) Generación de acciones basada en coincidencia de reglas

1. Generación de acciones basada en máquina de estados

En el entorno virtual, diversas acciones del agente, como caminar, correr, saltar, atacar, etc., se consideran estados diferentes. Los primeros desarrolladores suelen utilizar una "máquina de estado" para controlar el comportamiento del agente, empalmando diferentes acciones del agente según diferentes condiciones. La ventaja de este enfoque es que las reglas de transición entre estados se pueden definir claramente, por ejemplo, el estado de caminar se puede transformar en correr o saltar. La siguiente figura muestra la máquina de estados finitos utilizada por el agente en el juego.

Figura 1 Diagrama esquemático de la máquina de estados del juego. [5]

No es difícil encontrar que la ventaja de este enfoque es que puede definir claramente las reglas de transición entre estados, por ejemplo, el estado de caminar se puede transformar en correr o saltar; la limitación es que puede ser difícil lidiar con situaciones complejas. interacciones de comportamiento y prever futuros cambios de estado. El diseño y el mantenimiento de la máquina de estado pueden volverse extremadamente complejos y requerir mucho tiempo para sistemas altamente complejos debido a la necesidad de una lógica escrita a mano para saltar de un nodo a otro.

2. Generación de acciones basada en coincidencia de movimiento

Para resolver las limitaciones de la aplicación de la máquina de estado, los científicos de inteligencia artificial de juegos comenzaron a explorar soluciones de generación de movimiento más eficientes y surgió la tecnología de coincidencia de movimiento (Motion Matching). En comparación con la máquina de estados, esta tecnología ya no necesita unir manualmente diferentes segmentos de datos de captura de movimiento, sino que utiliza los datos de captura de movimiento para crear una base de datos de poses de acción y selecciona y mezcla los segmentos de movimiento más adecuados en tiempo real de acuerdo con el estado actual. y estado objetivo del agente. Como resultado, se puede realizar un control de animación más complejo y fino de acuerdo con el estado en tiempo real del personaje y los factores ambientales, de modo que el cuerpo inteligente pueda presentar un efecto de movimiento más natural y suave.

Figura 2 Diagrama esquemático del proceso Motin Matching [6]

Por supuesto, la tecnología de coincidencia de movimiento también tiene ciertas limitaciones en la práctica. Por ejemplo, cuando se usa, necesita mantener todos los datos de animación en la memoria, lo que ocupa mucha memoria; todas las animaciones son contenido existente en la base de datos, que no se puede realizar. Innovación en animación en movimiento. Incluso en "Red Dead Redemption 2", que hace que los NPC sean lo suficientemente realistas, solo realiza "coincidencias deportivas". Aunque el juego ha diseñado cientos de animaciones de acción diferentes para el caballo, e incluso hay cientos de sonidos diferentes para el jadeo, estos no son inteligencia real, sino que están acumulados por enormes reglas de máquinas de estado y recursos de animación.

(2) Generación de acciones de agentes basadas en aprendizaje automático

Ya sea que se base en una máquina de estado o en una tecnología de coincidencia de movimiento, en esencia no ha logrado una generación de acción inteligente real y existen problemas de sistemas complejos y grandes pérdidas en el proceso de aplicación del aterrizaje. Entonces, ¿hay alguna manera de agregar tantos datos de acción como quieras al entrenar el modelo y no es necesario guardar estos datos adicionales en la memoria al ejecutar el juego?

Con este fin, los círculos académicos y las industrias nacionales y extranjeras han realizado muchas exploraciones, tratando de lograr la generación automática de acciones corporales inteligentes basadas en el aprendizaje automático. En el extranjero, la empresa estadounidense EA desarrolló la tecnología HyperMotion en 2021, que mejoró enormemente el realismo y la velocidad de respuesta de los movimientos corporales inteligentes en los juegos de la serie FIFA. La solución técnica utiliza primero tecnología de captura de movimiento para capturar más de 8,7 millones de fotogramas de datos de movimiento de 22 jugadores de fútbol profesionales humanos en el juego, y luego utiliza algoritmos de aprendizaje automático para aprender continuamente de los 8,7 millones de fotogramas de datos y finalmente realiza la realidad. -Se genera movimiento en el tiempo de los cuerpos inteligentes en el juego. [7]

En China, desde 2019, Tencent ha intentado aplicar el modelo de red neuronal autorregresiva (ARNN) a la solución de generación de acciones del agente y ha logrado grandes avances. ARNN es un algoritmo de aprendizaje automático ampliamente utilizado para analizar y procesar datos de series de tiempo y, a menudo, se utiliza en escenarios como el pronóstico del tiempo y del mercado de valores. Si se puede utilizar en el campo de acción, será posible capturar una gran cantidad de personas reales e ingresar datos para el entrenamiento, dejar que el modelo de IA prediga el siguiente cuadro del cuadro de secuencia de acción y finalmente generar un completo. y la acción natural de forma coherente.

Para lograr este objetivo, en 2019, el equipo "Reverse Battle Mobile Games" de Tianmei J3 Studio se asoció con el Laboratorio Tencent RoboticsX, basándose en la investigación del modelo ARNN, abrió y completó gradualmente la tecnología de vanguardia en el campo. de juegos y robots - investigación y desarrollo de "Tecnología de generación de acción de cuerpo inteligente". Esta tecnología se basa en el principio del modelo ARNN, aprende datos de captura de movimiento y utiliza algoritmos adaptativos basados en datos para permitir que los NPC o robots generen automáticamente acciones, reacciones y expresiones que se parecen más a criaturas reales según diferentes reacciones externas, como como operaciones del jugador o cambios ambientales.

Figura 3 Diagrama esquemático de la tecnología de generación de acciones del agente.

Este conjunto de soluciones tecnológicas de generación de acción basadas en ARNN propuestas por el equipo de juegos móviles contra la guerra de Tencent ha logrado varios avances en la industria:

Primero, para implementar el algoritmo de red neuronal autorregresivo, los investigadores establecieron una cadena de herramientas completa desde cero y establecieron un proceso de producción completo a través de pasos como captura de movimiento, preprocesamiento de animación, entrenamiento y ajuste. Para resolver los problemas de sincronización de red y optimización del rendimiento que pueden existir cuando se aplica esta tecnología en el terminal móvil, el equipo adoptó tecnología de coincidencia de trayectoria, tecnología de animación de fusión y las soluciones de nivel de algoritmo correspondientes, lo que mejoró en gran medida el rendimiento general y redujo el daño neuronal. rendimiento de la red Sobrecarga de memoria para inferencias.

En segundo lugar, el equipo de investigación cooperó con Tencent RoboticsX Lab para aplicar la tecnología inteligente de generación de movimiento corporal al robot cuadrúpedo para ayudarlo a realizar un control y una toma de decisiones inteligentes, y mejorar en gran medida la eficiencia del entrenamiento. En la aplicación del propio algoritmo, este conjunto de tecnologías puede ayudar a los robots a mejorar su capacidad de pensamiento, ayudar a los robots a tomar decisiones autónomas y generar automáticamente acciones, reacciones y expresiones que se parezcan más a criaturas reales basadas en reacciones externas. Bajo investigación y entrenamiento continuos, después de mucho entrenamiento de simulación, el robot equipado con esta tecnología ha aprendido los movimientos de perros reales, como caminar, correr, saltar, pararse, etc., y puede usar estas posturas de manera flexible para completar gatear, saltar correr, obstáculos Parkour, transporte entre objetos y otras tareas; incluso si encuentra un obstáculo que no conoce de antemano, puede esquivarlo con un destello de luz, esquivarlo con destreza, modificar la trayectoria de forma independiente y usar diferentes planes de ruta para completar el objetivo establecido (como se muestra en la siguiente figura). [8]

Figura 4 Robot cuadrúpedo multimodal de desarrollo propio de Tencent

De la imitación a la trascendencia: la inteligencia artificial de los juegos afecta al mundo real

Basado en el entorno del juego, los humanos han enseñado a la inteligencia artificial cómo lograr mejor "caminar y correr" en el entorno virtual, pero el valor de la investigación de la inteligencia artificial del juego no se detiene ahí. Como se menciona en el artículo de la revista Science, "Los avances en la inteligencia artificial en los juegos también serán un paso importante hacia sistemas de IA más potentes y flexibles que funcionen en el mundo real".** Las dieciocho artes marciales aprendidas por la inteligencia artificial a través de la "imitación" en El juego tiene características y valores transferibles y universales en una variedad de problemas y escenarios reales. **

En la práctica de la academia y la industria en el país y en el extranjero, los investigadores de instituciones y empresas de investigación científica también están tratando de aplicar más tecnología de inteligencia artificial de juegos a otros campos, utilizar la IA de juegos para conectar la economía real y formar productividad digital en más campos:

En el campo del diagnóstico médico, las tecnologías relacionadas de la inteligencia artificial de juegos también se citan en la investigación médica y la práctica clínica y otros campos médicos y de salud, incluida la detección personalizada, el diagnóstico, el pronóstico, la monitorización, la modelización de riesgos, el descubrimiento de fármacos y la predicción de la respuesta al tratamiento, etc. . Especialmente para mejorar la velocidad y precisión de la identificación y el diagnóstico de enfermedades, la tecnología de inteligencia artificial de juegos proporciona un apoyo eficaz. La tecnología de inteligencia artificial de juegos también puede simular la escena virtual de la condición u operación de un paciente a través de datos históricos, brindar apoyo para la toma de decisiones médicas a través del aprendizaje reforzado y también hacer posible la cirugía asistida por robot.

En el ámbito de las actividades educativas, la inteligencia artificial de juegos también tiene un gran potencial de aplicación. Por un lado, las personas pueden consultar los resultados de la investigación sobre la inteligencia artificial de juegos para crear o mejorar nuevas formas de actividades docentes, como el "aprendizaje basado en juegos" y la "gamificación en la educación", con el fin de mejorar el proceso de enseñanza tradicional. los elementos y mecanismos únicos del juego en el juego para lograr el propósito de mejorar el efecto de aprendizaje; por otro lado, las personas también pueden usar entornos de juego como "My World", "StarCraft" y "Glory of the King". para ayudar a llevar a cabo actividades de enseñanza de inteligencia artificial (de hecho, es casi imposible llevar a cabo actividades de enseñanza de aprendizaje por refuerzo sin el entorno de juego). [9]

Es previsible que en el próximo período de tiempo, sacar la tecnología de inteligencia artificial del entorno del juego se convierta en una dirección de aplicación importante. También esperamos que la inteligencia artificial de los juegos pueda ayudar a la innovación y el desarrollo de todos los ámbitos de la vida una vez que salga del mundo virtual.

Gracias a muchos expertos de Tencent Tianmei J3 Studio por su orientación durante el proceso de redacción de este artículo.

Fuente de referencia:

[1] Wurman, P R., Stone, P. y Spranger, M (2023) Mejora de la inteligencia artificial con juegos. Ciencia, 381 (6654), 147-148.

[2] Centro de investigación de filosofía de juegos de la Universidad de Xiamen, etc. "Informe de observación de la industria de inteligencia artificial de juegos"

[3] La última investigación del equipo de la Academia de Ciencias de China: La tecnología de juegos se ha convertido en una importante fuerza impulsora para la innovación y el desarrollo de la inteligencia artificial.

[4] Desde juegos hasta aceleración de IA: Nvidia a la izquierda, AMD a la derecha.

[5] Holden, Daniel "Control de personajes con redes neuronales y aprendizaje automático".

[6] Holden, Daniel "Control de personajes con redes neuronales y aprendizaje automático".

[7] Tecnología de hipermovimiento FIFA22

[8] Las últimas novedades en robots Tencent: aprende a "correr y saltar" de perros reales

[9] Centro de investigación de filosofía de juegos de la Universidad de Xiamen "Informe sobre el desarrollo de la inteligencia artificial de juegos 2023"