Da simulação à inovação: o que a IA aprende com os jogos?

Wang Shu Pós-doutorado, Instituto de Pesquisa Tencent

Meng Jingzhi Estagiário no Instituto de Pesquisa Tencent

Fonte da imagem: Gerada pela ferramenta Unbounded AI

Em 13 de julho, a revista "Science" publicou um artigo intitulado "Os jogos continuam a impulsionar o desenvolvimento e o progresso da inteligência artificial", que discutia detalhadamente a relação entre jogos e inteligência artificial e acreditava que "os jogos fornecem um campo de aplicação promissor para geral trabalho de inteligência. Usar jogos como plataforma para estudar inteligência artificial tem um benefício direto para a indústria global de videogames de US$ 200 bilhões." [1]

Então, qual é a relação entre os jogos e a inteligência artificial, como é que os jogos promovem o desenvolvimento e o progresso da inteligência artificial e que impacto estes terão na vida das pessoas?

Sinergia e simbiose: jogos e inteligência artificial se complementam

Olhando para trás, para toda a história do desenvolvimento da ciência da informação ou da ciência da computação, não é difícil descobrir que os jogos percorrem quase todo o processo de desenvolvimento da pesquisa em inteligência artificial, e cada avanço marcante no campo da inteligência artificial está intimamente relacionado aos jogos. Anteriormente, o Centro de Pesquisa em Filosofia de Jogos da Universidade de Xiamen discutiu a relação entre jogos e o desenvolvimento da inteligência artificial a partir dos três níveis de teoria, hardware e aplicação. [2] ：

**O jogo inspira a teoria da inteligência artificial e ajuda na pesquisa e desenvolvimento da inteligência artificial. **De Shannon, o pai da informação, começou a estudar inteligência artificial tendo o xadrez como objeto em 1950, até Samuel, o pioneiro da inteligência artificial, inventou algoritmos de aprendizagem por reforço baseados em damas. Jogos de tabuleiro como xadrez e damas há muito são considerados as "moscas da fruta da pesquisa em IA", ou seja, um meio perceptível e de baixo custo para verificar problemas rapidamente. Hoje, o rápido desenvolvimento da indústria de jogos promove diretamente a prosperidade da pesquisa teórica sobre inteligência artificial. De 1971 a 2015, o número de artigos de pesquisa sobre inteligência artificial relacionados a jogos foi inferior a 1.000. No entanto, desde que AlphaGO derrotou Fan Hui, tricampeão europeu de Go, em 2015, a pesquisa sobre inteligência artificial relacionada a jogos experimentou um crescimento explosivo. até 2022 Nos 7 anos de 2019, o número de artigos relevantes chegou a 1.625, dos quais 17 artigos viraram artigos de capa de “Natureza” e “Ciência”. [3]

**O jogo promove a iteração inovadora da infraestrutura de energia de computação de inteligência artificial GPU (placa gráfica). ** Tomando como exemplo a empresa de chips Nvidia, a julgar pelas mudanças na receita e na receita total dos negócios de jogos e data centers da Nvidia de 1995 a 2022, quase toda a receita da Nvidia nos primeiros dias veio do negócio de jogos, e a Nvidia, contando com o negócio do jogo, completou o acúmulo de fundos e construiu barreiras técnicas para aumentar a força para a transformação subseqüente. Hoje, a Nvidia emergiu rapidamente como líder em chips de inteligência artificial em virtude de seu rico acúmulo de tecnologia em placas gráficas de jogos e alto investimento em P & D. Atualmente, a Nvidia tem uma participação de mercado de 95% em chips de treinamento de IA. [4] . Muitas tecnologias acumuladas pelas placas gráficas de jogos também se tornaram os principais recursos subjacentes das GPUs NVIDIA e são aplicadas a mais áreas, como direção autônoma, assistência médica, ciências biológicas, energia, serviços financeiros e manufatura.

**Os jogos fornecem inteligência artificial com um ambiente de treinamento controlável e padrões de medição claros. **Um jogo contém objetivos, regras e desafios, e o processo de resolução de desafios reflete inteligência. Portanto, ao criar um programa que pode completar um determinado jogo, pode-se presumir que este programa possuirá algum tipo de “inteligência” “semelhante à humana” até certo ponto. Por um lado, o jogo possui cenas ricas de interação humano-computador e regras estáveis e controláveis, que podem resolver o problema da falta de cenas de pesquisa de inteligência artificial. Por outro lado, os jogos fornecem padrões de medição claros para a inteligência artificial, e a capacidade de avaliar a inteligência artificial com regras claras e quantificáveis nos jogos pode melhorar significativamente a eficiência da iteração e dos testes de tecnologia.

Juntamente com a iteração tecnológica e a inovação de aplicativos, mais e mais empresas, universidades e instituições de pesquisa científica começaram a realizar pesquisas de inovação em inteligência artificial baseadas em jogos. A pesquisa de inteligência artificial de jogos tem se comprometido a criar corpos inteligentes semelhantes aos humanos desde o início e a alcançar o confronto com humanos em ambientes de informações perfeitas/informações imperfeitas (como a inteligência artificial AlphaStar baseada em "StarCraft 2", inteligência artificial baseada em "DOTA2 ") Intelligent OpenAIFive, etc.), estendido para focar na geração automática de vários conteúdos no jogo (ambiente virtual), de modo a aprimorar ainda mais a experiência de interação humano-computador. Não muito tempo atrás, na Conferência Mundial de Inteligência Artificial de 2023, várias universidades lançaram em conjunto o "Centro Conjunto de Pesquisa da Universidade de Inteligência Artificial de Jogos", com foco no relacionamento de desenvolvimento entre jogos e a indústria de inteligência artificial.

De regras simples a simulações complexas: os humanos ensinam a IA a "andar e correr"

Entre as muitas pesquisas de inteligência artificial de jogos que focam na experiência interativa, a típica é a geração de ação de agentes inteligentes. Um agente é um objeto virtual ou real controlado por uma máquina que pode agir e reagir de acordo com diferentes condições internas e externas.Um representante típico é um personagem não controlado pelo jogador (NPC) em um jogo. A tecnologia de geração de movimento corporal inteligente estuda principalmente como tornar o comportamento do corpo inteligente tão suave e natural quanto uma pessoa real e aprimorar ainda mais a experiência de interação humano-computador. Se os campos de visão computacional e processamento de linguagem natural na pesquisa de inteligência artificial se concentram nas capacidades de compreensão de imagem, texto e linguagem, respectivamente, então a geração de ações do agente corresponde ao campo da inteligência artificial para controlar comportamentos e ações.

Historicamente, o desenvolvimento da tecnologia de geração de ação passou por um processo que vai de regras simples a simulações complexas, desde a primeira máquina de estado finito até algoritmos de correspondência de movimento e, em seguida, à geração de ação baseada em aprendizado de máquina. Ao simular ações humanas, os agentes aprendem gradualmente a caminhar. e correr como um humano.

(1) Geração de ações com base na correspondência de regras

1. Geração de ação baseada em máquina de estado

No ambiente virtual, diversas ações do agente, como caminhar, correr, pular, atacar, etc., são consideradas estados diferentes. Os primeiros desenvolvedores geralmente usam uma "máquina de estado" para controlar o comportamento do agente, unindo diferentes ações do agente de acordo com diferentes condições. A vantagem desta abordagem é que as regras de transição entre estados podem ser claramente definidas, por exemplo, o estado de caminhada pode ser transformado em corrida ou salto. A figura abaixo mostra a máquina de estados finitos usada pelo agente no jogo.

Figura 1 Diagrama esquemático da máquina de estado no jogo [5]

Não é difícil descobrir que a vantagem desta abordagem é que ela pode definir claramente as regras de transição entre estados, por exemplo, o estado de caminhada pode ser transformado em corrida ou salto; a limitação é que pode ser difícil lidar com situações complexas. interações comportamentais e prever futuras mudanças de estado. O projeto e a manutenção de máquinas de estado podem se tornar extremamente complexos e demorados para sistemas altamente complexos devido à necessidade de lógica escrita à mão para saltar de um nó para outro.

2. Geração de ação baseada em correspondência de movimento

A fim de resolver as limitações de aplicação da máquina de estado, os cientistas de inteligência artificial de jogos começaram a explorar soluções mais eficientes de geração de movimento, e a tecnologia de correspondência de movimento (Motion Matching) surgiu. Em comparação com a máquina de estado, esta tecnologia não precisa mais unir manualmente diferentes segmentos de dados de captura de movimento, mas usa os dados de captura de movimento para construir um banco de dados de poses de ação e seleciona e mistura os segmentos de movimento mais adequados em tempo real de acordo com o estado atual e estado de destino do agente. Como resultado, um controle de animação mais complexo e preciso pode ser realizado de acordo com o estado do personagem em tempo real e os fatores ambientais, para que o corpo inteligente possa apresentar um efeito de movimento mais natural e suave.

Figura 2 Diagrama esquemático do processo Motin Matching [6]

Claro, a tecnologia de correspondência de movimento também tem certas limitações na prática. Por exemplo, ela precisa manter todos os dados de animação na memória ao usá-la, o que ocupa muita memória; todas as animações são conteúdos existentes no banco de dados, que não podem ser realizados • Inovação em animação em movimento. Mesmo em "Red Dead Redemption 2", que torna os NPCs bastante realistas, ele só realiza "combinações esportivas". Embora o jogo tenha projetado centenas de animações de ação diferentes para o cavalo, e haja até centenas de sons diferentes para ofegar, eles não são inteligência real, mas são empilhados por enormes regras de máquina de estado e recursos de animação.

(2) Geração de ações do agente com base em aprendizado de máquina

Quer seja baseado em máquina de estado ou tecnologia de correspondência de movimento, ele não realizou em essência a geração de ação inteligente real, e há problemas de sistema complexo e grandes perdas no processo de aplicação de pouso. Então, existe uma maneira de adicionar quantos dados de ação você quiser ao treinar o modelo e não há necessidade de colocar esses dados extras na memória ao executar o jogo?

Para tanto, os círculos acadêmicos e as indústrias nacionais e estrangeiras têm conduzido muitas explorações, tentando realizar a geração automática de ações corporais inteligentes baseadas no aprendizado de máquina. No exterior, a empresa americana EA desenvolveu a tecnologia HyperMotion em 2021, que melhorou muito o realismo e a velocidade de resposta dos movimentos corporais inteligentes nos jogos da série FIFA. A solução técnica primeiro usa tecnologia de captura de movimento para capturar mais de 8,7 milhões de quadros de dados de movimento de 22 jogadores de futebol profissionais humanos no jogo e, em seguida, usa algoritmos de aprendizado de máquina para aprender continuamente com os 8,7 milhões de quadros de dados e, finalmente, realiza o real -time movimento de corpos inteligentes no jogo gerar. [7]

Na China, desde 2019, a Tencent tentou aplicar o modelo de rede neural autorregressiva (ARNN) à solução de geração de ação do agente e obteve progressos inovadores. ARNN é um algoritmo de aprendizado de máquina amplamente utilizado na análise e processamento de dados de séries temporais e é frequentemente usado em cenários como previsão do tempo e do mercado de ações. Se puder ser usado no campo de ação, será possível capturar um grande número de pessoas reais e inserir dados para treinamento, deixar o modelo de IA prever o próximo quadro da sequência de ação e, finalmente, gerar um completo e ação natural de forma coerente.

Para atingir esse objetivo, em 2019, a equipe "Reverse Battle Mobile Games" do Tianmei J3 Studio se uniu ao Tencent RoboticsX Laboratory, com base na pesquisa do modelo ARNN, abriu e completou gradualmente a tecnologia de ponta no campo de jogos e robôs - pesquisa e desenvolvimento de "tecnologia de geração de ação de corpo inteligente". Essa tecnologia é baseada no princípio do modelo ARNN, aprende dados de captura de movimento e usa algoritmos adaptativos orientados por dados para permitir que NPCs ou robôs gerem automaticamente ações, reações e expressões que são mais parecidas com criaturas reais de acordo com diferentes reações externas, como como operações de jogadores ou mudanças ambientais.

Figura 3 Diagrama esquemático da tecnologia de geração de ação do agente

Este conjunto de soluções tecnológicas de geração de ação baseadas em ARNN propostas pela equipe de jogos móveis anti-guerra da Tencent alcançou vários avanços na indústria:

Primeiro, para implementar o algoritmo de rede neural autorregressivo, os pesquisadores estabeleceram uma cadeia de ferramentas completa do zero e estabeleceram um pipeline de produção completo por meio de etapas como captura de movimento, pré-processamento de animação, treinamento e ajuste. A fim de resolver os problemas de sincronização de rede e otimização de desempenho que podem existir quando esta tecnologia é aplicada no terminal móvel, a equipe adotou tecnologia de correspondência de trajetória, tecnologia de animação de fusão e soluções correspondentes em nível de algoritmo, o que melhorou muito o desempenho geral e reduziu o neural desempenho da rede Sobrecarga de memória para inferência.

Em segundo lugar, a equipe de pesquisa cooperou com o Tencent RoboticsX Lab para aplicar a tecnologia inteligente de geração de movimento corporal ao robô quadrúpede para ajudá-lo a realizar controle e tomada de decisão inteligentes e melhorar significativamente a eficiência do treinamento. Na aplicação do próprio algoritmo, este conjunto de tecnologias pode ajudar os robôs a melhorar a sua capacidade de raciocínio, ajudar os robôs a tomar decisões autónomas e gerar automaticamente ações, reações e expressões que se assemelham mais a criaturas reais baseadas em reações externas. Sob pesquisa e treinamento contínuos, após muito treinamento de simulação, o robô equipado com esta tecnologia aprendeu os movimentos de cães reais, como caminhar, correr, pular, ficar em pé, etc., e pode usar essas posturas com flexibilidade para completar o rastejamento, obstáculos corrida, obstáculo Parkour shuttle entre objetos e outras tarefas; mesmo se você encontrar um obstáculo que não conhece com antecedência, você pode evitá-lo com um flash de luz, evitá-lo habilmente, modificar a trajetória de forma independente e usar diferentes planos de rota para completar a meta definida (conforme mostrado na figura abaixo). [8]

Figura 4 Robô quadrúpede multimodal autodesenvolvido pela Tencent

Da imitação à transcendência: a inteligência artificial dos jogos afeta o mundo real

Com base no ambiente de jogo, os humanos ensinaram a inteligência artificial como conseguir melhor "andar e correr" no ambiente virtual, mas o valor da pesquisa em inteligência artificial de jogos não para por aí. Conforme mencionado no artigo da revista Science, "Os avanços na inteligência artificial em jogos também serão um passo importante em direção a sistemas de IA mais poderosos e flexíveis que operam no mundo real."** As dezoito artes marciais aprendidas pela inteligência artificial através da "imitação" em o jogo possui características e valores transferíveis e universais em uma variedade de problemas e cenários reais. **

Na prática da academia e da indústria em casa e no exterior, pesquisadores de instituições de pesquisa científica e empresas também estão tentando aplicar mais tecnologia de inteligência artificial de jogos a outros campos, usar IA de jogos para conectar a economia real e formar produtividade digital em mais campos:

No campo do diagnóstico médico, tecnologias relacionadas à inteligência artificial de jogos também são usadas na pesquisa médica e na prática clínica e em outras áreas médicas e de saúde, incluindo triagem personalizada, diagnóstico, prognóstico, monitoramento, modelagem de risco, descoberta de medicamentos e previsão de resposta ao tratamento, etc. . Especialmente para melhorar a velocidade e a precisão da identificação e diagnóstico de doenças, a tecnologia de inteligência artificial de jogos fornece suporte eficaz. A tecnologia de inteligência artificial do jogo também pode simular a cena virtual da condição ou operação de um paciente por meio de dados históricos, fornecer suporte para a tomada de decisões médicas por meio de aprendizado por reforço e também tornar possível a cirurgia assistida por robô.

No campo das atividades educacionais, a inteligência artificial de jogos também apresenta grande potencial de aplicação. Por um lado, as pessoas podem consultar os resultados da pesquisa de inteligência artificial de jogos para criar ou melhorar novas formas de atividades de ensino, como "Aprendizagem baseada em jogos" e "Gamificação na Educação", de modo a melhorar o processo de ensino tradicional. os elementos e mecanismos únicos do jogo no jogo para atingir o objetivo de melhorar o efeito de aprendizagem; por outro lado, as pessoas também podem usar ambientes de jogo como "My World", "StarCraft" e "Glory of the King" para ajudar a realizar atividades de ensino de inteligência artificial (na verdade, é quase impossível realizar atividades de ensino de aprendizagem por reforço sem o ambiente de jogo). [9]

É previsível que, no próximo período, retirar a tecnologia de inteligência artificial do jogo do ambiente de jogo se torne uma direção importante de aplicação. Esperamos também que a inteligência artificial dos jogos possa ajudar na inovação e no desenvolvimento de todas as esferas da vida depois de sair do mundo virtual.

Agradecemos a muitos especialistas do Tencent Tianmei J3 Studio por sua orientação durante o processo de redação deste artigo.

Fonte de referência:

[1] Wurman, PR., Stone, P., & Spranger, M (2023) Melhorando a inteligência artificial com jogos. Ciência,381(6654), 147-148.

[2] Centro de pesquisa de filosofia de jogos da Universidade de Xiamen, etc. "Relatório de observação da indústria de inteligência artificial de jogos"

[3] A pesquisa mais recente da equipe da Academia Chinesa de Ciências: a tecnologia de jogos se tornou uma importante força motriz para a inovação e o desenvolvimento da inteligência artificial.

[4] Dos jogos à aceleração de IA: Nvidia à esquerda, AMD à direita.

[5] Holden, Daniel "Controle de caracteres com redes neurais e aprendizado de máquina".

[6] Holden, Daniel "Controle de caracteres com redes neurais e aprendizado de máquina".

[7] Tecnologia de hipermoção FIFA22

[8] Os últimos desenvolvimentos em robôs Tencent: aprenda a “correr e pular” com cães reais

[9] Centro de Pesquisa de Filosofia de Jogos da Universidade de Xiamen "Relatório de Desenvolvimento de Inteligência Artificial de Jogos 2023"