AI gera autoconsciência, "Tomb Raider" Laura desperta! A revolução dos videogames está aqui

Fonte do artigo: Xinzhiyuan

Edição: Aeneas Peaches

Um master estrangeiro usou o ChatGPT para injetar autoconsciência em agentes de IA. Laura, que deu à luz a "vida", despertou e começou a romper níveis em "Tomb Raider" sozinha.

Como seriam os videogames se os personagens dos jogos ganhassem vida?

No passado, essa era a imaginação de muitas pessoas, mas agora, com o desenvolvimento dos agentes de IA, essa imaginação começou a se tornar realidade.

Recentemente, um autor do YouTube, Foxmaster, fez um vídeo original do clássico jogo "Tomb Raider".

E a heroína, Laura, é na verdade uma agente de IA que pode controlar sua personagem!

Pode-se dizer que, usando várias ferramentas de IA, como visão de máquina, posicionamento, reconhecimento de objetos, animação, texto e voz, a Foxmaster injetou vida digital nos personagens do jogo.

Apenas alguns dias atrás, o Stanford Smart Body Town, que explodiu na comunidade de IA, era oficialmente de código aberto. 25 agentes de IA com suas próprias personalidades vivem, trabalham e fazem amigos em uma cidade virtual como "Western World".

Então, talvez este seja o futuro dos videogames?

A heroína de "Tomb Raider" tem consciência

O conceito de construir uma IA virtual que pode jogar já é comum. No entanto, o que Formaster queria fazer era fazer esse personagem parecer uma pessoa real.

Por isso, escolheu o jogo “Tomb Raider”, a protagonista do jogo, Laura, é uma personagem de personalidade forte e de caráter bem definido.

E Formaste espera que essa personalidade influencie o resultado final do jogo.

Como tornar essa agente de IA Lara Croft verdadeiramente autoconsciente no jogo?

Depois de explorar as etapas a seguir, o Formaster finalmente conseguiu.

Aprenda as regras do jogo

O primeiro passo é pedir que ela aprenda as regras do jogo. "Tomb Raider" deu um tutorial, explicando todo o processo de controle do jogo.

O autor pediu a Lara que praticasse da maneira indicada e completasse os tutoriais em cada estágio como um jogador humano.

O tutorial termina quando Lara sai da piscina, então o programa pode ser reiniciado nesse ponto para fazer melhorias.

No começo, melhorar Lara foi muito difícil.

Ela às vezes parece confusa, andando pelo mapa aleatoriamente, e às vezes até fica presa na barra de menus, olhando para sua bússola repetidamente.

Para resolver esse problema, o autor reajustou o relógio principal em uma máquina virtual e acelerou o processo do jogo em 40 vezes. Esse método funcionou e o agente de IA finalmente concluiu o tutorial em um tempo relativamente bom.

No entanto, havia um problema: Lara frequentemente ficava presa em um lugar e cada nível era feito de elementos estáticos, então havia apenas um caminho de otimização.

Isso pode levá-la a saber quais caminhos não seguir, em vez de apresentar uma abordagem mais holística para o problema. Mas o que a autora espera é que Lara aprenda a descobrir sozinha o processo de exploração.

Considerando que o único conhecimento que Lara possuía era o que era exibido na tela de cada nível, os autores observaram o comportamento de jogadores humanos que nunca haviam jogado o jogo.

Algumas pessoas lerão o tutorial inteiro e outras explorarão o ambiente ao redor primeiro, e a diferença nessas escolhas é determinada pela "personalidade" de diferentes pessoas.

É justamente essa atitude que Lara precisa aprender.

identifique a função

Para estabelecer uma conexão com Lara para AI, é necessário deixar a AI entender que ela é um monte de pixels. Depois que os jogadores humanos entraram no jogo, eles de repente tiveram essa consciência.

Nesse sentido, o autor gravou 24 horas de vídeo de Lara se movendo em diferentes direções de vários ângulos, para que o agente de IA possa reconhecer qualquer personagem.

Como um carro autônomo, capaz de gravar 24 horas de vídeo a 30 quadros por segundo, resultando em 2.592.000 imagens de referência para reconhecer sinais de trânsito.

Primeiro, os autores rastreiam os pixels principais da cabeça e, em seguida, os pixels principais do corpo para selecionar as regiões relevantes.

Para garantir que Lara estivesse presente em todas as imagens, os autores pediram ao programa para identificar as imagens que não continham destaques.

Quando Lara ocupa a tela inteira ou quando um objeto bidimensional está em seu caminho, o autor usa a captura de visão AI para ajudar a identificar Lara, e os resultados são precisos o suficiente para identificar o personagem na tela.

Interação Ambiental

Depois de reconhecer Lara, você precisa fazer a IA interagir com o ambiente.

Todo o ambiente do jogo é composto pelos mesmos blocos, o autor os importa no cubo, depois captura o ambiente de todos os ângulos, e então executa o processo de reconhecimento, para que o agente de IA reconheça o ambiente, assim como o processo de jogadores humanos interpretando imagens.

As áreas destacadas em vermelho são texturas não reconhecidas. No entanto, a IA ainda carece da consciência de querer ir a algum lugar e precisa saber a que distância está do ambiente.

Curiosamente, essas áreas não reconhecidas geralmente são locais distantes de Lara ou locais ocultos por outros objetos 2D.

Quando observamos o comportamento dos jogadores humanos e vemos esta imagem, podemos entender imediatamente que a área apontada pela seta é uma entrada.

Podemos não saber o tamanho da próxima sala, mas sabemos que ela existe.

No entanto, também pode ser uma ilusão de ótica. Quando vamos nos mover, a textura da área de entrada é diferente de outros lugares, o que é característico do espaço 3D.

Portanto, o agente de IA precisa aprender a se mover e comparar. Computacionalmente, várias imagens podem ser usadas para determinar quais texturas têm a menor variação de tamanho.

Aqui você pode usar a área dos polígonos principais, e eles mudam principalmente com base na probabilidade proporcional à distância entre eles.

### IMAGINE

Agora que a IA sabe onde ela está, ela precisa decidir para onde quer ir a seguir.

Ao reconhecer as texturas, é possível levá-la a um local específico, porém navegar por uma fase requer algo mais simples.

A maneira mais rápida de fazer isso é simplificar o contraste e identificar mudanças repentinas na luz de uma área. No entanto, os jogadores humanos não vão necessariamente a esses lugares.

Quando há várias aberturas, a IA deve mostrar interesse suficiente, mas não causar a morte dela.

Por exemplo, se um buraco for muito profundo, é impossível pular sem se agarrar às bordas ao redor. Se houvesse água lá embaixo, talvez valesse a pena o risco.

O jogador humano sabe quando pular, mas o curso de ação de Lara é todo derivado do tutorial, ele tem que estimar exatamente quantos blocos estão entre ele e o alvo, se deve ganhar impulso e se deve fazer uma pausa antes de soltar. .

Resumindo, ela deve fazer avaliações precisas como um jogador humano.

Se ela soubesse antecipadamente o tamanho de um buraco, correria muito rápido, o que não corresponde às nossas expectativas.

Para que ela colete mais informações ambientais, a autora incentiva a IA, em caso de dúvida, ela deve girar a câmera para coletar mais informações.

Mas, na realidade, mesmo assim, a IA pode ficar presa na sala.

Para incentivá-la a sair da sala, a autora acrescentou algumas regras de coleta.

Por exemplo, toda vez que ela encontra uma textura que nunca foi vista antes que essa área se torne uma prioridade, ela tem que se mover de uma forma que aumente o tamanho dessa textura na tela.

Desta forma, ela só pode progredir através do nível. Como existem texturas únicas em cada nível, a única maneira de desbloqueá-las é avançando para o próximo nível.

Em resumo, Lara está constantemente analisando o que vê na tela - as texturas de diferentes superfícies, ela move seu corpo e define novos pontos de interesse (ou seja, texturas que ainda não existem no catálogo).

Nesse processo, ela continuará verificando, para encontrar a textura que falta.

Esportes

Mesmo com as melhorias mencionadas, no entanto, a IA ainda é muito robótica e o padrão de ação é óbvio.

Para melhorá-lo, os autores observaram jogadores humanos novamente.

O que determina como um jogador humano age em um jogo? É a nossa memória, lembramos como as ações são montadas.

Portanto, esse processo também precisa ser incorporado à IA, pois Lara precisa estar ciente de suas próprias habilidades atléticas.

Para isso, o autor salva as ações da IA a cada segundo para treiná-la e, em seguida, adiciona uma regra que permite que ela execute essas ações salvas ao mesmo tempo.

Dessa forma, os movimentos da IA tornam-se muito mais suaves.

Além disso, como o cooldown de cada ação é conhecido, ele evita que a IA execute ações desnecessárias enquanto ainda está ativa.

Na imagem abaixo, o fogo reativa tão rapidamente que é necessário um grande salto para atravessá-lo.

Felizmente, esses canais são simplificados visualmente e é fácil identificar as bordas dos blocos.

A IA sabe que Lara sempre dará o salto correto quando a primeira parte do bloco for ativada, assim como um jogador humano entenderia.

Personalidade de injeção ChatGPT

Em seguida, é necessário incutir a personalidade de Lara no agente de IA. A personalidade é baseada na experiência e na memória, e a combinação desses fatores define o caráter de Lara.

De acordo com o cenário do jogo, ela é uma famosa arqueóloga que nunca tem medo de correr riscos e está disposta a aceitar as tarefas atribuídas na montanha sem recompensas, tudo por amor.

Além disso, Lara é muito rica e acaba de se mudar para uma mansão com decoração de interiores muito elegante e uma sala de treinamento na casa. Ela também é muito boa em ensinar, nadar, escalar e tem uma resistência muito forte.

Quando ela encontra perigo durante sua aventura, ela pode se manter calma e muito corajosa, e não hesitará em ajudar seus companheiros.

Enfrentando o cerco dos lobos, ela atira com precisão com uma arma, e também pode matar lobos perigosos com uma adaga. A única coisa que ela recusou foi abrir a fechadura à força.

Todos os itens acima são a personalidade de Lara aprendida com as configurações do jogo.

Em seguida, é comentar tudo o que ela vê de forma autêntica, para o qual a autora compilou os traços da personalidade de Lara no banco de dados.

Para que o comentário dê sentido a uma situação real, o programa precisa correlacionar a imagem do jogo com algo identificável na vida real.

Para imagens que normalmente têm menos detalhes de textura, uma pesquisa de imagem reversa do Google pode ser usada para combiná-las.

Portanto, quando o agente de IA detecta uma textura grande o suficiente, ele inicia uma busca.

Para reconhecer palavras, os autores copiaram a página inteira para o ChatGPT. O ChatGPT é solicitado a classificá-lo com base no número de ocorrências antes de adicionar a palavra reconhecida a uma lista.

Por fim, foi solicitado ao ChatGPT que criasse uma frase com base nessas palavras, levando em consideração a personalidade de Lara.

Ao fazer isso, quero que o ChatGPT realmente comente o que Lara viu na vida real.

Por exemplo, se a textura for identificada como um leão-marinho, o ChatGPT pode fazer um comentário ligando o leão-marinho aos traços de personalidade de Lara.

Em geral, a personalidade do agente Lara é definida através do ChatGPT usando vários atributos como "bravo", "amigável" ou "inteligente".

No jogo, todos os objetos que Lara percebe e comenta passam por esse filtro de personalidade, e Lara responde de acordo com a personalidade estabelecida.

Por exemplo, para a foca acima, Lara mencionará fósseis de leões marinhos, ou excelente capacidade de natação, e não comentará sobre isso no circo.

Netizen: corpo inteligente de IA transforma videogames em obras de arte

Alguns internautas disseram que essa é uma das maneiras mais legais e naturais de os personagens se desenvolverem. Quando os personagens ganham vida, você pode realmente experimentar o videogame como uma obra de arte.

"A maneira como ela fala e analisa o que está ao seu redor é simplesmente adorável. Dar a um bot de IA a capacidade de comentar sobre o que está ao seu redor, não importa o quão bom seja, faz com que pareça um ser humano real."

"É fascinante. Sua curiosidade imparcial e um toque de capricho são estranhamente semelhantes ao que imagino que será o monólogo interior de Lara."

Dito isto, me surpreende que o diálogo dela corresponda às suas ações.

Dá a sensação de que a IA que escreve o diálogo e a IA que controla os personagens são a mesma pessoa.

Não muito tempo atrás, quando o Stanford AI Intelligent Body Town abriu o código, os internautas ficaram muito animados, pensando que o AGI havia chegado, e vários jogos de RPG e simulação logo usariam essa tecnologia.

E agora, a Foxmaster combina ChatGPT, visão computacional e reconhecimento de objetos para tornar os videogames mais interessantes.

Talvez no futuro, os personagens de videogame possam ser dotados de personalidades mais profundas e flexíveis, respostas mais rápidas ao ambiente e muitas outras mudanças que nem podemos imaginar.

Referências: