От симуляции к инновациям: чему ИИ учится в играх?

Ван Шу Постдокторант, Исследовательский институт Tencent

Мэн Цзинчжи Стажер в научно-исследовательском институте Tencent

Источник изображения: создано инструментом Unbounded AI

13 июля журнал «Наука» опубликовал статью под названием «Игры продолжают стимулировать развитие и прогресс искусственного интеллекта», в которой подробно обсуждалась связь между играми и искусственным интеллектом и считалось, что «игры представляют собой многообещающую область применения для общих целей». Использование игр в качестве платформы для изучения искусственного интеллекта приносит прямую выгоду мировой индустрии видеоигр с оборотом в 200 миллиардов долларов». [1]

Итак, какова связь между играми и искусственным интеллектом, как игры способствуют развитию и прогрессу искусственного интеллекта и какое влияние они окажут на жизнь людей?

Синергия и симбиоз: игры и искусственный интеллект дополняют друг друга

Оглядываясь назад на всю историю развития информатики или информатики, нетрудно обнаружить, что игры проходят практически через весь процесс развития исследований искусственного интеллекта, и каждый важный прорыв в области искусственного интеллекта тесно связан с играми. Ранее Исследовательский центр философии игр Сямыньского университета обсуждал взаимосвязь между играми и развитием искусственного интеллекта на трех уровнях: теории, аппаратного обеспечения и применения. [2] :

**Игра вдохновляет теорию искусственного интеллекта и помогает в исследованиях и разработках искусственного интеллекта. **От Шеннона, отца информации, который начал изучать искусственный интеллект, используя шахматы в качестве объекта в 1950 году, до Сэмюэля, пионера искусственного интеллекта, изобретшего алгоритмы обучения с подкреплением, основанные на шашках. Настольные игры, такие как шахматы и шашки, уже давно считаются «дрозофилами исследований искусственного интеллекта», то есть недорогим и понятным средством быстрой проверки проблем. Сегодня бурное развитие игровой индустрии напрямую способствует процветанию теоретических исследований в области искусственного интеллекта. С 1971 по 2015 год количество исследовательских работ по искусственному интеллекту, связанных с играми, составляло менее 1000. Однако с тех пор, как AlphaGO победила трехкратного чемпиона Европы по го Фань Хуэя в 2015 году, исследования искусственного интеллекта, связанные с играми, пережили взрывной рост. до 2022 г. За 7 лет 2019 г. количество соответствующих статей достигло 1625, из них 17 статей стали обложками журналов «Природа» и «Наука». [3]

** Игра продвигает инновации и итерацию инфраструктуры вычислительной мощности искусственного интеллекта GPU (графическая видеокарта). **На примере компании Nvidia, производящей чипы, судя по изменениям выручки и общей выручки от игрового бизнеса и бизнеса центров обработки данных Nvidia с 1995 по 2022 год, почти все доходы Nvidia в первые дни поступали от игрового бизнеса, а Nvidia, Опираясь на игровой бизнес, завершили накопление средств и построили технические барьеры, чтобы набраться сил для последующей трансформации. Сегодня Nvidia быстро стала лидером в области чипов искусственного интеллекта благодаря богатому накоплению технологий в игровых видеокартах и высоким инвестициям в исследования и разработки. В настоящее время доля Nvidia на рынке чипов для обучения искусственного интеллекта составляет 95%. [4] . Многие технологии, накопленные игровыми видеокартами, также стали ключевыми базовыми возможностями графических процессоров NVIDIA и применяются в других областях, таких как автономное вождение, медицина, науки о жизни, энергетика, финансовые услуги и производство.

**Игры предоставляют искусственному интеллекту контролируемую среду обучения и четкие стандарты измерения. **Игра содержит цели, правила и задачи, а процесс решения задач отражает интеллект. Поэтому при создании программы, способной пройти определенную игру, можно предположить, что эта программа будет в определенной мере обладать неким «человеческим» «интеллектом». С одной стороны, в игре есть богатые сцены взаимодействия человека и компьютера, а также стабильные и контролируемые правила, которые могут решить проблему отсутствия сцен исследования искусственного интеллекта. С другой стороны, игры обеспечивают четкие стандарты измерения искусственного интеллекта, а возможность оценивать искусственный интеллект с помощью четких и измеримых правил в играх может значительно повысить эффективность итерации и тестирования технологий.

Наряду с технологической итерацией и прикладными инновациями все больше и больше предприятий, университетов и научно-исследовательских учреждений начали проводить инновационные исследования в области искусственного интеллекта на основе игр. Исследования игрового искусственного интеллекта с самого начала были направлены на создание человекоподобных интеллектуальных тел и достижение конфронтации с людьми в идеальной/несовершенной информационной среде (например, искусственный интеллект AlphaStar на основе «StarCraft 2», искусственный интеллект на основе «DOTA2»). ") Intelligent OpenAIFive и т. д.), расширенный, чтобы сосредоточиться на автоматическом создании различного контента в игре (виртуальной среде), чтобы еще больше улучшить опыт взаимодействия человека с компьютером. Не так давно на Всемирной конференции по искусственному интеллекту 2023 года ряд университетов совместно запустили «Совместный исследовательский центр Университета игрового искусственного интеллекта», сосредоточив внимание на развитии отношений между играми и индустрией искусственного интеллекта.

От простых правил до сложных симуляций: люди учат ИИ «ходить и бегать»

Среди многих исследований игрового искусственного интеллекта, которые сосредоточены на интерактивном опыте, типичным является создание действий интеллектуальных агентов. Агент — это виртуальный или реальный объект, управляемый машиной, который может действовать и реагировать в соответствии с различными внутренними и внешними условиями.Типичным представителем является неуправляемый игроком персонаж (NPC) в игре. Технология генерации движений интеллектуального тела в основном изучает, как сделать поведение интеллектуального тела таким же плавным и естественным, как у реального человека, и еще больше улучшить взаимодействие человека с компьютером. Если области компьютерного зрения и обработки естественного языка в исследованиях искусственного интеллекта сосредоточены на возможностях понимания изображений, текста и языка соответственно, то генерация действий агента соответствует области искусственного интеллекта для управления поведением и действиями.

Исторически сложилось так, что разработка технологии генерации действий прошла путь от простых правил до сложных симуляций, от самого раннего конечного автомата до алгоритмов сопоставления движений, а затем до генерации действий на основе машинного обучения.Моделируя действия человека, агенты постепенно учатся ходить. и беги как человек.

(1) Генерация действий на основе сопоставления правил

1. Генерация действий на основе конечного автомата

В виртуальной среде различные действия агента, такие как ходьба, бег, прыжки, нападение и т. д., рассматриваются как разные состояния. Ранние разработчики обычно использовали «конечный автомат» для управления поведением агента, объединяя различные действия агента в соответствии с разными условиями. Преимущество этого подхода в том, что правила перехода между состояниями могут быть четко определены, например, состояние ходьбы можно преобразовать в бег или прыжки. На рисунке ниже показан конечный автомат, используемый агентом в игре.

Рис. 1. Принципиальная схема конечного автомата в игре. [5]

Нетрудно обнаружить, что преимуществом этого подхода является то, что он позволяет четко определить правила перехода между состояниями, например, состояние ходьбы может быть преобразовано в бег или прыжки; ограничением является то, что с ним могут быть трудности в работе со сложными состояниями. поведенческие взаимодействия и предвидеть будущие изменения состояния. Проектирование и обслуживание конечного автомата может стать чрезвычайно сложным и трудоемким для очень сложных систем из-за необходимости использования рукописной логики для перехода от одного узла к другому.

2. Генерация действий на основе сопоставления движений

Чтобы устранить ограничения приложений конечного автомата, ученые, занимающиеся игровым искусственным интеллектом, начали исследовать более эффективные решения для генерации движения, и появилась технология сопоставления движения (Motion Matching). По сравнению с конечным автоматом, эта технология больше не требует ручного соединения различных сегментов данных захвата движения, а использует данные захвата движения для создания базы данных поз действия, а также выбирает и смешивает наиболее подходящие сегменты движения в режиме реального времени в соответствии с текущим состоянием. и целевое состояние агента. В результате может быть реализовано более сложное и точное управление анимацией в соответствии с состоянием персонажа в реальном времени и факторами окружающей среды, так что интеллектуальное тело может создавать более естественный и плавный эффект движения.

Рисунок 2 Схематическая диаграмма процесса сопоставления Мотина [6]

Конечно, технология сопоставления движений также имеет определенные ограничения на практике: например, при ее использовании необходимо хранить все данные анимации в памяти, что занимает много памяти; все анимации представляют собой существующий контент в базе данных, который невозможно реализовать. Инновации в анимации движения. Даже в Red Dead Redemption 2, которая делает NPC достаточно реалистичными, реализовано только «спортивное соответствие». Хотя в игре созданы сотни различных анимаций действий для лошади и даже есть сотни различных звуков дыхания, это не настоящий интеллект, а набор огромных правил конечного автомата и ресурсов анимации.

(2) Генерация действий агента на основе машинного обучения

Независимо от того, основан ли он на конечном автомате или технологии согласования движений, он по сути не реализовал по-настоящему интеллектуальную генерацию действий, и существуют проблемы сложной системы и больших потерь в процессе применения приземления. Итак, есть ли способ добавить столько данных о действиях, сколько захотите при обучении модели, и нет необходимости помещать эти дополнительные данные в память при запуске игры?

С этой целью академические круги и отрасли промышленности в стране и за рубежом провели множество исследований, пытаясь реализовать автоматическую генерацию интеллектуальных действий тела на основе машинного обучения. За границей американская компания EA в 2021 году разработала технологию HyperMotion, которая значительно повысила реалистичность и скорость отклика интеллектуальных движений тела в играх серии FIFA. Техническое решение сначала использует технологию захвата движения для захвата более 8,7 миллионов кадров данных о движении 22 профессиональных футболистов в игре, а затем использует алгоритмы машинного обучения для непрерывного изучения 8,7 миллионов кадров данных и, наконец, реализует реальные -время движения разумных тел в игре генерируется. [7]

В Китае с 2019 года Tencent пыталась применить модель саморегрессивной нейронной сети (ARNN) к решению агента по генерации действий и добилась прорывного прогресса. ARNN — это алгоритм машинного обучения, который широко используется для анализа и обработки данных временных рядов и часто используется в таких сценариях, как прогнозирование погоды и фондового рынка. Если его можно будет использовать в поле действия, то можно будет захватывать большое количество реальных людей и вводить данные для обучения, позволять модели ИИ предсказывать следующий кадр кадра последовательности действий и, наконец, генерировать полный и естественное действие последовательно.

Для достижения этой цели в 2019 году команда Reverse Battle Mobile Games студии Tianmei J3 объединилась с лабораторией Tencent RoboticsX, на основе исследования модели ARNN открыла и постепенно завершила разработку передовых технологий в этой области. игр и роботов - исследования и разработки «технологии интеллектуального тела Action Generation». Эта технология основана на принципе модели ARNN, изучает данные захвата движения и использует управляемые данными адаптивные алгоритмы, позволяющие неигровым персонажам или роботам автоматически генерировать действия, реакции и выражения, которые больше похожи на реальных существ, в соответствии с различными внешними реакциями, такими как как действия игрока или изменения окружающей среды.

Рисунок 3 Принципиальная схема технологии генерации действий агента

Этот набор технологических решений для генерации действий на основе ARNN, предложенный командой Tencent по борьбе с военными мобильными играми, позволил добиться нескольких прорывов в отрасли:

Во-первых, чтобы реализовать алгоритм авторегрессионной нейронной сети, исследователи создали полную цепочку инструментов с нуля и создали полный производственный конвейер с помощью таких этапов, как захват движения, предварительная обработка анимации, обучение и настройка. Чтобы решить проблемы синхронизации сети и оптимизации производительности, которые могут возникнуть при применении этой технологии на мобильном терминале, команда внедрила технологию сопоставления траекторий, технологию плавной анимации и соответствующие решения на уровне алгоритмов, которые значительно улучшили общую производительность и снизили нагрузку на нейронные сети. производительность сети Накладные расходы памяти для логического вывода.

Во-вторых, исследовательская группа сотрудничала с Tencent RoboticsX Lab, чтобы применить технологию интеллектуальной генерации движения тела к четвероногому роботу, чтобы помочь ему реализовать интеллектуальное управление и принятие решений, а также значительно повысить эффективность обучения. При применении самого алгоритма этот набор технологий может помочь роботам улучшить свои мыслительные способности, помочь роботам принимать автономные решения и автоматически генерировать действия, реакции и выражения, которые больше похожи на реальных существ на основе внешних реакций. В ходе непрерывных исследований и обучения, после большого количества симуляционных тренировок, робот, оснащенный этой технологией, научился движениям настоящих собак, таким как ходьба, бег, прыжки, стояние и т. д., и может гибко использовать эти позы для ползания, преодоления препятствий. бег, препятствие Паркур-перелет между объектами и другие задачи; даже если вы встретите препятствие, о котором не знаете заранее, вы можете увернуться от него с помощью световой вспышки, ловко уклониться от него, самостоятельно изменить траекторию и использовать различные планы маршрута для выполнить поставленную цель (как показано на рисунке ниже). [8]

Рис. 4 Мультимодальный четвероногий робот собственной разработки Tencent.

От имитации к трансцендентности: игровой искусственный интеллект влияет на реальный мир

Основываясь на игровой среде, люди научили искусственный интеллект тому, как лучше «ходить и бегать» в виртуальной среде, но ценность исследований игрового искусственного интеллекта на этом не заканчивается. Как упоминалось в статье журнала Science: «Достижения в области искусственного интеллекта в играх также станут важным шагом на пути к более мощным и гибким системам искусственного интеллекта, работающим в реальном мире».** Восемнадцать боевых искусств, изученных искусственным интеллектом посредством «имитации» в игра обладает переносимыми и универсальными характеристиками и значениями в различных реальных задачах и сценариях. **

В академической и промышленной практике в стране и за рубежом исследователи из научно-исследовательских институтов и предприятий также пытаются применить больше технологий игрового искусственного интеллекта в других областях, использовать игровой ИИ для подключения к реальной экономике и формировать цифровую производительность в большем количестве областей:

В области медицинской диагностики родственные технологии игрового искусственного интеллекта также используются в медицинских исследованиях и клинической практике, а также в других областях медицины и здравоохранения, включая персонализированный скрининг, диагностику, прогнозирование, мониторинг, моделирование рисков, открытие лекарств и прогнозирование реакции на лечение и т. д. . Технология игрового искусственного интеллекта обеспечивает эффективную поддержку, особенно в повышении скорости и точности выявления и диагностики заболеваний. Технология игрового искусственного интеллекта также может моделировать виртуальную сцену состояния или операции пациента с помощью исторических данных, обеспечивать поддержку принятия медицинских решений посредством обучения с подкреплением, а также делать возможной роботизированную хирургию.

В сфере образовательной деятельности игровой искусственный интеллект также имеет большой потенциал применения. С одной стороны, люди могут ссылаться на результаты исследований игрового искусственного интеллекта для создания или улучшения новых форм учебной деятельности, таких как «обучение на основе игр» и «геймификация в образовании», чтобы улучшить традиционный учебный процесс. уникальные элементы и механизмы игры в игру для достижения цели улучшения эффекта обучения; с другой стороны, люди также могут использовать игровые среды, такие как «Мой мир», «StarCraft» и «Слава королю». для помощи в проведении обучающих мероприятий по искусственному интеллекту (фактически практически невозможно проводить обучающие мероприятия с подкреплением без игровой среды). [9]

Ожидается, что в ближайший период времени выведение игровых технологий искусственного интеллекта из игровой среды станет основным прикладным направлением. Мы также ожидаем, что игровой искусственный интеллект сможет помочь инновациям и развитию всех сфер жизни после того, как он выйдет из виртуального мира.

Спасибо многим экспертам из Tencent Tianmei J3 Studio за их помощь в процессе написания этой статьи.

** Источник ссылки: **

[1] Вурман, П. Р., Стоун, П., и Спрангер, М. (2023) Улучшение искусственного интеллекта с помощью игр. Наука, 381(6654), 147-148.

[2] Исследовательский центр философии игр Университета Сямэнь и т. д. «Отчет о наблюдениях за индустрией искусственного интеллекта в играх»

[3] Последние исследования команды Китайской академии наук: игровые технологии стали важной движущей силой инноваций и развития искусственного интеллекта.

[4] От игр к ускорению искусственного интеллекта: Nvidia слева, AMD справа.

[5] Холден, Дэниел «Управление персонажем с помощью нейронных сетей и машинного обучения».

[6] Холден, Дэниел «Управление персонажами с помощью нейронных сетей и машинного обучения».

[7] Технология Hypermotion FIFA22

[8] Новейшие разработки роботов Tencent: научитесь «бегать и прыгать» у настоящих собак

[9] Исследовательский центр философии игр Университета Сямэнь «Отчет о развитии искусственного интеллекта в играх 2023»