Implementation of a deterministic video game agent testing environment

• Autorzy: Stawarz P.

Warianty tytułu

PL

Implementacja deterministycznego środowiska testowego agentów w grach komputerowych

• Języki publikacji: EN

Abstrakty

EN

Competitive multiplayer video games take many forms. From short, slow-paced, strategic card games, to fast and realistic first-person shooters, all have one thing in common - the presence of agents controlled by an artificial intelligence. The human factor often requires the application designer to perform various tweaks, as human behavioral patterns are complicated and evolve based on the individual game knowledge. Adaptive artificial agents are undoubtedly the best solution, but call for prolonged testing. The article describes ways to implement determinism in an AI testing environment, vastly decreasing the required number of individual agent training sessions. In the analyzed scenario, testers participate in a set number of matches, facing only human opponents in the environment which keeps track of their movement and actions. Then an artificially controlled agent is introduced into the recorded sessions, and once again the statistics of each participant are analyzed to determine whether the AI can adequately adapt. In the case of failure, AI parameters are changed, and the process is repeated until the result is acceptable for the game designer. The environment has been designed to test a novel algorithm that has been proposed in the previous work and allows to change agent pathfinding to maximize the entities score (i.e., the number of kills), depending on current and previous player actions.

PL

Wieloosobowe gry komputerowe w których gracze walczą przeciwko sobie przybierają wiele postaci. Począwszy od krótkich, powolnych, strategicznych gier karcianych, a kończąc na realistycznych i emocjonujących grach z widokiem pierwszoosobowym, wszystkie cechują się obecnością agentów kontrolowanych przez sztuczną inteligencję. Czynnik ludzki wymusza na projektantach poświęcenie sporej ilości czasu na dopracowanie agentów, ponieważ ludzkie decyzje bywają skomplikowane i zmieniają się w zależności od posiadanej wiedzy. Adaptujące się do bieżącej sytuacji agenty niezaprzeczalnie są najlepszym rozwiązaniem, ale wymagają długich i mozolnych testów. Artykuł opisuje sposób wprowadzenia determinizmu do środowiska testowego, co w efekcie drastycznie zmniejszy wymaganą liczbę sesji uczących. W analizowanym przykładzie testerzy uczestniczą w ustalonej liczbie rozgrywek przeciwko innym ludzkim przeciwnikom w środowisku, które nagrywa ich ruchy i inne akcje. Po zakończeniu pracy z testerami, do nagrań wprowadzany jest agent. Wpływ agenta na rozgrywkę jest analizowany by określić jego zdolności adaptacji. W przypadku gdy wyniki są niezadowalające, parametry agenta są zmieniane i proces jest powtarzany do momentu, w którym projektant uzna zachowanie SI za zadowalające. Ĺšrodowisko zostało opracowane w celu przetestowania nowatorskiego rozwiązania, które opracowaliśmy podczas wcześniejszych prac. Stworzony przez nas algorytm ma na celu maksymalizację wyniku agenta (rozumianego jako ilości zabić), w oparciu o obecne i historyczne decyzje graczy i polega na modyfikacji wag krawędzi grafu mapy w reakcji na ważne zdarzenia, które mają miejsce podczas rozgrywki.

Słowa kluczowe

EN

multiplayer video games; testing environment; artificial intelligence; replay system

PL

wieloosobowe gry komputerowe; środowisko testowe; sztuczna inteligencja

• Wydawca: Poznańskie Towarzystwo Przyjaciół Nauk
• Czasopismo: Studia z Automatyki i Informatyki
• Rocznik: 2017
• Tom: T. 42
• Strony: 61--73
• Opis fizyczny: Bibliogr. 29 poz., rys., tab.

Twórcy

autor

Stawarz P.

• Rzeszów University of Technology, Faculty of Electrical and Computer Engineering, Department of Computer and Control Engineering, 2, W. Pola Str., 35-959 Rzeszów

Bibliografia

• [1] G. Christou. A comparison between experienced and inexperienced video game players' perceptions. Human-centric Computing and Information Sciences, 3(1), 2013.
• [2] Cyrille Wagner. Developing Your Own Replay System, Feb. 2004.
• [3] Entertainment Software Association. Industry Facts.
• [4] Entertainment Software Association. 2015 Sales, demographic and usage data: essential facts about the computer and video game industry. Sales, demographic and usage data, Entertainment software association, 2015.
• [5] Entertainment Software Association. 2016 Sales, demographic and usage data: essential facts about the computer and video game industry. Sales, demographic and usage data, Entertainment software association, 2016.
• [6] Y. Hou, L. Feng, and Y. S. Ong. Creating human-like non-player game characters using a Memetic Multi-Agent System. In 2016 International Joint Conference on Neural Networks (IJCNN), pages 177-184, July 2016.
• [7] Y. Hou, Y. S. Ong, L. Feng, and J. M. Zurada. An Evolutionary Transfer Reinforcement Learning Framework for Multi-Agent System. IEEE Transactions on Evolutionary Computation, PP(99):1-1, 2017.
• [8] P. Huo, S. C. K. Shiu, H. Wang, and B. Niu. Application and Comparison of Particle Swarm Optimization and Genetic Algorithm in Strategy Defense Game. In 2009 Fifth International Conference on Natural Computation, volume 5, pages 387-392, Aug. 2009.
• [9] Jonathan Nave; Shmuel Markovich. Artificial Intelligence Benchmark, 2002.
• [10] G. A. Kaminka, M. M. Veloso, S. Schaffer, C. Sollitto, R. Adobbati, A. N. Marshall, A. Scholer, and S. Tejada. Gamebots: a flexible test bed for multiagent team research. Communications of the ACM, 45(1):43-45, 2002.
• [11] B. Li, S. Mabu, and K. Hirasawa. Tile-world #x2014; A case study of Genetic Network Programming with automatic program generation. In 2010 IEEE International Conference on Systems, Man and Cybernetics, pages 2708-2715, Oct. 2010.
• [12] M. Lloyd-Kelly, P. C. R. Lane, and F. Gobet. The Effects of Bounding Rationality on the Performance and Learning of CHREST Agents in Tileworld. In M. Bramer and M. Petridis, editors, Research and Development in Intelligent Systems XXXI: Incorporating Applications and Innovations in Intelligent Systems XXII, pages 149-162. Springer International Publishing, Cham, 2014. DOI: 10.1007/978-3-319-12069-0_10.
• [13] Mark Wesley. Implementing a Rewindable Instant Replay System for Temporal Debugging.
• [14] M. Molineaux and D. W. Aha. Tielt: A testbed for gaming environments. In Proceedings of the 20th National Conference on Artificial Intelligence - Volume 4, AAAI’05, pages 1690-1691. AAAI Press, 2005.
• [15] D. Perez-Liebana, S. Samothrakis, J. Togelius, S. M. Lucas, and T. Schaul. General video game ai: Competition, challenges and opportunities. In Proceedings of AAAI, 2016.
• [16] D. Perez-Liebana, S. Samothrakis, J. Togelius, T. Schaul, S. M. Lucas, A. Couëtoux, J. Lee, C. U. Lim, and T. Thompson. The 2014 general video game playing competition. IEEE Transactions on Computational Intelligence and AI in Games, 8(3):229-243, Sept 2016.
• [17] M. E. Pollack and M. Ringuette. Introducing the Tileworld: Experimentally Evaluating Agent Architectures. In Proceedings of the Eighth National Conference on Artificial Intelligence - Volume 1, AAAI’90, pages 183-189, Boston, Massachusetts, 1990. AAAI Press.
• [18] M. Ponsen. Improving adaptive game AI with evolutionary learning. PhD thesis, Citeseer, 2004.
• [19] M. J. Ponsen, S. Lee-Urban, H. Muñoz-Avila, D. W. Aha, and M. Molineaux. Stratagus: An open-source game engine for research in real-time strategy games. Reasoning, Representation, and Learning in Computer Games, page 78, 2005.
• [20] S. Rabin, editor. Game AI pro 2: collected wisdom of game AI professionals. CRC Press, Taylor & Francis Group, Boca Raton, 2015.
• [21] I. Riot Games. Riot Games API.
• [22] C. Scheepers and A. Engelbrecht. Training multi-agent teams from zero knowledge with the competitive coevolutionary team-based particle swarm optimiser. Soft Computing, pages 1-14, 2014.
• [23] J. Stamford, A. S. Khuman, J. Carter, and S. Ahmadi. Pathfinding in partially explored games environments: The application of the A*; Algorithm with occupancy grids in Unity3d. In 2014 14th UK Workshop on Computational Intelligence (UKCI), pages 1-6, Sept. 2014.
• [24] K. O. Stanley, B. D. Bryant, I. Karpov, and R. Miikkulainen. Real-time evolution of neural networks in the nero video game. In AAAI, volume 6, pages 1671-1674, 2006.
• [25] StatCounter. StatCounter Global Stats - Browser, OS, Search Engine including Mobile Usage Share.
• [26] P. Stawarz and Z. Swider. Data-Driven Video Game Agent Pathfinding. In R. Szewczyk, C. Zielinski, and M. Kaliczyńska, editors, Automation 2017, volume 550, pages 308-318. Springer International Publishing, Cham, 2017. DOI: 10.1007/978-3-319-54042-9_28
• [27] SuperData. SuperData Research | Games data and market research ≫ Worldwide digital games market: January 2017.
• [28] F. Tencé, C. Buche, P. D. Loor, and O. Marc. The Challenge of Believability in Video Games: Definitions, Agents Models and Imitation Learning. CoRR, abs/1009.0451, 2010.
• [29] M. Weinberger. The 11 top-grossing video games of all time.

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę (zadania 2017).