Emotion detection through facial recognition in adaptive video games: using affect for controlling procedural content generation

Abstract

La investigación explora la integración del reconocimiento de emociones en tiempo real y la Generación de Contenido Procedural (PCG, en inglés) en videojuegos para mejorar la experiencia del jugador. El estudio se centra en crear un videojuego adaptativo que modifica dinámicamente su contenido, mecánicas y dificultad basándose en el estado emocional del jugador, detectado a través de sus expresiones faciales. El juego fue diseñado utilizando Unreal Engine 5, incorporando elementos de teoría del color y arquitectura emocional para crear una experiencia inmersiva y emocional. El estudio involucró a 22 participantes que jugaron dos versiones del juego: una con el sistema afectivo y otra sin él. Los resultados mostraron que el sistema afectivo impactó positivamente la autonomía, competencia e inmersión del jugador, destacando el potencial de la adaptación basada en emociones para crear experiencias de juego más personalizadas y atractivas. El trabajo futuro podría involucrar ampliar el tamaño de la muestra, investigar los efectos a largo plazo, incorporar modalidades adicionales para el reconocimiento de emociones y explorar la aplicación de sistemas adaptativos en diferentes géneros de juegos.The research explores the integration of real-time emotion recognition and Procedural Content Generation (PCG) in video games to enhance player experiences. The study focuses on creating an adaptive video game that dynamically modifies its content, mechanics, and difficulty based on the player's emotional state, detected through facial expressions. The game was designed using Unreal Engine 5, incorporating elements of color theory and emotional architecture to create an immersive and emotionally resonant experience. The study involved 22 participants who played two versions of the game: one with the adaptive system and one without. The results showed that the adaptive system positively impacted player autonomy, competence, and immersion, highlighting the potential of emotion-driven adaptation in creating more personalized and engaging gaming experiences. Future work could involve expanding the sample size, investigating long-term effects, incorporating additional modalities for emotion recognition, and exploring the application of adaptive systems in different game genres.