Towards a Theory of Audio-Based Puzzles in Video Games

Abstract

Audio-Based Puzzles (ABPs) in video games are challenges that require players to rely on auditory perception or knowledge of sound to progress. They may incorporate music, environmental sounds, speech, or visual representations of audio. Studying these experiences that sit at the intersection of problem-solving and auditory perception has implications spanning music cognition, education, and accessibility. Yet ABPs remain understudied, and current literature on the subject is lacking both consistent terminology and theoretical grounding.

In this thesis, I first introduce the Audio-Based Puzzle Mechanics (ABPM) framework, a novel tool for the analysis and design of ABPs based on the gameplay mechanics they employ. I detail the framework's development process, discuss its current limitations, and outline directions for future refinements.

I then report the results of an experimental study in which musicians and non-musicians played two puzzle games: one audio-based and one visual. An analysis of players' performance revealed that musicians solved ABPs faster and with more accuracy than non-musicians, but that no group differences emerged on the visual puzzle game. Participants' subjective experiences of difficulty and enjoyment are also examined, alongside a detailed analysis of gameplay segments associated with progress breakdowns and frustration felt by the players. Based on these results, I offer recommendations for the design of ABPs that can be enjoyed by a wide audience, regardless of prior musical expertise.

Finally, the thesis considers the potential of ABPs as educational tools and as a novel, playful medium for engaging with music. I present the concept of puzzlification to describe ABPs' unique player-game-sound configuration, which creates distinct listening experiences and positions the player as a co-author of the game's soundtrack. Overall, this thesis provides a comprehensive account of ABPs, from existing practices to future possibilities, and establishes a theoretical foundation for interdisciplinary research at the intersection of musicology, psychology, and game studies. --

Les « puzzles » (casse-têtes) basés sur l'audio (ABPs) dans les jeux vidéo sont des défis qui exigent des joueurs qu'ils s'appuient sur leur perception auditive ou leur connaissance des sons pour progresser. Ils peuvent intégrer de la musique, des sons d'ambiance, des voix ou des représentations visuelles de l'audio. L'étude de ces expériences, situées à la croisée de la résolution de problèmes et de la perception auditive, a des implications qui touchent à la fois la cognition musicale, l'éducation et l'accessibilité. Néanmoins, les ABPs demeurent peu étudiés, et la documentation actuelle sur le sujet manque à la fois d'une terminologie cohérente et d'un fondement théorique.

Dans cette thèse, je présente d'abord le cadre « Audio-Based Puzzle Mechanics » (ABPM), un outil novateur pour l'analyse et la conception des ABPs basé sur les mécanismes de jeu qu'ils utilisent. Je détaille le processus de développement de ce cadre, j'aborde ses limites actuelles et j'esquisse des pistes pour de futures améliorations.

Je présente ensuite les résultats d'une étude expérimentale dans laquelle des musiciens et des non-musiciens ont joué à deux jeux de puzzle : l'un basé sur l'audio et l'autre sur le visuel. Une analyse de la performance des joueurs a révélé que les musiciens complétaient les ABP plus rapidement et avec plus de précision que les non-musiciens, mais qu'aucune différence entre les groupes n'apparaissait pour le jeu de puzzle visuel. Les expériences subjectives des participants en matière de difficulté et de divertissement sont également examinées, parallèlement à une analyse détaillée des segments de jeu associés aux blocages dans la progression et à la frustration ressentie par les joueurs. Sur la base de ces résultats, je propose des recommandations pour la conception d'ABPs pouvant être appréciés par un large public, quel que soit son expertise musicale préalable.

Enfin, cette thèse examine le potentiel des ABP en tant qu'outils pédagogiques et en tant que moyen de participation ludique et novateur pour des activités musicales. Je présente le concept de « puzzlification » pour décrire la configuration unique joueur-jeu-son des ABPs, qui crée des expériences d'écoute distinctes et positionne le joueur comme co-auteur de la bande-son du jeu.

Dans l'ensemble, cette thèse offre un compte-rendu complet des ABPs, des pratiques existantes aux possibilités futures, et établit une base théorique pour la recherche interdisciplinaire à la croisée de la musicologie, de la psychologie, et des études sur les jeux vidéo.