HueGaze: The Art of Scientific Mapping: Cross-modal Sonification of Images
2026 (Swedish)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis [Artistic work]
Abstract [en]
This master’s thesis explores the relationship between vision and hearing by investigating how cross-modal correspondences can serve as a framework for musical composition through sonification. Central to this project is the question of how the mapping process is shaped by the interplay between artistic and technical decision-making within a sonification framework. An algorithm was designed and evaluated, titled HueGaze, which translates visual attributes from digital images into musical parameters grounded in human perception. Developed in Python and SuperCollider, the algorithm uses the CIELAB colour space to extract perceptual data such as colours, lightness and entropy from an image. These values are mapped to acoustic parameters such as pitch, amplitude, and timbre, inspired by established cross-modal correspondences. Research through Design was applied as the overarching methodology, enabling theory, technical implementation, and artistic reflection to interact iteratively throughout the process. The results demonstrated that the algorithm transformed static images into dynamic musical compositions, realizing the project's concept of the image as a visual score. In doing so, a central tension surfaced between the scientific objectivity traditionally required by sonification and the artistic judgment inherent in compositional decision-making. More broadly, this reflects a methodological challenge within cross-modal research, where neither strict empirical nor purely artistic approaches alone can adequately address questions rooted in shared subjective experience. The primary contribution of this work is to frame this tension, not as a limitation to overcome, but as the working ground in which cross-modal design takes place. Through what is articulated as the aesthetic filter, this project presents a set of design principles for navigating the interplay between technical and artistic judgment. By applying these principles, the image is treated less as raw data, and more as a musical score to be read.
Abstract [sv]
Denna masteruppsats undersöker relationen mellan syn och hörsel genom att studera hur tvärmodala korrespondenser kan agera som ett ramverk för musikalisk komposition via sonifiering. Centralt för detta projekt är frågan om hur mappningsprocessen formas av samspelet mellan konstnärligt och tekniskt beslutsfattande inom ett sonifieringsramverk. En algoritm vid namn HueGaze utformades och utvärderades som översätter visuella attribut från digitala bilder till akustiska parametrar förankrade i mänsklig perception. Algoritmen, utvecklad i Python och SuperCollider, använder färgrymden CIELAB för att extrahera perceptuella data, såsom färger, ljushet och entropi ur en bild. Dessa värden mappas till akustiska parametrar såsom tonhöjd, amplitud och klangfärg, inspirerade av etablerade tvärmodala korrespondenser. Metodologin Research Through Design tillämpades som övergripande metod, vilket möjliggjorde att teori, teknisk implementering och konstnärlig reflektion kunde samverka iterativt under hela processen. Resultatet visade att algoritmen omvandlade statiska bilder till dynamiska musikaliska kompositioner och därigenom realiserade projektets idé om bilden som ett visuellt partitur. I denna process framträdde dock en central spänning mellan den vetenskapliga objektiviteten som sonifiering traditionellt kräver och det konstnärliga omdöme som är inneboende i kompositoriskt beslutsfattande. I ett vidare perspektiv speglar detta en metodologisk utmaning inom tvärmodal forskning, där varken strikt empiriska eller renodlade konstnärliga ansatser på egen hand kan besvara frågor som är rotade i en delad subjektiv erfarenhet. Arbetets främsta bidrag är att rama in denna spänning, ej som en begränsning att överkomma, utan som den grund där tvärmodal design äger rum. Genom det som formuleras som det estetiska filtret presenterar projektet en uppsättning designprinciper för att navigera i samspelet mellan tekniskt och konstnärligt omdöme. Genom att tillämpa dessa principer behandlas bilden mindre som rådata och mer som ett musikaliskt partitur att läsa.
Place, publisher, year, edition, pages
2026. , p. 61
Keywords [en]
sonification, cross-modal correspondence, CIELAB, algorithmic composition, Research through Design, music production, HueGaze
Keywords [sv]
sonifiering, tvärmodal korrespondens, CIELAB, algoritmisk komposition, Research Through Design, musikproduktion, HueGaze
National Category
Music Art History Media and Communication Studies
Identifiers
URN: urn:nbn:se:kmh:diva-6525OAI: oai:DiVA.org:kmh-6525DiVA, id: diva2:2071425
Presentation
2026-06-02, 1D220, Valhallavägen 105, Stockholm, 09:00 (Swedish)
Supervisors
Examiners
Note
Tillhörande medföljer en video vid namn Gazing. Det är ett musikstycke som arrangerades utifrån olika bilders sonifieringar, sammansatt till ett sammanhängande stycke.
2026-06-162026-06-132026-06-16Bibliographically approved