Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
HueGaze: The Art of Scientific Mapping: Cross-modal Sonification of Images
Royal College of Music in Stockholm, Department of Music and Media Production.
2026 (Swedish)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis [Artistic work]
Abstract [en]

This master’s thesis explores the relationship between vision and hearing by investigating how cross-modal correspondences can serve as a framework for musical composition through sonification. Central to this project is the question of how the mapping process is shaped by the interplay between artistic and technical decision-making within a sonification framework. An algorithm was designed and evaluated, titled HueGaze, which translates visual attributes from digital images into musical parameters grounded in human perception. Developed in Python and SuperCollider, the algorithm uses the CIELAB colour space to extract perceptual data such as colours, lightness and entropy from an image. These values are mapped to acoustic parameters such as pitch, amplitude, and timbre, inspired by established cross-modal correspondences. Research through Design was applied as the overarching methodology, enabling theory, technical implementation, and artistic reflection to interact iteratively throughout the process. The results demonstrated that the algorithm transformed static images into dynamic musical compositions, realizing the project's concept of the image as a visual score. In doing so, a central tension surfaced between the scientific objectivity traditionally required by sonification and the artistic judgment inherent in compositional decision-making. More broadly, this reflects a methodological challenge within cross-modal research, where neither strict empirical nor purely artistic approaches alone can adequately address questions rooted in shared subjective experience. The primary contribution of this work is to frame this tension, not as a limitation to overcome, but as the working ground in which cross-modal design takes place. Through what is articulated as the aesthetic filter, this project presents a set of design principles for navigating the interplay between technical and artistic judgment. By applying these principles, the image is treated less as raw data, and more as a musical score to be read. 

Abstract [sv]

Denna masteruppsats undersöker relationen mellan syn och hörsel genom att studera hur tvärmodala korrespondenser kan agera som ett ramverk för musikalisk komposition via sonifiering. Centralt för detta projekt är frågan om hur mappningsprocessen formas av samspelet mellan konstnärligt och tekniskt beslutsfattande inom ett sonifieringsramverk. En algoritm vid namn HueGaze utformades och utvärderades som översätter visuella attribut från digitala bilder till akustiska parametrar förankrade i mänsklig perception. Algoritmen, utvecklad i Python och SuperCollider, använder färgrymden CIELAB för att extrahera perceptuella data, såsom färger, ljushet och entropi ur en bild. Dessa värden mappas till akustiska parametrar såsom tonhöjd, amplitud och klangfärg, inspirerade av etablerade tvärmodala korrespondenser. Metodologin Research Through Design tillämpades som övergripande metod, vilket möjliggjorde att teori, teknisk implementering och konstnärlig reflektion kunde samverka iterativt under hela processen. Resultatet visade att algoritmen omvandlade statiska bilder till dynamiska musikaliska kompositioner och därigenom realiserade projektets idé om bilden som ett visuellt partitur. I denna process framträdde dock en central spänning mellan den vetenskapliga objektiviteten som sonifiering traditionellt kräver och det konstnärliga omdöme som är inneboende i kompositoriskt beslutsfattande. I ett vidare perspektiv speglar detta en metodologisk utmaning inom tvärmodal forskning, där varken strikt empiriska eller renodlade konstnärliga ansatser på egen hand kan besvara frågor som är rotade i en delad subjektiv erfarenhet. Arbetets främsta bidrag är att rama in denna spänning, ej som en begränsning att överkomma, utan som den grund där tvärmodal design äger rum. Genom det som formuleras som det estetiska filtret presenterar projektet en uppsättning designprinciper för att navigera i samspelet mellan tekniskt och konstnärligt omdöme. Genom att tillämpa dessa principer behandlas bilden mindre som rådata och mer som ett musikaliskt partitur att läsa. 

Place, publisher, year, edition, pages
2026. , p. 61
Keywords [en]
sonification, cross-modal correspondence, CIELAB, algorithmic composition, Research through Design, music production, HueGaze
Keywords [sv]
sonifiering, tvärmodal korrespondens, CIELAB, algoritmisk komposition, Research Through Design, musikproduktion, HueGaze
National Category
Music Art History Media and Communication Studies
Identifiers
URN: urn:nbn:se:kmh:diva-6525OAI: oai:DiVA.org:kmh-6525DiVA, id: diva2:2071425
Presentation
2026-06-02, 1D220, Valhallavägen 105, Stockholm, 09:00 (Swedish)
Supervisors
Examiners
Note

Tillhörande medföljer en video vid namn Gazing. Det är ett musikstycke som arrangerades utifrån olika bilders sonifieringar, sammansatt till ett sammanhängande stycke.

Available from: 2026-06-16 Created: 2026-06-13 Last updated: 2026-06-16Bibliographically approved

Open Access in DiVA

HueGaze: The Art of Scientific Mapping(2069 kB)27 downloads
File information
File name FULLTEXT01.pdfFile size 2069 kBChecksum SHA-512
d4595b39f9b80d8b3588cbe1e37ee61da6448cba6affac5159edaa83da9e211f95b9c43d023585deef3f9cd5e0b3bce5db350e2a312e9f6d6eb6c3893287fe4e
Type fulltextMimetype application/pdf
Gazing(190142 kB)52 downloads
File information
File name MOVIE01.mp4File size 190142 kBChecksum SHA-512
6571d3373c6baecb6348baabe36d3dba06bdc8e12b5e933b3ad20d7d9e654226fb9d72e45391798bd236d783c0699df778e27007050253b2b50b7f741656828b
Type movieMimetype video/mp4

Search in DiVA

By author/editor
Simonsson, Oliwer
By organisation
Department of Music and Media Production
MusicArt HistoryMedia and Communication Studies

Search outside of DiVA

GoogleGoogle Scholar
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 45 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf