Esperienze di sonificazione nella computer music e nella riabilitazione all'ISTI -CNR

SONIFICATION EXPERIENCES IN COMPUTER MUSIC AND IN REHABILITATION AT ISTI-CNR 1. Introduction. Sonification consists of nonverbal sounds generation as a function of different data types, useful to interpret certain data properties. This paper outlines the main sonification elements and several typical applications. At the ISTI-CNR Signals&Images Lab (SILab) various special gesture sonification mechanisms have been implemented as part of the electronics live music. In particular Leonello Tarabella proposed the idea of sounds generation, starting from the gestures of the musicians, thus enriching the music performance by adding a visual dimension. The developed systems are mainly based on infrared sensors technology and real-time signals analysis acquired by video camera. Although in most projects the type of generated sounds is almost exclusively musical, the techniques used and skills acquired have allowed the development of more relevant systems in the field of sonification. In fact, by changing the sounds, the subject's movements and the processing strategies, these systems have also been used in the context of rehabilitative medicine. In particular regarding auditory feedback of the movement has allowed to create interactive environments for the treatment of behavioral disorders, in which the interaction with the environment is compromised. In the following we will first describe some of the general issues involved in the sonification field, provide a brief description of the developed systems, and finally offer some remarks on the "mapping" paradigm.

La sonificazione consiste nella generazione di suoni non verbali in funzione di dati di diversa natura utile a interpretarne certe proprietà. E' oramai impiegata in molti settori ed è in continuo sviluppo di pari passo con il progresso tecnologico. In questo lavoro vengono richiamati i principali elementi che la contraddistinguono e alcune tipiche applicazioni. Nel laboratorio di Segnali e Immagini (SILab) dell'ISTI-CNR di Pisa speciali meccanismi di sonificazione del gesto sono stati applicati nell'ambito della computer music. Leonello Tarabella ha poi sviluppato l'idea di far dipendere la generazione dei suoni dalla gestualità dei musicisti, arricchendo le musiche con la dimensione performativa.I sistemi via via sviluppati sono basati principalmente su sensoristica a infrarossi e sull'analisi in tempo reale di segnali video acquisiti da telecamere. Seppure nella maggior parte dei progetti realizzati la tipologia dei suoni generati è di valenza quasi esclusivamente musicale, le tecniche utilizzate e i sistemi sviluppati si possono inquadrare nell'ambito della sonificazione. Le competenze acquisite hanno permesso in seguito di lavorare allo sviluppo di sistemi più attinenti, in senso più stretto, al campo della sonificazione. Infatti, cambiando le sonorità di uscita e le strategie di elaborazione dei movimenti dei soggetti, i sistemi sono stati usati anche nell'ambito della medicina riabilitativa: in particolare l'auditory feedback del movimento ha permesso di realizzare ambienti interattivi per il trattamento di disturbi del comportamento, nel quale l'interazione con l'ambiente circostante è compromessa, come i disturbi dello spettro autistico. Nel seguito daremo un cenno ad alcune problematiche coinvolte in generale nella sonificazione, a cui seguirà una breve descrizione di alcuni dei sistemi sviluppati, dei risultati ottenuti e una riflessione sulla funzione del mapping.