Contatto: an interactive music-therapy system for autistic spectrum disorder and psychomotor disability

In the context of Contatto project, commissioned by MousikEssere, the ISTI-CNR Signal and Images Lab developed an active music-therapy system for young patients with autism spectrum disorders (ASD). The system uses a video camera, a FireWire digitalization board, and a Macintosh computer running custom software. During the therapy sessions, the patient moves his body freely inside an empty room. The software uses special algorithms to extrapolate features from the human figure, such us spatial position, arm and leg angles, and so forth. Via a graphic user interface, the medical operator can link these features to sounds synthesized in real time, according to the therapy schema. The system has very low latency thanks to Mac OS X native libraries (CoreImage, CoreAudio). The resulting augmented interaction with the environment could help improve young autistic patients' contact with reality. With a few minor variations and the use of additional sensors, the system could also treat other diseases, such as Alzheimer's.

Il reparto Segnali ed Immagini del'istituto ISTI del CNR nell'ambito del contratto di collaborazione (progetto Contatto) con la società di ricerche musicoterapiche MousikEssere di Roma ha progettato e realizzato un sistema per la riabilitazione di giovani soggetti affetti da disordini dello spettro artistico (ASD. Il sistema fa uso di una telecamera, una scheda di digitalizzazione FireWire, e di un calcolatore Macintosh con un software appositamente sviluppato. Durante le sedute terapeutiche che utilizzano questo sistema il soggetto si muove liberamente in un ambiente vuoto, ripreso dalla telecamera. Il software, elaborando le immagini riprese dalla telecamera con algoritmi appositamente sviluppati, estrae in tempo reale alcune features della figura umana (posizione nello spazio, angoli degli arti e del busto etc.). Tramite l'interfaccia grafica l'operatore può legare queste features alla generazione di suoni in tempo reale, secondo una metodologia prevista dalla terapia. La latenza d'uso del sistema è molto bassa grazie all'uso di librerie native (CoreImage, CoreAudio) della piattaforma Apple Mac OS X. L'aumentata interattività con l'ambiente che si viene così a creare, secondo la teoria musicoterapeutica alla base del progetto, è in grado di favorire il recupero del contatto con la realtà del soggetto autistico. Il sistema è usabile con successo, con altre modalità operative ed eventuale altra sensoristica, anche con soggetti affetti da altre patologie quali l'Alzheimer.