Real-time sound-parameter tracking in an audio-video system

Pitch and other audio parameters can be detected in various ways, depending on the specific application (codifying, segmentation, classification, etc,) and the type of musical signals analyzed. This paper addresses real-time tracking of the pitch and RMS of a musical audio signal for controlling certain video effects in a multimedia system for artistic performance (Pandora System* project). Pitch tracking is more difficult than RMS measurement, especially when low latency is required. For our purpose, the fast-autocorrelation algorithm was adopted and executed in the time domain, thus attaining satisfactory precision. Demonstrations of our work include special effects video examples and live sounds performed by musician Enrico Cerretti.

L'altezza delle note e altri parametri sonori possono essere detettati in vari modi dipendentemente dalla specifica applicazione richiesta (codifica, segmentazione, classificazione, ecc,) e dalla tipologia di segnali da analizzare. Nel presente lavoro si propone un metodo per il tracking real-time del pitch e del RMS di un segnale musicale per controllare effetti video speciali, in un sistema multimediale nell'ambito di performance artistiche (Pandora System* project). Il tracking del pitch in real time è più difficile dell'inseguimento del RMS, specie quando è richiesto un basso tempo di latenza. E' stato adottato un metodo basato sulla fast-autocorrelation, operando nel dominio del tempo, ottenendo una sufficiente precisione. La demo eseguita al margine della presentazione comprende effetti video speciali controllati con parametri estratti da suoni strumentali eseguiti dal musicista Enrico Cerretti dal vivo.