LUCIA

LUCIA, a new Italian talking head based on a modified version of the Cohen-Massaro's labial coarticulation model is described. A semi-automatic minimization technique, working on real cinematic data, acquired by the ELITE opto-electronic system, was used to train the dynamic characteristics of the model. LUCIA is an MPEG-4 standard facial animation system working on standard FAP visual parameters and speaking with the Italian version of FESTIVAL TTS.

La comunicazione dell'informazione avviene attraverso il canale uditivo e visivo ed infatti, i messaggi verbali, le intonazioni, e la mimica del volto possono rendere più familiare l'uso del computer e permettere una migliore fruizione del messaggio. Sulla base di questa considerazione è stata sviluppata LUCIA (Cosi et alii, 2003), una vera e propria faccia parlante che sul monitor articola le labbra secondo l'alfabeto ed esprime emozioni, come tristezza, rabbia, sorpresa, gioia. Caschetto bruno e occhi chiari, è il frutto dell'applicazione delle tecnologie più innovative nel campo della comunicazione uomo-macchina: per realizzarla si sono riuniti esperti di linguistica, fonetica, grafica e intelligenza artificiale. LUCIA è basata su uno specifico modello di coarticolazione (Cohen and Massaro, 1993) appositamente sviluppato per rendere più fluidi e naturali i movimenti delle labbra. LUCIA è basata sullo standard MPEG-4 e parla in italiano mediante la versione italiana di FESTIVAL (Cosi et alii, 2001). Il modello è visualizzato in tempo reale sullo schermo e sincronizzato con il corrispondente segnale vocale fornito dal sistema di sintesi da testo scritto. LUCIA è costruita mediante un reticolo di circa 26000 poligoni, ed il modello è diviso in due parti principali: la pelle e gli articolatori interni (occhi, lingua, denti). Questa suddivisione è particolarmente utile per l'animazione, poiché soltanto la pelle è direttamente influenzata dall'azione dei pseudo-muscoli mimici facciali è costituisce quindi un elemento unitario, mentre le altri componenti anatomiche risultano essere indipendenti fra loro e si muovono in modo più rigido seguendo esclusivamente delle traslazioni e/o rotazioni (per esempio gli occhi ruotano su se stessi attorno al loro punto centrale). Utilizzando questa strategia i poligoni sono distribuiti in modo tale da rendere l'effetto visivo molto naturale evitando di visualizzare possibili discontinuità nel modello 3D soprattutto in fase di animazione. LUCIA, è stata sviluppata nella sede di Padova dell'Istituto di Scienze e Tecnologie della Cognizione (ISTC) del Consiglio Nazionale delle Ricerche (CNR) che ha la sua sede principale a Roma. LUCIA è in pratica un sistema di "interfaccia uomo-macchina audiovisiva", in grado di produrre messaggi uditivo-visivi, che potrà consentire anche ai soggetti colpiti da disabilità di usufruire nel modo più naturale possibile ad esempio del servizio di formazione a distanza (e-learning). LUCIA è il prodotto di complessi programmi di sintesi-da-testo vocale e visiva, ed è in grado di trasmettere all'utente oltre che informazioni linguistiche anche informazioni emotive vocali e visive quali espressioni facciali, gestualità, visual prosody, cioè, p.es., movimenti delle sopracciglia o della testa correlati alle caratteristiche intonative degli enunciati verbali, ricreando quindi le condizioni più simili a quelle dell'interazione faccia-a-faccia. LUCIA è il frutto di competenze interdisciplinari nel campo della multi-modalità della comunicazione, delle tecnologie vocali, della computer graphics e dell'audiologia. LUCIA è proposta in funzione dell'indiscusso servizio che porterebbe ai soggetti disabili che, attraverso la sinergia acustico-visiva relativa sia all'informazione fonologica (attraverso la lettura labiale) sia alla fusione tra informazione linguistica ed emotiva, potrebbero decodificare e codificare in modo più completo i messaggi scambiati ad esempio con docenti e tutor. Ma quali sono le possibili applicazioni di una faccia parlante? Sono davvero tante: dalla didattica alle telecomunicazioni. LUCIA può avere infatti numerose applicazioni nell'ambito dell'insegnamento dell'italiano o di lingue straniere, della lettura animata di libri, di lezioni animate, ecc. Gli agenti virtuali con faccia parlante rappresentano dunque la soluzione più adatta nell'interazione uomo-computer, che diventa più naturale rispetto agli attuali sistemi unimodali di sintesi e di riconoscimento automatico della parola dell'utente. Per tale caratteristica il loro utilizzo potrebbe anche essere esteso: dalla lettura dei notiziari ai servizi commerciali, agli annunci di vendita. Ma forse è l' e-learning il settore nel quale LUCIA potrebbe rendere meglio. Basti pensare ai sistemi d'insegnamento e apprendimento interattivi che diventano così più vivaci e accattivanti; senza escludere il settore della logopedia, della fonetica per disabili e della riabilitazione dei non udenti. BIBLIOGRAFIA Cohen M., Massaro D., "Modeling Coarticulation in Synthetic Visual Speech", in Magnenat-Thalmann N., Thalmann D. (Editors), Models and Techniques in Computer Animation, Springer Verlag, Tokyo, 1993, pp. 139-156. Cosi P., Tesser F., Gretter R., Avesani C., "Festival Speaks Italian!", Proceedings Eurospeech 2001, Aalborg, Denmark, September 3-7, 2001, pp. 509-512. Cosi P., Fusaro A., Tisato G., "LUCIA a New Italian Talking-Head Based on a Modified Cohen-Massaro's Labial Coarticulation Model", Proceedings of Eurospeech 2003, Geneva, Switzerland, September 1-4, 2003, Vol. III, pp. 2269-2272. Cosi P., Drioli C., "LUCIA a new emotive/expressive Italian talking head", in Izdebski K. Editor, Emotions in the Human Voice, Volume III, Chapter 9, Plural Publishing, Inc., San Diego California, USA, 2008, 153-176.