Dall’èkphrasis all’esperienza VR immersiva ne Il Barone Rampante di Italo Calvino/From Èkphrasis to Immersive VR Experience in Il barone rampante by Italo Calvino

Èkphrasis, traditionally defined as the detailed verbal description of visual works, is reinterpreted in this study through a multidisciplinary approach integrating literature, generative artificial intelligence (AI), and virtual reality (VR). The research explores the intermedial translation of a text excerpted from Il barone rampante (The baron in the Trees) by Italo Calvino, renowned for his visual and descriptive style. By extracting keywords from the text, 360-degree panoramic images were generated using generative AI. These images, combined with an audio narration of the passage, were incorporated into a VR experience accessible via an HMD headset. The study highlights how the immersive nature of VR enhances the relationship between image and narration, evolving from a literary description to a multisensory experience. The VR experience was tested on an exploratory sample, with participants’ visual behaviour tracked using advanced tools. The collected data enabled the analysis of gaze direction and the correlation between visual and auditory elements, while a questionnaire on the sense of ‘presence’ provided feedback on the immersive effectiveness of the experience. Despite the limitations of a small sample size, preliminary results demonstrate the potential of emerging technologies in intermedial translation. The research offers new perspectives on literary engagement, suggesting future developments involving larger and more diverse samples and expanded scene exploration, further investigating the role of èkphrasis in contemporary immersive contexts.

L’èkphrasis, tradizionalmente definita come descrizione verbale dettagliata di opere visive, è reinterpretata in questo studio attraverso un approccio multidisciplinare che integra letteratura, Intelligenza Artificiale generativa (AI) e Realtà Virtuale (VR). La ricerca esplora la traduzione intermediale di un testo tratto da Il Barone rampante di Italo Calvino, autore noto per il suo stile visivo e descrittivo. Attraverso l’estrazione di parole chiave dal testo sono state generate immagini panoramiche 360° con AI generativa. Queste immagini, insieme alla narrazione audio del brano, sono state integrate in un’esperienza VR fruibile con Head-mounted display (visore HMD). Lo studio evidenzia come l’immersività della VR amplifichi la relazione tra immagine e narrazione, passando da una descrizione letteraria a una multisensoriale. L’esperienza è stata testata su un campione esplorativo, il cui comportamento visivo è stato tracciato con strumenti avanzati. I dati raccolti hanno permesso di analizzare la direzione dello sguardo e la correlazione tra elementi visivi e sonori, mentre un questionario sul senso di presenza ha fornito riscontri sull’efficacia immersiva dell’esperienza. Nonostante i limiti di un campione ristretto, i risultati preliminari dimostrano il potenziale delle tecnologie emergenti nella traduzione intermediale. La ricerca propone nuove prospettive per la fruizione letteraria, suggerendo sviluppi futuri che includano campioni più ampi e scene diversificate, esplorando ulteriormente il ruolo dell’èkphrasis in contesti immersivi contemporanei.