Automatic Mosaic Digitalization: A Deep Learning approach to tessera segmentation

A mosaic, made of small coloured tiles, called tesserae or tessellas, is a form of decorative art to create images and patterns on a surface. One of the first steps to obtain digital mosaics is the segmentation process to separate (identify) tesserae. Then, various tools are necessary to catalog the digitalized scenes, to extract the figures, such as animal or human beings, from the puzzle of small pieces, to geolocalize the segmented objects and to assign a semantic meaning to them. While some mosaic segmentation approaches have already been reported in the literature, currently, mosaic segmentation is still done by human operators, resulting time consuming and error prone. We propose in this paper an automatic approach, based on Deep Learning, to segment the mosaic floor tesserae of the church of S. Stephen in Umm ar Rasas. Our approach allows to obtain automatically and with good reliability the description of the main elements of a mosaic (the tesserae) that are not homogeneous. The experiments performed on the collected tesserae dataset yield high accuracies and demonstrate the effectiveness and suitability of our approach.

Lo scopo del lavoro è quello di individuare e classificare le tessere di un mosaico appartenenti ad una stessa immagine o insieme, la cui unione permette di interpretare la figura geometrica o la figura umana o animale che doveva rappresentare la figura iniziale. Un mosaico, fatto di piccole tessere colorate, chiamate tessere , è una forma di arte decorativa per creare immagini e motivi su una superficie. Uno dei primi passaggi per ottenere mosaici digitali è il processo di segmentazione per separare (identificare) le tessere. Quindi, sono necessari vari strumenti per catalogare le scene digitalizzate, per estrarre le figure, come animali o esseri umani, dal puzzle di piccoli pezzi, per geolocalizzare gli oggetti segmentati e assegnare loro un significato semantico. Sebbene alcuni approcci di segmentazione a mosaico siano già stati riportati in letteratura, attualmente la segmentazione a mosaico viene ancora eseguita da operatori umani, con conseguente dispendio di tempo e soggetto a errori. Proponiamo in questo articolo un approccio automatico, basato sul Deep Learning, per segmentare le tessere del pavimento a mosaico della chiesa di S. Stefano a Umm ar Rasas. Il nostro approccio consente di ottenere automaticamente e con buona affidabilità la descrizione dei principali elementi di un mosaico (le tessere) non omogenei. Gli esperimenti eseguiti sul set di dati delle tessere raccolte forniscono elevate precisioni e dimostrano l'efficacia e l'idoneità del nostro approccio.