PersonArt è un sistema interattivo basato su Intelligenza Artificiale che permette di trovare similarità tra volti reali e volti artistici. L’algoritmo si basa su Deep Neural Networks per l’identificazione del volto, l’estrazione di una descrizione digitale che consente il calcolo della similarità tra il volto del visitatore e quelli pittorici forniti in precedenza. In più, PersonArt utilizza tecniche per la riduzione delle diversità tra immagini fotografiche e artistiche, garantendo così un risultato accurato nonostante le differenze di tessitura tra la fotografia del visitatore e i quadri.

Scarica versione PDF
Laboratorio
Referenti
Lorenzo Baraldi
Rita Cucchiara
Area di specializzazione
Cultura e creatività
Digitale
Keyword
personart
beni culturali
allestimento/installazione che evoca nelle forme la tipologia di una cabina per foto automatiche, si propone ai visitatori di partecipare ed interagire con l’installazione
Descrizione prodotto

PersonArt è un sistema interattivo basato su Intelligenza Artificiale che permette di trovare similarità tra volti reali e volti artistici. Il sistema si basa su una pipeline di algoritmi di Intelligenza artificiale descritti in seguito. a) Identificazione del volto: ogni volto presente nelle immagini fornite al sistema viene identificato, ritagliato dallo sfondo e sottomesso ad una rete neurale in grado di produrre un identificativo numerico. b) Rilevatore di sosia: gli identificativi di più individui generati al punto precedente possono essere confrontati a coppie al fine di stimare un grado di similarità. Il confronto a coppie di un individuo (probe) con un insieme di individui precedentemente inseriti nel sistema (gallery) permette l’individuazione del sosia più simile. c) PersonArt utilizza tecniche per la riduzione delle diversità tra immagini fotografiche e artistiche, garantendo così un risultato accurato nonostante le differenze di tessitura tra la fotografia del visitatore e i quadri. In particolare, un algoritmo di style transfer permette di rendere opere pittoriche simili a fotografie, in modo da poter applicare gli algoritmi a) e b) alla versione fotografica del quadro.

Aspetti innovativi

Ricerca di similarità di volti Capacità di passare dal dominio reale a quello pittorico e viceversa

Applicazioni

Fruizione e applicazioni di gamification in ogni ambito legato a catalogo digitale di quadri

art2real
Esempio di applicazione

Personart

Descrizione applicazione e risultati

PersonArt ha avuto una prima presentazione al pubblico in occasione del Festival della Filosofia 2019 a Modena. In quella occasione, all’ingresso della Galleria Estense di Modena era localizzata una “cabina” in cui entrare per potersi scattare una foto e ricevere, entro pochi minuti, una copia del quadro del personaggio più somigliante tra quelli presenti nella Galleria. I quadri della Galleria Estense sono stati precedentemente digitalizzati. Ogni quadro è stato quindi convertito nella versione fotografica mediante l’algoritmo Art2Real, prima di sottometterlo alla identificazione dei volti presenti e alla generazione delle signature di ogni volto presente. Questa elaborazione offline ha permesso di velocizzare il reperimento del sosia durante la demo live. Per ogni visitatore che ha desiderato partecipare all’iniziativa è stata scattata una fotografia, identificato il quadro più simile, generata e stampata una scheda riepilogativa con la propria fotografia, il quadro più simile, una descrizione del quadro (fornita dalla Galleria) e la localizzazione dell’opera all’interno del Museo. L’installazione ha trovato il gradimento del pubblico.

Partner coinvolti

Galleria Estense di Modena

Tempi di realizzazione
un mese (esclusa digitalizzazione quadri)
Livello di maturità tecnologica
TRL 6 - tecnologia dimostrata in ambiente rilevante
Valorizzazione applicazione

In fase di brevettazione

esempio di scheda generata