Stable Diffusion: come rilevare le immagini fake create dalle Intelligenze Artificiali!

Dopo essermi occupato in articoli precedenti di come provare a smascherare i video deepfake ed i sistemi di aumento della risoluzione basati sulle IA (Waifu2X) utilizzando il local texture mapping, con questo articolo vedremo come la stessa metodica sia efficace nel rilevare i falsi di nuova generazione creati interamente in silico da un algoritmo più recente: Stable Diffusion.

Fra le varie accuse rivolte agli sviluppatori di questo software c’è quella di aver utilizzato nella fase di training diverse immagini coperte da copyright senza il consenso degli artisti che le hanno prodotte, tanto che il software riesce a replicare, a loro dire, il loro “stile” senza il loro consenso, creando di fatto dei plagi. Nel test che svolgerò oggi proverò a confrontare le immagini generate dal software utilizzando il local texture map per rilevare se le mappe consentano di distinguere le immagini vere di un famoso artista dai “plagi” creati dall’ AI. Per non avere problemi di copyright e per utilizzare come confronto dei dati che ho già, ho deciso di generare dei falsi di un artista rinascimentale che ho già dettagliatamente studiato in questo blog e che ha una “firma radiomica” molto riconoscibile ed unica: Leonardo da Vinci.

L’obbiettivo di questo studio è verificare se il local texture mapping riesce a discriminare i falsi creati dall’AI dai veri dipinti di Leonardo allo stesso modo di come li distingue dai dipinti con uno stile simile dei suoi allievi. Il secondo obbiettivo sarà invece trovare qualcosa che permetta di identificare QUALUNQUE tipo di immagine fake creata da un’AI come tale.

Materiali e Metodi:

Utilizzando l’implementazione free di Stable Diffusion raggiungibile da questo link ho generato 12 immagini utilizzando come comando la seguente frase: “leonardo da vinci” style painting

Ogni immagine è stata quindi scomposta nelle 3 componenti RGB usando il software GIMP; successivamente ognuna di queste componenti è stata utilizzata come input per il software LifeX allo scopo di ricavare le mappe degli indicatori della matrice GLCM fornite dal software (dissimilarità, entropia, contrasto, energia, omogemeità, correlazione).

LifeX è stato impostato per utilizzare 64 livelli di grigio in un range da 0 a 256, comprendente tutti i livelli delle immagini e quindi con un size of bin pari a 4. E’ stato utilizzato un kernel del diametro di 3 pixel

Le immagini così ottenute sono state quindi confrontate con quelle dei dipinti originali già studiate in un precedente lavoro; in particolare:

• osservate visivamente alla ricerca della “firma Leonardesca” dovuta allo stile “sfumato” utilizzato dall’artista e caratterizzata dall’assenza di bordi netti nelle figure agli indicatori di disordine (GLCM contrasto, dissimilarità ed entropia)
• inizialmente guardando varie immagini create dalle AI in diversi ambiti anche utilizzando il local texture mapping non ero mai riuscito a trovare qualcosa che permettesse di distinguere le immagini “reali” da questi falsi, tuttavia con sorpresa internet è venuto in mio soccorso! 🙂 Girovagando per i social infatti mi sono imbattuto nel profilo di una ragazza appassionata di disegno e fotografia (elettra.em.lux) che riusciva a capire a suo dire “visivamente” se un ‘immagine era generata da un AI oppure no. Mi ha detto di riuscirci (se ho ben capito 🙂 ) in quanto le immagini generate hanno un aspetto “cartoonesco” a livello di alcuni dettagli che presentano inoltre una colorazione OMOGENEA. A questo punto era chiaro che il local texture mapping, se interpretato nel modo giusto, poteva essere il metodo perfetto per smascherare questi fake: se questa teoria è vera queste porzioni delle immagini infatti dovrebbero presentare ridotti livelli degli indicatori di disordine (contrasto, dissimilarità ed entropia) ed elevati di quelli di ordine (energia ed omogeneità). Il secondo obbiettivo di questo lavoro è stato quindi validare questa teoria e vedere se questo reperto “visivo” abbia un corrispettivo all’analisi delle mappe, che potrebbe essere sfruttato in ambito forense.

Tutti i dati grezzi saranno poi caricati al solito su Galactichan.

Risultati

Mona Lisa. Il più celebre dipinto di Leonardo da Vinci. Nella prima mappa (GLCM Entropia) è visibile la “firma leonardesca” dovuta allo stile “sfumato” (i bordi delle figure sono in generale poco definiti). La seconda mappa (GLCM energia) non evidenzia aree di incrementato segnale, in quanto l’intera immagine è ricca di piccoli dettagli che causano un elevato “rumore” locale

Immagine n° 1 del campione generato con Stable Diffusion. La mappa della GLCM entropia mostra bordi della figura molto più netti e definiti, in modo simile ai dipinti degli autori imitatori ed allievi di Leonardo (Leonardeschi). La mappa della GLCM energia evidenzia inoltre vistosa iperintensità a carico della fronte e, della piramide nasale e del torace della figura, in corrispondenza di aree dall’aspetto insolitamente omogeneo e “cartoonesco” a causa dell’assenza di dettagli visibili.

Immagine n° 5 del campione generato con Stable Diffusion. La mappa della GLCM entropia mostra un reperto analogo, così come quella della GLCM energia che evidenzia anche qui estese aree di iperintensità a carico della cute della faccia e del corpo della figura

Immagini n°8 del campione generato con Stable Diffusion che mostra volti deformati (come spesso accade nelle immagini generate con le IA, che in tali casi sono facilmente riconoscibili).

Conclusioni

A dispetto di quanto dichiarato dai media, le immagini generate da Stable Diffusion non sono in grado di imitare perfettamente lo stile di un artista e possono essere riconosciute come fake ad un’attenta analisi visiva fatta da un occhio allenato; anche aiutandosi mediante l’analisi matematica delle stesse che consente di rilevare dei reperti correlabili ai pattern trovati visivamente, con possibili implicazioni in ambito forense.

A corollario di quanto esposto sopra questo lavoro mostra come la collaborazione fra competenze diverse (scientifica e grafica in questo caso) sia la chiave per interpretare correttamente i dati ottenibili con il local texture mapping nei dipinti e quindi, come già detto nei lavori precedenti, anche magari un giorno per arrivare ad un’interpretazione RAZIONALE di questi indicatori in ambito medico e radiologico! (oggi lasciata troppo spesso in mano alle black box delle IA). Da notare come nel caso in oggetto un incontro fortuito sul web sia stata la chiave per la riuscita di questo esperimento e come la mia “collaboratrice” si sia quasi stupita che il suo “semplice” consiglio mi abbia aiutato così tanto! Non posso quindi che rinnovare le mie speranze in questo potente strumento di comunicazione fra persone che magari vivono ai capi opposti del mondo che ora possono collaborare per il raggiungimento di un obbiettivo comune, al di là di ogni “muro” ideologico e di presunta differenza. Tuttavia, per continuare a permettere questo, credo sia indispensabile mantenere il web libero di ogni condizionamento o censura imposta dall’alto; riuscirà il web a liberarsi di quei fardelli come la cancel culture che ne vogliono limitare il potenziale? (anche mediante mezzi tecnologici creati ad hoc?)