Foto nitide con l'Intelligenza Artificiale

Sviluppato uno strumento di intelligenza artificiale, chiamato PULSE, che trasforma la foto più sfocata di un volto in una immagine nitida e realistica.

I ricercatori della Duke University hanno sviluppato uno strumento di intelligenza artificiale, chiamato PULSE, (1) che può trasformare le immagini sfocate e irriconoscibili dei volti delle persone in ritratti generati dal computer stranamente convincenti, con dettagli più fini che mai.

I metodi precedenti possono ridimensionare un'immagine di una faccia fino a otto volte la sua risoluzione originale. Ma il team di Duke ha escogitato un modo per prendere una manciata di pixel e creare facce dall'aspetto realistico con una risoluzione fino a 64 volte, “immaginando” caratteristiche come linee sottili, ciglia e stoppie che non c'erano nei metodi precedenti.

«Precedentemente, non sono mai state create immagini a super risoluzione che includessero così tanti dettagli», ha detto la scienziata informatica della Duke University, la dottoressa Cynthia Rudin, (2) che ha guidato il team.

Il sistema non può essere utilizzato per identificare le persone, affermano i ricercatori: non trasformerà una foto sfocata e irriconoscibile da una videocamera di sicurezza in un'immagine cristallina di una persona reale. Piuttosto, è in grado di generare nuovi volti che non esistono, ma sembrano plausibilmente reali.

Mentre i ricercatori si sono concentrati sui volti come prova del concetto, la stessa tecnica potrebbe, in teoria, scattare foto a bassa risoluzione di quasi tutto e creare immagini nitide e realistiche, con applicazioni che vanno dalla medicina e dalla microscopia all'astronomia e alle immagini satellitari, ha detto il dottor Sachit Menon, (3) appena laureato alla Duke con una doppia specializzazione in matematica e informatica.

Gli approcci tradizionali acquisiscono un'immagine a bassa risoluzione e “indovinano” quali pixel extra sono necessari cercando di farli corrispondere, in media, ai pixel corrispondenti nelle immagini ad alta risoluzione che il computer ha visto prima. Come risultato di questa media, le aree strutturate nei capelli e nella pelle che non si allineano perfettamente da un pixel all'altro potrebbero apparire sfocate e indistinte.

Il team di Duke ha escogitato un approccio diverso. Invece di acquisire un'immagine a bassa risoluzione e aggiungere lentamente nuovi dettagli, il sistema ricerca esempi di volti ad alta risoluzione generati dall'IA, cercando quelli che assomigliano il più possibile all'immagine di input quando vengono ridotti alla stessa dimensione.

Il team ha utilizzato uno strumento di apprendimento automatico chiamato “generative adversarial network” o GAN, che consiste in due reti neurali addestrate sullo stesso set di dati delle foto. Una rete presenta volti umani creati dall'intelligenza artificiale che imitano quelli su cui è stata addestrata, mentre l'altra prende questo risultato e decide se è abbastanza convincente da essere scambiato per la cosa reale. La prima rete migliora sempre di più con l'esperienza, fino a quando la seconda rete non riesce a distinguere.

Il sistema PULSE è in grado di creare immagini dall'aspetto realistico da input rumorosi e di bassa qualità che altri metodi non possono, ha detto Cynthia Rudin. Da una singola immagine sfocata di un volto può emettere un numero illimitato di possibilità realisticamente misteriose, ognuna delle quali appare sottilmente come una persona diversa.

«Anche in certe foto pixelate in cui gli occhi e la bocca sono a malapena riconoscibili, il nostro algoritmo riesce ancora a rielaborare qualcosa, che è qualcosa che gli approcci tradizionali non possono fare», ha detto il co-autore Alex Damian, (3) un matematico della Duke University.

Il sistema può convertire un'immagine di 16x16 pixel di una faccia in 1024 x 1024 pixel in pochi secondi, aggiungendo più di un milione di pixel, simile alla risoluzione HD. Dettagli come pori, rughe e ciocche di capelli, che sono impercettibili nelle foto a bassa risoluzione, diventano nitidi e chiari nelle versioni generate al computer.

I ricercatori hanno chiesto a 40 persone di valutare 1.440 immagini generate tramite il sistema PULSE e altri cinque metodi di ridimensionamento su una scala da uno a cinque. PULSE ha fatto il meglio, ottenendo un punteggio quasi pari alle foto di alta qualità delle persone reali.

Questa ricerca è stata sostenuta dalla Lord Foundation of North Carolina e dal Duke Department of Computer Science.

CITAZIONE: “PULSE: interpolazione fotografica auto-supervisionata tramite esplorazione spaziale latente di modelli generativi”, Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, Cynthia Rudin. Conferenza internazionale IEEE / CVF su Computer Vision e Pattern Recognition (CVPR), 14-19 giugno 2020. (4)

Riferimenti:

(1) PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

(2) Cynthia Rudin

(3) Sachit Menon

(3) Alex Damian

(4) PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

Descrizione foto: I tratti del viso come occhi e labbra sono appena distinguibili nella foto sfocata a sinistra. Ingrandita più di 60 volte (a destra) è una storia diversa, grazie all'intelligenza artificiale. - Credit: Rudin lab, Duke University.

Autore traduzione riassuntiva e adattamento linguistico: Edoardo Capuano / Articolo originale: Artificial Intelligence Makes Blurry Faces Look More Than 60 Times Sharper