Questo sito utilizza cookie di terze parti per inviarti pubblicità in linea con le tue preferenze. Se vuoi saperne di più clicca QUI 
Chiudendo questo banner, scorrendo questa pagina, cliccando su un link o proseguendo la navigazione in altra maniera, acconsenti all'uso dei cookie. OK

Sintesi di viste da contenuti stereoscopici non calibrati.

Scopo della tesi
Il sempre crescente interesse per i contenuti video tridimensionali, in particolare nel campo della distribuzione e fruizione in ambito domestico, ha generato la necessità di progettare nuove ed innovative applicazioni che possano migliorare la qualità dell’esperienza visiva, rendendola sempre più coinvolgente ed immersiva ad una vasta platea di utenti dalle esigenze molto variegate.
Il presente lavoro di tesi, svolta in collaborazione con la STMicroelectronics S.r.l., è rivolto allo studio e realizzazione di una metodologia per la generazione di viste virtuali a partire da contenuti video non calibrati, che può trovare applicazione finale nel campo della 3DTV, in particolare per adattare l'effetto 3D ai moderni TV sia in termini di profondità che di posizionamento relativo al piano del display. Lo stesso algoritmo può altresì essere utilizzato per la realizzazione della cosiddetta “free viewpoint TV”, cioè la possibilità data all’utente di scegliere arbitrariamente il punto di vista da cui godersi la scena, nonché per l’adattamento dei contenuti tridimensionali ricevuti ai formati “multiview” richiesti dai nuovi display 3D autostereoscopici, che non necessitano di occhiali.

Breve descrizione dell’algoritmo implementato
Come anticipato, l' ambito di ricerca nel quale si situa questa tesi in azienda è il 3DTV, cioè la trasmissione, codifica e rendering di video 3D per la televisione del futuro.
L'algoritmo implementato in c++ con il supporto della libreria open source OpenCv 2.2 comprende i seguenti passi:
1. Estrazione delle corrispondenze SIFT1 dalle due immagini in input.
2. Stima della matrice fondamentale tra le due viste tramite il RANSAC2.
3. Minimizzazione su un certo numero di corrispondenze della funzione di riproiezione per la costruzione delle omografie rettificanti delle due immagini.
4. Rettifica delle due immagini ed estrazione delle relative mappe di disparità associate.
5. Costruzione delle camere virtuali sulla traiettoria tra le due camere.
6. Rendering di due sequenze di immagini sulla traiettoria stimata e fusione delle due traiettorie per il riempimento delle occlusioni.
Tale algoritmo riceve in ingresso le due immagini e come parametri di funzionamento vengono fornite 3 soglie:
1. TRESHOLD_SIFT per l' estrazione dei descrittori SIFT.
2. OUTLIERS_TRESHOLD per scartare le corrispondenze che hanno un errore di riproiezione maggiore di tale soglia.
3. DISP_MAX. Massima disparità stimabile sui pixel delle due immagini.
Contributi e risultati
I contributi implementativi da me riportati riguardano:
1. L'estrazione dell' epipolo associato ad una vista.
2. L'estrazione dei valori di parallasse dalle depth map.
3. Il centering delle omografie all'infinito,cioè la rotazione e traslazione dei piani immagine delle due camere.
Le immagini sintetizzate, seppur di buona qualità, presentano errori principalmente dovuti all'estrazione delle corrispondenze SIFT, mappe di disparità stimate e complessità geometrica della scena, criticità che vengono affrontate e discusse nel Capitolo 4. Inoltre l'implementazione in c++ risulta stabile, nel senso che a stessi parametri di ingresso restituisce gli stessi risultati, nonostante l'uso del SIFT e RANSAC che sono algoritmi intrinsecamente non deterministici.

Mostra/Nascondi contenuto.
Capitolo 1 Introduzione In questo lavoro di tesi viene esposto un algoritmo per il rendering di viste virtuali a partire da sole 2 immagini 'non calibrate'. Il rendering constiste nel passare da una scena 3D ad immagini 2D della scena campionando la funzione plenoptica o PF(Appendice A), che viene in qualche modo approssimata con il sensore della fotocamera in qualche punto dello spazio. Tuttavia con la View Synthesis è possibile anche il rendering inverso: partendo dalle immagini della scena ricavare la scena e poi renderizzarla, ma in genere non è necessario ricostruire la scena per ricavare le viste virtuali; questa tecnica è nota come Image Based Rendering. Si cerca quindi di fare un ricampionamento delle viste di partenza secondo una certa funzione di warping. E' impossibile campionare la PF in ogni punto dello spazio poiché servirebbe un sensore sferico in ogni punto della scena[1]. Siccome si fa un campionamento sparso della PF, essendo le immagini di partenza solo 2, il problema del calcolo del parallasse tra pixel corrispondenti viene risolto tramite le 2 mappe di disparità sulle due immagini rettificate ricavate attraverso un algoritmo locale che elabora due mappe di disparità a partire dalle corrispondenze tra aree di colore omogeneo(segmenti) nelle due immagini e, all'interno di ogni segmento, con una metrica SSD, trova le corrispondenze tra i pixel che giacciono sulla corrispondente linea epipolare dell'immagine rettificata. Sintetizzare una vista virtuale significa quindi generare un set di raggi luminosi virtuali che coloreranno il pixel della nuova immagine. La vista virtuale è costruita a meno di un numero numerabile di occlusioni presenti nella scena a seconda della sua complessità geometrica e fotometrica; infatti superfici non visibili in entrambe le immagini di partenza non possono essere codificate nelle mappe di disparità e quindi non possono essere visualizzate nell'immagine virtuale. Invece superfici che sono visibili su una immagine ma non nell'altra sono codificate solo in una depth-map e quindi visibili nella vista virtuale, queste le chiamo occlusioni parziali. Per risolvere le occlusioni sono necessarie delle mappe di disparità a più livelli che sezionano la scena in più strati, oppure usare più viste della stessa[2]. L' IBR offre numerosi vantaggi rispetto ai metodi di rendering usati in Computer Graphics, come il maggiore fotorealismo ed inoltre la complessità del rendering non dipende dal numero dei poligoni 1

Laurea liv.II (specialistica)

Facoltà: Ingegneria

Autore: Vincenzo Della Corte Contatta »

Composta da 117 pagine.

 

Questa tesi ha raggiunto 518 click dal 02/07/2012.

Disponibile in PDF, la consultazione è esclusivamente in formato digitale.