Crowdset : Un software per la creazione di immagini sintetiche di folle

I principali metodi di deep learning sopra citati necessitano di una grande quantità di dati accuratamente etichettati e diversificati. Purtroppo, gli attuali dataset di immagini reali non possono soddisfare pienamente queste esigenze, portando due problemi inerenti al conteggio delle folle in ambienti reali. In primo luogo, ciò comporta che i metodi esistenti non possono affrontare alcuni casi estremi non visti in natura (illuminazione scarsa, un numero variabile di persone, condizioni metereologiche instabili). In secondo luogo, a causa della scarsità di dati etichettati, molti algoritmi soffrono di overfitting. L’overfitting è un problema comune nell’addestramento dei modelli di machine learning, in cui un modello apprende così bene i dati di addestramento a sua disposizione da diventare estremamente specifico per quei dati. Questo porta ad una minore capacità di generalizzazione, cioè alla degradazione delle prestazioni quando trasferiti in ambienti reali o in altre scene mai osservate in precedenza. Inoltre, c’è un problema intrinseco nei dataset di folla reali in cui le etichette non sono molto accurate, come alcuni campioni in UCFCC50 e Shanghai Tech A [29].

Per rimediare ai problemi sopra menzionati diversi gruppi di ricerca hanno cominciato a esplorare l’utilizzo di immagini sintetiche di folle. Creare dataset di immagini sintetiche si sta affermando come una pratica comune nell’ambito della ricerca e il punto di forza principale risiede nella capacità di poter controllare completamente le caratteristiche delle immagini. Questo controllo, oltre eliminare i problemi legati alle imperfezioni delle immagini menzionati sopra, riduce i problemi legati alla privacy e alle autorizzazioni che potrebbero emergere con l’uso di immagini reali. Sono stati fatti diversi lavori di ricerca che hanno utilizzato dei dataset generati attraverso l’uso di motori di gioco, motori grafici e software di manipolazione di immagini. Ad esempio, con il gioco GTA5 attraverso tecniche di modding, si può controllare l’ambiente di gioco posizionando folle di personaggi in varie scene per poi catturarle come immagini sintetiche. Allo stesso modo, motori di gioco come Unity o Unreal Engine permettono di creare da zero ambienti virtuali popolandoli con modelli di personaggi virtuali. Permettono inoltre di controllarne l’aspetto, il comportamento e la posizione per creare scene di folla su misura. Oltre ai motori di gioco, le simulazioni basate sulla fisica offrono un altro modo in cui è possibile modellare persone e simularne il movimento in un ambiente che risulta particolarmente utile, ad esempio, per analizzare il flusso delle folle. Inoltre, le Generative Adversarial Networks (GAN) hanno dimostrato di essere strumenti potenti e flessibili e attraverso il loro addestramento con immagini di folle, possono produrre ulteriori nuove immagini molto realistiche. Altre tecniche implicano l’uso di software di modellazione e animazione 3D come Blender o Maya. Questi strumenti permettono di creare e animare modelli tridimensionali di persone e anche se richiedono più tempo offrono un’incredibile personalizzazione. In questo lavoro, abbiamo adottato un approccio diverso dai precedenti sviluppando un software ex-novo che permetta di creare immagini sintetiche di folle in maniera decisamente più rapida e in pochi passaggi. Abbiamo infatti creato CrowdSet per soddisfare l’esigenza di avere immagini di addestramento che potessero rispecchiare le caratteristiche delle immagini reali sottoposte in fase di inferenza all’algoritmo preposto al conteggio. Questo perché in altri studi legati all’utilizzo di immagini sintetiche [2] si è visto che con questo tipo di addestramento le prestazioni degli algoritmi migliorano notevolmente. Gli strumenti che abbiamo descritto sopra difficilmente potrebbero raggiungere questo scopo creando immagini generali che non rispecchiano le scene target.
Inoltre, utilizzare un software di terze parti potrebbe risultare oneroso in termini di utilizzo dello stesso. Dal Capitolo 3 al Capitolo 5 verranno discussi nel dettaglio i vari aspetti del software CrowdSet. Descriveremo approfonditamente l’architettura, gli algoritmi e le sue funzionalità e che tipi di dataset vengono generati.