Le Reti Neurali Artificiali: dalla teoria alle applicazioni pratiche

Un’altra classe di reti neurali di cui è opportuno approfondire il funzionamento è quella dell’Autoencoder (AE). Questo tipo di rete fa parte della famiglia delle feedforward con lo scopo di generare nuovi dati, dapprima comprimendo l’input in uno spazio di variabili latenti e, successivamente, ricostruendo l’output sulla base delle informazioni acquisite.
In questo caso la rete è costituita da tre macroaree:

1. encoder: il codificatore comprime i dati in ingresso e produce il codice; può essere rappresentato dalla funzione di codifica h=f(x).
2. codice.
3. decoder: il decodificatore ricostruisce l’input sulla base del codice; può essere rappresentato dalla funzione di decodifica r=g(h).
Il risultato che otteniamo è che, allenando la rete a copiare l’input, lo spazio di variabili latenti h possa evidenziare caratteristiche utili. Questo potrà accadere solamente imponendo dei limiti all’azione di codifica, costringendo lo spazio h a dimensioni minori di quelle di x: è il caso di Autoencoder Undercomplete. Se non vengono impostati sufficienti vincoli, la rete si limiterà a copiare l’input in output, senza estrapolare alcuna informazione utile sulla distribuzione dei dati. Ciò potrebbe accadere sia quando la dimensione del sottospazio latente ha la stessa grandezza dello spazio di partenza, sia nel caso di reti Overcomplete, quando le dimensioni dello spazio di variabili latenti è maggiore degli input. In questi casi anche con semplici encoder e decoder lineari possiamo copiare l’input senza imparare nulla del set di dati.

Gli autoencoder sono principalmente un algoritmo di riduzione (o compressione) della dimensionalità con alcune proprietà importanti:
⁃ Dati Specifici: sono in grado di comprimere i dati simili a quelli su cui sono stati addestrati. Poiché apprendono funzionalità specifiche per il training set fornito, sono differenti da algoritmi standard di compressione dei dati. Quindi non possiamo aspettarci che una rete, addestrata su cifre scritte a mano, sia opportuna per comprimere foto di paesaggi.
⁃ Non Supervisionata: per addestrare la rete è sufficiente lanciare i dati di input grezzi su di essa, in quanto non ha bisogno di etichette nella fase di training; ma, più precisamente, le autouncoder sono self-supervised in quanto generano loro stesse etichette dai dati di addestramento.
⁃ Lossy: l’output della rete non sarà esattamente uguale all’input, ma una sua rappresentazione.
Analizzando il funzionamento della rete in dettaglio, in una prima fase i dati in ingresso passano attraverso l’encoder (una rete completamente connessa), per produrre il codice. Successivamente il decoder, con una struttura simile alla precedente, produce l’output sulla base del codice. È da notare che l’architettura dell’encoder/decoder è speculare; questo, anche se non rappresenta un requisito fondamentale, risulta essere una caratteristica strutturale della rete. L’unico requisito da rispettare è che la dimensionalità dell’input e dell’output deve essere la stessa; qualsiasi altro parametro nel mezzo può variare.

Ci sono 4 iperparametri da impostare prima di addestrare la rete:

1. Dimensione del codice: ovvero il numero di nodi nel livello intermedio. Le dimensioni più piccole producono una maggiore compressione.
2. Numero di strati: la rete può essere profonda quanto di vuole. Nella figura precedente abbiamo due livelli sia nell’encoder che nel decoder, senza considerare l’input e l’output.
3. Numero di nodi per livello: l’architettura su cui stiamo lavorando è chiamata “stacked” (in pila) autoencoder, poiché i livelli sono impilati uno dopo l’altro. Infatti, il numero di nodi per livello diminuisce con ogni livello successivo del codificatore ed aumenta di nuovo nel decodificatore.
4. Funzione di perdita: utilizzando la crossentropia binaria (se i valori di input sono nell’intervallo [0,1]) oppure l’errore quadratico medio (MSE).
Le AE vengono addestrate allo stesso modo delle ANN: tramite la backpropagation. Possiamo potenziare la rete aumentando il numero di livelli, nodi per livello e, soprattutto, la dimensione del codice. L’aumento di questi iperparametri consentirà alla rete di apprendere codifiche più complesse, ma senza implementarla troppo, altrimenti imparerà solamente a copiare l’input in output, senza apprendere alcuna rappresentazione significativa. L’autoencoder ricostruirà perfettamente i dati di addestramento, ma sfocerà nell’overfitting, senza essere in grado di generalizzare a nuove istanze. Come accennato in precedenza, questo è il motivo per cui si predilige una struttura “in pila” mantenendo il codice di dimensioni ridotte. Poiché lo strato di codifica ha una dimensionalità inferiore rispetto agli input (undercomplete), non sarà in grado di copiare direttamente gli input nell’output e sarà costretto ad apprendere funzioni intelligenti.

Da sottolineare che, se i dati risultano essere completamente casuali, senza alcuna correlazione o dipendenza interna, una AE undercomplete non sarà in gradi di ripristinarli perfettamente. Ma, fortunatamente, nel mondo reale c’è molta dipendenza.
Possiamo citare alcune tipologie di autoencoder:

✓ Vanilla Autoencoder
È la forma più semplice, caratterizzata da una rete a tre strati, ovvero, una rete neurale con uno strano nascosto. I dati di ingresso/uscita risultano uguali.
✓ Autouncoder Multistrato
Se un solo strato nascosto non è sufficiente, possiamo estendere la rete lungo la dimensione più profonda.
✓ Autoencoder Convoluzionale
In questo caso vengono usati strati convoluzionali piuttosto di quelli interamente connessi. Al posto di vettori unidimensionali, vengono utilizzati vettori tridimensionali. I dati di input vengono campionati, ottenendo una rappresentazione latente, ossia una riduzione dimensionale, costringendo così la rete ad imparare da una versione compressa degli input.
✓ Autoencoder Regolarizzato

Esistono altri metodi con il quale vincolare la ricostruzione dell’AE in alternativa all’imposizione di una minore dimensionalità di strati nascosti. Piuttosto che limitare la capacità del modello mantenendo un’architettura poco profonda, così come una riduzione forzata, questo tipo di rete utilizzano una funzione di perdita che incoraggi il modello ad assumere proprietà che vadano oltre alla semplice abilità di copiare l’input in output. Allo stato pratico distinguiamo due tipologie differenti:
⁃ Sparse Autouncoder: solitamente usate per la classificazione. Allenando un AE, le unità nascoste dello strato centrale vengono attivate troppo frequentemente. Per evitare ciò, si abbassa il loro stato di attivazione limitandolo ad una frazione dei dati di training (vincolo di sparsità, in cui ciascuna unità è attivata da un tipo prestabilito di input).
⁃ Denoising Autoencoder: piuttosto che aggiungere penalità alla funzione di perdita, possiamo cambiare l’oggetto aggiungendo rumore all’input e facendo in modo che la rete impari autonomamente a rimuoverlo. Ciò implica che la RN estrarrà unicamente le informazioni più rilevanti ed imparerà da una rappresentazione robusta dei dati.
Purtroppo, queste reti non sono ampliamente utilizzate. Come metodo di compressione non funzionano meglio delle sue alternative ed il fatto che sono specifiche per i dati, li rende poco pratici come tecnica generale. Tuttavia, stanno trovando applicazioni in campi come nella:
⁃ riduzione della dimensionalità: quando sono interessate un gran numero di dimensioni (in genere superiore a 32), per generare una riduzione compressa dei dati;
⁃ recupero di informazioni: che trova beneficio dalla riduzione delle dimensionalità, in quanto la ricerca può diventare estremamente efficiente in spazi a bassa dimensione;
⁃ ricerca di anomalie: imparando a replicare le caratteristiche salienti nei dati di addestramento, il modello è incoraggiato ad imparare a riprodurre con precisione le caratteristiche più frequenti delle osservazioni. Di fronte ad anomalie, il modello dovrebbe peggiorare le sue prestazioni di ricostruzione. Nella maggior parte dei casi, solo i dati con istanze normali vengono utilizzate in fase di training, in altri la frequenza di anomalie è così piccola rispetto all’intera popolazione di dati, che il suo contributo alla rappresentazione appresa nel modello potrebbe essere ignorato. Dopo l’allenamento, il decoder ricostruirà bene i dati normali, mentre non riesce a farlo con le anomalie. L’errore di ricostruzione di un punto dati, che è l’errore tra il punto dati originale e la sua ricostruzione a bassa dimensione, viene utilizzato come punteggio per rilevare le anomalie.
⁃ elaborazione delle immagini: ad esempio, la necessità di metodi efficaci di restauro delle immagini, data la loro crescente produzione spesso in condizioni sfavorevoli, ne hanno incrementato l’utilizzo nel campo della preelaborazione, dimostrando la loro affidabilità in ambiti anche molto delicati, come la denigrazione delle immagini mediche.
⁃ scoperta di nuovi farmaci: nel 2019 le molecole generate con un tipo speciale di AE sono state sperimentate fino ai topi.