Support Vector Machines e apprendimento statistico per l'analisi non parametrica della regressione: nuovi sviluppi teorici, software e applicazioni finanziarie

Capitolo 4
Support Vector Machines
Le Support Vector Machines (SVM) sono degli algoritmi di apprendimento
introdotti per la prima volta dal gruppo di ricerca coordinato da Vapnik [5],
con l’intenzione di proporre una modellistica che facilitasse l’applicazione
delle tecniche di controllo della generalizzazione proposte all’interno della
Teoria dell’Apprendimento Statistico. Inizialmente lo sviluppo teorico si
è concentrato unicamente verso problemi di classificazione, indagando le
proprietà dell’iperpiano di separazione ottimale da cui nasce l’idea delle
1
SVM. Solo successivamente, grazie alla proposta della funzione di perdita
ε-insensitive, tale tecnica è stata generalizzata per problemi di regressione.
In questo capitolo verranno introdotti gli algoritmi di apprendimento
SVM, illustrando le ipotesi di base dalle quali sono stati ricavati, la parti-
colare struttura ”architetturale” che deriva dalla trasformazione non lineare
a cui sono sottoposti i dati al loro interno, la funzione di perdita in essi
implementata ed il problema di ottimo che occorre risolvere per stimare i
modelli. Nell’esposizioneverràpresoinconsiderazioneesclusivamenteilpro-
blema della regressione, richiamando solo quando necessario alcuni risultati
proposti per i problemi di classificazione.
4.1 La struttura dei modelli SVM
Per illustrare la struttura dei modelli SVM si possono seguire strade diffe-
renti. Quellaseguitainquestoparagrafoconsiderainprimoluogoilmodoin
cui il processo di apprendimento genera l’approssimazione attraverso i dati,
data la funzione di perdita, ed il problema di ottimo che ne deriva. Il me-
todo di trasformazione non lineare dei dati sarà affrontata in dettaglio solo
successivamente. I concetti, le proprietà e le definizioni della teoria classica
della programmazione non lineare qui utilizzati fanno riferimento al volume
di Bertsekas [4].
1
Vapnik [26] pag. 401-421.
37