Metodi statistici ed entropici per l'apprendimento e l'analisi automatica di immagini digitali

16 
della codifica e l'inferenza statistica. Per maggiori dettagli si veda l'esaustivo sito 
Web  (Hillmann -  1998). 
 
2.1 Concetti di base 
Ancora oggi l'originale articolo di Shannon è per certi versi la migliore 
introduzione al moderno concetto di entropia. Rimandiamo quindi a (Shannon -
1948) per la descrizione analitica delle problematiche teorico-matematiche, 
limitandoci ad elencare in maniera sintetica alcuni concetti di base. 
 Supponiamo di avere una variabile casuale X definita su un insieme di eventi 
mutuamente esclusivi X={x1, x2, …, xn} in accordo con la distribuzione di 
probabilità p(X) e tale che Si p(xi) = 1. 
Se consideriamo questa variabile casuale come una sorgente di informazione, 
diventa lecito cercare di misurarne in maniera consistente il grado di incertezza 
associato ad ogni singolo evento. In questi casi infatti è disponibile solo la 
cosiddetta distribuzione di probabilità a priori, che se da un lato consente di tirare 
fuori comunque degli indici statistici di notevole rilevanza statistica (Valor medio, 
Scarto Quadratico Medio, ecc.)  dall'altro invece non permette di stimare in 
termini probabilistici  la casualità associata al fenomeno in oggetto nella sua 
globalità. Per stimare in maniera numerica il grado di incertezza con un data 
funzione H(X), quest'ultima deve soddisfare le seguenti proprietà di base: 
1. La funzione H(X) deve esistere: deve essere cioè possibile associare un 
legame di tipo numerico tra l'incertezza di una distribuzione di probabilità 
ed i numeri reali;