Schermi multitouch in spazi pubblici: solo pubblicità o anche servizi utili?

Introduzione 
 
Capitolo 1. Introduzione
Introduzione 
 
1.1  Introduzione 
La tecnologia multitouch è ancora considerata come qualcosa di nuovo e di „hi-tech‟ poiché non è 
ancora commercializzata al pubblico su vasta scala. 
Eppure molti grandi display interattivi sono già stati collocati in spazi pubblici. Finora la 
maggior parte di applicazioni fornite su display ha come scopo principale l‟intrattenimento o la 
pubblicità. Ad esempio, il display multitouch installato all‟Hard Rock Cafè [Digital Obscura, 2011] 
permette agli ospiti di trovare gli oggetti di proprietà degli altri Hard Rock Cafè dislocati nel 
mondo, esplorare le immagini degli interni ed esterni delle loro sedi, etc [Microsoft, 2011]. Il 
CityWall è un altro esempio di display multitouch installato in una strada pubblica di Helsinki 
[Peltronen et al., 2008]: le persone possono interagire con immagini scaricate da flickR [FlickR, 
2011]. I magic mirrors [D. Michelis et al., 2011] (specchi magici) sono quattro schermi installati a 
Berlino, che mostrano l‟immagine speculare delle persone e l‟ambiente di fronte a loro, applicando 
effetti ottici che cambiano in base ai gesti che le persone compiono davanti a questi specchi [Müller 
J. et al., 2010]. 
I ricercatori e i tesisti dell‟IVU Lab di Bari stanno sviluppando applicazioni che cercano anche 
delle risposte alla domanda riportata sul titolo della tesi: “Schermi multitouch in spazi pubblici: solo 
pubblicità o anche servizi utili?”; sono, infatti, orientati allo sviluppo di applicazioni più funzionali 
in contesti come il patrimonio culturale [Ardito C. et al., 2009]  [Desolda G. 2009], il turismo 
[Ardito C. et al., 2010] ed eventi pubblici. In altre parole, l‟obiettivo di tali applicazioni è di andare 
oltre il puro divertimento, offrendo agli utenti la possibilità di recuperare informazioni o eseguire 
operazioni come la definizione del proprio itinerario turistico, prenotando un ristorante o un evento 
specifico, fornendo giochi a supporto dell‟apprendimento di concetti relativi ai beni culturali. 
Queste applicazioni sono state valutate preliminarmente con alcuni utenti finali nel nostro 
laboratorio. L‟IVU lab adesso sta pianificando ed eseguendo valutazioni più estese e complete di 
queste applicazioni sul campo, per comprendere meglio il loro impatto in situazioni reali. La 
valutazione in laboratorio, infatti, troppo spesso non basta a valutare tutti gli aspetti di un sistema 
perché, com‟è noto dalla letteratura, “c‟é un‟enorme differenza tra i risultati ottenuti in laboratorio e 
quelli ottenuti sul campo pur utilizzando la stessa configurazione”[Ojala et al., CHI 2011].  
Metodi di valutazione che coprono tutti gli aspetti dei display multitouch ad oggi non sono 
presenti e per questo l‟IVU Lab sta lavorando a un framework per la valutazione degli schermi 
multitouch [Ardito C. et al., 2011] che approfondisce le questioni specifiche rilevanti per la 
valutazione dei display installati in luogo pubblico come lo spazio fisico in cui è collocato, le sue 
dimensioni e le applicazioni fornite. Tali fattori influenzano direttamente le altre variabili 
comportamentali e psicologiche: interazione di gruppo o individuale, condivisione dello spazio 
d‟interazione, proprietà dei contenuti mostrati, movimento delle persone vicino al display, etc. 
5
Introduzione 
 
1.2  Motivazioni 
Nonostante il diffondersi delle tecnologie tattili, ancora poche applicazioni sono realmente in grado 
di permettere agli utenti la realizzazione di compiti complessi o che sfruttino realmente i benefici 
della tecnologia multitouch [Koch M. et al., 2009]; infatti, i prodotti che sono presenti sul mercato, 
molto spesso non sono altro che una trasposizione dei classici software con tipica interfaccia 
grafica, da utilizzare però con le mani; lì dove invece l‟interazione con i software cerca di sfruttare 
al meglio le capacità del multitouch ottenendo il massimo rendimento da gesti diversamente 
complessi, il risultato è spesso un software banale, commercialmente non produttivo e soprattutto 
non capace di ammortizzare i costi che la tecnologia in oggetto deve sostenere [Czerwinski M. et 
al., 2003]  [Veenstra M. et al., 2011]  [Czerwinski, M. et al., 2003]  [Klopping I.M. et at., 2004]. 
Ciò che quindi si deve cercare di realizzare è far avvicinare questi due punti ancora molto 
distanti: da un lato bisogna creare applicazioni più complesse e realmente utili, dall‟altra ci si deve 
sforzare di far sì che questi prodotti sfruttino concretamente le potenzialità di questi schermi, che 
non si limitino solo al poter toccare punti dello schermo o trascinare oggetti, ma prevedano la 
possibilità di scalare e ruotare facilmente gli oggetti, creare gesti personalizzati [Wobbrock J.O.  et 
al., 2009] adatti ai vari contesti d‟uso (in modo da essere intuitivi ai vari utilizzatori), porre più mani 
contemporaneamente sullo schermo, essere usati da diversi utenti nello stesso istante e tanto altro. 
Per il raggiungimento di tali obiettivi, è necessario un attento e accurato percorso di ricerca e 
sperimentazione.  
1.3  Contributi principali 
Il mio lavoro di tesi è il proseguimento di un‟attività cominciata con la tesi triennale e proseguita 
nell‟arco del corso di laurea magistrale con approfondimenti e progetti di vario tipo. Durante questo 
periodo, ho svolto un approfondimento presso il laboratorio IVU di Bari sotto la supervisione dei 
suoi ricercatori, lavorando con una nuova tecnologia multitouch basata su schermi led ad alta 
risoluzione e rilevamento dei tocchi delle mani a tecnologia agli infrarossi. Il tutto è avvenuto 
collaborando con altri tesisti del laboratorio IVU di Brindisi, allo scopo di creare una suite di 
applicazioni utilizzabili ai congressi, con lo scopo di renderli anche riutilizzabili in altre occasioni 
analoghe, personalizzandoli in base alle diverse esigenze secondo gli approcci attuali dell‟end-user 
development. 
Oltre allo studio di schermi multitouch e delle loro applicazioni, durante il mio lavoro di tesi 
ho creato l‟applicazione chiamata „Interactive Program‟, capace di visualizzare in modo efficace il 
programma di un congresso, varie informazioni dettagliate come ad esempio contenuti testuali che 
descrivono le varie presentazioni, contenuti multimediali come video e foto riguardanti congressisti 
o articoli, collegamenti tramite browser multitouch alle pagine più importanti degli autori e altro. 
Inoltre, per favorire l‟utilizzo di più applicazioni contemporaneamente in condizioni così particolari 
6
Introduzione 
 
come quelle di un congresso dove c‟è bisogno di molta velocità, ho progettato e implementato una 
soluzione per eseguire contemporaneamente più applicazioni passando tra esse in maniera facile, 
rapida e affidabile.  
1.4  Outline della tesi 
La tesi è organizzata come segue: 
 Il capitolo 2 riporta lo stato attuale delle tecnologie multitouch, evidenziandone aspetti e 
differenze 
 Il capitolo 3 descrive il framework MT4J, utilizzato per lo sviluppo delle nostre 
applicazioni 
 Il capitolo 4 descrive „Interactive Program‟, un‟applicazione per visualizzare il 
programma di un congresso e relativi contenuti, presentando anche la soluzione proposta 
per eseguire diverse applicazioni sullo stesso schermo favorendo tra loro un rapido 
passaggio  
 Il capitolo 5 descrive la sperimentazione sul campo della suite prodotta dall‟IVU Lab di 
Bari e Brindisi avvenuta durante il congresso IS-EUD 2011. 
 Il capitolo 6 riporta i dettagli della progettazione user-centered di “Interactive Program”. 
 
7
Tecnologie multitouch 
 
Capitolo 2. Tecnologie multitouch 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8
Tecnologie multitouch 
 
2.1  Introduzione  
La tecnologia multitouch ha origini negli anni „60 quando, presso i laboratori dell‟università 
dell‟IBM, prendevano vita i primi prototipi di tecnologia touch-screen, quindi quasi cinquanta anni 
prima della vera commercializzazione di massa di questa tecnologia [Woo L.J., 2011] [Desolda G. 
2009]. 
A oggi, esistono diverse tecnologie hardware [Nanomarkets 2010] per rendere gli schermi 
capaci di rilevare i tocchi delle mani e al momento solo cinque di queste possiamo definirle stabili: 
1) FTIR (Frustated Total Internal Reflection). 
2) Rear/Front DI (Rear/Front Diffused Illumination). 
3) LLP (Laser Light Plan). 
4) LED-LP (Led Light Plane). 
5) DSI (Diffused Surface Illumination). 
Tutte queste tecniche largamente utilizzate nel campo delle tecnologie multitouch tendono a 
sfruttare l‟utilizzo di camere per il rilevamento dei tocchi.  
Altre tecnologie meno utilizzate, invece, usano sensori di prossimità e sensori acustici, 
particolari soluzioni capacitive (iPhone), resistive, rilevamento della pressione, etc. Molto spesso, 
inoltre, queste tecniche sono combinate per migliorare i risultati in termini di precisione di 
rilevamento dei tocchi.  
Ciò che però rende queste ultime soluzioni limitatamente utilizzate si giustifica per diversi 
motivi: la precisione scarsa come nel caso dei sensori acustici e gli elevati costi di produzione nel 
caso di schermi capacitivi e resistivi per grandi superfici. 
2.2  Tecnologie ottiche 
Le soluzioni multitouch ottiche sono quelle basate su video-camera (o più semplicemente camera) e 
sono adottate nella maggior parte dei dispositivi tattili, soprattutto per gli schermi di medie e grandi 
dimensioni. La ragione che sottende tale successo della tecnologia ottica è da ricercare in diversi 
fattori: in primis il costo molto contenuto per la realizzazione, poi la scalabilità poiché è molto 
semplice creare schermi sempre più grandi senza troppi sforzi e in ultimo l‟indiscussa facilità di 
costruzione [JEFFERSON, Y.H. 2005]. 
FTIR, FDI, RDI, LLP e DSI sono esempi di sistemi di questo tipo. Ognuna di queste tecniche 
ha come comune denominatore la presenza di un sensore ottico, tipicamente una video-camera agli 
infrarossi, una sorgente di luce infrarossa e uno schermo su cui visualizzare le immagini come ad 
esempio schermi con retro-proiettore o LCD. 
9
Tecnologie multitouch 
 
2.3  Tecnologia Frustated Total Internal Reflection (FTIR) 
Il nome FTIR è stato adottato dalla comunità del multitouch per descrivere quella tecnologia ottica 
sviluppata nel 2005 da Jeff Han [Jefferson Y.H., 2005]. Il nome nasce dalla condizione presente in 
certi materiali (esempio plexiglass di copertura dello schermo multitouch) nei quali la luce entra da 
un altro materiale (vetro del laser infrarosso) con un indice di refrazione molto alto, a un angolo 
d‟incidenza maggiore di una soglia prefissata. Questa soglia dipende dall‟indice refrattivo di 
entrambi i materiali ed è noto come angolo critico che può essere calcolato matematicamente con la 
legge di Snell. Quando questo accade, nessuna refrazione occorre nel materiale, e il fascio di luce è 
totalmente riflesso.  
Il metodo di Han usa questo principio, illuminando l‟interno di una lastra di materiale acrilico 
(esempio il plexiglass) con luce infrarossa che rimane intrappolata all‟interno della lastra. Quando 
l‟utente pone a contatto la mano con la lastra, i raggi infrarossi vengono „frustati‟ fuori da questa e 
quindi la riflessione non è più totale in quel punto. Questa luce „frustata‟ è proiettata verso il lato 
opposto al punto di contatto con l‟utente, dove c‟è una video-camera capace di rilevare i fasci di 
luce prodotti. La camera trasferisce poi questi fotogrammi a un software per farli interpretare come 
gesti. 
  
Figura 1: Schema del FTIR 
 
2.4  Tecnologia Diffused Illumination (DI) 
Questa tecnologia può essere implementata in due modi: frontalmente (Front Diffused Illumination) 
e posteriormente (Rear Diffused Illumination). Entrambe le tecniche condividono lo stesso 
10
Tecnologie multitouch 
 
principio, cioè il contrasto tra l‟immagine rilevata dalla video-camera e l‟ombra delle dita quando 
vengono a contatto con la superficie.  
2.4.1  Front Diffused Illumination (FDI) 
Nel caso del FDI, la luce ambientale o meglio un fascio di luce infrarossa illumina la superficie 
dello schermo; posteriormente è posta una video-camera che rileva gli infrarossi come in FTIR. 
Quando un oggetto o un dito tocca la superficie, un‟ombra è creata in prossimità del punto di 
contatto. 
 
Figura 2: Front Diffused Illumination 
 
2.4.2  Rear Diffused Illumination (RDI) 
Secondo quanto sarà grande la superficie dello schermo, è molto importante ottenere 
un‟illuminazione uniforme con le sorgenti luminose infrarosse installate posteriormente allo 
schermo. Se l‟illuminazione non è omogenea, in alcune aree dello schermo le dita saranno rilevate 
meglio, in altre peggio; in casi estremi si potrebbero avere zone mai rilevabili o punti in cui c‟è 
talmente troppa illuminazione che anche le ombre o le luci ambientali potrebbero essere confuse 
con le dita.  
11
Tecnologie multitouch 
 
 
Figura 3: Rear Diffused Illumination 
2.5  Tecnologia Laser Light Plane (LLP) 
Un fascio d‟infrarossi è proiettato proprio sopra la superficie formando un piano di luce laser alto 
circa 1 mm.  
I laser infrarossi rappresentano un modo facile ed economico per creare schermi multitouch 
usando la metodologia LLP. Tradizionalmente c‟è bisogno di un numero di laser non superiore a 4, 
posti negli angoli dello schermo. Per il resto, sia la superficie sia la video-camera sono analoghe alle 
tecnologie in precedenza descritte. 
 
Figura 4: Laser Light Plane 
 
12