Skip to content

Analisi esplorativa di Dataset Twitter

Gratis La preview di questa tesi è scaricabile gratuitamente in formato PDF.
Per scaricare il file PDF è necessario essere iscritto a Tesionline. L'iscrizione non comporta alcun costo: effettua il Login o Registrati.

Mostra/Nascondi contenuto.
5 estrarre informazioni interessanti dal dataset Twitter. Prima di tutto è stato necessario scaricare una copia molto ridotta delle compagnie dai server di SpazioDati utilizzando ElasticSearch. Data la possibilità di inserire filtri, anche molto complessi, ogni compagnia scaricata è risultata contenere solo nome legale e nomi alternativi, account nei social, esponenti, siti web e pochi altri campi. Ho potuto così scrivere il primo programma per la preparazione dei tweet alle elaborazioni successive. Questo si doveva occupare di eliminare tutti i tweet malformati dal dataset, di eliminare campi inutili al mio studio (per esempio le impostazioni di notifica degli utenti) e di preparare tutte le entry eseguendo una pre-analisi dei testi. Ho quindi ottenuto un secondo dataset, dalle dimensioni quasi dimezzate, dove ogni testo era già stato scannerizzato alla ricerca di menzioni, link e nomi di aziende. Una volta organizzati i dati, ho potuto iniziare la scrittura dei tre programmi principali del lavoro sul dataset Twitter. Il primo riguardante la ricerca di account per gli esponenti delle aziende, il secondo dedicato alla ricerca di lavoratori di aziende tramite l’analisi delle descrizioni e il terzo relativo alla ricerca di nuovi account Twitter per le aziende. Ho avviato così la ricerca degli account Twitter degli esponenti delle aziende. Estraendo tutti i nomi degli esponenti ho potuto effettuare una join con i rispettivi nomi negli account Twitter, cercando di eliminare dove possibile tutti quegli account dove i proprietari utilizzavano nomi stravaganti, emoji o caratteri speciali come username. I nomi sono stati poi trattati con una funzione di pulizia delle stringhe per massimizzare la possibilità di matching tra quelli degli esponenti e quelli degli account Twitter. Dato l’alto numero di risultati, ho deciso di cercare tra tutti i tweet di un utente del social network dei riferimenti che mi potessero confermare il suo reale collegamento con l’azienda, utilizzando la cardinalità dei collegamenti come una misura di affidabilità. I risultati sono stati buoni, trovando un totale di 4193 possibili coppie esponente – account Twitter, con una precisione iniziale del 70%. Alzando il numero minimo di collegamenti a due o tre, e quindi tagliando fuori risultati, il loro numero scende rispettivamente a meno di 500 e meno di 200, ma la precisione sale al 85% e al 89%. Successivamente ho proseguito con l’analisi delle descrizioni degli utenti, scoprendo se gli stessi lavorano in alcune delle aziende nel dataset di SpazioDati. Ho così scritto un programma che per ogni utente raccogliesse in un unico insieme tutte le sue descrizioni passate e che analizzasse poi quest’ultime alla ricerca di parole chiave come “lavoro a”, “working at” o “web developer at” seguite da riferimenti a qualche azienda italiana. Per aumentare poi la precisione dei risultati ho calcolato anche quanto un utente fosse legato a quell’azienda e quante volte la menzionasse seguita o preceduta nel testo da una stringa contenente il nome di un lavoro. Nonostante il raffinamento dei risultati, ne sono stati trovati circa 30.000 di bassa qualità (precisione < 30%). Eliminando quelli con meno di tre collegamenti, i risultati si riducono fortemente a meno di 2000, ma la precisione sale oltre il 75%. Bisogna quindi scendere a compromessi e decidere se si è più interessati alla qualità o alla quantità di risultati. Per quanto riguarda la scrittura di programmi da eseguire su cluster, ho infine cercato di risolvere il problema della deficienza di account Twitter nel dataset delle compagnie di SpazioDati cercandone di nuovi. In primo luogo ho creato un nuovo dataset contenente solo gli utenti Twitter, che si sono rivelati essere circa 1.5 milioni, e le loro descrizioni, eliminando così tutti i tweet pubblicati. Per quanto riguarda il dataset delle compagnie ho invece elaborato tutti i nomi alternativi, scartando quelli senza significato e cercando di mantenere un certo rigore. Dopo diverse prove che mi hanno portato a rivedere la bontà con cui permettevo a utenti Twitter e nomi alternativi di aziende di entrare a far parte della join tra i nomi degli utenti e quelli delle aziende, son riuscito ad ottenere più di 100.000 risultati con una purezza maggiore al 60%. Da sottolineare inoltre che poco meno del 28% di quelli trovati erano già presenti tra i 72.000 account Twitter offerti da SpazioDati. Al termine dei test su questi tre programmi, e molti altri di contorno descritti poi nel capitolo 4, sono passato alla loro esecuzione su cluster, in particolare uno affittato su Amazon Web Service EC2 contenente quattro istanze m4.xlarge da quattro core e 16GB di RAM ciascuno. Tutti i programmi lanciati non hanno superato le 24 ore per essere eseguiti completamente. Il programma di preparazione e pulizia dei tweet ha impiegato circa 19 ore a completare, mentre i risultati sopra citati sono stati ottenuti dopo un lungo setup del cluster che inizialmente presentava problemi a causa di qualche difetto nella velocità di comunicazione con Amazon S3, dove era immagazzinato l’intero dataset dei tweet. Ho deciso così di trasferire il dataset su un file system locale e dopo la preparazione di HDFS, tutto era pronto. Trovare gli account Twitter degli esponenti delle aziende ha richiesto 2 ore e 48 minuti, trovare nuovi lavoratori nelle compagnie ha richiesto 1 ora e 35 minuti mentre trovare nuovi account Twitter per le compagnie ha impiegato 1 ora e 44 minuti. Nell’ultima parte del tirocinio ho invece lavorato allo sviluppo di un’interfaccia web ed alla creazione di mappe per la presentazione dei dati elaborati e del lavoro di ricerca sui tweet svolto. Pertanto ho creato un web server
Anteprima della tesi: Analisi esplorativa di Dataset Twitter, Pagina 3

Preview dalla tesi:

Analisi esplorativa di Dataset Twitter

CONSULTA INTEGRALMENTE QUESTA TESI

La consultazione è esclusivamente in formato digitale .PDF

Acquista

Informazioni tesi

  Autore: Luca Di Liello
  Tipo: Laurea liv.I
  Anno: 2016-17
  Università: Università degli Studi di Trento
  Facoltà: Scienze e Tecnologie Informatiche
  Relatore: Alberto  Montresor
  Lingua: Italiano
  Num. pagine: 28

FAQ

Per consultare la tesi è necessario essere registrati e acquistare la consultazione integrale del file, al costo di 29,89€.
Il pagamento può essere effettuato tramite carta di credito/carta prepagata, PayPal, bonifico bancario, bollettino postale.
Confermato il pagamento si potrà consultare i file esclusivamente in formato .PDF accedendo alla propria Home Personale. Si potrà quindi procedere a salvare o stampare il file.
Maggiori informazioni
Ingiustamente snobbata durante le ricerche bibliografiche, una tesi di laurea si rivela decisamente utile:
  • perché affronta un singolo argomento in modo sintetico e specifico come altri testi non fanno;
  • perché è un lavoro originale che si basa su una ricerca bibliografica accurata;
  • perché, a differenza di altri materiali che puoi reperire online, una tesi di laurea è stata verificata da un docente universitario e dalla commissione in sede d'esame. La nostra redazione inoltre controlla prima della pubblicazione la completezza dei materiali e, dal 2009, anche l'originalità della tesi attraverso il software antiplagio Compilatio.net.
  • L'utilizzo della consultazione integrale della tesi da parte dell'Utente che ne acquista il diritto è da considerarsi esclusivamente privato.
  • Nel caso in cui l'Utente volesse pubblicare o citare una tesi presente nel database del sito www.tesionline.it deve ottenere autorizzazione scritta dall'Autore della tesi stessa, il quale è unico detentore dei diritti.
  • L'Utente è l'unico ed esclusivo responsabile del materiale di cui acquista il diritto alla consultazione. Si impegna a non divulgare a mezzo stampa, editoria in genere, televisione, radio, Internet e/o qualsiasi altro mezzo divulgativo esistente o che venisse inventato, il contenuto della tesi che consulta o stralci della medesima. Verrà perseguito legalmente nel caso di riproduzione totale e/o parziale su qualsiasi mezzo e/o su qualsiasi supporto, nel caso di divulgazione nonché nel caso di ricavo economico derivante dallo sfruttamento del diritto acquisito.
  • L'Utente è a conoscenza che l'importo da lui pagato per la consultazione integrale della tesi prescelta è ripartito, a partire dalla seconda consultazione assoluta nell'anno in corso, al 50% tra l'Autore/i della tesi e Tesionline Srl, la società titolare del sito www.tesionline.it.
L'obiettivo di Tesionline è quello di rendere accessibile a una platea il più possibile vasta il patrimonio di cultura e conoscenza contenuto nelle tesi.
Per raggiungerlo, è fondamentale superare la barriera rappresentata dalla lingua. Ecco perché cerchiamo persone disponibili ad effettuare la traduzione delle tesi pubblicate nel nostro sito.
Scopri come funziona

DUBBI? Contattaci

Contatta la redazione a
[email protected]

Ci trovi su Skype (redazione_tesi)
dalle 9:00 alle 13:00

Oppure vieni a trovarci su

Parole chiave

computer
cluster
analysis
spark
twitter
dataset
big data
hadoop
regex
gb

Non hai trovato quello che cercavi?


Abbiamo più di 45.000 Tesi di Laurea: cerca nel nostro database

Oppure consulta la sezione dedicata ad appunti universitari selezionati e pubblicati dalla nostra redazione

Ottimizza la tua ricerca:

  • individua con precisione le parole chiave specifiche della tua ricerca
  • elimina i termini non significativi (aggettivi, articoli, avverbi...)
  • se non hai risultati amplia la ricerca con termini via via più generici (ad esempio da "anziano oncologico" a "paziente oncologico")
  • utilizza la ricerca avanzata
  • utilizza gli operatori booleani (and, or, "")

Idee per la tesi?

Scopri le migliori tesi scelte da noi sugli argomenti recenti


Come si scrive una tesi di laurea?


A quale cattedra chiedere la tesi? Quale sarà il docente più disponibile? Quale l'argomento più interessante per me? ...e quale quello più interessante per il mondo del lavoro?

Scarica gratuitamente la nostra guida "Come si scrive una tesi di laurea" e iscriviti alla newsletter per ricevere consigli e materiale utile.


La tesi l'ho già scritta,
ora cosa ne faccio?


La tua tesi ti ha aiutato ad ottenere quel sudato titolo di studio, ma può darti molto di più: ti differenzia dai tuoi colleghi universitari, mostra i tuoi interessi ed è un lavoro di ricerca unico, che può essere utile anche ad altri.

Il nostro consiglio è di non sprecare tutto questo lavoro:

È ora di pubblicare la tesi