Skip to content

Analisi esplorativa di Dataset Twitter

Estratto della Tesi di Luca Di Liello

Mostra/Nascondi contenuto.
9 anche che Spark, dalla versione 1.3, ha sviluppato due sistemi alternativi agli RDD per la gestione dei dati, ovvero i DataFrame, ed i Dataset. Nonostante siano sistemi più evoluti, ho comunque scelto di rimanere sugli RDD, sia per il supporto dei colleghi in azienda che utilizzano a loro volta gli RDD, sia perché non ho bisogno di particolari nuove funzioni. Inoltre il guadagno in prestazioni con le nuove API è abbastanza contenuto e quindi sono rimasto fedele agli RDD (che continuano comunque ad essere supportati). Altra caratteristica fondamentale di Spark è la sua gestione delle trasformazioni. Sulla base del programma che è stato lanciato viene costruito un DAG (Directed Acyclic Graph) contente tutte le dipendenze tra le operazioni che devono essere eseguite. Vengono riconosciute fondamentalmente due tipi di dipendenze: stretta, quando un RDD figlio dipende direttamente (1-1) dal RDD padre, ed ampia, quando un RDD figlio dipende da più padri (n-1). Il DAG è creato cercando di massimizzare la località dei dati ed il parallelismo. Una Map, per esempio, genera una dipendenza stretta mentre un prodotto cartesiano tra due RDD ha una dipendenza 2-1. Riguardo alla gestione del cluster, Spark utilizza il classico modello master-slave, dove un nodo viene selezionato come master ed esegue tutte le operazioni di scheduling ed assegnamento dei job mentre gli altri sono gli slave e si occupano della vera elaborazione dei dati. Essa può essere impostata in Standalone Mode, Hadoop Yarn o Apache Mesos in base a quale gestione si desidera utilizzare. Per quanto riguarda il file system distribuito invece, Spark può appoggiarsi su HDFS, Cassandra, Amazon S3 e molti altri. Infine bisogna menzionare il supporto di Spark ai vari linguaggi di programmazione. È infatti possibile scrivere programmi in Scala, Python, Java oppure R. Per eseguire i miei programmi mi sono servito principalmente di tre cluster Spark diversi: • Cluster locale sul mio portatile, 16GB di RAM e 4 core (2 thread per core); • Home Cluster (1 Master + 1 Worker), HP DL160G6, 72GB di RAM e 12 core (2 thread per core); • Amazon EC2 cluster, 1 Master + 4 Worker m4.xlarge da 16GB di RAM e 4 core ciascuno (1 thread per core); Per le ultime due istanze è stato necessario un setup non indifferente: per esempio entrambi i cluster hanno avuto bisogno della messa a punto di Hadoop come file system distribuito in quanto le prestazioni con Amazon S3 non erano abbastanza soddisfacenti e la bassa velocità della rete faceva da collo di bottiglia alla potenza del cluster. Figura 1 – Esempio di DAG generato da Spark 1.6: Stage 0 e Stage 1 eseguono due join di dataset. Stage 2 riceve i risultati degli stage precedenti, esegue una Map e poi fa di nuovo una join. Il risultato viene infine mappato nuovamente e salvato su disco.
Estratto dalla tesi: Analisi esplorativa di Dataset Twitter

Estratto dalla tesi:

Analisi esplorativa di Dataset Twitter

CONSULTA INTEGRALMENTE QUESTA TESI

La consultazione è esclusivamente in formato digitale .PDF

Acquista

Informazioni tesi

  Autore: Luca Di Liello
  Tipo: Laurea liv.I
  Anno: 2016-17
  Università: Università degli Studi di Trento
  Facoltà: Scienze e Tecnologie Informatiche
  Relatore: Alberto  Montresor
  Lingua: Italiano
  Num. pagine: 28

FAQ

Per consultare la tesi è necessario essere registrati e acquistare la consultazione integrale del file, al costo di 29,89€.
Il pagamento può essere effettuato tramite carta di credito/carta prepagata, PayPal, bonifico bancario, bollettino postale.
Confermato il pagamento si potrà consultare i file esclusivamente in formato .PDF accedendo alla propria Home Personale. Si potrà quindi procedere a salvare o stampare il file.
Maggiori informazioni
Ingiustamente snobbata durante le ricerche bibliografiche, una tesi di laurea si rivela decisamente utile:
  • perché affronta un singolo argomento in modo sintetico e specifico come altri testi non fanno;
  • perché è un lavoro originale che si basa su una ricerca bibliografica accurata;
  • perché, a differenza di altri materiali che puoi reperire online, una tesi di laurea è stata verificata da un docente universitario e dalla commissione in sede d'esame. La nostra redazione inoltre controlla prima della pubblicazione la completezza dei materiali e, dal 2009, anche l'originalità della tesi attraverso il software antiplagio Compilatio.net.
  • L'utilizzo della consultazione integrale della tesi da parte dell'Utente che ne acquista il diritto è da considerarsi esclusivamente privato.
  • Nel caso in cui l'Utente volesse pubblicare o citare una tesi presente nel database del sito www.tesionline.it deve ottenere autorizzazione scritta dall'Autore della tesi stessa, il quale è unico detentore dei diritti.
  • L'Utente è l'unico ed esclusivo responsabile del materiale di cui acquista il diritto alla consultazione. Si impegna a non divulgare a mezzo stampa, editoria in genere, televisione, radio, Internet e/o qualsiasi altro mezzo divulgativo esistente o che venisse inventato, il contenuto della tesi che consulta o stralci della medesima. Verrà perseguito legalmente nel caso di riproduzione totale e/o parziale su qualsiasi mezzo e/o su qualsiasi supporto, nel caso di divulgazione nonché nel caso di ricavo economico derivante dallo sfruttamento del diritto acquisito.
  • L'Utente è a conoscenza che l'importo da lui pagato per la consultazione integrale della tesi prescelta è ripartito, a partire dalla seconda consultazione assoluta nell'anno in corso, al 50% tra l'Autore/i della tesi e Tesionline Srl, la società titolare del sito www.tesionline.it.
L'obiettivo di Tesionline è quello di rendere accessibile a una platea il più possibile vasta il patrimonio di cultura e conoscenza contenuto nelle tesi.
Per raggiungerlo, è fondamentale superare la barriera rappresentata dalla lingua. Ecco perché cerchiamo persone disponibili ad effettuare la traduzione delle tesi pubblicate nel nostro sito.
Scopri come funziona

DUBBI? Contattaci

Contatta la redazione a
[email protected]

Ci trovi su Skype (redazione_tesi)
dalle 9:00 alle 13:00

Oppure vieni a trovarci su

Parole chiave

computer
cluster
analysis
spark
twitter
dataset
big data
hadoop
regex
gb

Non hai trovato quello che cercavi?


Abbiamo più di 45.000 Tesi di Laurea: cerca nel nostro database

Oppure consulta la sezione dedicata ad appunti universitari selezionati e pubblicati dalla nostra redazione

Ottimizza la tua ricerca:

  • individua con precisione le parole chiave specifiche della tua ricerca
  • elimina i termini non significativi (aggettivi, articoli, avverbi...)
  • se non hai risultati amplia la ricerca con termini via via più generici (ad esempio da "anziano oncologico" a "paziente oncologico")
  • utilizza la ricerca avanzata
  • utilizza gli operatori booleani (and, or, "")

Idee per la tesi?

Scopri le migliori tesi scelte da noi sugli argomenti recenti


Come si scrive una tesi di laurea?


A quale cattedra chiedere la tesi? Quale sarà il docente più disponibile? Quale l'argomento più interessante per me? ...e quale quello più interessante per il mondo del lavoro?

Scarica gratuitamente la nostra guida "Come si scrive una tesi di laurea" e iscriviti alla newsletter per ricevere consigli e materiale utile.


La tesi l'ho già scritta,
ora cosa ne faccio?


La tua tesi ti ha aiutato ad ottenere quel sudato titolo di studio, ma può darti molto di più: ti differenzia dai tuoi colleghi universitari, mostra i tuoi interessi ed è un lavoro di ricerca unico, che può essere utile anche ad altri.

Il nostro consiglio è di non sprecare tutto questo lavoro:

È ora di pubblicare la tesi