Skip to content

Analisi esplorativa di Dataset Twitter

Scoprire quali utenti Twitter lavorano in quale azienda

Il secondo obiettivo preso in considerazione è stato quello di trovare nuovi possibili lavoratori nelle aziende italiane. Questa volta per lavoratore si intende un impiegato vero e proprio, con un contratto ed una retribuzione, non un esponente, una position. Prima di tutto è stato necessario trovare una lista dei lavori e delle professioni scritta in italiano e una in inglese. Ho così raccolto da diverse fonti tutte quelle italiane e le ho salvate in un file eliminando i duplicati. Per la lingua inglese ho effettuato lo stesso procedimento trovandone purtroppo in quantità minore e quando sono state aggiunte a quelle italiane hanno creato un file da soli 20KB, leggerissimo anche se distribuito nel cluster Spark. Il file è stato caricato in memoria come Set, per sfruttare la velocità della ricerca di Python su elementi indicizzati e per garantire l'assenza di duplicati.
Il procedimento iniziale è stato il seguente: dato il dataset degli utenti senza i tweet ma solo con le descrizioni personali, queste ultime sono state normalizzate per rendere più facile la ricerca di parole chiave tratte dal set delle professioni, quindi private di caratteri accentati e di doppi spazi, portate in una forma minuscola e sollevate dalla presenza di caratteri speciali come emoji e caratteri non alfanumerici.

MATCH CON LE AZIENDE

Dato che ogni descrizione è già stata preparata da complete_tweets e menzioni, link e nomi di aziende sono già presenti, quest'ultime non devono essere di nuovo cercate nella stringa. È sufficiente poi fare una join con il dataset delle aziende per scoprire quali descrizioni si riferiscono a quale azienda. In questo caso le join eseguite sono state tre, una sulle menzioni, una sui link e una sui nomi delle compagnie. I risultati sono stati poi uniti nuovamente in un unico RDD.

RICERCA DEI LAVORI

Una volta ottenute tutte le coppie descrizione – azienda, è stato necessario elaborare le parole nell'intorno della menzione, del link o del nome della compagnia, per cercare di capire il rapporto tra quella persona fisica e quella azienda. Nella prima prova ho ricavato le due parole prima del collegamento, senza considerare numeri e caratteri speciali. Questo tentativo ha portato a tanti risultati, molti più di quelli che mi aspettavo. Inoltre non erano per niente precisi, solo il 20% circa del totale era reale. I controlli sulla purezza li ho eseguiti a mano su un sottoinsieme casuale di risultati cercando la persona stessa su Linkedin o nello stesso dataset di SpazioDati.
Nella seconda prova ho deciso di prendere tre parole prima del collegamento e due dopo il collegamento, eliminando però sia numeri e simboli, sia tutte le stopword italiane e inglesi. Ho inoltre eliminato tutte le lettere accentate e tutti i caratteri speciali, sostituendoli dove possibile con una loro forma standard. Infine ho filtrato i risultati cercando parole come “presso, at, da, a” tra il nome del lavoro e il collegamento, in modo da far corrispondere principalmente frasi come “web designer at @teatro_artistico_milano”. Ho creato poi il solito indice di fedeltà basato sul numero di collegamenti come in precedenza. I risultati sono stati questa volta migliori e sono mostrati nel capitolo 5.

Questo brano è tratto dalla tesi:

Analisi esplorativa di Dataset Twitter

CONSULTA INTEGRALMENTE QUESTA TESI

La consultazione è esclusivamente in formato digitale .PDF

Acquista

Informazioni tesi

  Autore: Luca Di Liello
  Tipo: Laurea liv.I
  Anno: 2016-17
  Università: Università degli Studi di Trento
  Facoltà: Scienze e Tecnologie Informatiche
  Relatore: Alberto  Montresor
  Lingua: Italiano
  Num. pagine: 28

FAQ

Per consultare la tesi è necessario essere registrati e acquistare la consultazione integrale del file, al costo di 29,89€.
Il pagamento può essere effettuato tramite carta di credito/carta prepagata, PayPal, bonifico bancario, bollettino postale.
Confermato il pagamento si potrà consultare i file esclusivamente in formato .PDF accedendo alla propria Home Personale. Si potrà quindi procedere a salvare o stampare il file.
Maggiori informazioni
Ingiustamente snobbata durante le ricerche bibliografiche, una tesi di laurea si rivela decisamente utile:
  • perché affronta un singolo argomento in modo sintetico e specifico come altri testi non fanno;
  • perché è un lavoro originale che si basa su una ricerca bibliografica accurata;
  • perché, a differenza di altri materiali che puoi reperire online, una tesi di laurea è stata verificata da un docente universitario e dalla commissione in sede d'esame. La nostra redazione inoltre controlla prima della pubblicazione la completezza dei materiali e, dal 2009, anche l'originalità della tesi attraverso il software antiplagio Compilatio.net.
  • L'utilizzo della consultazione integrale della tesi da parte dell'Utente che ne acquista il diritto è da considerarsi esclusivamente privato.
  • Nel caso in cui l'Utente volesse pubblicare o citare una tesi presente nel database del sito www.tesionline.it deve ottenere autorizzazione scritta dall'Autore della tesi stessa, il quale è unico detentore dei diritti.
  • L'Utente è l'unico ed esclusivo responsabile del materiale di cui acquista il diritto alla consultazione. Si impegna a non divulgare a mezzo stampa, editoria in genere, televisione, radio, Internet e/o qualsiasi altro mezzo divulgativo esistente o che venisse inventato, il contenuto della tesi che consulta o stralci della medesima. Verrà perseguito legalmente nel caso di riproduzione totale e/o parziale su qualsiasi mezzo e/o su qualsiasi supporto, nel caso di divulgazione nonché nel caso di ricavo economico derivante dallo sfruttamento del diritto acquisito.
  • L'Utente è a conoscenza che l'importo da lui pagato per la consultazione integrale della tesi prescelta è ripartito, a partire dalla seconda consultazione assoluta nell'anno in corso, al 50% tra l'Autore/i della tesi e Tesionline Srl, la società titolare del sito www.tesionline.it.
L'obiettivo di Tesionline è quello di rendere accessibile a una platea il più possibile vasta il patrimonio di cultura e conoscenza contenuto nelle tesi.
Per raggiungerlo, è fondamentale superare la barriera rappresentata dalla lingua. Ecco perché cerchiamo persone disponibili ad effettuare la traduzione delle tesi pubblicate nel nostro sito.
Scopri come funziona

DUBBI? Contattaci

Contatta la redazione a
[email protected]

Ci trovi su Skype (redazione_tesi)
dalle 9:00 alle 13:00

Oppure vieni a trovarci su

Parole chiave

computer
cluster
analysis
spark
twitter
dataset
big data
hadoop
regex
gb

Non hai trovato quello che cercavi?


Abbiamo più di 45.000 Tesi di Laurea: cerca nel nostro database

Oppure consulta la sezione dedicata ad appunti universitari selezionati e pubblicati dalla nostra redazione

Ottimizza la tua ricerca:

  • individua con precisione le parole chiave specifiche della tua ricerca
  • elimina i termini non significativi (aggettivi, articoli, avverbi...)
  • se non hai risultati amplia la ricerca con termini via via più generici (ad esempio da "anziano oncologico" a "paziente oncologico")
  • utilizza la ricerca avanzata
  • utilizza gli operatori booleani (and, or, "")

Idee per la tesi?

Scopri le migliori tesi scelte da noi sugli argomenti recenti


Come si scrive una tesi di laurea?


A quale cattedra chiedere la tesi? Quale sarà il docente più disponibile? Quale l'argomento più interessante per me? ...e quale quello più interessante per il mondo del lavoro?

Scarica gratuitamente la nostra guida "Come si scrive una tesi di laurea" e iscriviti alla newsletter per ricevere consigli e materiale utile.


La tesi l'ho già scritta,
ora cosa ne faccio?


La tua tesi ti ha aiutato ad ottenere quel sudato titolo di studio, ma può darti molto di più: ti differenzia dai tuoi colleghi universitari, mostra i tuoi interessi ed è un lavoro di ricerca unico, che può essere utile anche ad altri.

Il nostro consiglio è di non sprecare tutto questo lavoro:

È ora di pubblicare la tesi