Skip to content

Progettazione e implementazione di un web bot per la raccolta dati

L’argomento della tesi nasce dall'esperienza di lavoro avuta, dapprima, durante il tirocinio formativo presso il dipartimento di Economia dell’Università di Ferrara prima, e successivamente durante una attività di lavoro presso l’ente INFN, sezione di Ferrara. Il tirocinio ha avuto una durata complessiva di 3 mesi. Lo scopo era quello di sviluppare un sistema per la raccolta dati in campo economico. I dati raccolti dovevano servire a caratterizzare la componente di capitale umano di una popolazione di imprese high-tech (nello specifico le academic spinoff) del Regno Unito. Per tali fini è stato sviluppato un sistema che comprendeva un Web Bot automatizzato programmabile per scaricare contenuti dal web, e uno Scraper per collezionare tutte le informazioni utili. Il codice è stato scritto in linguaggio di programmazione dinamico Python con paradigma Object-Oriented e in linguaggio di Scripting Bash. All’Istituto Nazionale Di Fisica Nucleare, sezione di Ferrara, sono state svolte attività molto simili. Il compito era quello di raccogliere e gestire dati bibliografici e bibliometrici. Sono stati utilizzati pattern ritenuti standard, e librerie affidabili e consolidate nel campo software. Nei primi capitoli verranno mostrate le tecniche e le conoscenze necessarie per progettare e sviluppare un sistema che archivi dati in modo sistematico partendo da delle regole impostate precedentemente. Verranno quindi presentate l’insieme di conoscenze teoriche sul web in generale, sul crawling e sul software utilizzato, necessarie a comprendere lo sviluppo del progetto. Queste conoscenze permetteranno di produrre sistemi che implementano una strategia intelligente di esplorazione del web, tale da recuperare il maggior numero di informazioni rilevanti. Verranno anche citati alcuni protocolli e standard su cui il Web Bot basa il proprio funzionamento. Verrà anche trattato il tema della sicurezza. Infatti l’attività di crawling da parte di software automatici causa un traffico atipico all’interno della rete e consuma risorse destinate ad un’utenza “tradizionale”. Bisognerà quindi seguire delle regole dettate dal Robots Exclusion Protocol, che, oltre a stabilire regole funzionali (velocità di dowload), potrebbe per esempio bloccare l’accesso alle directory che contengono dati sensibili. Infine sarà mostrato una implementazione semplice e reale della tecnologia esposta: un Web Bot che visita l’intero web, cioè l’insieme di tutte le risorse raggiungibili dalla seed list indistintamente dall’argomento trattato o da altre caratteristiche peculiari delle risorse scansionate.

CONSULTA INTEGRALMENTE QUESTA TESI

La consultazione è esclusivamente in formato digitale .PDF

Acquista
Mostra/Nascondi contenuto.
17 2. Ambiente di sviluppo e requisiti 2.1 Tecnologia disponibile I Web Bot non richiedono molta potenza di calcolo, fanno eccezione i Crawler delle aziende che fanno del proprio sistema un business, e si trovano spesso a competere con rivali di mercato, di conseguenza avere un sistema autonomo più veloce e performante fa sicuramente la differenza. Ciò che è necessariamente indispensabile è una grossa quantità di memoria: gli spider dediti alla collezione dei dati consumeranno tutte le risorse di memoria statica. 2.2 Protocolli Il Web Bot è in generale un programma che accede alla rete recuperando e analizzando le risorse sul web. Tali risorse sono messe a disposizione sul World Wide Web, su una rete locale o sullo stesso calcolatore dove il Web Bot è in esecuzione. Da un punto di vista tecnico, il Web Bot non presenta alcuna differenza ad un web browser comune, ad eccezione delle politiche di automazione che permettono al Web Bot di scegliere le risorse a cui accedere nel tempo. Di conseguenza i protocolli di alto livello utilizzati dal Web Bot saranno anche gli

CONSULTA INTEGRALMENTE QUESTA TESI

La consultazione è esclusivamente in formato digitale .PDF

Acquista
Il miglior software antiplagio

L'unico servizio antiplagio competitivo nel prezzo che garantisce l'aiuto della nostra redazione nel controllo dei risultati.
Analisi sicura e anonima al 100%!
Ottieni un Certificato Antiplagio dopo la valutazione.

Informazioni tesi

  Autore: Emilio Schininà
  Tipo: Laurea I ciclo (triennale)
  Anno: 2015-16
  Università: Università degli Studi di Ferrara
  Facoltà: Scienze Matematiche, Fisiche e Naturali
  Corso: Informatica
  Relatore: Luca Tomassetti
  Lingua: Italiano
  Num. pagine: 65

FAQ

Per consultare la tesi è necessario essere registrati e acquistare la consultazione integrale del file, al costo di 29,89€.
Il pagamento può essere effettuato tramite carta di credito/carta prepagata, PayPal, bonifico bancario.
Confermato il pagamento si potrà consultare i file esclusivamente in formato .PDF accedendo alla propria Home Personale. Si potrà quindi procedere a salvare o stampare il file.
Maggiori informazioni
Ingiustamente snobbata durante le ricerche bibliografiche, una tesi di laurea si rivela decisamente utile:
  • perché affronta un singolo argomento in modo sintetico e specifico come altri testi non fanno;
  • perché è un lavoro originale che si basa su una ricerca bibliografica accurata;
  • perché, a differenza di altri materiali che puoi reperire online, una tesi di laurea è stata verificata da un docente universitario e dalla commissione in sede d'esame. La nostra redazione inoltre controlla prima della pubblicazione la completezza dei materiali e, dal 2009, anche l'originalità della tesi attraverso il software antiplagio Compilatio.net.
  • L'utilizzo della consultazione integrale della tesi da parte dell'Utente che ne acquista il diritto è da considerarsi esclusivamente privato.
  • Nel caso in cui l’utente che consulta la tesi volesse citarne alcune parti, dovrà inserire correttamente la fonte, come si cita un qualsiasi altro testo di riferimento bibliografico.
  • L'Utente è l'unico ed esclusivo responsabile del materiale di cui acquista il diritto alla consultazione. Si impegna a non divulgare a mezzo stampa, editoria in genere, televisione, radio, Internet e/o qualsiasi altro mezzo divulgativo esistente o che venisse inventato, il contenuto della tesi che consulta o stralci della medesima. Verrà perseguito legalmente nel caso di riproduzione totale e/o parziale su qualsiasi mezzo e/o su qualsiasi supporto, nel caso di divulgazione nonché nel caso di ricavo economico derivante dallo sfruttamento del diritto acquisito.
L'obiettivo di Tesionline è quello di rendere accessibile a una platea il più possibile vasta il patrimonio di cultura e conoscenza contenuto nelle tesi.
Per raggiungerlo, è fondamentale superare la barriera rappresentata dalla lingua. Ecco perché cerchiamo persone disponibili ad effettuare la traduzione delle tesi pubblicate nel nostro sito.
Per tradurre questa tesi clicca qui »
Scopri come funziona »

DUBBI? Contattaci

Contatta la redazione a
[email protected]

Ci trovi su Skype (redazione_tesi)
dalle 9:00 alle 13:00

Oppure vieni a trovarci su

Parole chiave

ragno
robot
spider
bot
crawler
webbot
scraper
webrobot
crawling

Tesi correlate


Non hai trovato quello che cercavi?


Abbiamo più di 45.000 Tesi di Laurea: cerca nel nostro database

Oppure consulta la sezione dedicata ad appunti universitari selezionati e pubblicati dalla nostra redazione

Ottimizza la tua ricerca:

  • individua con precisione le parole chiave specifiche della tua ricerca
  • elimina i termini non significativi (aggettivi, articoli, avverbi...)
  • se non hai risultati amplia la ricerca con termini via via più generici (ad esempio da "anziano oncologico" a "paziente oncologico")
  • utilizza la ricerca avanzata
  • utilizza gli operatori booleani (and, or, "")

Idee per la tesi?

Scopri le migliori tesi scelte da noi sugli argomenti recenti


Come si scrive una tesi di laurea?


A quale cattedra chiedere la tesi? Quale sarà il docente più disponibile? Quale l'argomento più interessante per me? ...e quale quello più interessante per il mondo del lavoro?

Scarica gratuitamente la nostra guida "Come si scrive una tesi di laurea" e iscriviti alla newsletter per ricevere consigli e materiale utile.


La tesi l'ho già scritta,
ora cosa ne faccio?


La tua tesi ti ha aiutato ad ottenere quel sudato titolo di studio, ma può darti molto di più: ti differenzia dai tuoi colleghi universitari, mostra i tuoi interessi ed è un lavoro di ricerca unico, che può essere utile anche ad altri.

Il nostro consiglio è di non sprecare tutto questo lavoro:

È ora di pubblicare la tesi