Questo sito utilizza cookie di terze parti per inviarti pubblicità in linea con le tue preferenze. Se vuoi saperne di più clicca QUI 
Chiudendo questo banner, scorrendo questa pagina, cliccando su un link o proseguendo la navigazione in altra maniera, acconsenti all'uso dei cookie. OK

Progettazione e implementazione di un web bot per la raccolta dati

L’argomento della tesi nasce dall'esperienza di lavoro avuta, dapprima, durante il tirocinio formativo presso il dipartimento di Economia dell’Università di Ferrara prima, e successivamente durante una attività di lavoro presso l’ente INFN, sezione di Ferrara. Il tirocinio ha avuto una durata complessiva di 3 mesi. Lo scopo era quello di sviluppare un sistema per la raccolta dati in campo economico. I dati raccolti dovevano servire a caratterizzare la componente di capitale umano di una popolazione di imprese high-tech (nello specifico le academic spinoff) del Regno Unito. Per tali fini è stato sviluppato un sistema che comprendeva un Web Bot automatizzato programmabile per scaricare contenuti dal web, e uno Scraper per collezionare tutte le informazioni utili. Il codice è stato scritto in linguaggio di programmazione dinamico Python con paradigma Object-Oriented e in linguaggio di Scripting Bash. All’Istituto Nazionale Di Fisica Nucleare, sezione di Ferrara, sono state svolte attività molto simili. Il compito era quello di raccogliere e gestire dati bibliografici e bibliometrici. Sono stati utilizzati pattern ritenuti standard, e librerie affidabili e consolidate nel campo software. Nei primi capitoli verranno mostrate le tecniche e le conoscenze necessarie per progettare e sviluppare un sistema che archivi dati in modo sistematico partendo da delle regole impostate precedentemente. Verranno quindi presentate l’insieme di conoscenze teoriche sul web in generale, sul crawling e sul software utilizzato, necessarie a comprendere lo sviluppo del progetto. Queste conoscenze permetteranno di produrre sistemi che implementano una strategia intelligente di esplorazione del web, tale da recuperare il maggior numero di informazioni rilevanti. Verranno anche citati alcuni protocolli e standard su cui il Web Bot basa il proprio funzionamento. Verrà anche trattato il tema della sicurezza. Infatti l’attività di crawling da parte di software automatici causa un traffico atipico all’interno della rete e consuma risorse destinate ad un’utenza “tradizionale”. Bisognerà quindi seguire delle regole dettate dal Robots Exclusion Protocol, che, oltre a stabilire regole funzionali (velocità di dowload), potrebbe per esempio bloccare l’accesso alle directory che contengono dati sensibili. Infine sarà mostrato una implementazione semplice e reale della tecnologia esposta: un Web Bot che visita l’intero web, cioè l’insieme di tutte le risorse raggiungibili dalla seed list indistintamente dall’argomento trattato o da altre caratteristiche peculiari delle risorse scansionate.

Mostra/Nascondi contenuto.
17 2. Ambiente di sviluppo e requisiti 2.1 Tecnologia disponibile I Web Bot non richiedono molta potenza di calcolo, fanno eccezione i Crawler delle aziende che fanno del proprio sistema un business, e si trovano spesso a competere con rivali di mercato, di conseguenza avere un sistema autonomo più veloce e performante fa sicuramente la differenza. Ciò che è necessariamente indispensabile è una grossa quantità di memoria: gli spider dediti alla collezione dei dati consumeranno tutte le risorse di memoria statica. 2.2 Protocolli Il Web Bot è in generale un programma che accede alla rete recuperando e analizzando le risorse sul web. Tali risorse sono messe a disposizione sul World Wide Web, su una rete locale o sullo stesso calcolatore dove il Web Bot è in esecuzione. Da un punto di vista tecnico, il Web Bot non presenta alcuna differenza ad un web browser comune, ad eccezione delle politiche di automazione che permettono al Web Bot di scegliere le risorse a cui accedere nel tempo. Di conseguenza i protocolli di alto livello utilizzati dal Web Bot saranno anche gli

Laurea liv.I

Facoltà: Scienze Matematiche, Fisiche e Naturali

Autore: Emilio Schininà Contatta »

Composta da 65 pagine.

 

Questa tesi ha raggiunto 449 click dal 16/05/2017.

Disponibile in PDF, la consultazione è esclusivamente in formato digitale.