Streaming multimediale per lo studio degli effetti di asincronismo audiovisivo nell'esecuzione musicale

Gstreamer è una piattaforma software altamente modulare utilizzata nella creazione di applicazioni multimediali. Sviluppata in linguaggio C principalmente per ambienti Unix, essa è per Linux quello che Directshow è per i sistemi Windows.

Gstreamer infatti consente ai programmatori di creare una serie di componenti nella riproduzione, registrazione, conversione e trasmissione di file multimediali utilizzando semplicemente i plugin messi a disposizione.

Il funzionamento è basato sulle pipeline, cioè dei comandi composti da più elementi collegati tra loro in catena, nel senso che l'uscita di un elemento è collegata all'entrata di un altro.

Sono previsti tre diversi tipi di elementi:

- elementi source: si occupano di prelevare i dati da una sorgente che può essere ad esempio un file, una periferica collegata al computer o un server;

- elementi filter: servono a codificare e decodificare il flusso per poter essere trasmesso o riprodotto;

- elementi sink: sono gli elementi che comunicano direttamente con i driver che gestiscono le periferiche, permettendo così l'output dei dati (che possono anche essere salvati in un file).

Molti elementi dispongono di proprietà caratteristiche che è possibile specificare indicandone i parametri direttamente nella pipeline. L'elemento separatore per gli elementi è il carattere "!".

Dopo varie prove per testare il funzionamento degli elementi e le prestazioni soprattutto in termini di ritardo di compressione e di trasmissione, la scelta è ricaduta sulla codifica Motion JPEG (M-JPEG) per la codifica del video acquisito dalla webcam e sul protocollo UDP per la trasmissione dei dati. L'M­JPEG infatti consente una codifica più rapida rispetto agli altri encoder presentando in successione i frame così come vengono acquisiti dalla webcam e convertiti in immagini Jpeg, senza l'uso della cosiddetta compressione interframe. Questa caratteristica introduce inoltre un altro vantaggio: la codifica è indipendente dal movimento, che nel caso specifico (un batterista che suona) è molto elevato. Per quanto riguarda la trasmissione, avendo scelto di utilizzare una connessione diretta tra le due schede di rete tramite cavo ethernet incrociato, la perdita di pacchetti risultante è praticamente nulla, consentendo così la scelta di un protocollo per il trasposto veloce ma poco affidabile come l'UDP.