Definizione intuitiva di informazione Definizione quantitativa misurabile By

Definizione intuitiva di informazione Definizione quantitativa, misurabile By prof. Camuso

Senza, è impossibile affrontare in modo rigoroso temi quali l’elaborazione e la trasmissione delle informazioni By prof. Camuso

Trasmissione di messaggi da una sorgente S ad una destinatario D Rumore=fattori interni Disturbo=fattori esterni By prof. Camuso Rumore + Disturbo

Teoria dell’Informazione Branca della matematica applicata che si prefigge di definire una unità di misura dell’informazione e di approfondire le tecniche di rappresentazione (codifica) dei dati anche in relazione alle problematiche poste dalla loro trasmissione. By prof. Camuso

Esempio 1 elaboratore (sorgente), hard disk (destinatario), interfaccia e cavo SATA (canale trasmissivo). Questo quando si registra qualche cosa sull’hard disk. Quando si legge ovviamente sorgente e destinatario si invertono By prof. Camuso rumore e disturbo ?

Esempio 2 il vostro cellulare e la torretta radio della compagnia telefonica cellulare e torretta sono alternativamente la sorgente e la destinazione il canale è l’etere (facciamo finta che non ci sia l’aria …) By prof. Camuso rumore e disturbo ?

Esempio 3 due pc che si scambiano dati usando la rete locale di nuovo, i due pc sono sia sorgente che destinazione; il canale può essere un cavo in rame (rete cablata) o l’etere (rete wireless) By prof. Camuso rumore e disturbo ?

Dati due messaggi, quale ha il maggior contenuto informativo? Quello più grande? Eppure un documento ‘zippato’ intuitivamente contiene la stessa quantità di informazione dell’originale… By prof. Camuso

Qual è la capacità massima di un canale (massimo numero di simboli trasmissibili in un secondo = banda passante)? E’ possibile accorgersi degli errori? Si possono correggere? A che ‘prezzo’? By prof. Camuso

Informazione e probabilità degli eventi interpretazione matematica dell’informazione legata alla probabilità del verificarsi di uno stato di un sistema tra tutti i possibili stati in cui può trovarsi. Maggiore è l’incertezza sullo stato e maggiore è l’informazione associata ad un messaggio che chiarisca quale sia questo stato By prof. Camuso

By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

2 stati possibili (il terzo lo possiamo considerare trascurabile) ciascuno ha 1/2 = 0, 5 = 50% di probabilità di verificarsi By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

6 stati possibili ciascuno ha 1/6 = 0, 16 = 16% di probabilità di verificarsi By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

36 stati possibili ciascuno ha 1/36 = 0, 03 = 3% di probabilità di verificarsi By prof. Camuso

Maggior numero di stati equiprobabili della sorgente = più informazione in un messaggio da essa emesso Son o 18: le 24 By prof. Camuso l’approssimativo … le o Son 0: 53 2 16: il precisino …

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

1440 stati possibili ciascuno ha 1/1440 = 0, 0007 = 0, 07% di probabilità di verificarsi By prof. Camuso

QUANTI stati possibili? Che percentuale di probabilità ha ogni stato di verificarsi? By prof. Camuso

86400 stati possibili ciascuno ha 1/86400 = 0, 00001 = 0, 001% di probabilità di verificarsi By prof. Camuso

Quindi un messaggio che chiarisca lo stato del sistema ‘orologio del precisino’ ha un contenuto d’informazione notevolmente superiore perché ‘toglie’ maggiore incertezza Ovv sem io, i pre o so di t di utt più i… By prof. Camuso

By prof. Camuso Eventi non equiprobabili: come calcolare il contenuto informativo medio dei messaggi emessi dalla sorgente ‘sistema solare’ in riferimento all’evento sorgere del sole?

+ stati = minore probabilità (maggiore incertezza) = maggiore informazione = codifica più lunga By prof. Camuso

Il prezzo per un contenuto informativo maggiore è una codifica più lunga dei messaggi emessi dalla sorgente Questo indipendentemente dall’alfabeto dei simboli usati e dalla codifica adottata By prof. Camuso

La relazione tra probabilità di un evento e contenuto informativo non definisce però un’unità di misura vera e propria. La teoria dell’informazione riconduce l’informazione a una sequenza di scelte binarie sì/no, vero/falso, 1/0 By prof. Camuso

Volendo un’informazione da una persona e potendo questa rispondere solo sì o no, con che strategia dovrei porre le domande? Esempio: gioco in cui i due partecipanti pensano ad un numero da 1 a 10000. Poi … By prof. Camuso

Soluzione: quella che ad ogni risposta dimezza l’incertezza. Quindi con il gioco di prima … By prof. Camuso

Applichiamolo al lancio di un dado. 6 4 o 5 o 6 >5? 5 4 o 5 >4? >3? 4 3 1 o 2 o 3 >2? 2 1 o 2 >1? 1 Domanda 2 Domanda 3 3 bit (max; ma anche 2) By prof. Camuso

OTTIMALE (dimezzamento incertezza) NON OTTIMALE Messaggio Valor 0 = risposta no e del 1 = risposta sì dado Messaggio 0 = risposta no 1 = risposta sì 1 2 3 4 5 6 D 1 D 2 D 3 D 1 0 0 0 1 1 1 0 0 1 0 1 1 0 0 0 By prof. Camuso 0 1 D 2 1 0 0 D 3 D 4 D 5 1 0 0 0 1 0 D 6 1

Con il sistema di numerazione binario lo stato di ogni risposta viene memorizzato usando un bit (0 od 1). Più risposte in successione corrispondono semplicemente a sequenze di 1 e 0 sempre in successione. By prof. Camuso

Quanti bit per codificare un orario? 1) Si calcolano prima quanti stati possibili ci sono 2) Si stima la potenza del 2 >= numero stati By prof. Camuso

Strategia 1 Codificando separatamente ore minuti secondi 24 ore: servono 5 bit 25 = 32>=24 60 minuti: servono 6 bit 26 = 64>=60 60 secondi: servono 6 bit 26 = 64>=60 In tutto: 5+6+6 = 17 bit By prof. Camuso

Strategia 2 Codificando l’orario come uno degli 86400 secondi servono ancora 17 bit 217 = 131072 >= 86400 Ci sono casi in cui la strategia di codifica fornisce prestazioni diverse. By prof. Camuso

Sul pianeta XYZ ci sono 24 hh di 24 min di 24 sec Strategia 1 Codificando l’orario ore, minuti, secondi 24 ore: servono 5 bit 25 = 32>=24 24 minuti: servono 5 bit 25 = 32>=24 24 secondi: servono 5 bit 25 = 32>=24 In tutto: 5+5+5 = 15 bit By prof. Camuso

Sul pianeta XYZ ci sono 24 di 24 minuti di 24 secondi Strategia 2 Codificando l’orario come uno degli 13824 secondi servono 14 (uno in meno!) bit 214 = 16384 >= 13824 By prof. Camuso

Che macchina hai visto passare? Fiat 2 Kia 3 Ferrari 4 Citroen 1 Universal 2 Testa Rossa 3 … 1 500 2 600 3 650 … … 1 utilitaria 1 7000 38 3000 2 city 2 7200 3 berlina 3 8000 4 sportiva … … 107 1000000 By prof. Camuso 3 4 2 38 1 107

va rti spo 30 cil 00 d ind i rat a Te Ro sta ssa Fe rra ri Che macchina hai visto passare? By prof. Camuso 00 0 0 100 !! € Marca 20 caratteri Modello 50 caratteri Cilindrata 4 caratteri Tipo 20 caratteri Costo 8 caratteri

Un messaggio testuale Se lo si invia un carattere alla volta ASCII 256 simboli (stati possibili) 8 bit infatti 28 = 256 UNICODE migliaia di simboli 16 bit 216 = 65536 By prof. Camuso

Un messaggio testuale Se lo si invia usando un dizionario di parole note sia alla sorgente che al destinatario: il numero di possibili stati è pari al numero di parole. Ad ogni parola viene assegnato un codice. La sorgente impiega però tempo a cercare il codice a partire dalla parola da trasmettere. Il destinario usa tempo per cercare la parola a partire dal codice ricevuto. By prof. Camuso

Una immagine Se la si invia un sub pixel (RGB) alla volta 256 stati (le intensità di un colore) 8 bit infatti 28 = 256 By prof. Camuso

Una immagine Se la si invia un pixel alla volta 2563 stati = 16777216 24 bit infatti 224 = 16777216 By prof. Camuso

Una immagine con dizionario Se la si invia usando un dizionario di immagini. Ipotizziamo una risoluzione 1000 x 1000 e 256 livelli per ogni colore base (true color) By prof. Camuso

Una immagine con dizionario 1000 x 1000 = 1000000 pixel * 2563 = 16777216000000 stati! 44 bit infatti 244 = 17592186044416 UN MOMENTO… SOLO 44 bit ? ? ? By prof. Camuso

Un video Semplice generalizzazione del caso immagine. By prof. Camuso

Un suono Caso interessante: la sorgente è analogica, non discreta. By prof. Camuso

By prof. Camuso

By prof. Camuso

By prof. Camuso

By prof. Camuso