1)Discutere (brevemente) come funziona il codice di Hamming con 2 cifre di controllo.

2m =m +k +14 =k +3k = 1 Possiamo spedire un solo bit di msg, ma abbiamo un pacchetto lungo [n =] 3 bit. Posizioniamo le cifre di controllo e le cifre di msg:
c1 1 C2 2 M1 3

Vediamo come calcolare il valore delle cifre di controllo: C1=m1 C2=m1 Vediamo meglio quello che abbiamo ottenuto provando a spedire i due msg possibili: m1=0 il pacchetto :000 m1=1 il pacchetto :111 Quindi come se spedissi lo stesso bit 3 volte. Il ricevente capisce se avvenuto un errore se gli arriva un bit differente dagli altri 2, o in altre parole scelgo come valore buono quello che mi arriva 2 volte su 3.
2)Quante sono le codeword di 7 bit che sono ritenute valide (cio senza errori) in un codice di Hamming avente 3 cifre di controllo? Giustificare la risposta. La formula per ricavare il numero di codeword valide : 2n/(n+1). In questo caso: 27/8=16. 3) possibile costruire un codice istantaneo binario le cui codeword hanno lunghezze 2, 2, 2, 3, 3, 3, 3? E un codice (sempre istantaneo, binario) le cui codeword hanno lunghezze 2, 2, 2, 3, 3, 3? Giustificare la risposta. K=3/22+4/23=5/4>1 K=3/22+3/23=9/8>1 non quindi possibile 4) Data una sorgente S senza memoria di q simboli s1,s2,,sq, che escono con probabilit rispettivamente pari a p1,p2,,pq, vero che le lunghezze di Shannon-Fano consentono di costruire un codice istantaneo r-ario per S? Giustificare la risposta. Log2(1/pi)<=li<= Log2(1/pi)+1 rlog2(1/p)<=rli<=rlog2(1/p)+1 per le propriet dei logaritmi ricavo che: 1/p<=rli<=1/r. Ora faccio linverso di tutti gli elementi (quindi cambio di verso): pi>=1/rli>=pi/r Ora aggiungo le sommatorie a tutti e tre gli elementi: Sum(pi)>=Sum(1/rli)>=Sum(pi/r) Sum(1/rli)>=K e Sum(pi)=1 Quindi k<=1. Quindi esiste un codice istantaneo secondo la dis di kraft 5)Si calcolino le ridondanze di un codice triangolare e di un codice rettangolare che consentono di inviare messaggi costituiti da 6 cifre di messaggio (pi le cifre di controllo). Quale delle due ridondanze maggiore? Di conseguenza, quale dei due codici preferibile utilizzare? Rtriangolare=n(n+1)/2/n(n-1)/2 n+1/n-1 n-1+2/n-1 1+(2/n-1). Rrettangolare=(m-1+n)/(m-1)(n-1) La ridondanza maggiore quella del codice a correzione derrore rettangolare, quindi preferibile utilizzare il codice triangolare. 6)Sia C un canale binario simmetrico (CBS) avente probabilit P = 0.8 di trasmettere correttamente una cifra binaria, e probabilit Q = 0.2 di trasmetterla erroneamente. Supponendo che la probabilit che venga inserito uno 0 nel canale sia p = 0.4, e quindi che la probabilit che venga inserito un 1 sia 1p = 0.6, qual la probabilit di ottenere 0 in uscita? Qual la probabilit di ottenere 1? P=0,8 Q=0,2 P=0,4=P(Q=0) 1-P=0,6=P(Q=1) P(b=0)=pP+(1-p)Q=0,4*0,8+0,6*0,2=0,32+0,12=[0,44]; P(b=1)=pQ+(1-p)P=0,4*0,2+0,6*0,8=0,08+0,48=[0,56]; 7) Che cosa rappresenta lentropia di una sorgente S, avente simboli s1, s2, , sq, che escono da S con probabilit rispettivamente uguali a p1, p2, , pq? Scrivere la formula dellentropia di S, espressa in base r-aria. Quali sono il valore minimo e il valore massimo dellentropia di S? Per quali distribuzioni di probabilit lentropia assume tali valori (minimo e massimo)? Nel caso di una sorgente Bernoulliana, come diventa la formula? Come fatto in tal caso il grafico della funzione entropia? Lentropia una media la quale misura la quantit di informazione media della sorgente per unit di tempo Hr(S)=q i=1 Pi logr 1/Pi =H2(S)logr 2 Valore Massimo=logr q Valore Minimo=0 S Si P 1-P Nel caso di sorgente Bernulliana diventa Hr(P)=P logr 1/P +(1-P)logr 1/1-P

8)Sia S una sorgente senza memoria, che emette i simboli s1 e s2 con probabilit p1 = 0.7 e p2 = 0.3, rispettivamente. Dire come sono fatti i simboli di S3, la terza estensione di S, e con quali probabilit tali simboli vengono emessi. P1=0,7 P2=0,3 S3 (0,7,07,0,7)=0,373 (0,7,07,0,3)=0,196 (0,7,03,0,7)=0,147 (0,7,03,0,3)=0,063 (0,3,07,0,7)=0,147 (0,3,07,0,3)=0,063 (0,3,03,0,7)=0,063 (0,3,03,0,3)=0,027 9)Dovendo applicare lalgoritmo di Huffman per trovare un codice istantaneo r-ario (con r 2) per una sorgente formata da q 1 simboli, quanti simboli fittizi occorre aggiungere per far si che allultimo passo in avanti si possano utilizzare tutti gli r simboli dellalfabeto di codifica? Si indichi la risposta in generale, e poi per le seguenti combinazioni di q e di r: q = 7 e r = 2, 3, 4 e 5. La situazione ideale quella di avere allultimo passo sempre r simboli. Per far questo, a volte necessario aggiungere alla sorgente originale dei simboli fittizi con P=0 in modo tale da avere dopo tutte le procedure esattamente r simboli. Per sapere quanti simboli fittizi necessario aggiungere. Sia q=q+f(f=n di simboli fittizi) Q=r+k(r-1) keN k>0 k=passi da effettuare (r-1)=indica i simboli ad ogni passo Q=1MOD(r-1) Q=7 r=2 non serve aggiungere simboli Q=7 r=3 non serve aggiungere simboli Q=7 r=4 non serve aggiungere simboli Q=7 r=5 devo aggiungere 2 simboli 9=1MOD(4) 9>7 OK 10)Cos la distanza di Hamming? Fornire un esempio di codice binario in cui le codeword (almeno tre) hanno tra loro distanza di Hamming maggiore o uguale a 2. Per capire cos la distanza di hamming dobbiamo adottare un approccio geometrico al codice. Sia n il n di cifre da spedire,si consideri un cubo in uno spazio ndimensionale. Definisco Bn i cui elementi sono tutti possibili messaggi. Bn uno spazio vettoriale su {0,1} se si considerano le espressioni di somma e prodotto. In questo spazio definiamo la distanza di hamming dH(v,v)=|{i:1<=i<=n,vi=/v}| con v=/v. La distanza di hamming indica il numero di posizioni in cui v e v differiscono. Geometricamente possiamo vedere la distanza come il minimo numero di lati del cubo che necessario attraversare per andare da v a v. pi lontane sono le codeword pi errori si possono correggere dH=2 esempi 1011101 1001001 1110111 11)Data una sorgente senza memoria S, avente simboli s1, s2, , sq, che escono da S con probabilit rispettivamente uguali a p1, p2, , pq, com definita ln-esima estensione di S (con n 1 intero)? Indicata con Sn tale estensione, si dica in particolare quanti sono i simboli di Sn, come sono fatti, e qual la loro probabilit di uscire da Sn. 1)Sn ha qn simboli 2)Sono fatti dalla concatenazione di n simboli di S 3)La probabilit dei singoli simboli di Sn uguale al prodotto delle probabilit dei singoli simboli di S che lo compongono 12)Nel caso in cui si voglia progettare un codice di Hamming per proteggere 57 cifre di messaggio (non contando le cifre di controllo), di quante cifre di controllo abbiamo bisogno? Giustificare la risposta. 2m<=m+k+1 2m<=m+58 Prendo a caso un po di valori fino a quando si verifica la disuguaglianza: se m=6 64<=64, per cui la disuguaglianza verificata.

13)Come funziona un codice a correzione derrore triangolare? Come definita in generale la ridondanza di un codice a correzione derrore? Qual la formula che esprime la ridondanza di un codice triangolare avente n righe ed n colonne di cifre di messaggio (escluse quindi le cifre di controllo)? Il valore della ridondanza sar pi grande o pi piccolo di quello ottenuto per un codice quadrato avente n righe ed n colonne di cifre di messaggio (escluse le cifre di controllo)?

Fai il disegnino, controllo di parit sulle righe e sulle colonne, se c un errore basta che incroci dove ci sono i bit di parit errati. La ridondanza, in generale : (ndelle cifre di msg+ndelle cifre di check)/ncifre di msg>=1 R=1+(check/msg) questa frazione si chiama eccesso di ridondanza. Rtriangolare=n(n+1)/2/n(n-1)/2 n+1/n-1 n-1+2/n-1 1+(2/n-1). 1+2/n con cifra di check. Rquadrato=n2/(n-1)2 1+(2/n-1)+(1/n-1)2 Rtriangolo < Rquadrato Rquadrato=Rtriangolare+1/(n-1)2

14)Dopo aver enunciato i teoremi di Kraft e di McMillan, discuterne brevemente la differenza. 1)Disuguaglianza Kraft=sia S una sorgente avente q simboli. Condizione necessaria e sufficiente affinch esista un codice istantaneo nario avente codeword di lunghezza l1,l2,..lq che valga qi=1 1/rli <=1 2)Disuguaglianza McMillan=sia S una sorgente avente q simboli. Condizione necessaria e sufficiente affinch esista un codice univocamente decodificabile nario avente codeword di lunghezza l1,l2,..lq che valga qi=1 1/rli <=1 * La condizione * caratterizza lesistenza sia dei codici istantanei che di quelli univocamente decodificabili(e non linsieme dei codici istantanei e/o linsieme dei codici univocamente decodificabili) Per il teorema 2 vale K<=1 per il codice univocamente decodificabile ma non istantaneo considerato sopra,mentre per il teorema 1 esiste un codice istantaneo che ha le stesse lunghezze di codeword 15)Com definito, in generale, un canale di comunicazione? Com definita la matrice che modella il comportamento del rumore? Come sono definite e cosa esprimono le equazioni di canale? Possiamo pensare ad un canale come a un oggetto che trasforma un alfabeto di simboli in ingresso A={a1,a2,..,aq} in simboli di un alfabeto in uscita B={b1,b2,,bs}. Il canale ha una matrice di trasmissione che definisce il comportamento del rumore. Questa una matrice stocastica: per ogni simbolo in ingresso ne ho uno in uscita. P(b j|ai)=Pi,j, con P(bj|ai) indichiamo la prob di uscita del simbolo bj condizionata dal fatto che sia entrato aj. La matrice di transizione stazionaria e non varia nel tempo Le equazioni di canale ci indicano, per ogni simbolo in uscita, la sua prob: p(bj)=Sum(p(a i) P(bj|ai)) Se nel canale non c rumore: P(bj|ai)=1. 16)Che cos un codice univocamente decodificabile? Che cos un codice istantaneo? Che relazione c tra le due classi? Dato un insieme di codeword, come faccio a stabilire se formano un codice istantaneo? Generalmente quale, tra questi due tipi di codice, si preferisce? Perch? Un codice C univocamente decodificabile se non esistono due estensioni della sorgente e due simboli aS 1 bS2 tali che C(a)=C(b), cio producono la stessa sequenza di carateri dellalfabeto T. Un cdice si dice istantaneo se, finita la trasmissione di una codeword, posso subito riconoscere il simbolo corrispondente. Un codice univocamente decodificabile pu non essere un codice istantaneo. Posso verificare se un codice istantaneo applicando la disuguaglianza di Kraft per linsieme di codeword note. Se k<=1, allora esiste il codice istantaneo per quelle codeword di lunghezza l1,,lq. E preferibile lavorare con i codici istantanei, poich posso subito riconoscere le codeword enza aspettare la fine della ricezione del pacchetto. 17) Che relazione esiste tra lentropia di una sorgente senza memoria S, e la lunghezza di un codice istantaneo che ne rappresenta i simboli? Applicare la suddetta relazione ad Sn, lnesima estensione di S, e dedurne il primo teorema di Shannon (per i canali senza rumore). Ricordando la disuguaglianza di Kraft, definisco Qi=(Rli/K). Poich vale la disuguaglianza di Gibbs, possiamo dire che: Sum(pilog(Qi/pi))<=0. Risolvendo, ottengo: H2(S)<=L. Quindi, la lunghezza media deve essere sempre maggiore dellentropia, altrimenti avrei una perdita dinformazione. Lennesima estensione di una sorgente, Sn ha qn simboli. Definisco Qi la probabilit che esca un simbolo Hr(S)= Sum(Qilog(1/Qi)). Facendo tutti i calcoli, ottengo lentropia: Hr(Sn)=nHr(S). In base allalgoritmo di Shannon-fano, la lunghezza media delle codeword per ln-esima estensione della sorgente : Hr(S)<=L<Hr(s)+1/n. Questo il primo teorema di Shannon e ci dice che per ln-esime estensioni di una sorgente, ho un intervallo sempre pi stretto. Hr(S) <= L < Hr(S)+1 --> Hr(Sn) <= Ln < Hr(Sn)+1 nHr(S) <= L < nHr(S)+1 --> Hr(S) <= Ln/n < Hr(S)+1/n. 20)Come definito un canale binario simmetrico (CBS)? Qual la sua capacit? Il cbs il modello pi utile di canale. Ha due simboli in input,0 e 1,e due in outout,0 e 1. Si dice simmetrico se P0,0=P1,1 e P1,0=P0,1La probabilit di effettuare una trasmissione corretta dipende dal dato inserito nel canale. Capacit=1-H2(p)=1-H2(Q)

21)Enunciare il secondo teorema di Shannon. Discuterne lapplicabilit nella pratica Esistono codici che sono arbitrariamente affidabili e che possono trasmettere una quantit dinformazione arbitrariamente vicina alla capacit di canale(usando unopportuna estensione del cbs) Il teorema ci fornisce un metodo che genera dei buoni codici in media e quindi non si pu dire che la dimostrazione sia puramente esistenziale. In tali codici bisogna spedire dei messaggi molto lunghi e quindi in ogni messaggio bisogner correggere molti errori. Spedire messaggi molto lunghi significa che il mittente dovr raccogliere molte informazioni prima di spedire ogni messaggio, il che non molto pratico. Inoltre il ricevente dovr utilizzare delle tabelle di decodifica molto grosse. Infatti essendo il codice utilizzato casuale,non siamo in grado di dare una descrizione compatta dei processi di codifica e decodifica,come avviene ad esempio per i codici di hamming. Si tratta quindi di un importante risultato teorico,che per non ci aiuta molto nella pratica.