Cours de th eorie de linformation et du codage Questions pour lexamen oral - janvier 2008

Chapitre 8
1. D enir la convergence en probabilit e, formuler le th eor` eme AEP. Donner le principe de la d emonstration du th eor` eme AEP, puis la d emonstration elle-m eme. D enir la notion densemble (n) de messages typiques A , donner 4 propri et es. Messages repr esentatifs versus typiques : discuter le cas g en eral, et le cas particulier o` u plusieurs symboles emis par la source sont equiprobables. Expliquer la relation entre messages typiques et compression de donn ees. 2. D enir la notion de processus stationnaire. D enir la convergence presque s ure et la notion de processus stationnaire et ergodique. Donner les 2 d enitions de lentropie dune source discr` ete stationnaire H (S ) et H (S ). Lexistence de H (S ) implique celle de H (S ) : donner le principe de la d emonstration, puis la d emonstration elle-m eme. Montrer pourquoi H (S ) existe pour toute source stationnaire. Expliquer la relation entre entropie de source et codage de source. 3. D enir la notion de cha ne de Markov et de cha ne de Markov invariante dans le temps. Expliquer comment caract eriser par ( , ) et repr esenter par un graphe orient e une cha ne de Markov invariante dans le temps. D enir etats communicants, etats p eriodiques, etats r ecurrents; cha ne de Markov irr eductible, ap eriodique, r ecurrente. D enir les notions de r egime permanent et de distribution stationnaire. Donner et etablir l equation entre p et si p est une distribution stationnaire. D enir la notion dextension de source S k . D enir la source de Markov de m emoire m 0 nie ; montrer comment celle-ci peut se ramener a ` une source de Markov (de m emoire 1). 4. Donner le but du codage de source. D enir les notions de codes r egulier, d echirables, sans pr exe, instantan e; discuter la relation entre ces propri et es. Donner lin egalit e de Kraft et expliquer son 1

utilit e. D enir la notion de code complet. D enir le code de Shannon et montrer quil satisfait a ` lin egalit e de Kraft. 5. Exprimer la longueur moyenne des mots n ecessaires au codage d echirable dune source stationnaire sans m emoire ; en donner une borne inf erieure et le principe de d emonstration pour etablir cette borne. Donner une borne sup erieure (sans recourir a ` lextension de source) et le principe de d emonstration pour etablir cette borne. D enir la notion dextension de source. Enoncer le premier th eor` eme de Shannon et donner le principe de la d emonstration. 6. Expliquer les notions darbres complets et incomplets, et quel type de code ils permettent de repr esenter. Expliquer le rapport avec lin egalit e de Kraft. Expliquer la notion de probabilit e dun noeud dun arbres de code. Donner les trois propri et es que doit satisfaire tout code optimal instantan e (de longueur moyenne minimale); expliquer le bien-fond e de ces propri et es. Expliquer la m ethode de construction dun code optimal de Human.

Chapitre 9
1. D enir les notions de canal discret, canal causal, canal causal sans m emoire, canal discret sans m emoire stationnaire. Donner la d enition de la capacit e en information par symbole du canal sans m emoire; expliquer pourquoi la capacit e ne d epend que des propri et es du canal. Pr esenter lexemple du canal sym etrique binaire, et calculer sa capacit e en fonction de p, la probabilit e derreur de transmission. D enir la notion de canal sym etrique. 2. D enir la notion de code (M, n) pour un canal (X , P (Y|X ), Y ). Expliquer les r` egles de d ecodage suivantes : la r` egle du maximum de probabilit e a posteriori (r` egle de Bayes) et son inconv enient en pratique, et la r` egle du maximum de vraisemblance. D enir le taux (ou d ebit) de communication R dun code (M, n), la notion de d ebit r ealisable, la notion de capacit e op erationnelle. Rappeler la d enition de la capacit e en information par symbole. Enoncer le second th eor` eme de Shannon. 3. Expliquer la notion de s equences conjointement typiques. Rappeler les notions de d ebit r ealisable et de capacit e en information dun canal. Expliquer la notion de codes al eatoires. Enoncer le second th eor` eme de Shannon. Pr esenter les grands principes de la d emonstration.

Chapitre 10
1. Donner la relation entr ee-sortie du canal continu gaussien. Donner la condition de limitation de puissance sur les symboles dentr ee dans le cas g en eral et dans le cas de signaux dentr ee ergodiques. Expliquer comment exploiter le canal gaussien limit e en puissance en le convertissant en un canal discret (par exemple en canal binaire sym etrique); donner avantages et inconv enients de ce mode dutilisation du canal. D enir la capacit e en information du canal gaussien limit e en puissance. Donner sa valeur pour une limitation de puissance a ` P et une variance du bruit N . 2. Donner la relation entr ee-sortie du canal continu a ` bande passante limit ee et bruit blanc gaussien. D enir le bruit blanc gaussien en temps continu et a ` bande limit ee (fr equence f 0 ). Dire a ` quels instants il est n ecessaire d echantillonner le signal pour pouvoir le reconstruire. Donner la capacit e de ce canal mesur ee en bits par echantillon puis en bits par seconde. Discuter leet de la largeur de bande sur la capacit e en bits par seconde.

Chapitre 15
1. Discuter les trois modes dutilisation du canal gaussien suivants: full analogique, semi analogique, full num erique. Expliquer comment choisir le codage de canal selon le rapport signal/bruit.