INSTITU DE FORMATION ET DE LICENCE SI2-(IFRI)

RECHERCHE EN INFORMATIQUE MODULE

TRAVAUX DIRIGES THEORIE DE L’INFORMATION
Année : 2019-2020 Prof : Dr. Arnaud AHOUANDJINOU
Durée : 2h00mn (Documents autorisés : aucun) Date : 04/05/2020

QUESTIONS A CHOIX MULTIPLES:

Les questions composant ce test ont pour objet de vérifier que vous avez
correctement assimilé certaines notions de base du cours de théorie de l'information. Le
principe de "notation" associé aux questions consiste à attribuer (resp soustraire) un point à
une réponse juste (resp fausse). L'absence de réponse se traduit par "0". La "note" finale est
arrondie au demi-point supérieur.
Question 5 : L'entropie d'une variable
Question 1 : On extrait au hasard et sans aléatoire à trois valeurs possibles est
remise deux cartes d'un jeu de 52. toujours supérieure à l'entropie d'une
Quelle est, en bits, l'incertitude variable à deux valeurs possibles :
liée à l'obtention du roi de cœur? a) Oui b) non
a) 1,70 b)
2,70 c) 3,70 Question 6 : L'entropie d'une source
d) 4,70 binaire sans mémoire équidistribuée est
(en bits) :
Question 2 : On extrait au hasard et sans
remise deux cartes d'un jeu de 52. a) 0 b) 0,5 c) 1
Quelle est, en bits, l'incertitude d) 2
liée à l'obtention d'au moins un
cœur? Question 7 : L'entropie d'une source
a) 0,18 b) binaire avec mémoire est :
0,80 c) 1,18
d) 1,80 a) <1 bit b) >1 bit

Question 3 : Quelle est, en bits, Question 8 : Le code {0, 111,10} est préfix
l'information apportée par le fait de savoir :
qu'au moins un trèfle figure parmi les
deux cartes sur l'éventualité d'avoir a) oui b) non
exactement un cœur?
a) 0,404 b) 0 Question 9 : Le code {0, 01,11} est
c) 1,04 d) 1,40 uniquement déchiffrable :

Question 4 : Les événements "obtenir au a) oui b) non

moins un trèfle" et "obtenir exactement
un cœur" sont-ils indépendants? Question 10 : On peut associer un code
a)Oui b) Non préfix équivalent (en termes de
Pourquoi? distribution des longueurs) au code {1, 11,
101, 010,0000} :
 a) oui b) non c) inférieur au débit d'entropie initial

Question 11 : On considère une source Question 16 : La capacité (en bits) du

quaternaire sans mémoire S d'entropie canal représenté ci-dessous est :
par symbole 1,5 bit et de débit symbole
égal à 1000 symboles par seconde.
Quel est, en bits par seconde, le débit
binaire minimum de la nouvelle source
obtenue à partir de S par un code binaire
de longueur fixe? a) 1 b) 1,5 c) 1,585 d) 2

a) 500 b) 1000 c) 2000 d) 4000 Question 17 : La capacité (en bits) du

canal représenté ci-dessous est :
Question 12 : Existe-t-il un code binaire
uniquement déchiffrable permettant
d'obtenir un débit binaire moyen inférieur
à 1400 bits/sec?
a) oui b) non
a) 1 b) 1,5 c)1,585 d)
Question 13 : On se propose d'appliquer
2
un codage de Huffman sur l'extension
d'ordre n de S afin d'obtenir un débit
Question 18 : La capacité (en bits) du
binaire moyen ne dépassant pas 1600
canal représenté ci-dessous est :
bits/sec. Quel doit être la valeur minimum
a) 1,12 b) 1,23 c) 1,31 d) 1,52
de n pour être sûr, a priori, de satisfaire
cette condition?

a) 4 b) 6 c) 8 d) 10 e) 12 f)14

Question 14 : Un codage de source a pour

effet de :
a) réduire le débit symbole
b) augmenter le débit symbole
Question 15 : Après un codage de source,
le débit d'entropie de la nouvelle source
ainsi obtenue est :
a) supérieur au débit d'entropie initial
b) égal au débit d'entropie initial
Question 19 : On considère un
canal à 28 entrées et 28 sorties.
L'alphabet commun aux symboles
d'entrée et de sortie correspond
aux mots binaires de longueur 8.
Ce canal modélise un système de
transmission pour lequel le mot
reçu diffère du mot émis par un et
un seul élément binaire, mais on
 ne sait pas lequel, chacun des huit
bits ayant la même probabilité
d'être erroné. Quelle est la
capacité, en bits, de ce canal?
a) 3 c)4 d)5 e) 6
f) 7
Question 20 : L'entropie d'une
source S est de 2,70 bits et son
débit symbole de 1000 symboles 8-
aires par seconde. On souhaite
QUESTIONS A CHOIX MULTIPLES:
transmettre le contenu de S par le
biais d'un canal binaire symétrique
de probabilité d'erreur égale à
0,001. Le débit d'utilisation de ce
canal ne doit pas dépasser 3000
éléments binaires par seconde. Est-
il possible, si on utilise les moyens
appropriés, de transmettre le
contenu de S avec une probabilité
aussi petite que souhaitée?
a) oui b) non

Les questions composant ce test ont pour objet de vérifier que vous avez
correctement assimilé certaines notions de base du cours de théorie de l'information. Pour
une question, une ou plusieurs choix sont possibles.

Q1 : Qui a inventé la Théorie de d) Log

l'information? e) Multiplication
a) Robin Marc Fisher f) Exponentielle
b) Aylmer Edwin Robinson Q5 : Quelles sont les différentes sources
c) Ronald Aylmer Fisher de l'information?
d) Ronald Marc Fish a) Continue
Q2 : Qui a renforcé la Théorie de b) Discontinue
l'information? c) Discrètes
Warren Weaver d) Simple
a) Claude Chang e) Complexe
b) Claude Shannon Q6 : Combien y a t-il de types de mesures?
c) Henri Weaver a) 1
Q3 : La théorie de l'information est une b) 2
théorie c) 3
a) Physique d) 4
b) Mathématique Q7 : Quelles sont les propriétés de
c) Journalistique l'entropie?
d) Philosophique a) Positive
Q4 : Quelles sont les opérations b) Négative
mathématiques utilisées dans la formule c) Nulle
de l'entropie Q8 : Dans le processus de transmission de
a) Somme l'information, le bruit est l'élément
b) Division perturbateur de quel autre élément?
c) Intégrale a) Source
 b) Codeur transmettre le contenu de S par le biais
c) Utilisateur d'un canal binaire symétrique de
d) Canal probabilité d'erreur égale à 0,001. Le débit
e) Décodeur d'utilisation de ce canal ne doit pas
Q9 : Pour quelle valeur l'entropie est-elle dépasser 3000 éléments binaires par
maximale? seconde. Est-il possible, si on utilise les
a) pi=1/n moyens appropriés, de transmettre le
b) pi=1 contenu de S avec une probabilité aussi
c) pi=1+x petite que souhaitée?
d) pi=1-x
Q10 : a) oui b) non
L'entropie d'une source S est de 2,70 bits
et son débit symbole de 1000 symboles 8-
aires par seconde. On souhaite

Q11 : On peut associer un code préfix équivalent (en termes de distribution des longueurs)
au code {1, 11, 101, 010,0000} :
a) oui b) non

Q12 : On considère une source quaternaire sans mémoire S d'entropie par symbole 1,5 bit et
de débit symbole égal à 1000 symboles par seconde.
Quel est, en bits par seconde, le débit binaire minimum de la nouvelle source obtenue à
partir de S par un code binaire de longueur fixe?

a) 500 b) 1000 c) 2000 d) 4000

Q13 : Existe-t-il un code binaire uniquement déchiffrable permettant d'obtenir un débit

binaire moyen inférieur à 1400 bits/sec?
a) oui b) non

Q14 : On se propose d'appliquer un codage de Huffman sur l'extension d'ordre n de S afin

d'obtenir un débit binaire moyen ne dépassant pas 1600 bits/sec. Quel doit être la valeur
minimum de n pour être sûr, a priori, de satisfaire cette condition?

a) 4 b) 6 c) 8 d) 10 e) 12 f)14

Q15 : Un codage de source a pour effet de :

a) réduire le débit symbole
b) augmenter le débit symbole
Q16 : Après un codage de source, le débit d'entropie de la nouvelle source ainsi obtenue est
:

d) supérieur au débit d'entropie initial

e) égal au débit d'entropie initial
f) inférieur au débit d'entropie initial

Q17 : La capacité (en bits) du canal représenté ci-dessous est :

a) 1 b) 1,5 c) 1,585 d) 2
Q18 : La capacité (en bits) du canal représenté ci-dessous est :

a) 1 b) 1,5 c)1,585 d) 2

Q19 : La capacité (en bits) du canal représenté ci-dessous est :

a) 1,12 b) 1,23 c) 1,31 d) 1,52

Q20 : On considère un canal à 28 entrées et 28 sorties. L'alphabet commun aux

symboles d'entrée et de sortie correspond aux mots binaires de longueur 8. Ce canal
modélise un système de transmission pour lequel le mot reçu diffère du mot émis par
un et un seul élément binaire, mais on ne sait pas lequel, chacun des huit bits ayant
la même probabilité d'être erroné. Quelle est la capacité, en bits, de ce canal?

a) 3 c)4 d)5 e) 6 f) 7
EXERCICE :

Pour chacune des parties suivantes de cet exercice, répondez aux questions de façon
succincte en justifiant vos réponses:

PARTIE A:

Dans l’étude préalable à l’installation d’un réseau, on souhaite que la puissance du signal
émis soit 2000 fois supérieure à celle du bruit.
1. Quelle est en décibel la puissance associée à la bande passante du support à installer ?
2. même question avec les rapports suivants (entre signal et bruit) : 500 ? 100 000 ?
3. Quelle conclusion en tirez-vous en ce qui concerne la relation entre N et PS /PB?

PARTIE B: