Vous êtes sur la page 1sur 16

Entropie et Information

F. Didier-IREM Campus Luminy


didier@irem.univ-mrs.fr
Juin 2011
1
1 Lentropie, mesure du degr dincertitude
Ltude des vnements alatoires a pour proprit principale labsence dune
complte certitude quant leur ralisation, ce qui entraine une certaine indtermi-
nation dans la ralisation des expriences lies ces vnements. Cest pourquoi
nous allons chercher un moyen de mesurer le degr dincertitude des expriences
lies des vnements alatoires an de pouvoir les comparer sous cet angle.
Nous donnons ici une approche intuitive de la fonction H qui mesure le degr
dincertitude dune exprience, mais on peut dnir rigoureusement cette fonc-
tion par ses proprits mathmatiques.
Considrons une exprience possdant k issues galement probables, il est na-
turel de penser que lorsque k augmente, le degr dincertitude doit augmenter.
Donc, H doit tre une fonction croissante de k. Cette fonction doit aussi sannuler
pour k = 1, car dans ce cas il ny a plus dincertitude.
De plus, considrons deux expriences indpendantes et . Supposons que lex-
prience possde k issues galement probables et que lexprience possde j
issues quiprobables. Lexprience compose qui consiste effectuer succes-
sivement les deux expriences a kj issues quiprobables. Il est naturel de penser
que le degr dincertitude de est plus grand que celui de lexprience , car
lincertitude de lexprience sajoute ici lincertitude concernant lexprience
.
On doit avoir
f(k j) = f(k) + f(j).
Cette dernire condition nous suggre de prendre pour f une fonction logarithme.
En fait, la fonction logarithme est lunique fonction vriant les proprits non-
ces ci-dessus. Notons que le choix de la base des logarithmes a peu dimportance
ici car cela revient multiplier la fonction f(k) = Log(k) par un facteur constant
(log
b
(k) = log
b
(a) log
a
(k)) et est donc quivalent un changement dunit
de mesure. Nous utiliserons partout dans la suite le logarithme nperien ln(k).
Nous avons raisonn jusqu maitenant en considrant une exprience dont les
k issues A
1
, A
2
, . . . , A
k
taient quiprobables, et nous avons dit que le degr din-
certitude tait gal ln(k). On peut donc considrer que chaque issue A
i
apporte
une incertidude gale
ln(k)
k
= (
1
k
) ln(
1
k
)
2
Ainsi dans le cas plus gnral, o lexprience admet k issues A
1
, A
2
, . . . , A
k
ayant respectivement pour probabilit de se produire p
1
, p
2
, . . . , p
k
, il est naturel
de poser pour mesure du degr dincertitude de :
H() = p
1
ln(p
1
) p
2
ln(p
2
) . . . p
k
ln(p
k
)
2 Proprits de lentropie
Le lecteur trouvera ci-dessous quelques proprits de lentropie concernant
une exprience .
proposition 1 :
H() 0, lentropie dune exprience est toujours positive ou nulle.
proposition 2 :
H() = 0 i
0
tel que P(A
i
0
) = 1 et i, i = i
0
P(A
i
) = 0
proposition 3 :
H() maximum pour P(A
1
) = P(A
2
) = . . . = P(A
k
) =
1
k
Pour dmontrer ce rsultat nous allons utiliser le fait que xln(x) est une
fonction convexe et lingalit de Jensen.
Ingalit de Jensen :
Soitf une fonction convexe sur un intervalle [a, b]
x
1
, x
2
, . . . , x
k
[a, b] et
1
,
2
, . . . ,
k
0 tels que

k
i=1

i
= 1 on a :

1
f(x
1
) +
2
f(x
2
) + . . . +
k
f(x
k
) f(
1
x
1
+
2
x
2
+ . . . +
k
x
k
)
Appliquons lingalit ci-dessus la fonction f(x) = xln(x)
P
1
, P
2
, . . . , P
k
[0, 1] on aura :

k
i=1

i
P
i
ln(P
i
) (

k
i=1

i
P
i
) ln(

k
i=1

i
P
i
)
ou encore
(

k
i=1

i
P
i
) ln(

k
i=1

i
P
i
)

k
i=1

i
P
i
ln(P
i
)
Cette ingalit est vraie
1
,
2
, . . . ,
k
avec

k
i=1

i
= 1 donc en particu-
lier pour
i
=
1
k
i, lingalit ci-dessus devient
((
1
k
)

k
i=1
P
i
) ln((
1
k
)

k
i=1
P
i
) (
1
k
)

k
i=1
P
i
ln(P
i
)
or

k
i=1
P
i
= 1
on obtient
(
1
k
) ln(
1
k
) (
1
k
) H()
ln(
1
k
) H() ou encore H() ln(k)
proposition 4 :
Soit et deux expriences indpendantes on a H() = H() + H()
proposition 5 :
Soit et deux expriences quelconques ayant k issues A
1
, A
2
, . . . , A
k
et ayant l issues B
1
, B
2
, . . . , B
l
alors
H() = H() + H

()
3
H

(), entropie de lexprience sous condition de lexprience est


gale la valeur moyenne des entropies conditionnelles H
A
i
()
ie H

()=

k
i=1
P(A
i
) H
A
i
() o H
A
i
() est lentropie de lexprience
sachant que a eu lissue A
i
:
H
A
i
() =

l
j=1
P
A
i
(B
j
) ln(P
A
i
(B
j
)) avec P
A
i
(B
j
) =
P(A
i
B
j
)
P(A
i
)
proposition 6 :
, on a H

() H()
proposition 7 :
Si A
k
=
1

2
. . .
k
nous avons
H(A
k
) = H(
1
) + H

1
(
2
) + . . . + H

2
,...,
k1
(
k
)
H(A
k
) H(
1
) + H(
2
) + . . . + H(
k
)
3 Dnition de la notion dinformation
Une mesure ou une observation quelconque prcdant peut restreindre
la quantit des issues possibles de lexprience et en diminue par l mme
le degr dincertitude. Ainsi le degr dincertitude de lexprience qui
consiste trouver quel est le plus lourd de trois poids se trouve diminu
aprs comparaison de deux dentre eux. An que le rsultat de la mesure
(de lobservation) puisse se faire sentir sur lexprience qui la suit, il est
bien entendu ncessaire que ce rsultat ne soit pas connu davance ; on peut
par consquent considrer comme une exprience auxiliaire qui peut ga-
lement admettre plusieurs issues. Le fait que la ralisation de diminue le
degr dincertitude de se rete dans le fait que lentropie conditionnelle
H

() de lexprience sous la condition de la ralisation de savre in-


frieure ou gale lentropie initiale H() de cette mme exprience.
De plus si est indpendante de , la ralisation de ne diminue pas len-
tropie de : H

() = H() ; par contre si le rsultat de prdtermine


lissue de de , lentropie conditionnelle de devient nulle H

() = 0
De la sorte la diffrence I(, ) = H() H

() indique dans quelle


mesure la ralisation de lexprience diminue lincertitude de , cest
dire ce que nous apprenons de nouveau sur lissue de lexprience en
effectuant la mesure (lobservation) ; cette diffrence est appele quan-
tit dinformation relative lexprience contenue dans lexprience ,
ou plus brivement, information relative contenue dans . Lintrt de
cette notion provient du fait quelle permet dvaluer linuence, sur une
exprience dtermine , dune autre exprience , par la "diffrence den-
tropie" :I(, ) = H() H

()
On peut dnir lentropie H() de lexprience comme linformation
concernant et contenue dans lexprience elle mme (car H

() = 0)
4
ou comme la plus grande information possible concernant (linformation
totale concernant ). Autrement dit lentropie H() de lexprience est
gale linformation que nous obtenons aprs avoir effectu cette exp-
rience, cest dire linformation moyenne contenue dans une issue de
lexprience .
proposition 8 :
I(, ) = I(, )
En effet
H() = H()
H() + H

() = H() + H

()
H() H

() = H() H

()
I(, ) = I(, )
proposition 9 :
Soit A
k
=
1

2
. . .
k
une exprience compose directement oriente vers
lexprience (H

(A
k
) = 0) alors
A
k
dtermine entirement (ie H
A
k
() = 0) si et seulement si H(A
k
) =
H()
4 Rsolution de quelques problmes de logique
4.1 Jeux de logique
Pour illustrer les notions et propositions ci-dessus, nous examinerons ici quelques
problmes de logique bien connus.
a) On sait que les habitants dune ville A disent toujours la vrit, tandis que les
habitants dune ville voisine B mentent toujours. Un observateur X se trouve dans
une des deux villes, mais ignore laquelle.
En interrogeant un passant (les habitants de A peuvent aller en B et vice versa) il
doit dterminer :
dans quelle ville il se trouve.
dans quelle ville vit son interlocuteur.
dans quelle ville il se trouve et dans quelle ville vit son son interlocuteur.
On demande quel est le nombre minimal de questions poser, et quelles sont ces
questions. Le passant ne rpondant que par OUI ou par NON. Supposons que X
ait dterminer dans quelle ville il se trouve. Lexprience , dont le rsultat nous
intresse ici, peut avoir deux issues quiprobables, H() = ln(2). Par ailleurs
lexprience , consistant en une question pose par X un passant, a galement
deux issues (OUI ou NON) H() ln(2). Dans le problme on demande sil est
possible de poser une question de telle sorte que linformation I(, ) contenue
5
dans la question sur lexprience soit gale lentropie H() = ln(2) de
lexprience , cest dire de sorte que lissue de dtermine entirement lissue
de . On a vu (proposition 9) quil faut que H() = H().
Il suft pour cela que la question soit telle quune rponse afrmative et une
rponse ngative y soit galement probable et que lissue de lexprience d-
termine entirement lissue de (cest sous cette condition seulement qua lieu
lgalit H

() = 0, qui indique que la question est "entirement oriente" vers


la dtermination de lissue de ). Dans ces conditions on aura :
I(, ) = H() = H() = ln(2)
Ces conditions sont remplies par la question "Vivez-vous dans cette ville ?". Une
rponse afrmative ne peut tre donne que dans la ville A et une rponse nga-
tive que dans la ville B. On voit encore plus simplement comment X peut laide
dune seule question, tablir dans quelle ville vit son interlocuteur. Il lui suft
pour cela de poser une question quelconque dont il connat davance la rponse,
par exemple "Est-ce que deux fois deux font quatre ?"
Si X doit dterminer la fois dans quelle ville il se trouve et dans quelle ville vit
son interlocuteur, une seule question ne peut sufre car lexprience qui nous
intresse peut avoir 4 issues quiprobables, H() = ln(4). Il lui faudra poser les
deux questions prcdentes.
b) Soit trois villes A, B et C telles que les habitants de A disent toujours la v-
rit, les habitants de B mentent toujours, tandis que les habitants de C donnent
alternativement une rponse vraie et une rponse fausse. Un observateur X veut
dterminer dans quelle ville il se trouve et dans quelle ville vit son interlocuteur.
Combien de questions doit-il poser celui-ci si son interlocuteur ne rpond que
par OUI ou NON toutes les questions ?
Lexprience a ici 9 issues quiprobables, H() = ln(9). Soit A
k
=
1
,
2
, . . . ,
k
lexprience compose de k questions pose par X.
Lentropie des questions
1
,
2
, . . . ,
k
est au plus gale ln(2). Or
H(A
k
) = H(
1

2
. . .
k
) H(
1
) + H(
2
) + . . . + H(
k
) k ln(2)
(proposition 7)
Si k = 3 linformation obtenue peut tout au plus tre gale 3 ln(2) = ln(8) <
ln(9). Ainsi trois questions ne peuvent donc sufre lucider la fois la situation
de X et le lieu de rsidence de son interlocuteur. Il est par contre possible que
quatre questions judicieusement poses permettent de rsoudre le problme (4
ln(2) = ln(16) > ln(9)).
Le lecteur vriera que les quatre questions suivantes permettent lobservateur
X dlucider ce quil souhaite.
1) Suis-je dans une des villes A et B?
6
2) Suis-je dans la ville C?
3) Habitez-vous la ville C?
4) Suis-je dans la ville A?
Des rponses identiques aux questions 1) et 2) montrent que linterlocuteur de X
habite C . . .
3) Combien faut-il de questions pour deviner un nombre entier positif au plus gal
n, choisi en pense par un interlocuteur, si celui-ci ne rpond que par OUI ou
NON aux questions qui lui sont poses ?
La rponse bien connue est le plus petit entierk tel que k
ln(n)
ln(2)
= log
2
(n). La
recherche dichotomique est un exemple parmi tant dautres o les notions dinfor-
mation et dentropie sappliquent.
4.2 Problme de dtermination de monnaies fausses laide de
peses
On dispose de 12 pices de monnaies, 11 dentre elles ont le mme poids
tandis que la dernire qui est fausse a un poids diffrent des autres. Quel est le
nombre minimum de peses sur une balance plateaux qui permettra, sans utili-
ser de poids de dcouvrir la pice fausse et de dterminer si elle plus lourde ou
plus lgre que les autres.
Lexprience possde ici 24 issues possibles (chacune des 12 pices peut tre
plus lourde ou plus lgre). Ainsi H() = ln(24) = 3.178
Chaque pese a trois issues possibles : Equilibre, penche Gauche, penche
Droite. Soit A
k
=
1

2
. . .
k
o
i
reprsente une pese. Pour rpondre au pro-
blme il est ncessaire que H(A
k
) ln(24). Or H(A
k
) k ln(3) k 3
(ln(3) = 1.098)
A priori trois peses peuvent sufre.
a) Choix de la premire pese
1
:
On place i pices sur chaque plateau P(E) =
(244i)
24
; P(G) =
2i
24
; P(D) =
2i
24
H(
1
) sera maximum si et seulement si P(E) = P(G) = P(D) i = 4 dans
ce cas on aura H(
1
) = ln(3) = 1.098.
b) choix de la deuxime pese
b-1) Lors de la premire pese avec 4 pices dans chaque plateau les plateaux
restent en quilibre, donc il reste 4 pices suspectes. Pour la seconde pese, il est
sans intrt de placer des pices notoirement vraies sur chaque plateau de la ba-
lance. La seconde pese consiste placer sur le plateau droit de la balance i de
nos pices suspectes et sur le plateau gauche j i de ces pices et i j des pices
vraies. Pour chaque couple (i, j) on va calculer les trois probabilits P(E), P(G) et
P(D) et retenir comme pese celle o lentropie H(
2
) est la plus grande.
7
i j P(E) P(D) P(G) H(
2
)
1 1 1/2 1/4 1/4 1.039...
1 0 3/4 1/8 1/8 0.735...
2 2 0 1/2 1/2 0.693
2 1 1/4 3/8 3/8 1.082... *
2 0 1/2 1/4 1/4 1.039...
3 1 0 1/2 1/2 0.693...
3 0 1/4 3/8 3/8 1.082... *
4 0 0 1/2 1/2 0.693...
On voit sur ce tableau que deux peses nous donnent la plus grande entropie.
Choisissons la pese qui consiste placer 2 pices suspectes sur le plateau droit,
une pice suspecte et une pice vraie sur le plateau gauche. On voit facilement
quon peut dterminer ensuite laide dune seule pese lissue de . En effet si
la pese
2
possde lissue E, la pice fausse sera lunique pice douteuse qui ne
participe pas la seconde pese, pour savoir si elle plus lourde ou plus lgre il
sufra de la comparer une pice notoirement vraie laide dune troisime pe-
se.
Si la pese
2
possde lissue D (lissue G est symtrique), la pice fausse est
soit lune des deux pices de droite (elle est alors plus lourde que les autres) ;
soit lunique pice douteuse du plateau gauche (elle est alors plus lgre que les
autres).
En comparant les deux pices de droite laide dune troisime pese nous conna-
trons lissue de . Si on obtient lquilibre la pice fausse est la troisime pice
douteuse qui est plus lgre ; dans le cas contraire la pice fausse est la plus lourde
des 2 pices compares.
b-2) Lors de la premire pese le plateau de droite lemporte (lautre cas est sy-
mtrique).
Dans ce cas, la pice fausse est lune des quatre pices de droite et elle est alors
plus lourde que les autres, ou une des quatre pices de gauche et elle est alors plus
lgre. Pour la seconde pese, nous pouvons mettre sur le plateau droit : i
1
pices
de "droite" et i
2
pices de "gauche" et sur le plateau gauche, j
1
pices de "droite"
et j
2
pices de "gauche", et en plus (i
1
+ i
2
) (j
1
+ j
2
) pices vraies si lon sup-
pose que (i
1
+ i
2
) (j
1
+ j
2
). On peut ici encore dresser un tableau analogue au
prcdent.
Comme le nombre de variantes possibles est assez lev, il est plus astucieux dex-
clure ds le dbut certaines dentre elles. Remarquons que comme linformation
que peut donner la troisime pese sur ne peut excder ln(3), il ne doit nous res-
ter aprs deux peses quau plus trois issues possibles de lexprience car sinon
la troisime pese
3
ne pourra sufre dterminer entirement lissue de . Il en
rsulte que le nombre de pices suspectes ne participant pas la pese ne doit pas
8
excder 3, puisque dans le cas o la pese
2
admet lissue E, ce sont ces pices
qui resteront suspectes et une troisime pese ne sufra pas pour rpondre. Nous
aurons donc i
1
+ i
2
+ j
1
+ j
2
5. Par ailleurs, si lexprience
2
admet lissue
D, alors la pice fausse est soit lune des i
1
pices qui se trouve sur le plateau de
droite et est plus lourde ; soit lune des j
2
pices places sur le plateau de gauche
et est plus lgre. Le raisonnement est analogue dans le cas o
2
admet lissue
G. Dans les deux cas pour conclure avec une seule pese il est ncessaire davoir
i
1
+j
2
3 et i
2
+j
1
3, en conclusion i
1
+i
2
+j
1
+j
2
=5 ou 6. Il est clair dautre
part que doivent tre galement satisfaites les ingalits i
1
+ j
1
4, i
2
+ j
2
4
et (i
1
+ i
2
) j
1
+ j
2
) 4.
i
1
i
2
j
1
j
2
P(E) P(D) P(G) H(
2
)
2 1 2 1 1/4 3/8 3/8 1.082...
2 1 2 0 3/8 3/8 1/4 1.082...
2 1 1 1 3/8 3/8 1/4 1.082...
1 2 1 2 1/4 3/8 3/8 1.082...
1 2 0 2 3/8 3/8 1/4 1.082...
2 2 1 1 3/8 1/4 3/8 1.082...
3 1 1 0 3/8 3/8 1/4 1.082...
1 3 0 1 3/8 1/4 3/8 1.082...
2 2 1 1 1/4 3/8 3/8 1.082...
2 2 1 0 3/8 1/4 3/8 1.082...
2 2 0 1 3/8 3/8 1/4 1.082...
3 2 1 0 1/4 3/8 3/8 1.082...
2 3 0 1 1/4 3/8 3/8 1.082...
Pour toutes les valeurs possibles de i
1
, i
2
, j
1
, j
2
on a H(
2
) = 1.082. . .
Choisissons par exemple i
1
= 2, i
2
= 1, j
1
= 2, j
2
= 1.

2
admet lissue E
La pice fausse est une des deux pices suspectes tre plus lgres ne par-
ticipant pas la pese 2. Il suft pour la dterminer, de comparer ces deux
pices entre elles ou de comparer lune dentre elles avec une pice certai-
nement vraie.

2
admet lissue D :
La pice fausse est soit lune des deux pices de droite, elle est alors plus
lourde, soit lunique pice de gauche, elle est alors plus lgre. Pour dcou-
vrir la pice fausse, il nous suft de comparer entre elles les deux pices
suspectes du plateau de droite.

2
admet lissue G :
Avec un raisonnement analogue celui du cas prcdent, il nous suft de
9
comparer entre elles les deux pices suspectes tre plus lourdes du plateau
de gauche.
c) Calcul des entropies :
On sait que H() = 3, 0178 . . ., dautre part
H(
1

3
) = H(
1
) + H

1
(
2
) + H

2
(
3
)
H(
1
) = ln(3) = 1.098 . . .
H

1
(
2
) =

3
i=1
P(A
i
) H
A
i
(
2
) = (
1
3
) H
A
i
(
2
)
On a constat que pour tout i
H
A
i
(
2
) = (
1
4
) ln(
1
4
) (
3
8
) ln(
3
8
) (
3
8
) ln(
3
8
) = 1.082 . . .
Pour la troisime pese deux cas sont considrer :

2
a lissue de probabilit
1
4
, soit B
1
cette issue.
Dans ce cas on comparera deux pices de poids diffrents,
3
na que
deux issues possibles H
B
1
(
3
) = ln(2).

2
a lune des deux issues de probabilit
3
8
, soit B
2
et B
3
ces deux issues.
Dans chacun de ces deux cas
3
a trois issues quiprobables.
H
B
2
(
3
) = ln(3) = 1.098 . . . et H
B
3
(
3
) = ln(3) = 1.098 . . .
Ainsi H

2
(
3
) = (
1
4
) H
B
1
(
3
) +(
3
8
) H
B
2
(
3
) +(
3
8
) H
B
3
(
3
) =
(
1
4
) ln(2) + (
3
4
) ln(3) = 0.997 . . .
Finalement H(
1

3
) = 1.098 . . . + 1.082 . . . + 0.997 . . . = H().
5 Le jeu du Master Mind
5.1 Rgle du jeu
Le jeu se joue deux joueurs A et B. Le joueur A dispose de pions de couleur
et cache une combinaison de p pions. Soit n le nombre de couleurs diffrentes. Le
joueur B doit chercher deviner la combinaison cache. Pour cela il propose des
combinaisons de p pions au joueur A. Pour chaque combinaison propose par le
joueur B, A indique :
Le nombre de pions biens placs
Le nombre de pions mals placs
On raisonnera dans la suite de ce document avec n = 6 (six couleurs) et p = 4
(quatre positions). On associera aux six couleurs les entiers 1,2,3,4,5,6.
Avec ce codage si le joueur A a cach par exemple la combinaison 1 5 2 5 et que
le joueur B propose la combinaison 3 5 1 2, La rponse de A sera 1 bien plac (le
5 en position 2) et 2 mals placs (le 1 et le 2).
Le joueur B doit sefforcer de deviner la combinaison cache en posant le moins
de questions possibles ; chaque combinaison propose est une question.
Notations : x et y signieront respectivement "bien placs" et "mal placs", ainsi
10
la rponse 1x 2y indiquera que la combinaison propose comporte 1 pion bien
plac et 2 mal placs par rapport la combinaison cache.
5.2 Construction dune suite de questions optimales
Lexprience dont le rsultat nous intresse ici a 6
4
issues possibles et il
est naturel de considrer ces issues comme quiprobables de sorte que H() =
ln(6
4
) = 4 ln(6). Lexprience
1
consistant en une premire question peut
avoir 14 issues, 14 rponses : 0x 0y, 0x 1y, 0x 2y, 0x 3y, 0x 4y, 1x
0y, 1x 1y, 1x 2y, 1x 3y, 2x 0y, 2x 1y, 2x 2y, 3x 0y, 4x 0y, par
consquent H(
1
) ln(14) (proposition 3).
Considrons lexprience compose A
k
=
1

2
. . .
k
qui consiste en k ques-
tions poses. Lentropie dune question
i
est au plus gale ln(14), ainsi H
A
k

k ln(14) (proposition 7).
On veut que lissue de notre exprience compose A
k
dtermine entirement dans
tous les cas lissue (i.e H
A
k
() = 0). Pour que lexprience compose A
k
(for-
me de k questions
i
) permette de trouver sans ambigut lissue de on doit
avoir H(A
k
) = H() et H

(A
k
) = 0 (proposition 9).
Comme on la vu H() = 4 ln(6) = 7.167 . . . et H(A
k
) k ln(14).
Or pour que les k questions
1

2
. . .
k
permettent de trouver lissue de nous
devons avoir H() = H(A
k
) cest dire 4 ln(6) k ln(14) ou encore
k
4ln(6)
ln(14)
2.7
Ce qui veut dire quil est impossible de trouver coup sr la combinaison cache
en moins de trois questions. En fait, il en faudra plus car lentropie dune question

i
(conditionne par
1
. . .
i1
sera strictement infrieure ln(14)).
Ainsi lalgorithme de construction de la suite optimale de questions commencera
par dterminer quelle est la question auxiliaire
1
qui contient la plus grande quan-
tit dinformation I(
1
, ) sur lexprience ; on choisit ensuite la seconde ques-
tion
2
(qui dpend de lissue de
1
) de telle sorte que linformation I(
1

2
, )
soit la plus grande possible etc. . . ; cette faon de procder nous permet de construire
une suite de questions qui, en moyenne, sera optimale pour dcouvrir la combi-
naison cache.
5.3 Algorithme de construction des questions
Nous avons le choix pour
1
entre lune des 1296 possibilits mais nous choi-
sirons une des questions qui possde plus forte entropie (il y en a plusieurs qui
rendent maximum lentropie). Pour calculer lentropie, il faut calculer les 14 pro-
babilits associes chacune des 14 rponses possibles. Pour cela on dnombrera
chacun des 14 sous ensembles qui forment une partition des 1296 possibilits.
En fait pour choisir la premire question il ny a fondamentalement que 5 cas
11
examiner (aux permutations des couleurs prs et aux permutations des pions dune
question prs).
Ces cinq cas sont :
Question avec 4 pions de la mme couleur
Question avec 3 pions de la mme couleur et un pion dune autre couleur
Question avec 2 pions dune couleur et 2 pions dune autre mme couleur
Question avec deux pions dune mme couleur et les deux autres pions
dune couleur diffrentes
Question avec quatre pions de couleurs diffrentes
Le lecteur trouvera dans le tableau ci-dessous des exemples de questions recou-
vrant ces cinq cas. Pour chacune de ces questions nous avons fait gurer dans le
tableau le nombres dlments des 14 sous-ensembles qui lui sont associs ainsi
que son entropie.
Par exemple si nous posons la question "5521" il y a 276 quadruplets parmi les
1296 possibles o la rponse sera 0x1y. Donc la probabilit quon nous rponde
0x1y la question "5521" est gale
276
1296
.
0x0y 0x1y 0x2y 0x3y 0x4y 1x0y 1x1y 1x2y 1x3y 2x0y 2x1y 2x2y 3x0y 4x0y entropie
"5555" 625 0 0 0 0 500 0 0 0 150 0 0 20 1 1.038
"5111" 256 308 61 0 0 317 156 27 0 123 24 3 20 1 1.866
"5511" 256 256 96 16 1 256 208 36 0 114 32 4 20 1 1.999
"5521" 81 276 222 44 2 182 230 84 4 105 40 5 20 1 2.109
"1234" 16 152 312 136 9 108 252 132 8 96 48 6 20 1 2.118
Ainsi nous constatons que la question
1
qui possde la plus grande entropie doit
tre compose de 4 couleurs diffrentes. Cest ce type de question qui partitionne
"le plus quitablement" lensemble des 1296 possibilits.
5.4 Quelques proprits utiles la comprhension du programme
5.4.1 Calcul du nombre de rponses possibles
Soit nbc et nbp les constantes qui indiquent respectivement le nombre de cou-
leurs et le nombre de positions possibles. Calculons nbr le nombres de rponses
possibles. Pour x (nombre de biens placs) donn (0 x nbp), y (le nombre
de mals placs) peut prendre pour valeur 0, 1, 2, . . . , nbp x. Sauf dans le cas o
x vaut nbp 1 qui implique que y ne peut prendre que la seule valeur 0. Ainsi,
pour x = nbp (tous biens placs) on a une seule valeur pour y (y = 0), pour
x = nbp 1 on a encore quune seule valeur pour y. Pour x, 0 x nbp 1,
on a nbp x + 1 rponses possibles (y = 0, 1, . . . , nbp x).
Le nombre nbr de rponses possibles est donc 2 +

nbp2
x=0
(nbp x + 1) =
2 +

nbp+1
i=3
i =
(nbp+1)(nbp+2)
2
1.
12
5.4.2 Construction dune injection de lensemble des couples (x, y) corres-
pondants une rponse possible dans lensemble 0, 1, . . . , nbr
Pour calculer lentropie dune question q, il va falloir connaitre combien dl-
ments possde chacun des nbr membres de la partition des solutions possibles.
Pour cela on devra comparer chacun des nbp-uplets candidats la question q pour
dterminer la rponse en calculant le couple (x, y) et incrmenter ainsi le comp-
teur correspondant. Cette injection va nous permettre connaissant le couple (x, y)
dincrmenter directement le "bon" compteur en evitant de faire toute une serie de
test en cascade. . .
Soulignons que lon va construire une injection et non pas une bijection. En effet
la valeur nbr 1 qui correspondrait au couple (nbr 1, 1) qui nest pas une r-
ponse possible ne sera donc jamais atteinte.
Pour une valeur de x donne, dnombrons le nombre de rponses possibles o
le nombre de bien placs est strictement plus petit que x. Pour chacune de ces
x valeurs possibles (0, 1, . . . , x 1) y pourrait thoriquement prendre nbp + 1
valeurs (0, 1, . . . , nbp) mais seules les valeurs 0, 1, . . . , nbr x sont admissibles.
Ainsi le nombre de rponses possibles o le nombre de bien placs est strictement
infrieur x est gal x(nbp +1)
x(x1)
2
. On choisira donc dassocier une
rponse possible (x, y) lentier ind 0, 1, . . . , nbr
ind x (nbp + 1)
x(x1)
2
+ y
5.4.3 Dtermination du nombre x de biens placs et du nombre y de mals
placs
Soit q
1
et q
2
deux nbp-uplets.
// Calcul de x
x 0
pour i variant de 0 jusqu nbp 1 faire
si q
1
[i] = q
2
[i] alors x x + 1
Pour calculer y on va pour chaque couleur c
i
(0 i nbc) compter son nombre
dapparitions c1
i
dans le nb-uplet q
1
et c2
i
son nombre dapparitions dans le nb-
uplet q
2
. On calcule ensuite la somme s =

nbc1
i=0
min(c1
i
, c2
i
). Il est facile de
voir que le nombre de mals placs est gal s x.
13
// Calcul de y
s 0
pour j variant de 0 jusqu nbc 1 faire
c1 0
c2 0
pour i variant de 0 jusqu nbp 1 faire
si q
1
[i] = j alors c1 c1 + 1
si q
2
[i] = j alors c2 c2 + 1
s s + min(c1, c2)
y s x
5.4.4 Enumration de tous les nbp-uplets possibles
Il y en a nbc
nbp
. Pour numrer tous les nbp-uplets possibles, il faut "simuler"
nbp boucles imbriques, contrles par les variables i
0
, i
1
, . . . , i
nbp1
. Pour cha-
cune des boucles la variable de contrle variera de 0 nbc 1. On notera sol le
tableau qui contient lensemble de tous les nbp-uplets possibles. On obtient ainsi
dans la boucle la plus interne un nbp-uplet quil suft alors de ranger dans une
ligne du tableau sol.
Il nest pas question dcrire "physiquement" ces boucles imbriques. En effet le
nombre dinstructions du programme dpendrait du nombre nbp de positions pos-
sibles. On devrait recrire un nouveau programme pour chaque nouvelle valeur de
nbp !
La rcursivit va nous permettre dcrire un programme gnral qui sera capable
dengendrer tous les nbp-uplets possibles. En effet, on va crire une procdure
rcursive qui va simbriquer, au niveau des appels, nbp fois. On simulera ainsi
les nbp boucles imbriques. La variable locale i, qui dcrit chaque imbrication
les nbc couleurs possibles, aura autant "dincarnations" quil y aura eu dappels
imbriqus. Plus prcisment la variable i du premier appel reprsentera i
0
, celle
du second appel la variable i
1
, etc . . .
Par ailleurs cette procedure utilisera et agira sur trois variables globales, le tableau
sol qui doit contenir au dpart tous les nbp-uplets possibles, la variable entire d
qui indique le nombre de nbp-uplets dj placs, la variable t qui dnote le nbp-
uplet en cours de construction.
14
procedure creer sol (entier j)
entier i
si j = nbp alors
// On a gnr les nbp composantes dun nbp-uplet
// On les range dans la ligne d du tableau sol
pour i variant de 0 jusqu nbp 1 faire
sol[d][i] t[j]
d d + 1
sinon
pour i variant de 0 jusqu nbc 1 faire
// On choisit la couleur i pour la composante j du nbp-uplet t
t[j] i
// Appel rcursif de creer sol pour remplir la composante suivante
creer sol(j + 1)
5.4.5 Gnration dune permutation alatoire de lensemble des nbp-uplets
possibles
Pour que le programme ait des comportements diffrents chaque excution,
il est ncessaire que les nbc
nbp
nbp-uplets possibles soient rangs dans un ordre
diffrent. Pour cela on va simuler nbc
nbp
1 tirages sans remise an dobtenir
une permutation alatoire des lignes du tableau sol. Aprs avoir cr dans un pre-
mier temps tous les nbp-uplets possibles dans le tableau sol, on va dans un second
temps gnrer une permutation alatoire des lignes de ce mme tableau.
Lide est de tirer au sort un premier nbp-uplet. En fait on tire au sort un nombre
entre 0 et nbp1. Sortir ce nbp-uplet du tableau sol, revient le placer en dernire
position en effectuant un change avec le dernier. Puis un tire au sort un nombre
entre 0 et nbp 2 (il ne reste plus que nbp 1 nbp-uplets dans "lurne" sol) et
on effectue lchange entre le nbp-uplet qui porte ce numro et le nbp-uplet qui se
trouve en avant dernire position, etc . . .
15
pour i variant de nbc
nbp
1 jusqu 1 faire
// On tire au sort un nombre k entre 0 et i)
k rand() mod (i + 1)
// On change les lignes k et i du tableau sol
pour j variant de 0 jusqu nbp 1 faire
// aux est une variable de type nbp-uplet qui sert raliser lchange des lignes i et k
aux[j] sol[i][j]
sol[i][j] sol[k][j]
sol[k][j] sol[j]
Rfrences
[1] A.M Yaglom, I.M Yaglom, Probabilit et Information, Collection Sigma.
16