Thorie de linformation

Application la physique
par

Jacques CLAVIER
Ingnieur gnral de larmement (CR)
Ancien lve de lcole polytechnique
Ingnieur de lcole Nationale Suprieure de lAronautique
et de lcole Suprieure dlectricit

1.
1.1
1.2
1.3

1.4

Linformation et la physique .................................................................

Information et deuxime principe de la thermodynamique ....................
Lentropie......................................................................................................
Lexprience .................................................................................................
1.3.1 Information et entropie thermodynamique......................................
1.3.2 Exprience type ..................................................................................
Rendement dune exprience. Problme de la mesure ...........................
1.4.1 Exprience...........................................................................................
1.4.2 Seuils de dcision...............................................................................

E 3 084 - 2

2.
2.1
2.2
2.3

Information contenue dans une loi physique ..................................

Constatations ...............................................................................................
Dfinition ......................................................................................................
Gnralisation..............................................................................................

6
6
6
6

3.
3.1
3.2

Information et civilisation.....................................................................
Une formule dvolution .............................................................................
Discussion ....................................................................................................

7
7
7

4.
4.1
4.2

Circulation de linformation .................................................................

Vie de linformation .....................................................................................
Conclusion....................................................................................................

8
8
9

5.
5.1
5.2
5.3

Valeur de linformation ..........................................................................

Retour sur la dfinition de linformation ...................................................
Premire solution ........................................................................................
Perspective dune thorie gnrale............................................................

9
9
9
10

6.

Conclusion .................................................................................................

11

Pour en savoir plus...........................................................................................

Doc. E 3 085

et article est le dernier consacr la thorie de linformation. Les deux prcdents en ont jet les bases et examin les dveloppements, tout en limitant le concept son acceptation quantitative et probabiliste, et le domaine
celui des tlcommunications. Cet article traite le champ dapplication, certes
la physique et ses lois, mais aussi la sociologie et lhistoire. Il esquisse surtout une approche qualitative de linformation en liant limportance quelle revt
une notion mesurable de valeur.
On examine successivement :
les rapports de linformation la physique, plus prcisment la thermodynamique, puis lexprience au sens scientifique du terme ;
ces mmes rapports lexpression des lois naturelles ;
les liens de linformation avec la civilisation, grante du capital informatique disposition de ses membres ;
sa dynamique dans lhistoire, son importance et lide de valeur laquelle
elle conduit.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 3 084 - 1

THORIE DE LINFORMATION

_____________________________________________________________________________________________________________

On peut stonner que lon ne traite pas le sujet de linformation et la vie, plus
prcisment de la biologie. Sil est certain que la structure chimico-spatiale de la
molcule dADN contient une information capitale, ncessaire au dveloppement du vivant, il est douteux, aujourdhui, quelle soit suffisante ; bien dautres
facteurs porteurs dinformations interviennent environnement, ducation...
pour aboutir ltre dans sa plnitude et sa dynamique. Ces considrations,
complexes, nont pas leur place dans cet article.

1. Linformation
et la physique

Ldifice, grandiose, de la thermodynamique est construit sur

deux principes.
Pour un systme isol :
1. lnergie se conserve ;

1.1 Information et deuxime principe

de la thermodynamique
La majorit des travaux sur linformation a t effectue par les
savants mathmaticiens et ingnieurs des tlcommunications pour
lesquels la thorie prsentait un attrait et des enseignements pratiques immdiats.
Toutefois, le fait que les expriences sont lvidence sources
dinformation et, peut-tre, uniques sources, la similitude des formules relatives lentropie thermodynamique et linformation,
enfin, lemprunt mme des tlcoms aux sciences physiques, ne
pouvaient manquer de poser la question du rapport de linformation
et de la physique.
Beaucoup de travaux y ont t consacrs, notamment par Lon
Brillouin. Ils portent, notamment, sur lexprience, son rendement,
le problme de la mesure, le contenu informationnel des lois scientifiques. Ils portent sur les liens dj voqus entre linformation et
lentropie, ce qui a conduit Brillouin proposer rien moins quune
modification, disons une variante, du 2e principe.
On rappelle ce principe : pour un systme isol, lentropie est
croissante ou constante :
DS > 0
Ce fameux principe est ainsi modifi : pour un systme isol qui
fournit de linformation (DI > 0) o en absorbe (DI < 0), on a :
D S DI > 0
I est mesur en units thermodynamiques. Cette relation ne se
dmontre pas, que sur des exemples. Elle donne nombre dexplications satisfaisantes, comme celle du dmon de Maxwell. Elle signifie en particulier :
que toute exprience (DI > 0) dgrade le systme
concern ;
que la fourniture dinformation (DI < 0) un systme retarde
sa dgradation. Lide dapplication aux processus vitaux vient
immdiatement lesprit.

2. lentropie se conserve (systme rversible) ou crot (systme

irrversible).
Il est remarquable que lapplication de ces deux seuls principes
suffise btir lessentiel de la thorie et expliquer des proprits
aussi capitales que :
limpossibilit du mouvement perptuel ;
la ncessit de disposer de deux sources tempratures diffrentes T1, T2 pour obtenir du travail dans les machines thermiques ;
T
le rendement maximal de ces machines, gal 1 -----1- .
T2
Lexemple ci-aprs, classique, considre un systme isol
compos de deux sources de chaleur tempratures T1 et T2 et
dune machine capable de fournir du travail selon les conventions :
travail fourni DW (si DW < 0 il sagit de travail absorb) ;
chaleurs absorbes DQ1, DQ2 (si DQ1 ou DQ2 < 0 il sagit de chaleur fournie).
On note que les conventions de signe sont inverses, ce qui est
regrettable.
Lapplication des deux principes donne :
DW DQ1 DQ2 = 0 conservation de lnergie ;
D Q2
DQ
D S = ----------1- + ----------- > 0 entropie croissante ou constante.
T2
T1
Un calcul immdiat conduit :

T
DW
----------- = 1 -----1- = rendement maximal dans le cas
D Q1
T2
rversible ( D S = 0 ).
Le lecteur vrifie sans peine les trois proprits prcdemment
nonces (figure 1).

Source S1
T1

--Q1

Machine M

+ Q2

1.2 Lentropie
Lentropie, notion fondamentale en thermodynamique, a dabord
t dfinie comme le cot, en temprature, auquel schangent les
quantits de chaleur.
Si un systme reoit la quantit de chaleur DQ leve la temprature T, son entropie saccrot de :
DQ
D S = -------T

E 3 084 - 2

W
S1 fournit --Q1
M fournit +W
S2 absorbe +Q2

Figure 1 Systme isol rversible

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

Source S2
T2

_____________________________________________________________________________________________________________ THORIE DE LINFORMATION

Un pas dcisif a t franchi en physique (Gibbs, Boltzmann,

Planck) lorsque, sur la constatation que la chaleur ntait quune
nergie cintique dagitation des particules, lentropie mesurait finalement la probabilit dun tat du systme tudi :

S = k <n P
S
entropie en J/K,
k
constante de Boltzmann (1,38 1023 J/K)
P nombre de configurations appeles complexions qui concourent raliser ltat considr du systme.
Or, par dfinition, la probabilit de ltat considr est proportionnelle au nombre de ses complexions : le principe de Carnot
( DS > 0 ) est simplement lexpression de la tendance statistique des
systmes voluer vers les structures les plus probables. Mais,
attention, derrire cette vidence se cache un redoutable pige qui
fonctionne encore. On fait dire au 2e principe quil conduit lvolution des systmes isols vers un dsordre croissant. Lordre et
dsordre sont des notions subjectives qui se rapportent lobservateur, lequel tient le plus souvent pour ordonn un tat particulier qui
lui convient et dsordonns tous les autres videmment beaucoup
plus nombreux donc plus probables. Ainsi on dclare justement
ordonne la suite des nombres entiers et dsordonnes toutes les
autres, ceci prs quune suite quelconque est aussi (peu) probable
que la suite naturelle.
Exemple : une urne contient N /2 boules rouges et N /2 boules
blanches, initialement spares dans deux compartiments communiquant par un trou. On agite violemment. Quelle est lentropie du systme dans ltat o il y a R boules rouges et B boules blanches dans
un compartiment ?
Ltat considr sobtient en choisissant R boules rouges parmi les
N /2 et B blanches parmi les N /2.
avec

Il peut tre ralis de n = C N 2 C N 2 faons diffrentes. Donc n

est le nombre de complexions de ltat en cause dont la probabilit est
n
(2N tant le nombre dtats possibles).
p = -----2N
Lentropie est, une constante prs :

S = k <n n
N
Elle est maximale quand n lest, donc R = B = ---- .
4
Cest videmment le cas le plus probable parce que ralisable de
multiples faons.
Si, par contre, on numrote les boules et que lobservateur appelle
maintenant tat le fait que le compartiment comporte R boules rouges
et B blanches identifies, cet tat, alors, ne sobtient que dune seule
1
faon. Il est aussi (peu) probable p = -----que ltat qui rassemble tou
2N
tes les boules dun seul ct et quil aurait tendance nommer
ordonn.

On est frapp par lanalogie des deux formules dfinissant I et S.

Si lentropie mesure ltat dorganisation ou de dsorganisation dun systme (rserve ayant t faite sur ces mots), linformation caractrise le fait davoir acquis une certaine connaissance
de cet tat.
Pour prciser cela, il faut bien comprendre que lacquisition
dinformation sur ltat dun systme implique une exprience, cest-dire le couplage, pendant un temps, du systme observ ou objet
O, du systme de mesure M, et dun tre intelligent E. On sait encore
mal aujourdhui o commence et sarrte E. On peut sans danger
inclure lil, loreille de E, voire les nerfs optiques et auditifs dans M.

1.3.2 Exprience type

Quoi quil en soit, lexprience type se droule comme suit, en
quatre tapes :
1re tape : prparation

O et M sont dcoupls. La manipulation na pas commenc.

E sait qua priori le nombre de complexions de O est P0. Il associe naturellement O lentropie O0 = k <n P0. On saisit nouveau le
caractre subjectif de lentropie. Car enfin, le systme U est, probablement, dans un certain tat, mais E lignore. En ce sens, lentropie
mesure le manque dinformation que lon a sur ltat dun systme.
On note Mo lentropie initiale de M.
2e tape : excution
On effectue lexprience : on couple O et M. Il y a interaction. On
cherche videmment que M perturbe O le moins possible : cest le
cas des expriences classiques o la lumire employe ninflue pratiquement pas sur lobservation des objets familiers comme sur celle
des autres. Ce nest plus le cas quand sont en jeu dimension, temps,
nergies faibles do lentre en scne du principe dincertitude.
3e tape : sparation et constat

O et M sont spars. Grce M, E a appris quelque chose sur O. Il

constate que le nombre de complexions quil faut lui attribuer est
pass de P0 P1.
P1
Lentropie de O a diminu DO = k <n ------ < 0.
P0
P0
Linformation acquise est DI = k <n ------ = DO > 0, exactement
P1
gale, au signe prs, la variation dentropie de lobjet.
En mme temps, lentropie de M a vari de DM comme a vari de
DS, lentropie du systme isol O + M :
DS = DO + DM = DM DI > 0
La meilleure connaissance quon a de O, qui sest traduite par une
information sur lui et une diminution de son entropie, est obtenue
au dtriment dune dgradation de M, on dit, quelquefois, du laboratoire.

1.3 Lexprience

Si M a perturb O, ltude est beaucoup plus dlicate ; on ne

laborde pas.

1.3.1 Information et entropie thermodynamique

4e tape : retour au point de dpart

On a vu que, si un phnomne quelconque mais comprhensible

a la probabilit a priori p de se produire, la constatation de ce phnomne correspond lacquisition dune quantit dinformation :
I = log2 p
On dit encore que le phnomne tait porteur de linformation I.
En changeant dunit, on peut crire :
I = k <n p
1

Dans ces conditions, 1 sh p = --- vaut kL2 1023 ou 0,7 k uni

2
ts thermodynamiques.

La diminution dentropie de O nest que momentane. O reprend

vite sa valeur O0. On dit que O oublie linformation.
Dans ce cas gnral, lentropie S du systme aura cr au moins
de :
DS = DM > DI
do :
DS DI > 0
Si, par contre, on se sert de linformation acquise pour agir sur O
et matrialiser en quelque sorte la restriction du champ de ses tats,
lentropie de O peut avoir diminu durablement.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 3 084 - 3

THORIE DE LINFORMATION

_____________________________________________________________________________________________________________

Les deux exemples ci-aprs illustrent ces propos.

Exemple 1 : soit une exprience qui consiste dterminer si, un
instant donn, une molcule isole se trouve dans la partie suprieure
ou infrieure dune enceinte ferme.
On distingue :
lobjet = enceinte V + molcule m ;
linstrument = jeu de miroirs, source et cellule photolectrique
destine dtecter, par diffraction, la prsence de m ;
lexprimentateur E.
On rappelle que, dans un tel exemple, lentropie de m est k log v.
E constate, en lisant ses cellules, que m est en haut. MomentanV
ment, lentropie passe k <n ---, do variation O = k <n 2 < 0 tandis
2
que linformation I = k <n 2 correspondant 1 sh est obtenue. On a
de plus M > I. Si lon en reste l, la molcule laquelle le volume V
continue dtre offert pourra, nouveau, se dplacer dans V et reprendra son entropie initiale.
Le systme total a vu son entropie crotre de S = M et lon a bien
S I > 0.
Pour obtenir une information I, il a fallu dgrader le systme en
DI
fait les instruments de mesure de S. Le rendement ------- est < 1.
DS
Si, par contre, lexprimentateur tient compte de ce quil a appris et
introduit par exemple une cloison dans V qui pige m l o elle est, il
fournit au systme la quantit dinformation I (< 0).
Lentropie S diminue dun peu moins de O, car lintroduction de la
cloison implique un lger frottement donc une petite dissipation de
chaleur, les instruments enfin ninterviennent pas et lon a encore :
D S DI > 0
Pour obtenir une diminution S de lentropie du systme (pour
lessentiel de lobjet), il a fallu dpenser une quantit dinformation I.
D S est < 1.
Compte tenu des signes, le rendement -------DI
Cet exemple montre comment, finalement, une information est
obtenue aux dpens de lentropie dun systme (surtout de linstrument de mesure) et comment une information permet de diminuer
cette mme entropie (surtout de lobjet).
Exemple 2 : lexemple du dmon de Maxwell (figure 2) est de ces
paradoxes clbres en physique, la fois par la notorit de leur auteur
et les questions gnantes quil pose.
Un gaz remplit les deux compartiments dune enceinte, spars par
une cloison perce dun trou et munie dun clapet. Lenceinte est
temprature uniforme T, avec distribution gaussienne des vitesses. Un
dmon malin veille au clapet et laisse passer de A vers B les molcules
rapides et de B vers A les lentes. Il ferme la porte aux passages inverses.
Au bout dun certain temps, B senrichit de molcules chaudes, A de
molcules froides. Lquilibre des tempratures est rompu. Le thermodynamicien de service branche par rflexe une machine thermique
entre les deux sources, on obtient du travail.
Le paradoxe peut tre gnralis en imaginant un grand nombre de
clapets dune grille sur le feu actionne par tous les dmons de lenfer,
avec, comme rsultat, le gel de leau contenue dans la casserole sur la
grille.
On glisse sur les polmiques et on remarque que, pour agir, le
dmon doit tre inform et voir les molcules, chose impossible sil est
en quilibre thermique avec le corps noir enceinte .
Il doit se munir, par exemple, dune lampe de poche dont la pile
dlivrant lnergie E ne chauffe pratiquement pas. Le filament port
E
E
T (T > T ) perd lentropie ----- , le gaz gagne lentropie --- .
T
T
Au total, il y a gain dentropie S du systme.

E 3 084 - 4

1er bilan :
E E
D S 1 = --- ----- > 0 conformment au 2e principe.
T T
Pour intervenir, le dmon doit avoir capt au moins 1 quantum,
do accroissement de lentropie du dmon.

2e bilan :

hn
D S 2 = ------ = l k
T

( > 1 puisque h > kT, le quantum doit tre distingu du bruit thermique).
Le dmon, dsormais averti, peut agir pour diminuer lentropie du
gaz.
Il y avait P0 complexions du gaz, il y en a maintenant P0 P0 , do
le 3e bilan.
3e bilan :
D P0
D S 3 = k [ <n ( P 0 D P 0 ) <n P 0 ] k ---------P0
Par addition des bilans partiels :
DP
E E
DS = DS 1 + DS 2 + DS 3 = --- ----- + k l ---------0- > 0
T T

P0
Au total, lentropie du systme gaz + dmon + lampe a augment
mais lanalyse des postes du bilan est instructive :
la lampe a perdu de lentropie ;
le dmon en a gagn, plus que nen a perdu la lampe, mais il a pu,
en mme temps, obtenir de linformation ;
laquelle lui a permis de diminuer lentropie du gaz.
Pour obtenir de linformation, le sous-systme dmon + lampe
a d finalement accrotre son entropie, ou, comme on dit, dpenser de lentropie ngative ou nguentropie.
Pour diminuer son entropie, le sous-systme gaz a d recevoir
de linformation.
Il y a eu double conversion : nguentropie information nguentropie.

1.4 Rendement dune exprience.

Problme de la mesure
1.4.1 Exprience
Du point de vue de la thorie, on appelle exprience le couplage
dun systme physique avec un instrument de mesure, couplage
ralis en vue dobtenir de linformation.
Celle-ci, soit DI, est obtenue au prix dune dgradation DS de
lentropie du systme form de lobjet et de linstrument et lon a :
D S = DI > 0
soit :

DI
r = -------- < 1
DS

avec rendement de lexprience.

Figure 2 Dmon de Maxwell

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

_____________________________________________________________________________________________________________ THORIE DE LINFORMATION

Il existe galement :
une perturbation par le bruit ;
une incertitude de lobservation.
Sans trop entrer dans le dtail, on admet que toute exprience
ncessite de dpenser un peu dnergie E dont le niveau soit suffisant pour tre distingu du bruit de fond, quil soit thermique ou
quantique. la fin, E se dissipe en tout ou partie en chaleur do
laugmentation de lentropie.
On distingue ainsi deux grandes classes dexpriences :
les expriences macroscopiques, celles o le bruit thermique
lemporte sur les quanta (classe 1) kT >> h temprature ordinaire
on a > 30 m ;
les expriences microscopiques, celles o le bruit quantique
est nettement suprieur kT (classe 2) h >> kT.
Dans les deux cas, la probabilit dobserver un niveau naturel de
bruit > e scrit :
p (bruit > e) = exp( e /kT )
avec e = nh dans le cas quantique.

1.4.2 Seuils de dcision

Voici maintenant comment se pose le problme trs gnral de
lexprimentation.
Un phnomne (prsence dun signal, raction chimique, etc.) a la
probabilit a priori p de se produire.
On se fixe un seuil nergtique S, tel que si lnergie observe
dans le rcepteur dpasse S, on dcide que le phnomne a lieu.
Comment choisir E et S ? Quelles chances a-t-on de se tromper dans
la dcision ?

Tableau 1 Seuils de dcision

Le phnomne

a eu lieu : p

na pas eu lieu :
Ip

a eu lieu : p

na pas eu lieu :
Ip

tat naturel
du rcepteur

tat observ
du rcepteur

niveau > S E

niveau > S

SE
P = exp --------------
kT

SE
P = p exp --------------
kT

niveau > S

niveau > S

S
P = exp -------
kT

S
P = exp -------
kT

niveau < S E
SE
P = I --------------
kT

niveau < S

S
P = ( 1 p ) exp -------
kT

niveau < S

niveau < S
P = (1 p)

S
P = I -------
kT

S
1 exp -------
kT

Pour simplifier les calculs, on pose :

exp( S/kT ) = X

SE
exp -------------- = Y
kT
On observera dans le rcepteur :
ltat 1 avec la probabilit pY ;
ltat 2 avec la probabilit (1 p) X ;
ltat 3 avec la probabilit p (1 Y ) ;
ltat 4 avec la probabilit (1 p)(1 X ).

Si les tats 3 ou 4 sont observs P34 = p (1 Y ) + (1 p)(1 X ) on

aura dcid que le phnomne ne sest pas produit, ce qui est faux
dans le cas 3. La probabilit a posteriori de ne pas stre tromp est :
(1 p)(1 X )
----------------------------------------------------------------p(1 Y ) + (1 p)(1 X )
La probabilit moyenne de ne stre pas tromp est :

pY + (1 p)(1 X )
Elle est maximale pour Y = 1 et X = 0, p tant donn.
Ce cas correspond la double condition :
le seuil S est fix E ;
le seuil S, donc E, est lev.
Ce rsultat na rien pour surprendre. Si lnergie utilise pour
observer est importante, il y a toutes chances que, si on constate
dans le rcepteur une nergie quivalente ou suprieure, elle soit
due au phnomne.
La probabilit que lnergie reue, suprieure ou gale E, soit
uniquement due aux bruits est :
I
M = ---- = exp ( E / kT )
C
do :

avec

Le tableau 1 rsume les quatre ventualits.

Cas

Si les tats 1 ou 2 sont observs, probabilit P12 = pY + (1 p) X,

on aura dcid que le phnomne sest produit, ce qui est faux dans
le cas 2. La probabilit, a posteriori, de ne stre pas tromp est :
pY
------------------------------------pY + ( 1 p ) X

E
LC = ------kT
C

certitude de lobservation

On a C > 2, cest--dire M < 50 % sinon il faut prendre une dcision contraire. Si, dans le pire des cas, lnergie E sest dissipe en
chaleur, lobservation a pour cot une augmentation dentropie de
E
D S = --- et le rendement de lexprience vaut :
T
DT
k <n2
<n2
r = -------- = -------------- = ---------DS
k LC
LC
1
dans le cas simple o le phnomne avait a priori la chance p = --2
de se produire.
Dans le meilleur des cas, = 1. Lexprience donne un rsultat
avec 50 % de chances derreur (C = 2). Avec E = 4 kT, la certitude
atteint 54, cest--dire que lon est sr 98 % du rsultat.
On est toujours conduit distinguer :
le cas macroscopique h << kT o on peut sans difficult choisir lnergie de E de faon obtenir E = k <n 2 soit = 0,7 kT et atteindre le rendement optimal ;
le cas microscopique h >> kT o E est limit infrieurement
<n2
h. Le rendement ne peut dpasser ---------- kT . Par contre, la certihn
tude augmente.
La figure 3 reprend ces rsultats o apparaissent les variations de
lnergie minimale Wn ncessaire une observation et le rendement correspondant 1 en fonction de hn.
En rsum :
les expriences macroscopiques peuvent atteindre un rendement excellent, mais parfois avec un doute lev cause des perturbations dues lagitation thermique ;
les expriences microscopiques sont peu douteuses car peu
perturbes. Mais elles ont un mauvais rendement ;
si on sintresse la mesure des longueurs L, donc la mesure
de lespace, ce quoi se rsume une grande partie des expriences,
on remarque quil faut disposer dune nergie DE. Si la longueur
donde associe , elle permet en principe dobserver une position
avec la prcision DL = /2.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 3 084 - 5

THORIE DE LINFORMATION

_____________________________________________________________________________________________________________

deuxime constatation : ce quelque chose nest pas une

courbe au sens mathmatique, mais une ligne paisse tenant
compte de la prcision pratique avec laquelle on effectue les mesures, prcision de toute faon limite par la mcanique quantique.

Wmin

Wmin

0,7 kT

2.2 Dfinition

45

kT

Figure 3 nergie minimale et rendement dune observation

On peut alors crire, en examinant la fonction macro-microscopique :

DL
hn
hc
hc
------- = ---------- = ------------------ = ----------02 kT D L
2D L
kT
kTl
avec

vitesse de la lumire,

1,4
hc
D L 0 = ------- = -------- 10 2 m.
T
kT
DL0 se nomme longueur caractristique et une autre manire de
distinguer les deux cas dexprience est quelles se droulent en
dea ou au-del de DL0.
On a toujours :

hc
hc
D E > hn = ------- = ----------2D L
l
do :

hc
D E D L > ------- = 10 25 N
2

relation fournie par la thorie de linformation et qui lie lnergie

minimale dployer pour obtenir une prcision de mesure spatiale DL.
Cette relation met en vidence linsignifiance pour le physicien
comme pour linformaticien des dimensions trop faibles, comme
ncessitant des nergies inimaginables pour tre observes.

2. Information contenue
dans une loi physique
2.1 Constatations
Lon Brillouin sest pos le problme dvaluer la quantit dinformation contenue dans une loi physique, quelle quelle soit.
Il remarque dabord que toutes les lois sont exprimentales : leur
expression mathmatique rigoureuse nest quapparence, ce sont
des modles utilisant un langage conventionnel. Ainsi pour la chute
des corps : avec des instruments ordinaires on trouve une parabole.
Au fur et mesure que loutil devient subtil on passe lellipse (loi
de Newton) dj perturbe par la rsistance de lair. On sait expliquer lanomalie, mais si on opre sur des corps rapides, le modle
relativiste est meilleur. O est la ralit ? Nulle part que dans
lensemble des mesures que le physicien a effectues ; la matire
nobit rien, elle nest point cause finalire comme et dit Voltaire. De ces conceptions rsulte ce fait capital quune loi physique
nest dfinissable que dans un domaine born. Lintervalle de variation de la grandeur mesure est fini. Donc :
premire constatation : une loi deux variables (cest le minimum vident) est reprsente par quelque chose dans un rectangle, qui en dfinit le domaine de validit (figure 4) ;

E 3 084 - 6

La quantit dinformation contenue dans une loi nest pas distincte de linformation apporte par les expriences qui ont permis
de ltablir.
A priori, on peut penser que la loi peut avoir une forme quelconque dans le domaine de validit de surface S. A posteriori, on trouve
que la loi est enferme dans la surface s de la ligne paisse.
Linformation est donc simplement :
I = log2 (S / s) = log2 S log2 s
On remarquera la simplicit de cette dfinition. Linformation crot
naturellement avec le domaine de validit et la prcision des mesures. Il y a ainsi, normalement, plus dinformation dans la relativit
gnrale que dans la loi de Newton. Remarquons quon vient de
dire par l quEinstein nous en a appris davantage mais pas du
tout que Newton avait tort. La nature a horreur du vide tait une
loi de tout ou rien, toujours vraie, du moins jusque vers les 10 m,
mais peu nuance. Elle contient peu dinformation. Le lecteur philosophe saisit limportance de toutes ces remarques qui nont presque
pas t explicites jusqualors et combien parat satisfaisante sur le
plan de lhistoire humaine la thorie de linformation.

2.3 Gnralisation
Cette dfinition se gnralise aisment au cas o la loi comporte
n variables x1, x2 ... xn dont lacquisition dapprciation ne
dpasse pas dx1, dx2 ... dxn et dont les intervalles opratoires sont
X1, X2 ... Xn.
Linformation contenue par une relation f (x1, x2 ... xn) = 0 qui dfinit la loi peut tre mesure par le logarithme du rapport des volumes soit :
X 1 X 2 ... X n
V
log -------------------------------- = log ---v
d x ... d x n
Les cas examins font lhypothse tacite que, les points
pais de la loi pourraient se situer a priori partout dans le
rectangle de la figure 5 ou dans le volume V. Il est en rarement
ainsi, au moins parce que les contraintes classiques rgularit
des courbes, nergie temps, masses, largeur de bandes, etc.,
finies ou les connaissances partielles dj acquises font quil
existe une densit a priori non uniforme de la prsence des
points reprsentatifs. Il faut donc pondrer les informations I.
Cela ne pose aucun problme de fond, autre quune difficult de
calcul.

y
ymax
Loi physique

ymin
xmin

xmax

Figure 4 Reprsentation dune loi physique deux variables

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

_____________________________________________________________________________________________________________ THORIE DE LINFORMATION

y2
Y2
Rectangle dincertitude
Zone de restriction du fait
de la loi <1 (surface s2 )
Lieu de f (x1 x2) (surface s2)

X2

x2

X Y
Ancienne information : I2 = log 2 2
s2
s 2
Nouvelle information : I2 = log s
2
Figure 5 Rectangle dincertitude

voquons le cas dune thorie, celui qui met un peu non pas une
mais un ensemble de lois Ii (i = 1 n). Si ces lois sont indpendantes
et contiennent les informations Ii (i de 1 n) la thorie T contient
n

linformation I =

Ii .
1

Si tel nest pas le cas, on dira que la connaissance de la loi lk sp quelle contient
cifie dj un peu la loi lm donc que linformation I m
est moindre quauparavant :

1. Lapprentissage au cours duquel, soit par tradition orale, soit

par tradition crite, soit par exprience professionnelle, h acquiert
une certaine quantit dinformation ih . Mais cette information nest
pas nouvelle. Elle est connue de la socit S. Cest une fraction,
gnralement faible de I. Elle stend sur une priode T, et lon peut
crire :
ih = a T 1 I
avec

DIh = K T2 ih

K mesure lintelligence active de lhomme. Il y a toutes raisons de

penser, quen moyenne, ce coefficient est pratiquement constant au
cours des ges.
3. La retraite ou repos (dure T3) au cours de laquelle lhomme
procde gnralement un traitement de linformation quil a
gre.
Par consquent, linformation dont lindividu h a enrichi sa socit
est DIh , mais cet enrichissement nest total que momentanment.
En effet, seule la partie DIh sera transmise au patrimoine commun
( < 1). dpend avant tout des facilits dchange entre les membres de la socit : invention de lcriture, de limprimerie, rapidit
de transmission, accs avec bases de donnes, tandis quune partie
I(T1 + T2 + T3) du capital de la socit a disparu pendant le temps
(T1 + T2 + T3) par dgradation, perte ou oubli.
Finalement lapport pour N individus, pendant le temps
V = T1 + T2 + T3 est :

<I
Im
m

do :

DI = NlDIh I(T1 + T2 + T3)

DI = I(NlKT2 aT1) I(T1 + T2 + T3)

I =

Ii + R
1

R reprsente une redondance ou une information de corrlation entre les lois <.
Exemple : une thorie deux lois fait que la premire < 1 spcifie
partiellement la seconde < 2 . Les possibilits de < 2 suppose deux
variables au lieu de sexprimer dans son rectangle dincertitude
est restreinte une surface ou zone plus petite comme le montre la
figure 5.

coefficient dducation

2. Lactivit qui stend sur une priode T2 au cours de laquelle

lindividu est amen, par lexprience, acqurir de linformation
cette fois nouvelle DIh pour la socit. Nous proposerons dcrire
que cette acquisition est proportionnelle T2 et la quantit dinformation dont dispose lindividu :

Tout se passe comme si pendant le temps dt laccroissement

tait :
DI
------ d t = dI
V
soit :
T1 T2
dI = I NlKa ------------------------------ m d t = IC d t

T1 + T2 + T3
avec

facteur de civilisation

Il vient finalement :

3. Information et civilisation
3.1 Une formule dvolution
Linformation nat de lexprience et le rle du cerveau est de la
stocker, de lpurer (la rendre peu redondante) aussi bien que de
crer de linformation fictive ou virtuelle (thories) que lon soumettra aux faits, le moment venu.
Une civilisation, cest--dire un groupe dhommes formant un
systme ou socit relativement ferm peut donc tre caractrise,
en autres paramtres, par la quantit dinformation dont elle dispose et la loi dvolution I(t ) de cette information.
Considrons un individu quelconque h appartenant une
socit S. On peut distinguer trois phases dans la vie de cet individu, tant prcis quelles peuvent se chevaucher ou tre rparties
le long de la vie.

T1 T2
m t = I 0 exp ( Ct )
I = I 0 exp NlKa ------------------------------

T1 + T2 + T3

3.2 Discussion
Cette formule, obtenue partir dhypothses trs simplifies
contient nanmoins les grandes lois de lvolution des civilisations :
1) lvolution est exponentielle ; ce fait est ressorti, dans notre
sicle, comme vident ;
2) le facteur de civilisation peut tre presque nul ou ngatif. On
connat encore aujourdhui des exemples de socits primitives qui
ne se dveloppent pas ou sont en voie dextinction. Pour ces gens
et a sont petits et grand, mais surtout N est petit ainsi que la longvit V (voir discussion en 3). Il existe ainsi une population critique
Nc en dessous de laquelle aucun progrs nest possible ;

T1 T2
3) la dure de vie moyenne intervient par le facteur ------------------------------- .
T1 + T2 + T3

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 3 084 - 7

THORIE DE LINFORMATION

Posons :

_____________________________________________________________________________________________________________

mmoire est rdig, diffus, lu, et la quantit dinformation reste

toujours la mme est acquise par le nombre de personnes.

T1 = V,
T2 = V,
a + b < 1,

le facteur vaut V. Ds lors que pour des raisons sociales et mdicales T3 est fixe, V est maximal lorsque = .
Il est donc souhaitable dquilibrer les dures dapprentissage et
dactivit. Nous remarquons que cest ce qui est pratiquement ralis dans les socits modernes.
Retenons que V joue le mme rle que N, , K ou a.

Cette capitalisation de lacquit dont le profit se fait par lducation

est un phnomne fondamental. Parfois, linformation meurt par
destruction et oubli : incendie de la bibliothque de Constantinople
en 1453. De tels vnements sont tenus juste titre pour des catastrophes irrmdiables.

tats-Unis :
V = 70 ans (30, 30, 10) = 3/7 = 4/7 V = 13
Pays pauvre :
V = 35 ans (15, 20, 0) = 3/7 = 4/7 V = 8,5
Pour conclure, nous dirons que cette application de la thorie de
linformation reste tre tudie avec soin, les hypothses que
nous avons faites tant simplistes. On peut esprer, par les connaissances de lhistoire actuelle et passe des socits, dterminer
exprimentalement les coefficients des formules.

4. Circulation
de linformation
4.1 Vie de linformation
Que linformation disparaisse est chose certaine. Il nest qu songer aux livres uniques dtruits, aux transmissions dfectueuses, aux
messages perdus.
Linformation circule et se propage. Cette caractristique est
celle de la grandeur physique qui la supporte (champ lectromagntique, son...) donne tout son intrt au concept qui, sans elle, serait
purement abstrait et peut-tre sans aucun objet.
Alors la question se pose : linformation prend-elle sa source
quelque part ? Y a-t-il une naissance, une vie, une mort de
linformation ? Ici le terrain est trs mouvant, peu explor. Essayons
seulement de dgager quelques traits.
Lexistence de linformation est insparable de celle des tres anims et de lhomme en particulier.
Les vnements naturels non provoqus ne sont nullement porteurs dinformation moins que lhomme prcisment ne leur attribue une signification. En ce sens, une source dinformation serait
donc lexprience dont on a vu dailleurs quelle implique toujours
une augmentation dentropie.
Voici comment une chane informationnelle peut samorcer
(figure 6) : un chimiste met en prsence deux corps dont il sait quils
ont une certaine probabilit 1/2 de ragir. La raction a lieu. Il y a naissance dune unit dinformation qui, si lon veut, rsulte de la combinaison de lintelligence et de lvnement. Cette connaissance est
alors stocke, mise en mmoire dans le cerveau du chimiste. Puis un

Lois naturelles
+
intelligence

Information

Stockage
(cerveau)

Quarrive-t-il alors ? Tout la fois ou uniquement loubli par usure

des mmoires humaines ou matrielles, la perte par destruction
brutale (incendie, mort), lindiffrence pour ceux que cette information nintresse pas ou qui ne la comprennent pas. Enfin, la conservation dans le cerveau des spcialistes et plus srement dans les
bibliothques. Voil une information, acquise (ne) une fois, susceptible dtre porte la connaissance autant de fois que ncessaire
grce la fonction mmoire assure par le cerveau, les livres, les
microfilms, les mmoires informatiques de toute sorte.

Manuscrit

Nous devons porter toute notre attention sur lexemple de notre

chimiste. Car linformation quil vient dacqurir par lexprience, il
la range, bien sr, en mmoire, mais il va la confronter avec celle
quil a acquise par ou-dire, lecture et autres observations, bref par
ducation. Il est possible alors quil en tire une proprit gnrale,
une loi ou mme, exceptionnellement, une grande thorie. Une
question est alors pose. Cette proprit, cette loi, cette thorie
sont-elles de linformation nouvelle ? Autrement dit le cerveau, dans
ce cas, est-il crateur dinformation ?
La rponse, peut-tre provisoire, est non. Ce qui rsulte est un
traitement, une manipulation, un calcul sur les informations prsentes dans le cerveau du chimiste. Il y a mme quantit dinformation
1
dans la loi de chute des corps x = --- gt 2 que dans la somme des
2
expriences mesures de la chute, y compris linformation qui consiste dire que les lois de la nature sont constantes, elles-mmes
somme des expriences sculaires.
La loi physique prsenterait donc ce caractre principal dtre
lexpression trs peu redondante des informations acquises par
lexprience.
Voil les mathmatiques mises leur place, celle dun langage
universel et dinstrument de traitement de linformation.
Cet aspect est trs bien soulign lorsque lon compare un long
mmoire du XVIIe sicle avec les formules concises du XXe traitant
des mmes sujets.
Nous avons dissert de la mmoire. Parlons de limagination. Le
cerveau reoit linformation par lexprience. Rien ne lempche
den recevoir par imagination, cest--dire de dcider arbitrairement de considrer comme telle un produit de son travail. Ainsi en
va-t-il semble-t-il de lhypothse. partir de linformation contenue
dans le cerveau, lhomme effectue des oprations de traitement,
mais il ajoute certains bits supplmentaires et arbitraires et, chose
capitale, il dcide de prendre comme information hypothtique le
rsultat.
Ces dmarches sont provisoires et on sait que le souci est constant de vrifier lhypothse, cest--dire finalement de remplacer
linformation artificielle ou virtuelle ainsi cre par linformation
vritable, celle qui crot de lexprience.

Impression

Exprience
Conservation
Indiffrence
Perte-destruction
Oubli

E 3 084 - 8

Diffusion
Figure 6 Circulation de linformation

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

_____________________________________________________________________________________________________________ THORIE DE LINFORMATION

Il reste examiner avec plus de soin le phnomne de la naissance de linformation. Elle sopre, avons-nous dit, par lapplication de lintelligence lvnement.

Ces faits sont rsums ci-aprs :

Lhomme, en fait, communique avec le monde par ses sens ou

organes dtecteurs augments des instruments de mesure qui ne
travaillent que pour lui et grce lui.

Information = 1 effet/cause considrable,

2 inattendu,
3 possibilit de comprhension,
4 aboutissant : lhomme.

Les deux entres principales sont lil et loue qui peroivent les
rayonnements et les vibrations de lair.

Support de linformation = signal.

Cest le fait notamment de se rendre compte que le cadre du galvanomtre tourne et non le fait brut quil tourne effectivement (a-t-il
seulement un sens ?) qui constitue linformation. Elle natrait donc
lorsque par lintermdiaire de lorgane dtecteur, on tablit une correspondance stricte entre lvnement et un tat local du cerveau.
Nous disons correspondance stricte, car celle-ci est obligatoirement
trs vague chez le nouveau-n qui comme on le sait peroit, mais ne
voit pas, entend, mais ne comprend pas et finalement tire trs
peu dinformation l, do lhomme duqu retire le maximum.

4.2 Conclusion
Pour rsumer il semble bien que lon puisse dire :
1) lunique source de linformation est lexprience dans laquelle la
combinaison de lvnement lintelligence grce aux organes
dtecteurs qui sont les sens, tablit une correspondance entre le
monde extrieur et ltat du cerveau. Linformation est mise en
mmoire ;
2) le traitement de linformation ainsi stocke seffectue par le travail de la pense. La faon doprer est sans doute ce que lon
nomme logique. Celle-ci doit pour une part la constitution de notre
cerveau et aux ractions qui sy produisent, mais aussi lobservation des effets extrieurs (comportement) de rsultats de trituration
de linformation, par une sorte de boucle asservie que lon nomme
dans certains cas rflexes. Cette manipulation de linformation
conduit gnralement un classement, une mise en ordre, bref un
meilleur codage liminant en partie la redondance. Elle ne conduit
pas la formation dinformation nouvelle, sauf arbitraire, par le jeu
de limagination ;
3) par la parole, lcriture, limage, linformation est communique, diffuse, stocke, et lacquit essentiel est dfinitivement
assur en dpit de la mort. Lhomme, au contraire de la mer, nest
jamais recommenc.
En admettant donc quil y ait peu de pertes, le capital information
de lhumanit saccrot sans cesse par lexprience.
On peut comparer lhistoire de lhomme celle dune vaste entreprise. Le physicien exprimentateur (physiciens, chimistes, biologistes,...) est charg de lapprovisionnement en marchandises qui
sont les informations dexprience. Les thoriciens mettent lordre
dans la maison, ils se servent de rgles commodes tablies par les
mathmaticiens. Ltablissement fabrique et ne produit pas autre
chose, sous dautres formes que ce qui est rentr dans ses murs.

5. Valeur de linformation
5.1 Retour sur la dfinition
de linformation
Tel quil a t crit le premier article (E 3 080) a prsent une dfinition qualitative de linformation, littraire en quelque sorte. En
introduisant le signal support et son accessibilit la mesure, le
deuxime article (E 3 082) en a donn une dfinition physique.

Signal = tat physique quelconque :

1 essentiellement alatoire,
2 dou de signification.
On voit que la thorie physique de linformation, quon pourrait
appeler thorie restreinte, ne sintresse qu deux des quatre caractres donns ci-avant.
Au regard de cette thorie, on ne fait pas de distinction entre un
message prsidentiel de 100 lettres engageant les hostilits et un
message de 100 lettres annonant un retour de vacances. La mesure
de linformation est uniquement celle de sa raret et si le jugement
dun examen o un lve avait a priori 50 chances sur 100 dchec
lui attribue un succs, il aura reu 1 sh dinformation comme dun
tirage pile ou face pour engager une partie de rugby.
La thorie restreinte ne sintresse pas la valeur de linformation
et cette apparente faiblesse est matriellement trs solidement
fonde : la valeur de linformation ne concerne pas les problmes
physiques et pratiques que posent lacquisition, la transmission, la
prsentation et le traitement des signaux porteurs dinformation.
100 lettres ncessiteraient les mmes quipements, supports, etc,
pour tre mis, transmis, reus, quelle que soit leur valeur significative. Il ny a aucune raison pour le physicien den tenir compte.
Il est manifeste quentre le fait denclencher le commutateur qui
allume une lampe et celui qui met en route une centrale lectrique,
le fait dannoncer le numro gagnant un possesseur de billet et
celui de le dire qui nen a pas achet, dafficher la combinaison de
son propre coffre et celle du dverrouillage dune bombe A, le fait de
dire oui la mairie ou en Conseil des ministres, il y a une diffrence
notable que le bon sens connat depuis toujours et quil associe
dailleurs volontiers la notion commune quil a de linformation.
En fait, lhomme possde une connaissance assez juste du
concept dinformation.
Il sait trs bien en apprcier la raret et limportance. la premire qualit (raret) est attache la quantit dinformation ; paramtre fondamental de la thorie mathmatique.
la seconde sont lis quelques travaux modernes, mais avant
tout une certaine odeur de subjectivisme, cest--dire dun mot trs
suspect dans le langage scientifique.
Nous proposons de rechercher comment pourrait sintroduire
une notion objective et quantifie de la valeur de linformation.

5.2 Premire solution

Nous ferons cette premire remarque quassigner une valeur
une quantit dinformation I, cest connatre au moins en partie les
consquences, lhistoire de I. Limpulsion du commutateur prend
toute sa valeur ds que lon sait quelle commande une centrale
lectrique ou la lampe de bureau.
On pressent donc que toute recherche sur la notion de valeur
oblige considrer la quantit dinformation non en tant que telle,
comme chantillon, mais replace dans la chane simple ou
complexe o elle circule et plus prcisment dans le systme o elle
est implique.
Une premire ide est alors de mesurer la valeur daprs les
consquences sres ou seulement probables dune quantit
dinformation.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 3 084 - 9

THORIE DE LINFORMATION

_____________________________________________________________________________________________________________

Dans une chane informationnelle aboutissant un dgagement

dnergie, la valeur du ou des digits de commande serait donne en
proportion de lnergie libre. Plus gnralement pour chaque
type de chane se terminant par un effet E, on pourrait dfinir une
valeur de linformation par les nombres srs ou probables caractrisant leffet E.

E peut tre :
une nergie quelconque ou particulire ;
une variation dentropie ;
tout effet particulier recherch : organisation, discipline de
groupes sociaux, rendement de travaux, etc.
On dira que pour obtenir un effet E, on doit disposer dune quantit dinformation I.
E
La valeur attribue au shannon est fonction de --- .
I
Si E est seulement probable et se compose deffets Ei , chacun
avec la probabilit pi davoir lieu, on pourra crire :
Sp i E i
V = f -------------I
Il est en effet lgitime de pondrer leffet par la chance quil a
dintervenir. Cela est commode sinon discutable et suppose que
linformation I est cause directe de E.

On peut fort bien dfinir cette valeur comme le rapport Io /I.

Cela revient considrer que dans les circuits humains ou matriels dans lesquels circule linformation, celle-ci dclenche souvent
la mise en uvre de programmes grosse quantit dinformation.
Ces derniers sont logs dans les machines, les calculateurs ou les
cerveaux, voire dans les lois de la physique. Ainsi, la puissance dun
chef dtat provient avant tout de ce que la quantit dinformation
quil dlivre se trouve multiplie par la machine administrative.
Ainsi, la valeur du digit qui amorce une bombe A provient de
lnorme accroissement dentropie (information ngative) conscutive lexplosion. Dans ce cas, on donne cette valeur le signe
moins.
Tout cela signifie quil est ncessaire, pour parler de la valeur de
linformation, de la replacer dans la chane fonctionnelle o elle est
implique : ncessit toute naturelle et classique comme le fait
dassocier llectricit une mesure quantitative (quantit dlectricit) et, si lon ose dire, qualitative, la tension. On voit toutefois
lintrt de ce point de vue : il faudra dessiner le diagramme, boucl ou non, simple ou non, montrant le processus causal de la circulation des informations appliqu chaque cas. Cest une tude
des systmes sous langle informationnel, qui sappuiera tout de
suite sur les thories bien rodes comme celle des asservissements.
Les systmes simples parfaitement isols sont rares. Comme en
asservissements, on ngligera les entres faibles.

5.3 Perspective dune thorie gnrale

Toutefois, il est une autre remarque, fort importante. Soient les
schmas de la figure 7.
Disposant dun tas de pierre et dun auxiliaire qui est tantt un
homme ignare, un maon, une machine commande pas pas par
bande magntique externe, une machine programme enregistr,
un contrematre veut construire un mur.
Dans le premier cas, il est oblig de dicter tous les gestes
accomplir. Il dpense une information Io qui est dailleurs pratiquement celle contenue dans le mur construit.
Dans le deuxime cas, il lui suffit de donner lordre convenable au
maon, do dpense dinformation I avec I < Io.
Les deux cas prcdents peuvent tre aisment transports dans
les cas 3 et 4 avec utilisation de machine.
On voit que pour un rsultat identique, la valeur de linformation
dlivre par le contrematre est bien suprieure dans les cas 2 et 4
celle implique dans les cas 1 et 3.

Exemple 1 : rangement des pices dun joueur sur un chiquier.

1) Nous supposerons que ltat de rfrence est celui o les 16 pices sont ranges de faon quelconque sur lchiquier, chacune occupant cependant une case sans ambigut. Nous ne distinguerons pas
pions, tours, cavaliers et fous entre eux.
Dans ces conditions, le nombre dtats initiaux Eo ou configurations
distinctes quiprobables est :
2

E o = 64 63 C 62 C 60 C 58 C 56
exprimant les faons diffrentes de ranger roi, reine, fous, cavaliers,
tours et pions.
Notons en passant que la configuration le jeu est rang , quon dit
ordonn, a mme probabilit quune configuration donne mais dsordonne.
Quand donc on parle dordre et de dsordre on compare une seule
configuration toutes celles quon range dans le sac dsordre !
En consquence, linformation contenue dans la constatation que le
jeu est bien rang est :
I = log2 (Eo /E1)
avec E1 = 1
soit 75 bits environ.
2) Inversement, il faudrait dpenser 75 sh soit 75 bits sils sont quiprobables pour ranger le jeu. cet effet, chaque pice possde son
numro de code. Il y en a 6 types diffrents, do en fait 3 digits par
pice. Le matre rangeur ordonnera un esclave (homme ignorant le
jeu ou machine) de placer la pice P en position xy (6 digits par position). Le matre devrait donc envoyer :

a homme ignare

b maon

16 (3 + 6) = 144 bits
Nous dirons que la valeur de cette information est 75/144 = 0,52.
Sil a fallu 144 bits alors que 75 taient suffisants, cest que le message tait mal cod, donc redondant, et la valeur, infrieure 1,
mesure cette redondance.
3) On peut par exemple demander la machine de ne pas changer
de ligne sans ordre. On enverrait alors :

c machine commande par

bande magntique externe

d machine programme enregistr

Figure 7 Construction dun mur

E 3 084 - 10

[3 + 8 (3 + 3)] 2 = 102 bits (valeur 0,73)

On peut coder le message en tenant compte que le nombre de coordonnes possible diminue au fur et mesure du rangement et on tendrait alors vers la valeur 1.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

_____________________________________________________________________________________________________________ THORIE DE LINFORMATION

4) Supposons maintenant que la machine, ou lesclave soient plus

intelligents, cest--dire quils aient dj une connaissance du problme
du rangement.
Par exemple chaque rception dun message la machine avance
dune case. Il suffira denvoyer le code de la pice soit :
16 3 = 48 bits
La valeur de linformation est 48/75 = 0,64.
Cet exemple peut aller pour la machine, par programmation, ou pour
lesclave par connaissance du jeu (ce qui revient au mme) jusquau
stade o il suffit au matre de dire : rangez ou ne rangez pas (1 bit
valeur 75).
Cet exemple simple, dont la discussion demanderait tre trs
soigne, montre comment la dfinition de la valeur de linformation
mesure les rles relatifs des quantits dinformation qui circulent
dans la chane dun systme.
Il est naturel de prendre pour rfrence 1 la quantit dinformation
strictement ncessaire lobtention dun effet certain :
un shannon de faible valeur est surabondant pour effectuer
une tche quelconque ;
un shannon de haute valeur libre dans la chane aval les informations stockes dans les mmoires humaines ou matrielles,
ncessaires la tche ;
un shannon de valeur 1 est la quantit dinformation thoriquement suffisante.
Exemple 2 : Construction dun barrage (figure 8)
Lexemple du barrage ci-avant est typique de toute entreprise
humaine hirarchise.
I1 a suffi dclencher lensemble des connaissances ncessaires I
la construction dun barrage et, ventuellement, par exprience, des
informations nouvelles sont entres dans la chane. Les blocs fonctionnels (ingnieurs, etc.) apportent un gain en quantits dinformations.

6. Conclusion
lissue de ce voyage informatique et la fin dun parcours assur
dans les espaces mathmatiques, plus incertain sur les terrains de la
physique et des sciences de la vie, quelle conclusion tirer ?
Dabord qu la base de la thorie de linformation se trouvent
deux proprits fondamentales du monde dans lequel nous vivons :
la facilit de la propagation distance des tats physiques
comme D. Gabor lavait dj remarqu.
En dautres termes, laisance avec laquelle la configuration la
forme des objets peut tre perue dans le temps et dans lespace.
La facult que possde le cerveau des tres anims dtre aisment dforms par cette perception.
En dautres termes, cette mallabilit qui fait de la configuration
dun cerveau son tat physico-chimique un rcepteur ultra sensible vis--vis du monde qui lentoure.
partir de ces deux proprits un processus senclenche qui
dure et se perfectionne toujours :
le monde des objets anims ou pas volue selon ses lois propres. Il est dfini par les formes quil revt, dans le temps et dans
lespace ;
ces formes sont perues pour autant quelles sont
distinctes par la matire vivante, disons par le cerveau, aprs
avoir t transmises ;
selon le cas, le cerveau est, pas, peu, ou beaucoup modifi,
dform ;
selon le cas, et sous limpulsion du cerveau, ltre anim ragit, cest--dire modifie son tour les formes du monde de son environnement.
Cest un processus boucl par les quatre tapes que lon vient de
dcrire.
La relation entre les objets et les tres anims apparat ainsi
comme un immense systme asservi dont le lien fluide est linformation, comme llectricit lest des systmes lectriques et lhuile
des systmes hydrauliques.
La figure 9 schmatise ces considrations.

Calculs

Linformation est lentit qui circule et effectue le bouclage du

modle de la figure 9.
Dessinateurs

Construisez
un barrage

I1

Ingnieurs

I2

Contrematres

I3
Barrage

Ouvriers

Figure 8 Construction dun barrage

Elle est exprime dans une suite de langages plus ou moins bien
traduits les uns dans les autres. Ainsi, les diffrentes formes dun
objet, les mots employs pour le dcrire, les messages pour le faire
connatre, les photons utiliss dans la lecture, linflux envoy par les
yeux, les modifications probablement dynamiques des zones du
cerveau rserves la vision, linflux moteur en raction pour le
saisir ou aller le voir, sont traduits dans les langages successifs de la
chane rgule de la connaissance.
Ltablissement des relations entre les quatre tapes ci-avant se
fait petit petit, par apprentissage rflexe, sans quon sache encore
bien ce qui a t appris avant et ce qui va ltre, cest--dire sans
ligne de partage bien claire entre inn et acquis.

Lois naturelles

Perception

Modification du cerveau

Raction

Formation (formes)

IN-formation

D-formation

TRANS-formation

Figure 9 Modle du systme de linformation

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique

E 3 084 - 11

P
O
U
R

Thorie de linformation
Application la physique
par

E
N

Jacques CLAVIER
Ingnieur gnral de larmement (CR)
Ancien lve de lcole polytechnique
Ingnieur de lcole Nationale Suprieure de lAronautique
et de lcole Suprieure dlectricit

Rfrences bibliographiques
[1]

[2]
[3]

OSWALD (J.). Thorie de linformation ou

analyse diacritique des systmes. Masson,
1986.
MACCHI (C.) et GUILBERT (J.F.). Tlinformatique. Dunod (nouvelle dition).
BRILLOUIN (L.). La science et la thorie de
linformation. Masson, 1952.

[4]
[5]

[6]

BRILLOUIN (L.). Scientific uncertainty and

Information. Academic Press, 1964.
CAMPANA (M.). Algorithmes pour le chiffrement et lauthentification. Onde lectrique, janv.-fv. 1989.
CLAVIER (J.), NIQUIL (A.), COFFINET (G.) et
BEHR (F.). Thorie et technique de la
transmission des donnes. Masson, 1979.

[7]

Nombreux emprunts faits aux travaux de

A. NIQUIL et J. CLAVIER effectus dans le
cadre de leurs activits denseignement
lcole suprieure daronautique et
lcole nationale suprieure des techniques avances.

S
A
V
O
I
R
P
L
U
S

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie

est strictement interdite. Techniques de lIngnieur, trait lectronique

Doc. E 3 085 1