Académique Documents
Professionnel Documents
Culture Documents
Édition électronique
URL : https://journals.openedition.org/bibnum/568
DOI : 10.4000/bibnum.568
ISSN : 2554-4470
Éditeur
FMSH - Fondation Maison des sciences de l'homme
Référence électronique
Philippe Jacquet, « Naissance de la théorie de l’information », Bibnum [En ligne], Calcul et informatique,
mis en ligne le 01 septembre 2009, consulté le 04 février 2023. URL : http://journals.openedition.org/
bibnum/568 ; DOI : https://doi.org/10.4000/bibnum.568
Creative Commons - Attribution - Partage dans les Mêmes Conditions 4.0 International - CC BY-SA 4.0
https://creativecommons.org/licenses/by-sa/4.0/
Naissance de la t héorie de l’inform at ion
Figur e 1 : Lé on Br illou in ( 1 8 8 9 - 1 9 6 9 ) .
Image American Institute of Physics.
1. Mar cel Br illouin ( 1854- 1948) , norm alien, ét ait un m at hém at icien et physicien, m em bre de l’Académ ie des
sciences, professeur au Collège de France à part ir de 1900 ( chaire de phy sique t héor ique) .
1
congrès Solvay de 1927 réunissant Einst ein, Bohr, Marie Curie et de nom breux
2
aut res , com m e son père l’avait ét é au prem ier congrès Solvay, en 1911.
Out re- At lant ique, il est im m édiat em ent séduit par la t out e nouvelle t héorie
de l'inform at ion proposée en 1948 par le m at hém at icien Claude Shannon des
laborat oires Bell. En bon physicien, il prend plaisir à reprendre et m odeler la
t héorie selon ses propres recherches. I l publie en 1956, en anglais, Science and
2. Sur le congr ès de Solvay de 1927 et le principe de com plém ent arit é de Bohr qui y fut discut é, v oir t ext e
BibNum ( let t r e de Paul Ehrenfest ) ht t p: / / w ww.bibnum .educat ion.fr/ physique/ le- congr es- solvay- de- 1927- pet it e-
chronique- d% E2% 80% 99un- grand- evenem ent
2
information theory, t raduit en français en 1958 chez Masson sous le t it re " La
3
Science et la t héorie de l'inform at ion" . Cet ouvrage ét end largem ent les t ravaux
de Shannon en direct ion de l’élect ronique et de la physique : Brillouin sera le
prem ier à faire rigoureusem ent le lien ent re l'ent ropie de Shannon ( qui ét ait
surt out pour ce dernier une définit ion m at hém at ique) et l'ent ropie st at ist ique de
Bolt zm ann, celle de la physique. Par ailleurs, Brillouin pose les bases d'une
vérit able " t héorie de l'inform at ion" de la m at ière et des obj et s, ét endue à
d'aut res dom aines d'applicat ion que ceux sur lesquels Shannon avait t ravaillé –
encodage ou t rait em ent des sym boles –, dans la science calculat oire elle- m êm e,
m ais aussi dans d'aut res branches de la science, com m e la physique ( avec un
m ode de résolut ion du dém on de Maxwell) ou la biologie.
Le t it re du livre – qui sem ble opposer " science" et " t héorie" – donne la
couleur de la cont ribut ion de Brillouin. I l s'en explique dans sa préface :
3. Léon Brillouin est m ent ionné en t êt e de l’ouvrage com m e « Professeur honoraire au Collège de France,
Mem bre de la Nat ional Academ y of Sciences ( Washingt on, U.S.A.) .
4. Les prem iers t ransist ors sont conçus en 1947 aux laborat oires de la Bell Telephone par t rois chercheur s qui
reçurent le pr ix Nobel de phy sique en 1956.
5. Mét ropolis est un rom an ( 1926) de science- fict ion de l’allem ande Thea von Harbou, adapt é au ciném a m uet
en 1927 par Frit z Lang.
3
Figur e 3 : Le r obot de M e t r opolis, le film de Fr it z La n g ( 1 9 2 7 )
L’idée m êm e que cet obj et soit sans form e part iculière et puisse m êm e êt re
dispersé au t ravers d’un réseau sous plusieurs form es indist inct es est une source
de m alaise dans un siècle où les obj et s, com m e les avions, voit ures, navires,
fusées sont avant t out des form es et des sym boles de m odernit é. En 1956, les
voit ures am éricaines arboraient de lourds ornem ent s en chrom e dont la seule
dest inat ion ét ait de rappeler les ailerons des nouveaux chasseurs a réact ion de
l’US Air Force, a l’époque le nec plus ultra de l’avant garde. Prenant le cont re-
pied de cet t e t endance, dans « The Cit y and t he St ars, » publié en 1956, Art hur
6
C. Clarke décrit un ordinat eur surpuissant et om niprésent e, la « calculat rice »,
qui est rassem blée dans une vast e salle dans un ensem ble de cubes blancs et
silencieux qui ne cont iennent aucun élém ent m obile. Cet t e dernière idée prenait
à cont re- courant , aussi, le souvenir fam ilier des m achines à calculer m écaniques
t out es vrom bissant es de rouages m obiles, et préfigurait avec quarant e ans
d’avance les ordinat eurs m ult i- processeurs refroidis au fréon et les m ém oires
flash qui rem placent m aint enant les disques durs rot at ifs.
Mais qu'une m achine puisse ranger, t rait er l'inform at ion plus vit e et plus
m assivem ent que le cerveau hum ain, que son langage soit celui des
m at hém at iques pures const it uait une vraie révolut ion pour beaucoup. Si le début
du siècle avait vu le t riom phe sur la m at ière et l'énergie – dans les t ransport s
grâce au m ot eur à explosion et dans les t élécom m unicat ions grâce à la m aît rise
des ondes radios –, les années 1950 voyaient l'irrupt ion des syst èm es
élect roniques com plexes et le ret our en force des m at hém at iques à fin de les
m aît riser. Longt em ps réduit es au rôle d'auxiliaire du savoir ou d'out il de
6. Art hur Clark e ( 1917- 2008) est un aut eur et invent eur brit annique, qui a aussi écrit " 2001, L'Odyssée de
l'espace" ( 1968) .
4
fignolage de l’ingénieur m écanicien, les m at hém at iques repassaient brut alem ent
sur le devant de la scène.
La t héorie de l'inform at ion ne s'int éresse pas au cont enu, ni aux m oyens de
com prendre l'inform at ion. À ce niveau, Brillouin t ourne le dos à la t héorie de la
program m at ion, qui avait pourt ant bien avancé avec Turing. Pour ce dernier, la
not ion de cont ext e de l'inform at ion qui cont ient les m écanism es de
com préhension de l'inform at ion prend aussi une part essent ielle dans la
com pilat ion et la com pression de l'inform at ion : sans le recours au cont ext e, et
l'obj et " program m e" , il serait im possible de com prendre le code- source d’une
7
im age et l’ordinat eur ne pourrait pas afficher l’im age sur l’écran . Cet t e vue n'est
néanm oins pas cont radict oire avec l'obj ect if cent ral de Brillouin : élim iner t out
fact eur hum ain dans le concept d'inform at ion pour en faire une grandeur
physique au m êm e t it re que la m asse et la charge élect rique.
7. Au- delà de la t héorie de l'inform at ion, c'est la " t héorie de la com plexit é" qui a ét é ouvert e par les t rav aux de
Turing, puis ceux de Kolm ogorov, sur la program m at ion.
5
le mécanisme de la pensée, impossible aussi, pour l'instant, de faire
intervenir la valeur humaine de l'information. L'élim inat ion de l'élém ent
hum ain se présente comme très sérieuse limitation, mais elle correspond,
en fait, au prix inévitable que comporte la fondation d'une doctrine
scientifique. Les restrictions ainsi introduites permettent de donner une
définition quantitative de l'information et de traiter l'information comme
une grandeur mesurable. Cette définition ne permet pas, toutefois, de
distinguer une information ayant une grande importance, d'une
information secondaire n'ayant guère de valeur pour celui qui la reçoit.
8. Edgar Poe, Le Joueur d’échecs de Maelzel ( 1836) in Œuvres complètes, ( cit é par Br illouin dans son ouvrage,
page 262)
6
LES M ATH EM ATI QUES D E L’ I N FORM ATI ON
Brillouin expose cert aines des conséquences de la définit ion m at hém at ique
de l’inform at ion com m e, not am m ent , l’addit ivit é des logarit hm es lorsque deux
inform at ions sont indépendant es ( voir encadré ci- dessous) . Récem m ent cert ains
physiciens ont rem is en quest ion l’em ploi du logarit hm e com m e opérat eur de
m esure de l’inform at ion. Au niveau des part icules élém ent aires, ils proposeraient
plut ôt une représent at ion basée sur le carré des probabilit és, plus com m ode à
leur goût pour rendre visible l’inform at ion cachée dans les syst èm es quant iques
paradoxaux, com m e ceux des phot ons int riqués du paradoxe EPR ; m ais cet t e
représent at ion quadrat ique n'a pas eu grand succès, il est vrai, en raison de son
incapacit é à passer à l’échelle m acroscopique.
La loi loga r it h m iqu e de l’in for m a t ion
Brillouin expose dans son prem ier chapit re la relat ion ent re
l’inform at ion définie par Shannon et la probabilit é :
9. N’oublions pas, pour bien com pr endr e la façon dont Brillouin pose son suj et , que c’est un physicien
quant ique. Rappelons aussi la définit ion par Bolt zm ann de l'ent ropie com m e propor t ionnelle au logarit hm e du
nom bre Z d'ét at s m icroscopiques du syst èm e S = k log Z, où k est la const ant e de Bolt zm ann.
7
probabilit és m ult iplicat ives et à l’addit ivit é des quant it és
d’inform at ion.
Brillouin donne pour l’inform at ion cont enue l’exem ple assez parlant
de j eux de cart es : si l’on choisit une cart e dans 32 cart es, et qu’on
choisit la const ant e de m anière adéquat e pour l’écrit ure en syst èm e
binaire, on peut écrire I = Log 2 P. Soir pour 32 cart es, I = Log 2 32 =
5 bit s. I l prend l’exem ple de deux paquet s de 32 cart es et d’une
cart e t irée indépendam m ent dans chacun des paquet s, le nom bre
d’ét at s est PQ = ( 2 5 ) 2 = 2 10 . On a alors I = 10 bit s.
10. Léon Brillouin rend hom m age à plusieur s reprises dans son ouvrage aux t ravaux précurseurs de Léo Szilard,
physicien com m e lui [ L. Szilard, Z. Physik, 53, 840 ( 1929) ] ; l’ouvrage de Shannon et Weaver dat e de 1940
[ The mathematical theory of information, Universit y of I llinois Pr ess] .
8
Tout système physique est incomplètement défini. Nous connaissons
seulement les valeurs de quelques variables macroscopiques et nous
sommes incapables de définir les positions exactes ainsi que les vitesses
de toutes les molécules intérieures au système. Nous ne possédons
qu'une information limitée et partielle sur notre système et il nous
manque la plus grande partie de l'information relative à sa structure
intime. L'entropie mesure le manque d'information ; elle nous donne la
quantité totale d'information qui fait défaut et qui est relative à la
structure ultramicroscopique du système.
Cette façon de voir est exprimée par le principe de néguentropie de
l'information qui se présente comme une généralisation immédiate du
second principe de la thermodynamique puisque l'entropie et l'information
doivent être étudiées de pair et ne peuvent être envisagées séparément.
Le principe de néguentropie de l'information se trouve vérifié dans un
grand nombre d'exemples variés, tirés de la physique théorique, dans son
état actuel. Le point fondamental est de montrer que toute observation ou
expérience effectuée sur un système physique conduit automatiquement à
un accroissement de l'entropie du laboratoire. Il est alors possible de
comparer la perte de néguentropie (accroissement de l'entropie du
laboratoire) à la quantité d'information obtenue. Le rendement d'une
expérience peut être défini comme le rapport de l'information obtenue à
l'accroissement concomitant de l'entropie. Ce rendement est toujours
inférieur à l'unité conformément au principe de Carnot généralisé.
Cert ains physiciens sont allés beaucoup plus loin, avec des succès t rès
relat ifs, il est vrai. John Archibald Wheeler a ét é j usqu’à com parer l’univers à un
im m ense ordinat eur program m é pour donner de l’inform at ion à l’ensem ble de
ses observat eurs conscient s. I l résum e son m odèle par sa célèbre phrase « it
11
from bit » que l’on peut t raduire librem ent par « j e calcule, donc j e suis ».
D’après lui, l’univers « invent e » ses lois physiques à m esure qu’on les observe
et qu’on les expérim ent e. Ces vues audacieuses n’ont à vrai dire suscit é que peu
d’échos dans la com m unaut é scient ifique, l’idée que la Nat ure calcule au lieu de
réagir à des règles physiques ne sem ble plus faire recet t e. En fait , les éclairages
nouveaux sur le fonct ionnem ent du cerveau, l’obj et de la Nat ure qui se
rapproche le plus de l’ordinat eur, ont m ont ré que le prem ier n’est absolum ent
pas organisé com m e ce dernier avec ses processeurs, ses circuit s et ses
m ém oires séparés. Le cerveau serait plut ôt un obj et cont enant un câblage
11. J.A. Wheeler ( 1911- 2008) , physicien t héoricien am éricain, a collabor é avec Einst ein à Pr incet on sur la
recherche d'une t héor ie physique unifiée. Av ec son allégorie " it from bit " , il ém et l'hypot hèse que les lois de la
physique dériv eraient t out es, en dernier ressort , de la t héorie de l'infor m at ion binaire.
9
com plexe m ais m ou, basé sur des fonct ions purem ent analogiques. Donc, si nous
ne som m es pas exact em ent des ordinat eurs, pourquoi l’univers en serait - il un ?
Pour l’inst ant , les t héoriciens s’en t iennent à une séparat ion assez st rict e
des aspect s physiques de l’inform at ion ut ilisable, considérée com m e une part ie
ext rêm em ent faible de l’ent ropie de l’univers, principalem ent com posée de
sources de signaux aléat oires. Néanm oins, il est t rès int éressant de pousser les
recherches au plus loin afin de connaît re la nat ure exact e de la front ière ent re
l’inform at ion et l’ent ropie pure. A l’heure act uelle on com m ence à parler de
« m oles » d’inform at ion ( 6,02 × 10 23 bit s, un pet it peu m oins de 2 à la puissance
79) grâce au progrès const ant des capacit és des m ém oires. L’enj eu est de t aille :
saura- t - on un j our st ocker de l’inform at ion dans chaque m olécule d’un volum e
donné de gaz ? Pourra- t - on st ocker dans la st ruct ure int im e de la m at ière et de
l’espace- t em ps ?
Le dé m on de M a x w e ll vu pa r Br illou in
10
en fonct ion de la néguent ropie ainsi créée, ce qui rét ablit la validit é
du second principe.
CON CLUSI ON
La m ise en t héorie de l’inform at ion est une des révolut ions qui ont perm is
l’ém ergence du t out - num érique. Nous vivons t ouj ours cet t e révolut ion, et m êm e
11
si not re vie quot idienne a déj à ét é m odifiée de m anière radicale, nous n’en avons
pas fait le t our- et il est encore difficile de prendre du recul sur ce suj et . Mais les
effet s posit ifs sont indéniables. D’aucuns voient dans l’ère de l’inform at ion et des
t élécom m unicat ions num ériques la solut ion aux problèm es environnem ent aux
que not re ère indust rielle a posés a not re planèt e, eu égard à l’em ploi m assif de
l’énergie fossile et au développem ent du t ransport de m asse.
Brillouin apport e, quant à lui, une vision scient ifique osée et des
perspect ives souvent j ust es, m êm e de nos j ours, avec cinquant e ans de recul.
Son ouvrage est plus qu’une sim ple vulgarisat ion de la t héorie de Shannon, il
prolonge la pensée de celui- ci et de ses précurseurs. I l offre une perspect ive sur
t out es les réalisat ions m odernes qui seront la conséquence de ces nouvelles
m at hém at iques.
Le résult at est une vision fort e, vivant e, passionnant e. Si cert ains des
point s développés par Brillouin rest ent t ouj ours en suspens et si d’aut res seront
abandonnés en cours de rout e, sa vision rest era néanm oins pour longt em ps une
source d’inspirat ion st im ulant e pour la recherche.
12