COLES NORMALES SUPRIEURES : preuves coiiiiiiuiies 1996

81

coinposition de Mathmatiques 1/4

COMPOSITION DE MATHeMATIQUES
(Sujet commun ENS : ULM, LYON et CACHAN)

DURE
: 3 heures

CC )

Bien que traitant d'un thme commun, les trois parties du problme peuvent tre abordes
indpendamment, mises a part quelques notations introduites dans le prliminaire de la premire partie.
Une lecture attentive des prliminaires de chaque partie est vivement conseille.
Dans tout le problme In dsigne le logarithme nprien, exp l'exponentielle de base e et 11, la
fonction dfinie sur R+ par :
11, (O) = O

et

11, ( x )

x In ( x )

si

> O.

PFEMIeRE PARTIE

Soient (Q, 9,P) un espace de probabilit, X et Y deux variables alatoires dfinies sur Q a valeurs
dans un mme ensemble fini E, dont le nombre d'Clments est not /El..On dit que Y est vraisemblable pour
X s'il existe une fonction c d e E dans W, appele vraisemblance de Y pour X telle que :
pour u E E ,

P(Y-a)=L(a)

P(X-a);

L(u)=O

si

P(X=u)=O.

On remarquera que Y est vraisemblable pour X si et seulement si :

pour a E E ,

[P(X- a)=O]

[P(Y - a ) = O l .

et que la vraisemblance de Y pour X est alors unique (en particulier si P (X = a ) f O pour tout u E E ,
toute variable Y est vraisemblable pour X).

Si Y est vraisemblable pour X de vraisemblance L, on appelle entropie relative de Y pour X la

quantit :

(E [ Z ]dsigne l'esprance mathmatique de la variable alatoire Z ) .

On appelle entropie de X la quantit :

H(X)=(I

w(P(X=a)).

E E

.r

1 . 1 . ~ .Montrer que pour x et y dans R+ on a In (x) - In (y) d y

b. En dduire que pour tout x 2 O ,

-1

(x) -t- 1 - x b O .

I.2.a. Calculer H (X) lorsque X est constante, puis lorsque X suit la loi uniforme sur E .
6. Quel est le signe de H (X) ?
1 . 3 . ~ .On suppose Y vraisemblable pour X de vraisemblance L . Montrer que K (Y. X) b O (on pourra utiliser

1.b.).Quand y a-t-il galit?

6. On suppose que X suit la loi uniforme sur E. Montrer que toute variable Y est vraisemblable pour X
et que K ( Y , X ) = H (X) - H (Y).

En dduire une majoration de H (Y).

82

COLES NORMALES SUPRIEURES : preuves communes 1996

composition de Mathmatiques 2/4

1.3. On suppose Y vraisemblable pour X de vraisemblance L.

a. Soit u une fonction de E dans

Rt .Montrer que :

E [(L (X)ln ( u (X)))- w (L (XNl

E [ u (XI - 11

(on pourra utiliser 1.a.). Pour quelle(s) u y a-t-il galit ?

6. En dduire que pour toute fonction v de E dans R, on a :

E [v(Y)] - E [exp (v(X)jI + 1

K ( Y , X).

Pour quelle(s) v y a-t-il galit ?

c. On note h (v) la quantit E [ v (Y)]
sur E gale h . On pose g,.(h) * h

- E [exp ( v (X))]. Pour

(x+ v).

h E R on note

la fonction constante

Montrer que g,. admet un unique maximum. En dduire :

E I V VI1 - ln (Elexp ( v (XNl)

K (Y XI.

Pour quelle(s) v y a-t-il galit ?

1.5. Dans cette question E = El X E,, X = (X,, X,), Y

E , ( i = 1,2).
a. On suppose ici

(Y,, Y*) o les X,, Y, sont valeurs dans

E l = { 1,2},E? = { 1,2,3} et on donne la loi de X suivante :

P (X = (Lj))

- y1

pour j- 1,2,3;

1
P (X = (2,3)) = 2
1

P (X = (2,j))

pour j- 12.

Quelles sont les lois de X, et X2 ? X, et X, sont-elles indpendantes ? Montrer quil nexiste pas de
variable Y vraisemblable pour X telle que ses lois marginales (cest--dire les lois de Y et Y:) soient
les lois uniformes sur E , et E2.
b. On suppose maintenant que X suit la loi uniforme sur E . Quelles sont les lois de X I et X2 ?
X, et X, sont-elles indpendantes ?

Montrer que toute Y est vraisemblable pour X , puis que :

K V , X ) 2 K(Y,,XI)+K(Yz.X,)
(on pourra utiliser 4.c.) avec v ( u l , u2)= vl (q) vz (a.) pour un choix judicieux de v, et v2).
Montrer quil y a galit lorsque Y I et Y2 sont indpendantes.
En dduire que H (Y) 6 H (Yl)+ H (Y?) avec egalite lorsque Y, et Y, sont indpendantes.

83

COLES NORMALES SUPRIEURES : preuves coiiiiiiunes 1996

coin p os i t ioii de Mat 11 i i i at i qu e s 3/ 4

DEUXIGME PARTIE
Dans cette partie E = N,donc nest plus fini. On suppose que X suit une loi de Poisson de paramtre

A(A > O).

Y est une variable alatoire a valeurs dans {O, . .., n ) pour un n E N. Puisque P (X = k ) # O pour
tour k E N,Y est vraisemblable pour X (au sens de la premire partie) et sa vraisemblance L vrifie
L ( k ) = O si k 2 n 1 . On peut donc encore dfinir lentropie relative de Y pour X par :

K (Y, X) =

2-

I# (L ( k ) ) P (X = k ) = E II#(L (X))] .

11.1. Pour n E N* et n 2 A , Y,, est une variable alatoire qui suit la loi binomiale de parambres n et n
On note L,, sa vraisemblance pour X .
n-k
a. Montrer que pour k E { O , . .., n - l } , L,, ( k 1) = L,, ( k ) n - A

En dduire que :

6. Dterminer L, (O). Montrer alors que :

k- 1

(on pourra regarder le signe de

In (1

- (i/ n))) .

i- O

En dduire que K (Y,, X) tend vers O quand n tend vers linfini.

m

11.2. On note d ( Y , X) =

IP (Y = k ) - P (X= k ) J

k-O

u. Vrifier que d (Y, X) est bien dfini et que d (Y, X) = E [IL (X)- 111.

6. Pour x 2 0,onpose c p ( x ) = ( ~ ( x ) + l - x ) ( 4 + 2 ~ ) - 3 ( ~ - 1 ) ~ .
Calculer cp (x) (pour x

> O),

cp ( l ) , cp (1). Etudier les variations de cp (on pourra utiliser 1.1.b.).

En dduire que cp (x) 2 O . Quand y a-t-il kgalit ?

c. On rappelle que si

Z et Z sont des variables alatoires positives ou nulles, E

[pl
< Jm.

Dduire de ce qui prcde que :

d(Y,X) <

J m - .

11.3. Montrer a laide de 1. et 2. que d(Y,, X) tend vers O quand n tend vers linfini. Quen dduit-on pour
P (Y,l = k ) , k fix?

COLES NORMALES SUPRIEURES

84

: preuves coiiiiiiunes 1996

coiiipositioii de Mathmatiques 4/4

TROISIeME PARTIE

Dans cette partie on considre des variables alatoires relles (X, Y , ...) dont la loi admet une densit

cfx, fy , ...) strictement positive.

La vraisemblance de Y pour X est alors dfinie pour t

de Y pour X est dfinie par :

R par L (t) = ___

fy ()
, et lentropie relative
fx

( f )

lorsque cette intgrale est absolument convergente.

IIL.1. Pour 8 > O , on considre des variables X, dont la loi a pour densit fe ( t ) = 8 exp (-28
CI.

Calculer K (8,O)

b. Montrerque lim

=K

- (e

Ill).

(X,, Xe()
pour 8 et 8 strictement positifs.

(e,ei)

existe et la calculer.

tf

C.

On considre la densit prcdente comme une fonction de deux variables f(8, t ) = 8 exp (-28 1 il),
8 > O et t E R .

af (O, t ) , puis :
Calculer ae

N.B.

Dans la formule prcdente / dsigne le quotient.

d. Comparer J (8) et la limite obtenue au b.

III.?. Reprendre la question prcdente pour des variables X, suivant une loi gaussienne,centre, de variance
0 > O. Le rsultat du 1.d. subsiste-t-il ?