Chapitre 2 : Réseaux de neurones artificiels 19

Exemple 1 : XOR avec 2 neurones cachés

1 = ( 0 , 0 ) w1 = w2 = - 2,5018  1
x1
2 = ( 1 , 1 ) b = 2,8404 w1

1  2 
1  y
( x  i ) 2  2 w2
2  x2 b
2  i2
i ( x )  e
1

( x  1 ) 2 ( x2 )2
 
2  12 2  22
1 ( x )  e 2 ( x )  e
 ( x   ) 2  ( x   ) 2 
2 ( x1  2 )2  ( x 2   2 )2
1 1 2 1 
  2  22

2  12 e
e ( x 1  1) 2  ( x 2  1) 2
( x1  1 ) 2  ( x 2  1 ) 2  2
  1 
2  12 2 
e e  2
( x1  0 )2  ( x 2  0 )2 2  ( x  1) 2 ]

 1 
2  e  [( x 1  1 ) 2
2  2  ( x  1) 2 ]
e  2  2 ( x )  e  [( x 1  1 ) 2

 ( x 12  x 22 )
e

s  w11  w 2 2  b

ys

x1 = 0 , x2 = 0 : x1 = 1 , x2 = 0 :
2
02 ) 2
02 )
1  e  ( 0 1 1  e  ( 1  0 ,3678
2 2 2
 ( 0  1) 2 ]
 2  e  [( 0  1 )  ( 0  1) ]
 0 ,1353  2  e  [( 1 1 )  0 ,3678
s  2 ,5018 . 1  2 ,5018 . 0 ,1353  2 ,8404 s  2 ,5018 . 0 ,3678  2 ,5018 . 0 ,3678  2 ,8404
0 1
ys 0 ys 1

x1 = 0 , x2 = 1 : x1 = 1 , x2 = 1 :
2
 12 ) 2
 12 )
1  e  ( 0  0 ,3678 1  e  ( 1  0 ,1353
2 2 2
 ( 1 1 ) 2 ]
 2  e  [( 0  1)  ( 1 1 ) ]
 0 ,3678  2  e  [( 1 1 ) 1
s  2 ,5018 . 0 ,3678  2 ,5018 . 0 ,3678  2 ,8404 s  2 ,5018 . 0 ,1353  2 ,5018 . 1  2 ,8404
1 0
ys 1 ys 0

x1 x2 1 2 y
0 0 1 0,1353 0
0 1 0,3678 0,3678 1
1 0 0,3678 0,3678 1
1 1 0,1353 1 0

Cours : Techniques de l’Intelligence Artificielle Université Mohammed Seddik Ben Yahia - Jijel / Faculté des Sciences et de la Technologie
Enseignant : N. LOURCI Département d'Électrotechnique / 2ème année Master / Option : Commande Électrique
Chapitre 2 : Réseaux de neurones artificiels 20

Exemple 2 : XOR avec 4 neurones cachés

1 = ( 0 , 0 )  1
2 = ( 0 , 1 )
w1
3 = ( 1 , 0 )
4 = ( 1 , 1 )  2
x1 w2

1 = 2 = 3 = 4 = 1  y
 3
x2 w3
w1 = w4 = - 1 , w2 = w3 = 1

( x  i ) 2  4 w4

2  i2
i ( x )  e

( x  1 ) 2 ( x  3 )2
 
2  12 2  32
1 ( x )  e 3 ( x )  e
( x1  1 ) 2  ( x 2  1 ) 2 ( x1  3 )2  ( x 2  3 )2
 
2  12
e e 2  32

( x1  0 )2  ( x 2  0 )2 ( x 1  1) 2  ( x 2  0 ) 2
 
e 2 . 12 2 . 12
e
( x 12  x 22 ) ( x 1  1 ) 2  x 22
 
e 2
e 2
( x2 )2 ( x  4 )2
 
2  22
2 ( x )  e 4 ( x )  e 2  42

( x1  2 )2  ( x 2   2 )2 ( x1  4 )2 ( x 2  4 )2
 
2  22
e e 2  42

( x 1  0 ) 2  ( x 2  1) 2 ( x 1  1) 2  ( x 2  1) 2
 
e 2 . 12 2 . 12
e
x 12  ( x 2  1 ) 2 ( x 1  1) 2  ( x 2  1) 2
 
e 2
e 2

y  w11  w 2 2  w33  w 4 4

x1 = 0 , x2 = 0 : x1 = 1 , x2 = 0 :
(0 2 0 2 ) ( 12  0 2 )
 
1  e 2 1 1  e 2  0 ,6065
[0 2  ( 0  1 ) 2 ] [1 2  ( 0  1 ) 2 ]
 
2  e 2  0 ,6065 2  e 2  0 ,3679
2 2 2 2
( 0  1)  0 ( 1 1 )  0
 
3  e 2  0 ,6065 3  e 2 1
2 2
( 0  1)  ( 0  1) ( 1 1 )  ( 0  1 ) 2
2
 
4  e 2  0 ,3679 4  e 2  0 ,6065
s  1 . 1  1 . 0 ,6065  1 . 0 ,6065  1 . 0 ,3679 s  1 . 0 ,6065  1 . 0 ,3679  1 . 1  1 . 0 ,6065
  0 ,1548  0 ,1548

y0 y1

Cours : Techniques de l’Intelligence Artificielle Université Mohammed Seddik Ben Yahia - Jijel / Faculté des Sciences et de la Technologie
Enseignant : N. LOURCI Département d'Électrotechnique / 2ème année Master / Option : Commande Électrique
Chapitre 2 : Réseaux de neurones artificiels 21

x1 = 0 , x2 = 1 : x1 = 1 , x2 = 1 :

( 0 2  12 ) ( 12  12 )
 
1  e 2  0 ,6065 1  e 2  0 ,3679

[ 0 2  ( 1 1 ) 2 ] [ 1 2  ( 1 1 ) 2 ]
 
2  e 2 1 2  e 2  0 ,6065

( 0  1) 2  1 2 ( 1 1 ) 2  1 2
 
3  e 2  0 ,3679 3  e 2  0 ,6065

( 0  1 ) 2  ( 1 1 ) 2 ( 1 1 ) 2  ( 1 1 ) 2
 
4  e 2  0 ,6065 4  e 2 1

s  1 . 0 ,6065  1 . 1  1 . 0 ,3679  1 . 0 ,6065 s  1 . 0 ,3679  1 . 0 ,6065  1 . 0 ,6065  1 . 1

 0 ,1548   0 ,1548

y1 y0

x1 x2 1 2 3 4 s y
0 0 1 0,6065 0,6065 0,3679 - 0,1548 0
0 1 0,6065 1 0,3679 0,6065 0,1548 1
1 0 0,6065 0,3679 1 0,6065 0,1548 1
1 1 0,3679 0,6065 0,6065 1 - 0,1548 0

Exemple 3 : Apprentissage

1 = ( 0 , 0 , 0 , 0 )  1
x1
2 = ( 1 , 1 , 1 , 1 ) w1
3 = ( 2 , 2 , 2 , 2 ) x2
 2
w2
1 = 2 , 2 = 3 , 3 = 4  y
x3

w1 = 0,2 , w2 = 0,4 , w3 = 0,5  3 w3

x4

 = 0,2
( x  i ) 2

x1 x2 x3 x4 d i ( x )  e 2  i2
1,5 2 1,7 2,5 0,14

Cours : Techniques de l’Intelligence Artificielle Université Mohammed Seddik Ben Yahia - Jijel / Faculté des Sciences et de la Technologie
Enseignant : N. LOURCI Département d'Électrotechnique / 2ème année Master / Option : Commande Électrique
Chapitre 2 : Réseaux de neurones artificiels 22

1ère itération :


( x  1 ) 2 s  w11  w 2 2  w33
2  12
1 ( x )  e  0 , 2 . 0 ,1461  0 , 4 . 0 ,8012  0 ,5 . 0 ,9817

( x 1  1 ) 2  ( x 2  1 ) 2  ( x 3  1 ) 2  ( x 4  1 ) 2  0 ,8406
2  12
e

( 1 , 5  0 ) 2  ( 2  0 ) 2  ( 1 ,7  0 ) 2  ( 2 , 5  0 ) 2 y  s  0 ,8406
e 2 . 22

 0 ,1461 edy
 0,14  0,8406
( x2 )2
   0,7006
2  22
2 ( x )  e
( x1  2 )2  ( x 2   2 )2  ( x3   2 )2  ( x 4  2 )2 1 2

2  22 E e
e 2
( 1 , 5  1 ) 2  ( 2  1 ) 2  ( 1 ,7  1 ) 2  ( 2 , 5  1 ) 2 1

2 . 32  (  0,7006 ) 2
e 2
 0 ,8012  0 , 2454

( x  3 )2

2  32
3 ( x )  e
( x1  3 )2  ( x 2  3 )2  ( x3  3 )2 ( x3  3 )2

2  32
e
( 1 , 5  2 ) 2  ( 2  2 ) 2  ( 1 ,7  2 ) 2  ( 2 , 5  2 ) 2

e 2 . 42

 0 ,9817

E
wi  wi  
wi
E E e y s

wi e y s wi

s
s  w11  w 2 2  w33  1  0 ,1461
1 2 E 2 w1
E e  e
2 e 2 s
e   2  0 ,8012
w 2
  0,7006
s
  3  0 ,9817
w 3
e
edy 1
y
w1  0 , 2  0 , 2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,1461  0 ,1795
w 2  0 , 4  0 , 2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,8012  0 , 2877
y
ys 1 w3  0 ,5  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,9817  0 ,3624
s

Cours : Techniques de l’Intelligence Artificielle Université Mohammed Seddik Ben Yahia - Jijel / Faculté des Sciences et de la Technologie
Enseignant : N. LOURCI Département d'Électrotechnique / 2ème année Master / Option : Commande Électrique
Chapitre 2 : Réseaux de neurones artificiels 23

s
s  w11  w 2 2  w33  w1  0 , 2
 1
s
 w2  0 ,4
 2
s
 w 3  0 ,5
 3

( x  i ) 2

2  i2
i ( x )  e

( x  i ) 2

 i 1 2  i2
 . 2 . (  1 ) . ( x   i ) . e
    
 i 2
2 i  i

x  i
 i
 i2
( x 1  i ) 2  ( x 2  i ) 2  ( x 3  i ) 2  ( x 4  i ) 2
 i
 i2

 1 ( 1,5  0 ) 2  ( 2  0 ) 2  ( 1,7  0 ) 2  ( 2 ,5  0 ) 2
 . 0 ,1461
 1 22
 0 ,1432

 2 ( 1,5  1) 2  ( 2  1) 2  ( 1,7  1) 2  ( 2 ,5  1) 2
 . 0 ,8012
 2 32
 0 ,1778

 3 ( 1,5  2 ) 2  ( 2  2 ) 2  ( 1,7  2 ) 2  ( 2 ,5  2 ) 2
 . 0 ,9817
 3 42
 0 ,0471

1  ( 0 ,0 ,0 ,0 )  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,2 . 0 ,1432

 (  0 ,004 ;  0 ,004 ;  0 ,004 ;  0 ,004 )

 2  ( 1,1,1,1)  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,4 . 0 ,1778

 ( 0 ,99 ; 0 ,99 ; 0 ,99 ; 0 ,99 )

 3  ( 2 ,2 ,2 ,2 )  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,5 . 0 ,0471

 ( 1 ,9967 ; 1 ,9967 ; 1 ,9967 ; 1 ,9967 )

Cours : Techniques de l’Intelligence Artificielle Université Mohammed Seddik Ben Yahia - Jijel / Faculté des Sciences et de la Technologie
Enseignant : N. LOURCI Département d'Électrotechnique / 2ème année Master / Option : Commande Électrique
Chapitre 2 : Réseaux de neurones artificiels 24

 E 
 i   i    
  i  moy
 E  1 N E
    k N : nombre de neurones de sortie
  i  moy N k  1  i

 E  E E e y s  i
N  1     
  i  moy  i e y s i  i

( x  i ) 2

2  i2
i ( x )  e

( x  i )2

 i  ( x   i ) 2 . 2 . 2  i 2  i2
 . e
    
 i ( 2 i )2 2
i

( x  i ) 2
 i
 i3
( x  i ) 2  ( x 2   i ) 2  ( x 3  i ) 2  ( x 4  i ) 2
 1 i
 i3

1 ( 1,5  0 ) 2  ( 2  0 ) 2  ( 1,7  0 ) 2  ( 2 ,5  0 ) 2

 . 0 ,1461
 1 23
 0 , 2811

 2 ( 1,5  1) 2  ( 2  1) 2  ( 1,7  1) 2  ( 2 ,5  1) 2
 . 0 ,8012
 2 33
 0 ,1184

3 ( 1,5  2 ) 2  ( 2  2 ) 2  ( 1,7  2 ) 2  ( 2 ,5  2 ) 2

 . 0 ,9817
 3 43
 0 ,0091

 1  2  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,2 . 0,2811

 1 ,9921

 2  ( 1 ,1,1,1)  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 , 4 . 0 ,1184

 2 ,9934

 3  ( 2 ,2 , 2 ,2 )  0 ,2 . (  0 ,7006 ) . ( 1) . 1 . 0 ,5 . 0 ,0091

 3 ,9994

2ère itération : On refait les mêmes calculs précédents.

Cours : Techniques de l’Intelligence Artificielle Université Mohammed Seddik Ben Yahia - Jijel / Faculté des Sciences et de la Technologie
Enseignant : N. LOURCI Département d'Électrotechnique / 2ème année Master / Option : Commande Électrique