Vous êtes sur la page 1sur 7

SETIT 2009

th
5 International Conference: Sciences of Electronic,
Technologies of Information and Telecommunications
March 22-26, 2009 – TUNISIA

Application des Réseaux Bayésiens à la Modélisation


et la Planification des Réseaux
Lobna BOUCHAALA et Slaheddine JARBOUI
lobna_bouchaala@yahoo.fr
slahjar@yahoo.fr

Résumé: Le présent travail présente un outil de planification des réseaux de communications longues distances basé sur
les performances des réseaux bayésiens. La première partie consiste à modéliser ce réseau à l’aide des algorithmes
d’apprentissage de structures et de paramètres des réseaux bayésiens. Dans un premier temps, nous avons construit les
graphes des réseaux bayésiens en utilisant les algorithmes d’apprentissage de structure K2, GS, et MWST. Ensuite, nous
avons déterminé les tables de probabilités conditionnelles (CPT) de chaque nœud du graphe du réseau bayésien en
utilisant l’algorithme de maximum de vraisemblance. Dans la deuxième partie de notre travail, nous avons optimisé la
structure du réseau.
Mot clé: Réseaux Bayésiens, Modélisation, Apprentissage, Inférence, Planification.

1. Les Réseaux Bayésiens


INTRODUCTION
La planification des réseaux est une application 1.1. Définition
délicate qui s’affronte à des problèmes de localisation,
Un réseau bayésien B = (G, θ ) est défini par :
de topologie d’allocation de ressources et de routage.
Ca complexité est engendrée par la croissance - G = (X,E), graphe dirigé acyclique dont les
exponentielle des services de communications noeuds E sont associés à un ensemble de variables
mobiles, d'Internet et de trafics de données. aléatoires X = { X1, ··· , Xn },
Différentes solutions ont été proposées telles que les
réseaux de neurones et les algorithmes génétiques. - θ = {P (Xi |Pa(Xi))}, ensemble des probabilités
En effet, au carrefour de plusieurs disciplines de chaque nœud Xi conditionnellement à l’état de ses
comme les probabilités et statistiques, l’informatique, parents Pa(Xi) dans G.
les sciences cognitives, l’analyse décisionnelle, en - Un ensemble de variables aléatoires
particulier pour le diagnostic médical, les X = {X1,···,Xn} associées aux nœuds du graphe telles
télécommunications, les réseaux bayésiens que
constituent aujourd’hui une possibilité efficace dans
la résolution de problèmes. Ils constituent l’un des P(X1, X2, · · · , Xn) = ∏ P (Xi |Pa(Xi)) (1)
x∈X
formalismes les plus complets et les plus cohérents
pour l’acquisition, la représentation et l’utilisation de S’il existe un arc du nœud A vers le nœud B, A est
connaissances par des machines intelligentes. Ils sont nommé le parent du B. L’ensemble des nœuds parents
le résultat d’une convergence entre les méthodes du nœud Xi est noté par Pa(Xi).
statistiques qui assurent le passage de l’observation à
une description et celles de l’intelligence artificielle. 1.2. Inférence
L’objectif de notre travail est le développement
L’inférence dans un réseau bayésien se résume à
d’un outil de planification des réseaux de
un calcul de probabilités a posteriori. Connaissant les
communications longues distances à partir d’une
états de certaines variables (appelées variables
description des contraintes de ce problème par des
d’observation e), on détermine les probabilités des
réseaux bayésiens.
états de certaines autres variables (appelées variables
Dans la section 1 nous présentons le concept des cible X) conditionnellement aux observations p(X/e).
réseaux bayésiens, nous présontons notre application Il existe plusieurs algorithmes d’inférence dans les
dans la section 2. La section 3 présente la conclusion réseaux bayésiens classés en deux groupes. Le premier
et quelques perspectives. groupe renferme les méthodes d’inférence exactes :
Bucket Elimination [BEC 99], Message Passing

-1-
SETIT2009

[PEA 88] et Junction Tree [JEN 90] qui exploitent les connecté, et lorsqu’une indépendance conditionnelle
indépendances conditionnelles contenues dans les est détectée, l’arc correspondant est retiré.
réseaux et donnent à chaque inférence les probabilités
Le principe de l’algorithme de recherche gloutonne
a posteriori exactes. Le deuxième comprend les
(Greedy Search GS) [FRA 03] est de prendre un
méthodes approchées (Markov Chain Monte Carlo et
graphe de départ, définir un voisinage de ce graphe,
les méthodes variationnelles).
puis associer un score à chaque graphe du voisinage.
L’algorithme de Pearl [PEA 88] est limité aux Le meilleur graphe est alors choisi comme point de
arbres. Il s’agit d’une architecture à passage de départ de l’itération suivante. L’algorithme s’arrête
message. Dans cette technique, à chaque nœud est lorsque le graphe obtenu réalise un maximum local de
associé un processeur qui peut envoyer des messages la fonction de score.
de façon asynchrone à ses voisins jusqu’à ce qu’un
[COO 1992] ont ont proposé l’algorithme K2. Le
équilibre soit atteint.
principe de cet algorithme est de simplifié l’espace de
L'algorithme de l’arbre de jonction est dit JLO, du recherche en ordonnant les noeuds. Un nœud ne peut
nom de ses auteurs: [JEN 90]. Il s'applique à des alors être parent d’un autre que s’il précède ce dernier
réseaux ne comprenant que des variables à valeurs dans l’ordre fixé. L’espace de recherche devient alors
discrètes. L'algorithme comporte deux phases: une l’ensemble des réseaux bayésiens respectant cet ordre
phase de construction et une phase de propagation. d’énumération. L’algorithme K2 permet aussi de
maximiser la probabilité de la structure sachant les
1.3. Apprentissage des paramètres données .
L'apprentissage des paramètres correspond à SBD (B, D) = p(B, D) = p(B).p(B\D)
l'estimation des probabilités à partir d'un certain
nombre de mesures (base d’exemples) après avoir n qi (ri − 1)! ri
= p (B ) ∏ ∏ ∏ N ijk ! (4)
trouvé la structure du réseau bayésien. Comme pour i =1 j =1 ( N ij + ri − 1)!k =1
tout problème d’apprentissage, différentes techniques
sont possibles selon la disponibilité de données pour le Puisque l’algorithme K2 maximise la probabilité
problème à traiter, ou d’experts du domaine. de la structure sachant les données p(B\D) donc
l’expression à maximiser extraite est noté :
L’estimation de distributions de probabilités à
partir de données est un sujet très vaste et complexe. n qi (ri − 1)! ri
Nous décrivons ici la méthode la plus utilisée dans le g (C i ) = ∏ ∏ ∏ N ijk ! (5)
i =1 j =1 ( N ij + ri − 1)!k =1
cadre des réseaux bayésiens. Dans le cas où toutes les
variables sont observées, la méthode la plus simple et
la plus utilisée est l’estimation statistique. Il s’agit Où Ci les nœuds constituant l’ensemble des
d’estimer la probabilité d’un événement par la parents de la variable Xi
fréquence d’apparition de l’événement dans la base de Il est possible d’utiliser le score BIC [AKA 73] et
données. Cette approche, appelée Maximum de [AKA 79] ou le score bayésien (BD Bayesian
Vraisemblance (MV) [BEC 99], nous donne alors : Dirichlet [COO 1992]).
N i , j ,k l’algorithme K3 [BOU 93] est une variante de
p ( X i = x k \ Parent ( X i ) = x j ) = θ iMV
, j ,k = (2) l’algorithme K2 en remplaçons le score BD par le
N i, j
score MDL.
1.4. Apprentissage de la structure [CHO 68] ont proposé une méthode dérivée de la
recherche de l’arbre de recouvrement de poids
La structure du réseau bayésien dans certaines
maximal (MWST, Maximum Weight Spanning Tree).
situations, est fournie a priori par un expert. Par
Cette méthode associe un poids à chaque arête
contre, la détermination de cette structure à partir
potentiel Xi-Xj de l’arbre. Ce poids peut être
d’une base d’exemples n’est pas simple,
l’information mutuelle entre les variables Xi et Xj
principalement à cause du fait que l’espace de
comme proposé par [Chow 1968], ou encore la
recherche est de taille super-exponentielle en fonction
variation du score local lorsqu’on choisit Xj comme
du nombre de variable. [ROB 1977] a montré que le
parent de Xi. Une fois cette matrice de poids définie, il
nombre de structures différentes pour un réseau
suffit d’utiliser un des algorithmes standards de
bayésien possédant n nœuds, est donné par la formule
résolution du problème de l’arbre couvrant de poids
de récurrence suivante :
maximum comme l’algorithme de Kruskal ou celui de
n n! Prim, et d’orienter l’arbre non dirigé obtenu en
r(n) = ∑ (-1)i+1 2i(n -1)
r(n - i)
choisissant une racine puis en parcourant l’arbre par
i =1 i! (n − i )! une recherche en profondeur.
(3)
L’algorithme PC a été introduit par [SPR 00]. Cette 2. Modélisation et planification des
méthode utilise un test statique pour estimer s’il y a réseaux
indépendance conditionnelle entre deux variables. En
pratique, on démarre avec un graphe complètement La première étape de notre travail consiste à
choisir la topologie du réseau. Dans cette topologie la

-2-
SETIT2009

localisation des 20 nœuds est effectuée de façon coûts


aléatoire .
nbrn = (nombre de nœuds de passage entre em et
Désignons par dij la distance euclidienne entre le rec) +1,
nœud i et le nœud j.
nbra = nombre d’arcs visités lors de l’émission
entre em et rec,
d ij = ( X i − X j ) + (Yi − Y j )
2 2
(6)
Si l’émission entre em et rec est directe
Où (Xi, Yi) et (Xj, Yj) désignent respectivement
alors dir = 2
les coordonnées du noeud i et j.
sinon dir = 1
Deux nœuds séparés par une distance inférieure à 8
(dij <8) sont liés par un arc. La figure 1 illustre un Si l’émission entre em et rec parcourt le plus court
exemple de topologie de réseau. chemin
alors court = 2 et pbarc = 1
sinon court = 1 et pbarc = 2
Fin pour
La troisième étape consiste à construire le graphe
du réseau bayésien. La construction de ce graphe
nécessite l’utilisation d’un algorithme d’apprentissage
de structures. Nous procédons dans cette partie à la
construction de réseaux bayésiens à partir de bases
d’exemples de différentes dimensions. Ceci nous
permettra de tester l’influence du nombre d’exemples
sur la convergence des algorithmes d’apprentissage de
structure utilisés K2, GS et MWST.
Nous avons constaté que l’algorithme K2 est très
rapide en temps d’exécution, et se stabilise à partir
d’une base d’exemples égale à 10000 exemples
(Figure 2). L’algorithme MWST est moins rapide que
: Nœud
K2 en temps d’exécution. Cependant, il est très
: Arc sensible aux modifications de la base d’exemples.
Ceci se voit dans la figure 3. L’algorithme GS est très
Figure 1, Exemple d’un réseau
lent en temps d’exécution et il est aussi très sensible à
la variation de la base d’exemples, comme c’est
La deuxième étape consiste à déterminer la base montré sur la figure 4. GS est sensible à l’initialisation
d’exemples D. Dans notre cas, la base d’exemples puisqu’il nécessite un graphe de départ. Dans notre cas
décrit l’état du réseau au cours du transfert des nous avons pris le graphe obtenu par l’algorithme K2
données d’un nœud à un autre. Cette base d’exemples (Figure 2d) comme graphe de départ.
se présente sous la forme d’une matrice, appelée La quatrième étape de notre travail est
« data », formée de n lignes (nombre de nœud) et m l’estimation des paramètres du réseau bayésien. Ces
colonnes (nombre de mesures effectuées). paramètres sont représentés par une distribution de
Pour déterminer cette base d’exemples, nous avons probabilité de chaque noeud connaissant ses parents.
réalisé l’algorithme ci-dessous : Le graphe (figure 2d) du réseau bayésien utilisé est
celui obtenu par application de l’algorithme K2 avec
Algorithme l’ordre d’énumération [em rec court nbn pba nba
dir]
- Remplir une matrice des coûts par le poids de
chaque arc P(em=i, rec=j\court=1) ou P(em=i, rec=j\pba=2)
ne sont pas calculables à partir des tables de
- 10% du nombre total des arcs du réseau présenté probabilité (CPT) trouvées dans la quatrième étape. Il
dans la figure 1 seront considérés comme défectueux. existe de nombreux algorithmes d'inférence. Nous
-D=Ø rappelons que l’inférence dans un réseau bayésien
consiste à propager une ou plusieurs informations
- Choisir (m) la taille de la base d’exemple certaines au sein de ce réseau, pour en déduire
- Pour i de 1 à m faire comment les croyances concernant les autres nœuds
sont modifiées. Selon la structure du réseau bayésien,
Choisir deux nœuds em = nœud émetteur et rec = nous choisissons l’algorithme d’inférence adéquat. Si
nœud récepteur, la structure du réseau bayésien est un arbre, nous
Appliquer l’algorithme de Dijkstra, algorithme de utilisons l’algorithme de Pearl « message passing ».
recherche de plus court chemin, sur la matrice des

-3-
SETIT2009

em rec court nbn em rec court

pba nba pba nbn

dir nba dir

(a) (b)

em rec
em rec

court
court nbn

nbn
pba

nba pba

nba

dir

dir

(c) (d)

Figure 2 , Réseau Bayésien obtenu par application de l’algorithme K2 pour l’ordre


d’énumération [em rec court nbn pba nba dir] à partir d’une base d’exemple
de taille
(a) : 100, (b) : 500 , (c) : 1000, (d) : 10000 Æ30000

-4-
SETIT2009

em em

rec nbn rec

pba nba dir nbn court

court nba dir pba

(a) (b)

em
em

nbn
nbn

rec court dir nba


rec nba dir pba

pba
court

(c) (d)

Figure 3 , Réseau Bayésien obtenu par application de l’algorithme MWST à partir


d’une base d’exemple de taille

(a) : 100, (b) : 500, (c) : 10000, (d) : 15000 Æ30000


-5-
SETIT2009

em rec em rec

court nbn

pba nba

nbn dir

nba court

dir pba

Figure 4, Réseau Bayésien obtenu par application de l’algorithme GS à partir


d’une base d’exemple de taille

(a): 100Æ10000, (b) : 15000Æ30000

Si la structure du réseau bayésien est avec Si P(em=i, rec=j\court=1) = 0 ou P(em=i,


boucles, nous utilisons l’algorithme JLO « junction rec=j\pba=2) = 0, nous supprimons le lien entre i et j
tree ». D’après notre exemple, la structure du réseau et nous mettrons à jour la matrice des coûts. La figure
bayésien obtenue par application de l’algorithme K2 5 présente la topologie du réseau avant et après
(Figure 2d) présente des boucles. Par conséquent suppression d’arcs.
l’application de l’algorithme de l’arbre de jonction
s’impose. 3. Conclusion et Perspectives
Nous avons présenté dans ce travail une méthode
de planification des réseaux de communications
longues distances en utilisant les réseaux bayésiens.
Grâce aux algorithmes d’apprentissage et d’inférence
de ces derniers nous avons modélisé qualitativement et
quantitativement les réseaux de communications.
Comme Perspectives, nous proposons d’appliquer les
réseaux bayésiens à la mise à jour des tables de
routage et au contrôle de la QoS dans les réseaux de
communications.

REFERENCES
[AKA 93] H. AKAIKE, “Information theory and extension
of the maximum likelihood principle”. Proceedings of
the 2nd International Symposium of Information Theory,
: Nœud Akademiai Kiado, Budapest, pp. 267–281, 1973.
: Arc [AKA 79] H. AKAIKE, “A bayesian extention of the
minimum AIC procedure of autoregressive odel”.
Figure 5, Réseaux avant et après mise à jour Biometrika, vol 66(1), pp. 237–242, 1979.

-6-
SETIT2009

[ BEC 99] A. BECKER, NAÏM P., Les réseaux bayésiens


modèle graphique de connaissance, Editions Eyrolles,
1999.
[BOU 93] R.R. BOUCKAERT, Probabilistic network
construction using the minimum description length
principle. Lecture Notes in Computer Science, 747, p.
41-48, 1993.
[CHO 68] C. CHOW, C. LIU, Approximating Discrete
Probability Distributions with Dependence Trees, IEEE
Trans. Information Theory, vol.14, p. 462-467, 1968.
[COO 92] G.F. COOPER, HEROSKOVITS E., A Bayesian
method for the induction of probabilistic network from
data, Machine Learning, vol.9, p.309-347, 1992.
[FRA 03] O. FRANÇOIS, P. LERAY, « Etude comparative
d’algorithmes d’apprentissage de structure dans les
réseaux bayésiens », Proceeding of RJCIA 2003,
plateforme AFIA, Laval, France, 2003.
[JEN 90] F.V. JENSEN, S.L. LOURITZEN, K.G. OLESEN,
Bayesian updating in recursive graphical models by
local computations. Computational Statistical Quaterly,
4, p.269-282, 1990,
[PEA 88] J. PEARL, Probabilistic reasoning in Intelligent
Systems: Networks of plausible inference Morgan
Kaufman, 1988.
[ROB 77] R. ROBINSON, Counting unlabeled acyclic
digraphs. In C. H. Little, Ed Combinatorial Mathematics
V. Lecture Notes in Mathematics, Berlin: Springer,
vol.622, p. 28-43, 1977.
[SPI 00] P. SPIRTES, C. GLUMOUR, R. SHEINES,
Causation. Prediction and Search, The MIT Press, 2ème
Edition, 2000.

-7-