Optimisation par essaim particulaire

Guillaume C ALAS
guillaume.calas@gmail.com
14-16 rue Voltaire,
94270 Le Kremlin-Bictre,
France

Spcialisation Sciences Cognitives et Informatique Avance

Mots cls: optimisation, mtaheuristiques, essaim de particules, essaim particulaire, OEP, particule swarm optimisation,
PSO.
Rsum
Lapparition des algorithmes volutionistes fait leffet dune bombe dans les domaines de la rsolution
de problmes complexes, et spcialement dans loptimisation de fonction avec contraintes. Loptimisation
par essaim de particules se prsente comme une alternative aux algorithmes gntiques et aux colonies de
fourmis pour loptimisation de fonctions non-linaires.
Ce document a pour objet de prsenter succinctement lorigine de cette mthode avant daborder sa mise
en uvre et les rglages de ses paramtres.

Table des matires

1

Introduction

Applications

Prsentation de la mthode
3.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Formalisation . . . . . . . . . . . . . . . . . . . . . .
3.3 Configuration de la mthode . . . . . . . . . . . . . .
3.3.1 Nombre de particules . . . . . . . . . . . . . .
3.3.2 Topologie du voisinage . . . . . . . . . . . . .
3.3.3 Coefficients de confiance . . . . . . . . . . . .
3.3.4 Vitesse maximale et coefficient de constriction
3.3.5 Facteur dinertie . . . . . . . . . . . . . . . .
3.3.6 Initialisation de lessaim . . . . . . . . . . . .
3.3.7 Critres darrt . . . . . . . . . . . . . . . . .
3.4 Algorithme de synthse . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

1
1
1
2
2
2
2
2
2
3
3
3

[S CIA ] E PITA 2009

Optimisation par essaim particulaire

Introduction

optimale, et dautre part, de son mimtisme par rapport aux

solutions trouves dans son voisinage.

Loptimisation par essaim de particules (Particle Swarm

partir doptimums locaux et empiriques, lensemble
Optimization (PSO) dans la langue de S HAKESPEARE) est
des
particules
va, normalement, converger vers la solution
une mthode doptimisation stochastique, pour les foncoptimale
globale
du problme trait.
tions non-linaires, base sur la reproduction dun comportement social et dveloppe par le Dr. E BERHART et le Dr.
K ENNEDY [4, 2] en 1995.
3.2 Formalisation
Lorigine de cette mthode vient des observations faites Un essaim de particule est caractris par :
lors des simulations informatiques de vols groups doia) le nombre de particules de lessaim, not nb (3.3.1) ;
seaux et de bancs de poissons de R EYNOLD [5], H EPPNER

et G RENANDER [3]. Ces simulations ont mis en valeur

b) la vitesse maximale dune particule, note
v max
la capacit des individus dun groupe en mouvement
(3.3.4) ;
conserver une distance optimale entre eux et suivre un
c) la topologie et la taille du voisinage dune particule
mouvement global par rapport aux mouvements locaux de
qui dfinissent son rseau social (3.3.2).
leur voisinage.
Dautre part, ces simulations ont galement rvl
limportance du mimtisme dans la comptition qui oppose
les individus la recherche de la nourriture. En effet,
les individus sont la recherche de sources de nourriture
qui sont disperss de faon alatoire dans un espace de
recherche, et ds lors quun individu localise une source
de nourriture, les autres individus vont alors chercher le
reproduire.

d) linertie dune particule, note (3.3.5) ;

e) les coefficients de confiance, nots 1 et 2 , qui pondrent le comportement conservateur (ie. la tendance
retourner vers la meilleure solution visite) et le
panurgisme (ie. la tendance suivre le voisinage)
(3.3.3).
Une particule est caractrise, linstant t, par :

Ce comportement social bas sur lanalyse de lenvironnement et du voisinage constitue alors une mthode
de recherche doptimum par lobservation des tendances
des individus voisins. Chaque individu cherche optimiser
ses chances en suivant une tendance quil modre par ses
propres vcus.

x i (t) : sa position dans lespace de recherche ;

v (t) : sa vitesse ;

pbesti : la valeur de fitness de sa meilleure solution ;

Applications

x pbesti : la position de la meilleure solution par
laquelle elle est passe ;

x vbesti : la position de la meilleure solution connue
de son voisinage ;

vbesti : la valeur de fitness de la meilleure solution

Les essaims de particules sont essentiellement utiliss afin
connu du voisinage ;
de trouver loptimum de fonctions non-linaires. Pour cette
raison, cette mthode est utile pour optimiser lentranement des rseaux de neurones.
Algorithme 1 version simpliste (sans voisinage)

3
3.1

Prsentation de la mthode
Principe

Loptimisation par essaim de particules repose sur un ensemble dindividus originellement disposs de faon alatoire et homogne, que nous appelerons ds lors des particules, qui se dplacent dans lhyper-espace de recherche et
consituent, chacune, une solution potentielle.
Chaque particule dispose dune mmoire concernant sa
meilleure solution visite ainsi que la capacit de communiquer avec les particules constituant son entourage. partir
de ces informations, la particule va suivre une tendance
faite, dune part, de sa volont retourner vers sa solution

E PITA, 14-16 rue Voltaire, 94270 Le Kremlin-Bictre, France

E NTRES : 0 < < 1

rpter
pour i = 1 jusqu nb faire

si F(
x i ) > pbesti alors

pbesti = F(
x i)

x pbesti = x i
fin si

vi=
v i + (
x pbesti
x i)

x i = x i+ v i
fin pour
jusqu (un des critres de convergence est atteint)

[S CIA ] E PITA 2009

Optimisation par essaim particulaire

3.3
3.3.1

Configuration de la mthode
Nombre de particules

La quantit de particules alloues la rsolution du problme dpend essentiellement de deux paramtres : la taille
de lespace de recherche et le rapport entre les capacits de
calcul de la machine et le temps maximum de recherche.
Il ny a pas de rgle pour dterminer ce paramtre, faire
de nombreux essais permet de se doter de lexprience
ncessaire lapprhension de ce paramtre.

3.3.2

Topologie du voisinage

o r1 et r2 suivent une loi uniforme sur [0..1] et c1 et c2 sont

des constantes positives dtermines de faon empirique et
suivant la relation c1 + c2 4.

3.3.4

Vitesse maximale et coefficient de constriction

Afin dviter que les particules ne se dplacent trop rapidement dans lespace de recherche, passant ventuellement
ct de loptimum, il peut tre ncessaire de fixer une

vitesse maximale (note V max ) pour amliorer la convergence de lalgorithme.

Cependant, on peut sen passer si on utilise un coeffiLa topologie du voisinage dfini avec qui chacune des
cient
de constriction introduit par Maurice C LERC [1]
particules va pouvoir communiquer. Il existe de nombreuses

et
qui permet de resserrer lhyper-espace de recherche.
combinaisons dont les suivantes sont les plus utilises :
a) topologie en toile : chaque particule est relie
toutes les autres, ie. loptimum du voisinage est
loptimum global ;

Lquation de la vitesse devient alors :

p
|2 4|
1
= 1 +

b) topologie en anneau : chaque particule est relie

n particules (en gnral, n = 3), cest la topologie la avec = 1 + 2 > 4.
plus utilise ;

v i (t) = .(
v i (t 1)

c) topologie en rayon : les particules ne communiquent

+ 1 .(
x pbesti
x i (t))
quavec une seule particule centrale ;

+ 2 .(
x vbesti
x i (t)))
Les tudes de S HI et E BERHART indiquent que lutilisation dun coefficient de constriction donne gnralement
un meilleur taux de convergence sans avoir fixer de vitesse
maximale. Cependant, dans certains cas, le coefficient de
constriction seul ne permet pas la convergence vers la
solution optimale pour un nombre ditrations donn. Pour
F IGURE 1 (a) anneau (avec n = 2), (b) rayon, (c) rsoudre ce problme, il peut tre intressant de fixer

toile.
v max =
x max en plus du coefficient de constriction, ce qui,
Sous licence Creative Common Attribution ShareAlike 2.5.
selon les tudes de S HI et E BERHART, permet damliorer
les performances globales de lalgorithme.
Le voisinage gographique auquel nous sommes amens penser en premier lieu nest pas ncessairement 3.3.5 Facteur dinertie
pertinent car, dune part, il sagirait dun voisinage trop
local, et dautre part car la sociabilisation des particules tend Le facteur dintertie introduit par S HI et E BERHART
rendre tout voisinage social en voisinage gographique. permet de dfinir la capacit dexploration de chaque
Enfin, cest un voisinage trs lourd en terme de calculs car particule en vue damliorer la converge de la mthode.
ncessitant de recalculer le voisinage de chaque particule Une grande valeur de (> 1) est synonyme dune grande
amplitude de mouvement et donc, in fine, dexploration
chaque itration.
globale. A contrario, une faible valeur de (< 1) est
synonyme de faible amplitude de mouvement et donc,
3.3.3 Coefficients de confiance
dexploration locale. Fixer ce facteur, revient donc trouver
Les variables de confiance pondres les tendances de la un compromis entre lexploration locale et lexploration
particule vouloir suivre son intinct de conservation ou son globale.
panurgisme. Les variables alatoires 1 et 2 peuvent tre
Le calcul de la vitesse est alors dfini par :
dfinies de la faon suivante :

(
v i (t) = .
v i (t 1)
1 = r1 .c1

+ 1 .(
x pbesti
x i (t))
2 = r2 .c2

+ 2 .( x vbesti x i (t))
E PITA, 14-16 rue Voltaire, 94270 Le Kremlin-Bictre, France

Optimisation par essaim particulaire

[S CIA ] E PITA 2009

La taille du facteur dinertie influence directement la Algorithme 2 version simpliste (avec voisinage)
taille de lhyper-espace explor et aucune valeur de ne
rpter
peut garantir la convergence vers la solution optimale.
pour i = 1 jusqu nb faire
Les tudes menes par S HI et E BERHART indiquent une
meilleure convergences pour [0.8, 1.2]. Au del de 1.2,
lalgorithme tend avoir certaines difficultes converger.
Enfin, il est galement possible de faire diminuer le
facteur dinertie au cours du temps, un peu la manire de la
temprature dans un algorithme de recuit simul (Simulated
Annealing). De bons rsultats ont t trouvs pour une
valeur dcroissant linairement de 0.9 0.4.
Pour de plus amples informations sur le rglage de ce
paramtre, veuillez vous rfrer la thse de VAN DEN
B ERGH[6].

3.3.6

Initialisation de lessaim

si F(
x i ) > pbesti alors

pbesti = F(
x i)

x pbesti = x i
fin si

si F(
x i ) > vbesti alors

vbesti = F(
x i)

x vbesti = x i
fin si
fin pour
pour i = 1 to nb faire

v i = (
v i + 1 (
x pbesti
x i ) + 2 (
x vbesti

x i ))

xi=
x i +
vi
fin pour
jusqu (un des critres de convergence est atteint)

La position des particules ainsi que leur vitesse initiale

doivent tre initialiss alatoirement selon une loi uniforme
sur [0..1]. Cependant, en ce qui concerne la position des
particules, il est prfrable dutiliser un gnrateur de s- Rfrences
quence de S OBOL qui est plus pertinent dans la disposition
homogne des particules dans un espace de dimension n.
[1] Maurice Clerc and James Kennedy. The particle
swarm - explosion, stability, and convergence in
a multidimensional complex space.
IEEE Trans.
3.3.7 Critres darrt
Evolutionary Computation, 6(1) :5873, 2002.
Comme indiqu prcdemment, la convergence vers la
solution optimale globale nest pas garantie dans tous les [2] Russell C. Eberhart, Yuhui Shi, and James Kennedy.
Swarm Intelligence. The Morgan Kaufmann Series
cas de figure mme si les expriences dnotent la grande
in Artificial Intelligence. Morgan Kaufmann, San
performance de la mthode. De ce fait, il est fortement
Francisco, CA, USA, 2001.
conseill de dot lalgorithme dune porte de sortie en dfinissant un nombre maximum ditration (que nous noterons [3] F. Heppner and U. Grenander. A stochastic nonlinear
nbItermax ).
odel for coordinated bird flocks. AAAS Publication,
Washington, DC, 1990.
Lalgorithme doit alors sexcuter tant que lun des
critres de convergence suivant na pas t atteint :
[4] Riccardo Poli, James Kennedy, and Tim Blackwell.
Particle swarm optimization. Swarm Intelligence,
nbItermax a t atteint ;
1(1) :3357, 2007.
la variation de la vitesse est proche de 0 ;
[5] Craig W. Reynolds. Flocks, herds, and schools : A
le fitness de la solution est suffisant.
distributed behavioral model. Computer Graphics,
21(4) :2534, 1987.

3.4

Algorithme de synthse

E PITA, 14-16 rue Voltaire, 94270 Le Kremlin-Bictre, France

[6] F. van den Bergh. An Analysis of Particle Swarm

Optimizers. PhD thesis, Department of Computer
Science, University of Pretoria, November 2002.