Strategie Zespoowe (SZ)

dr in. Tomasz Biaaszewski

Tematyka wykadw
Swarm Intelligence
Ant Colony Optimization (ACO)
Particle Swarm Optimization (PSO)
Glowworm Swarm Optimization (GSO)
Firefly Algorithm (FA)
Bees Algorithm (BA)
River Formation Dynamics (RFO)
Stochastic Diffusion Search (SDS)
Gravitational Search Algorithm (GSA)

Tematyka wykadu
Algorytmy Inteligencji Roju (SI)
Optymalizacja koloni mrwek (ACO)
Optymalizacja rojem czsteczek (PSO)
Optymalizacja rojem robaczkw witojaoskich
(GSO) (FA)
Algorytm pszcz (BA)
Algorytm dynamiki formowania rzek(RFO)
Algorytm poszukiwao dyfuzj stochastyczn (SDS)
Algorytm poszukiwao grawitacyjnych (GSA)

Tematyka wykadw
Inne techniki
Intelligent Water Drops (IWD)
Charged System Search (CSS)
Altruism Algorithm (AA)
Harmony search (HA)

Tematyka Wykadu
Inne techniki
Algorytm inteligencji kroplami wody (IWD)
Algorytm poszukiwao naadowanymi czstkami
(CSS)
Algorytm altruizmu(AA)
Algorytm poszukiwania harmonii (HA)

Inteligencja Roju (Swarm Intelligence)
Koncepcja rozwinita podczas prac nad sztuczn
inteligencj

Gerardo Beni & Jing Wang
(1989) automaty komrkowe

Cechy systemw SI:
zdecentralizowane zbiorowe zachowanie, naturalnych
lub sztucznych samoorganizujcych si systemw
Populacja prostych agentw lub sztucznych istot
Agenci wsppracujcy ze sob i ze swoim
rodowiskiem
Inteligencja Roju (Swarm Intelligence)
Inspiracja pochodzi czsto z natury, w
szczeglnoci z systemw biologicznych
Przykadowo:
kolonie mrwek
stada ptakw
stada zwierzt
wzrost bakterii
awice ryb
Inteligencja Roju (Swarm Intelligence)
Charakterystyka agentw:
proste reguy
brak scentralizowanej struktury kontroli
zachowao lokalnych i do pewnego stopnia
przypadkowych
Wzajemne oddziaywanie inteligentnego
globalnego zachowania (emergencja)
nieznanego dla pojedynczych agentw
Inteligencja Roju (Swarm Intelligence)
Swarm robotics zastosowanie zasad
inteligencji roju dla grup wsppracujcych
robotw

Swarm intelligence odnosi si do zbioru
algorytmw

Swarm prediction problemy predykcji
systemw
Optymalizacja koloni mrwek (ACO)
Inspiracje zachowaniem niektrych gatunkw
mrwek
Mrwki pozostawiaj feromon na terenach
w celu oznaczenia pewnych faworyzowanych
cieek ktrymi mog podad pozostali
czonkowie koloni
Algorytm poszukiwao koloni mrwek
wykorzystuje podobny mechanizm
rozwizywania problemw optymalizacyjnych
Biologiczne to ACO
Pierre-Paul Grasse (1940-50)
pewne gatunki termitw
reaguj na tzw. istotne bodce
(ang. significant stimuli)

Rezultatem tych reakcji mog byd nowe
istotne bodce zarwno dla owada
generujcego jak i dla pozostaych w kolonii

Biologiczne to ACO
Stygmergia szczeglny rodzaj komunikacji:
Charakterystyka stygmergii:
porednia forma komunikacji
za pomoc rodowiska:
Owady wymieniaj si informacja
poprzez modyfikacj rodowiska
Informacja moe byd uywana wycznie
przez te owady, ktre mona znaled w jej
bezporednim ssiedztwie

Biologiczne to ACO
Przykady stygmergi mona zaobserwowad w
koloniach mrwek
W wiele gatunkw mrwek poruszajc si od
gniazda do rda poywienia pozostawia na
sciekach substancj zwan feromonem
Inne mrwki zauwaaj obecnod feromonu i
podaj po ciekach gdzie jego stenie jest
najwiksze

Biologiczne to ACO
J.-L. Deneubourg, S. Aron, S. Goss, and J.-M.
Pasteels, The self-organizing exploratory
pattern of the Argentine ant (1990)
badania dotyczce feromonu
i zachowania mrwek

eksperyment z podwjnym mostem
gniazdo kolonii mrwki Argentyoskiej
poczono z rdem poywienia za pomoc
dwch cieek o jednakowej dugoci

Biologiczne to ACO
Mrwki rozpoczynaj eksploracj terenu w
otoczeniu gniazda i ewentualnie osigaj
poywienie
Wzdu ich cieek pozostawiaj, pomidzy
poywieniem a gniazdem, feromon
Pocztkowo kada mrwka wybiera losowo
jedn z dwch ze cieek


Biologiczne to ACO
Jednak pomimo pocztkowych przypadkowych
wyborw co do trasy, po pewnym czasie jedna
z dwch cieek posiada wysze stenie
feromonw ni druga i dlatego przyciga
wicej mrwek
To przynosi dalszy wzrost iloci feromonu na
tej ciece czynic j bardziej atrakcyjn w
zwizku z czym po pewnym czasie caa kolonia
mrwek korzysta tylko z tego mostu

Biologiczne to ACO
Takie zachowanie ma charakter autokatalizacji
(dodatniego sprzenia zwrotnego), moe byd
uyte przez mrwki do znalezienia najkrtszej
cieki pomidzy gniazdem a poywieniem

Goss i inni rozwayli wariant eksperymentu z
podwjnym mostem polegajcy na
utworzeniu dwch cieek, przy czym jedna z
nich bya znacznie dusza
Biologiczne to ACO
Przypadkowy wybr cieki w pocztkowym
stadium zosta zredukowany oraz
mrwki wybieray krtsz tras do
osignicia rda poywienia
Biologiczne to ACO


jednakowe dugoci


Rne dugoci
Gniazdo Poywienie Gniazdo Poywienie
Eksperyment z podwjnym mostem
Biologiczne to ACO
Model zachowania mrwek (Goss i in. 1989):





gdzie
- mrwki wybior pierwsz/drug ciek
- chwila czasu (dla wyboru jednej ze cieek)
- parametry strojone eksperymentalnie
h h
h
k t k t
k t
p
) ( ) (
) (
2 1
1
1
+ + +
+
=
1 2
1 p p =
2 , 1
t
2 , 1
p
h k,
Techniki optymalizacyjne ACO
Model zaproponowany przez Deneubourga i
wsppracownikw w celu wyjanienia
zachowania mrwek gwnym rdem inspiracji
dla rozwoju optymalizacji koloni mrwek (ACO)
Kolonia sztucznych mrwek konstruuje
rozwizanie rozwaanego problemu
optymalizacyjnego poprzez wymian informacji o
jakoci tych rozwizao za pomoc schematu
komunikacji zadaptowanego z rzeczywistych
koloni mrwek
Techniki optymalizacyjne ACO
ALGORYTM AUTHORZY ROK
ANT SYSTEM (AS) DORGIO i in. 1991
ELITIST AS DORGIO i in. 1992
ANT-Q GAMBARDELLA & DORGIO 1995
ANT COLONY SYSTEM DORGIO & GAMBARDELLA 1996
MAX-MIN AS STUZLE & HOOS 1996
RANK BASED AS BULLNHEIMER i in. 1997
ANTS MANEZZIO 1999
BWAS CORDON i in. 2000
HYPER-CUBE AS BLUM i in. 2001
ACO i Problem Komiwojaera (TSP)
W problemie komiwojaera dany jest zbir
miast i odlegoci pomidzy nimi
Rozwizaniem problemu polega na znalezieniu
najkrtszej trasy przechodzcej przez
wszystkie miasta tylko raz
Definiujc formalnie: celem jest znalezienie
minimalnej dugoci trasy Hamiltona dla
penego cyklu grafu
ACO i Problem Komiwojaera (TSP)
W ACO problem jest rozwizywany poprzez
symulacj grupy sztucznych mrwek
poruszajcych si po grafie w ktrym:
kady wierzchoek reprezentuje miasto
kada krawd reprezentuje poczenie pomidzy
dwoma miastami
Zmienna zwana feromonem jest zwizana z
kad krawdzi i moe byd odczytywana i
modyfikowana przez kad mrwk
ACO i Problem Komiwojaera (TSP)
ACO algorytmem iteracyjnym
W kadej iteracji rozpatrywane s wszystkie
mrwki z kolonii
Kada z mrwek konstruuje rozwizanie
poprzez poruszanie si od wierzchoka do
wierzchoka na grafie z ograniczeniem
dotyczcym przechodzenia przez wierzchoki
ju odwiedzane
ACO i Problem Komiwojaera (TSP)
Na kadym etapie tworzenia cieki, mrwka
wybiera wierzchoek wedug stochastycznego
mechanizmu opartego na feromonie
i
l
k
j
m
ACO i Problem Komiwojaera (TSP)
Pod koniec iteracji, w oparciu o jakod
rozwizao zbudowanych przez mrwki,
wartoci feromonu s modyfikowane w celu
poprawy tworzonych rozwizao w kolejnych
ponownych krokach algorytmu
ACO i Problem Komiwojaera (TSP)
TSP trudne zadanie optymalizacyjne
Liczba rozwizao wynosi dla STSP





Na Ziemi znajduje si tylko 10
21
litrw wody
n miast Liczba rozwizao
10 181 000
20 10
15

50 10
61

2 / )! 1 ( n
Metaheurystyka ACO
Optymalizacji koloni mrwek zostaa
sformalizowana do postaci metaheurystyki dla
problemw optymalizacji kombinatorycznej
(Dorigo i in.)
Metaheurystyka jest zbiorem algorytmicznych
koncepcji, ktre mog byd uyte do
zdefiniowania metod zastosowanych dla
szerokiej klasy rnych problemw
Metaheurystyka ACO
Metaheurystyka ma charakter algorytmicznych
zasad oglnego przeznaczenia stosowanych do
rnych problemw optymalizacji z niewielikmi
stosunkowo modyfikacjami
Przykadowo metaheurystka obejmuje:
Symulowane wyarzanie
Poszukiwanie tabu
Iteracyjne lokalne poszukiwania
Obliczenia ewolucyjne
Optymalizacja koloni mrwek
Metaheurystyka ACO
Problem kombinatorycznej optymalizacji:
Niech dany jest model zoony z:
Przestrzeni poszukiwao zdefiniowana
przez skooczony zbir zmiennych
decyzyjnych ,
zbir zawierajcy ograniczenia na
zmienne decyzyjne
funkcja celu
) , , ( f S P O =
S
i
X n i ..., , 2 , 1 =
O
+
R S f :
Metaheurystyka ACO
Zmienna przyjmuje wartoci
Moliwe rozwizanie jest kompletnym
przypisaniem wartoci do zmiennej, ktra
spenia wszystkie ograniczenia
Rozwizanie nazuwane jest
globalnym minimum wtedy i tylko wtedy
gdy :
S se
i
X { }
| | 1
, ,
i
i
D
i i
v v D =
O
S s e
*
) ( ) (
*
s f s f
S se
s
Metaheurystyka ACO
Model kombinatorycznej optymalizacji jest
uywany do definiowania modelu feromonw
ACO
Wartod feromonw jest zwizane z kad
moliwym czstkowym rozwizaniem, to
znaczy, z kadym moliwym przypisaniem
wartoci do zmiennej
Metaheurystyka ACO
Fromalnie wartod feromonu jest zwizana
z czstkowym rozwizaniem , ktry skada
si z przypisania

Niech C oznacza zbir wszystkich moliwych
czstkowych rozwizao
ij
t
ij
c
j
i i
v X =
Metaheurystyka ACO
Sztuczne mrwki buduj rozwizania
przechodzc przez peny poczony graf
oznaczany jako


gdzie
V zbir wierzchokw
E - zbir krawdzi
) , ( E V G =
C
Metaheurystyka ACO
Graf moe byd uzyskany ze zbioru
czstkowych rozwizao C dwoma metodami

Rozwizanie czstkowe moe byd
reprezentowane zarwno przez:
wierzchoki oraz
krawdzie

) , ( E V G =
C
ij
c
Metaheurystyka ACO
Sztuczne mrwki przechodzc od wierzchoka
do wierzchoka wzdu krawdzi grafu,
stopniowo konstruuj rozwizanie z
czstkowych elementw
Mrwka pozostawia pewn ilod feromonu na
rozwizaniach czstkowych
Wielkod pozostawionego feromonu zwykle
zaley od jakoci znalezionego rozwizania
Metaheurystyka ACO
Kolejne mrwki uywaj informacji o
feromonie jako przewodnik do obiecujcych
regionw przestrzeni poszukiwao

W problem komiwojaera, rozwizanie moe
byd reprezentowane przez zbir zmiennych n,
gdzie n to liczba miast
Metaheurystyka ACO
Kada zmienna jest zwizana z miastem
Zmienna wskazuje miasto przez jakie
naley przejd po mieci i-tym
Czstkowe rozwizania s parami miast, ktre
zamierza odwiedzid mrwka jeden po drugim,
w podanej kolejnoci
miasto j powinno byd bezporednio
odwiedzone po miecie i
) , ( j i c
ij
=
i
X
Metaheurystyka ACO
W tym przypadku graf budowany jest za
pomoc wierzchokw bdcych miastami
pierwotnego problemu komiwojaera, a
krawdzie s czstkowymi rozwizaniami

W konsekwencji, mrwki oznaczaj
feromonem krawdzie konstruowanego grafu
Metaheurystyka ACO
Mona zauwayd, e budowa grafu moe byd
przeprowadzana poprzez czstkowe
rozwizania reprezentujce wierzchoki, na
ktrych osadza si feromonw

Chocia ten drugi sposb uzyskania grafu
wydaje si mniej naturalna dla problemu
komiwojaera, to jednak jest waciwy
Metaheurystyka ACO
Przykad dwch sposobw konstrukcji grafu
dla 4 miast w zadaniu TSP
Metaheurystyka ACO
Schemat algorytmu ACO

Ustaw parametry oraz wartoci feromonu
while warunek zakonczenia nie jest speniony
Utwrz rozwizania za pomoc mrwek
Zastosuj procedur lokalnego poszukiwania (opcja)
Zmodyfikuj feromony
end while
Metaheurystyka ACO
Tworzenie rozwizao za pomoc mrwek:
Zbir m sztucznych mrwek tworzy
rozwizania z elementw zbioru
Wszystkie mrwki staruj z pustym
czstkowym rozwizaniem
W kadym kroku tworzenia rozwizania,
czstkowe rozwizanie jest rozszerzane o
nowe moliwe czstkowe rozwizanie
ze zbioru
} {
ij
c = C
C =
p
s
p
s
C N _ ) (
p
s
Metaheurystyka ACO
jest zdefiniowany jako zbir
rozwizao czstkowych, ktre mog zostad
dodane do aktualnego rozwizania s
p
bez
naruszania ograniczeo

Proces budowy rozwizao mona uznad za
pewien spacer po grafie
C N _ ) (
p
s
) , ( E V G =
C
O
Metaheurystyka ACO
Wybr czstkowego rozwizania z N(s
p
) jest
przeprowadzane za pomoc stochastycznego
mechanizmu (na podstawie feromonu
zwiaznego z kadym elementem zbioru N(s
p
))

Regua stochastycznego wyboru czstkowego
rozwizania rni si w odmianach algorytmu
ACO, ale w kadym z nich, jest inspiracja
modelu zachowania prawdziwych mrwek
Metaheurystyka ACO
Modyfikacja feromonw
Zwykle jest osigana poprzez:
Zmniejszenie wartoci feromonu poprzez
mechanizm wyparowywania
Zwikszanie wartoci feromonu
zwizanego z wyborem rozwizania
obiecujcego doby kierunek poszukiwao
Podstawowe algorytmy ACO
Kilka algorytmw ACO zostao
zaproponowanych w literaturze
Podstawowe trzy warianty ACO:
Ant System (AS)
MAX-MIN Ant System (MMAS)
Ant Colony System (ACS)
System mrwek (AS)
Modyfikacja feromonu

gdzie
wspczynnik wyparowywania,
m liczba mrwek
wartod feromonu na krawdzi (i, j)
pozostawionej przez mrwk k

=
t A + t = t
m
k
k
ij ij ij
1
) 1 (
k
ij
t A
System mrwek (AS)
Ilod feromonu

, jeeli mrwka k uywa (i,j)
, w przeciwnym wypadku

gdzie
Q pewna staa
L
k
dugod trasy skonstruowanej przez
mrwk k

= t A
0
/
k
ij
L Q
System mrwek(AS)
Prawdopodobieostwo przejcia do miasta j

, jeeli


, w przeciwnym wypadku
N(s
p
) zbir moliwych czstkowych rozwizao
(krawd (i, l) gdzie l jest miastem jeszcze nie
odwiedzonym przez mrwk k)

q t
q t
=

e
| o
| o
0
) (
p
il
s c
ij ij
ij ij
k
ij
p
N
) (
p
ij
s c N e
System mrwek (AS)
Parametry i | steruj relatywnie istotnoci
feromonu w stosunku do heurystycznej
informacji
ij



d
ij
- odlegod pomidzy miastami i oraz j
ij
ij
d
1
= q
System mrwek (AS)
Procedura AS
inicjuj
for t=1 to liczba cykli
for k=1 to m
repeat
wybierz dla mrwki ant k nastpne miasto z
prawdopodobieostwem dla j-tego miasta
until mrwka k nie ma skooczonej trasy
oblicz dugod trasy stworzonej przez mrwk k
end
zapamitaj najlepsze rozwizanie
zmodyfikuj intensywnod feromonu dla wszystkich tras
end
k
ij
p
k
L
ij
t
System Mrwek MAX MIN (MMAS)
Udoskonalenie klasycznego algorytmu
Systemu Mrwek (AS)

Charakterystyczny element MMAS
aktualizacja feromonw tylko najlepiej
przystosowanej mwki (najkrtszej
przebytej trasy)
dodatkowo feromony s ograniczone
System Mrwek MAX MIN (MMAS)
Modyfikacja feromonu



gdzie

max
,
min
- grne, dolne ograniczenie na feromony
| |
max
min
) 1 (
t
t
t A + t = t
best
ij ij ij
| |

<
>
=
else x
b x if b
a x if a
x
a
b
,
,
,
System Mrwek MAX MIN (MMAS)
Ilod Feromonu

, jeeli (i,j) do najlepszej trasy
, else

L
best
dugod trasy najlepszej mrwki

Wybr wartoci L
best
moe dotyczyd:
najlepsz tras w aktualnej iteracji,
najlepszym do tej pory znalezionym rozwizaniem
kombinacj obu podejd

= t A
0
/ 1
best
best
ij
L
System Mrwek MAX MIN (MMAS)
Wartoci graniczne feromonw
min
i
max
s
uzyskiwane na podstawie przeprowadzanych
eksperymentw dla danego problemu
optymalizacji
Pewne wskazwki przy okreleniu
min
i
max

mona znaled w poniszej literaturze
T. Stutzle and H.H. Hoos, MAXMIN Ant System, Future Generation Computer
Systems, vol. 16, no. 8, pp. 889914, 2000
K. Socha, J. Knowles, and M. Sampels, A MAXMIN ant system for the university
timetabling problem, in Proc. ANTS 2002, ser. LNCS, M. Dorigo et al., Eds., vol. 2463, p.
1, Berlin, Germany: Springer Verlag, 2002
System Kolonii Mrwek (ACS)
Lokalna aktualizacja feromonw jest
wykonywana przez wszystkie mrwki po
kadym etapie budowy trasy i stosowana tylko
do ostatniej odwiedzanej krawdzi

gdzie
- wspczynnik rozkadu feromonu
- pocztkowa wartod feromonu
0
) 1 ( t + t = t
ij ij
] 1 , 0 ( e
0
t
System Kolonii Mrwek (ACS)
Gwnym celem lokalnej aktualizacji feromonu
jest dywersyfikacja wyszukiwania przez kolejne
mrwki kolonii poprzez zmniejszenie stenia
feromonw na przebieganych krawdziach
Zachca to mrwki do odwiedzania innych tras
w celu stworzenia odmiennych rozwizao
Mniej prawdopodobne, e kilka mrwek
utworzy identyczne rozwizania podczas jednej
iteracji
System Kolonii Mrwek (ACS)
Offline-owa modyfikacja feromonu
Podobna do mechanizmu w MMAS stosowana
na koocu kadej iteracji i przeprowadzana tylko
dla jednej mrwki, ktra moe byd:
najlepsz w aktualnej iteracji lub
najlepsz dotychczas utworzon
System Kolonii Mrwek (ACS)
Formua modyfikacji feromonu

, if (i,j) do najlepszej trasy
, else

gdzie (jak w MMAS)

t
t A + t
= t
ij
ij ij
ij
) 1 (
best ij
L / 1 = t A
System Kolonii Mrwek (ACS)
Regua decyzji wykorzystywana przez mrwki w
procesie tworzenia rozwizania
Pseudolowaowa proporcjonalna regua
modyfikacji feromonu:
Prawdopodobieostwo, e mrwka przesunie
si z miasta i do miasta j zaley od losowej
wartoci q wybranej z rozkadem
rwnomiernym z przedziau [0, 1] oraz
parametru q
0
System Kolonii Mrwek (ACS)
Pseudolosowa proporcjonalna regua

then

else

,
0
q q if s
} , { max arg
) (
|
e
q t =
il il
s c
p
il
j
N

q t
q t
=

e
| o
| o
0
) (
p
il
s c
ij ij
ij ij
k
ij
p
N
Zastosowania algorytmw
optymalizacji koloni mrwek (ACO)

Obserwowany wzrost zainteresowania
spoecznoci naukowej dotyczca ACO

Kilka udanych zastosowao ACO do wielu rnych
problemw optymalizacji dyskretnej (NP-trudne
problemy)

Algorytmy ACO mog byd przydatne do
szybkiego znalezienia wysokiej jakoci rozwizao

Zastosowania algorytmw
optymalizacji koloni mrwek (ACO)

Inne popularne aplikacje dotycz
dynamicznego doboru najkrtszej cieki dla
problemw pojawiajcych si w sieciach
telekomunikacyjnych

Liczby pozytywnie rozwizanych problemw
naukowych udowadniaj, e technika ACO jest
rwnie przydatna w rzeczywistych aplikacjach

Literatura
Strony WWW:
www.aco-metaheuristic.org: The official Web site of the ant
colony metaheuristic
www.metaheuristics.org: Web site of the Metaheuristics
Network project. This European Union funded project was
dedicated to the theoretical analysis and experimental
comparison of metaheuristics.
Ksiki:
M. Dorigo and T. Stutzle, Ant Colony Optimization. MIT Press,
Cambridge, MA, 2004.
E. Bonabeau, M. Dorigo, and G. Theraulaz, Swarm Intelligence:
From Natural to Artificial Systems. Oxford University Press, 1999.