PARTICLE SWARM OPTIMIZATION

Afif fikani Carlos Castor Disciplina: Computao Natural

Recife/ 2012

1. Histrico
PSO(Particle Swarm Optimization) um algoritmo proposto por Kennedy e Eberhart. Esse algoritmo foi baseado na simulao boid(bird-like object) de Craig Reynolds. Nessa simulao Reynolds observou que o comportamento de uma revoada de aves emerge de iteraes entre regras simples implementadas nos indivduos. A revoada simulada a partir da simulao dos indivduos. As regras implementadas determinavam que os elementos da revoada deviam evitar colises entre si, encontrar uma velocidade que combine com a de seus vizinhos e buscar se manter prximo a seus vizinhos. A simulao iniciava com os indivduos sendo posicionados aleatoriamente no espao. A cada iterao cada individuo determina seus vizinhos mais prximos e atualiza sua velocidade a partir da velocidade de seu vizinho. Contudo, esse modelo se estabilizava muito rapidamente em uma direo unnime e inaltervel. Para solucionar esse problema, foi adicionado um componente para ajustar aleatoriamente as velocidades. Heppener e Granander adicionaram duas variveis no modelo, a melhor posio encontrada por cada indivduo e a melhor posio encontrada por toda a revoada. Esse dois valores so utilizados como atratores, onde baseado em algumas regras para ajustar as posies proporcionalmente distancia da melhor posio, a revoada se agrupa no objetivo em poucas interaes. Foi possivel chegar nesse resultado mesmo sem o componente aleatrio e sem a regra de combinao de velocidade.

2. Conceitos
O termo partcula(particle) foi adotado devido aos indivduos possurem uma velocidade e acelerao associadas. Toda partcula esta associada a uma vizinhana, que representada por outras partculas prximas. O tamanho dessa vizinhana influencia diretamente no comportamento do enxame. O termo enxame(swarm) foi dado devida a remoo da combinao da velocidade e por entrar em acordo com os princpios de inteligncia estabelecidos por Millonas. Clculos em espaos multidimensionais so executados em uma srie de passos de tempo, o que atende ao princpio de proximidade. O enxame de partculas responde a fatores de qualidade, representados pelos valores de melhor individual e de vizinhana. A alocao de respostas entre as posies do melhor valor individual e da vizinhana garantem a diversidade de respostas. O enxame muda seu estado somente quando a posio dos melhores valores muda, o que leva ao princpio de estabilidade. E o enxame apresenta um comportamento adaptativo, devido a essa mudana de estado.

3. Categorias de algoritmos
a. Os algoritmos de PSO so divididos nas seguintes categorias: i. PSO de nica soluo: encontrar soluo nica em problemas de otimizao estticos e contnuos. ii. PSO de nicho: localizar mais de uma soluo em um problema de otimizao. iii. PSO multi-objetivo: resolver problemas com vrios sub-objetivos conflitantes.

iv. PSO de ambiente dinmicos: algoritmos com a habilidade de localizar e seguir resultados timos em espaos de busca dinmicos. v. PSO discreto: solucionar problemas definidos em espaos de busca discretos. vi. PSO limitado: resolver problemas de otimizao em espao de busca limitado.

4. Algoritmo bsico
O algoritmo do PSO baseado em um enxame de partculas, que so modificadas de acordo com duas funes: a. Funo de atualizao da velocidade b. Funo de atualizao da posio A cada iterao do algoritmo, a posio e a velocidade de cada partcula so ajustadas de acordo com sua prpria experincia e dos seus vizinhos. Funo de atualizao da posio ( Sendo ( )e ) ( ) ( )

( ) a posio e a velocidade da partcula i no instante t. Funo de atualizao da velocidade

Sendo: p: melhor posio da partcula na dimenso d x: posio atual da partcula na dimenso d n: melhor posio global na dimenso d c1 e c2: constantes de acelerao para escalar a contribuio cognitva e social, respectivamente r1 e r2: valores aleatrios de uma distribuio uniforme ([0,1]), introduzem um elemento estocstico ao algoritmo

Originalmente dois algoritmos foram desenvolvidos: Global Best e Local Best. Estes diferem na organizao de suas vizinhanas: a. Global Best (gbest): o enxame todo considerado sua vizinhana b. Local Best (lbest): as partculas mais prximas so tratadas como vizinhas Nota-se que o gbest um caso especial do lbest. No quadro abaixo apresentado o pseudocdigo do algortimo padro do PSO:

A funo fitness a funo utilizada como mtrica para achar o melhor resultado para resolver um problema. Atravs dela selecionada a partcula mais apta como soluo.

5. Aspectos do Algoritmo
Critrios de parada i. Valor mximo de interaes ii. Soluo aceitvel encontrada determinado um valor aceitvel de erro na soluo. iii. No observada uma melhora aps uma certa quantidade de iteraes iv. O raio normalizado do enxame tende a zero v. Inclinao da funo objetivo aproximadamente zero pontos de maximo e mnimo.

6. Variaes
Apesar do algoritmo bsico do PSO solucionar problemas de otimizao, ele apresenta uma dificuldade em convergir consistentemente para resultados bons. Foram apresentadas variaes para o algoritmo para melhorar esse comportamento. Entre essas alteraes se encontram a limitao de velocidade(velocity clamping), peso de inrcia, constrio de velocidade diferentes formas de determinar o melhor valor individual e global e diferentes modelos de velocidade Limitao de Velocidade

No algoritmo bsico foi observado que a velocidade das partculas podia variar rapidamente para valores muito altos, principalmente quando essas partculas se encontravam muito distantes dos melhores valores encontrados no enxame. Isso fazia com que as partculas tivessem uma variao muito grande na sua posio, podendo sair do espao de busca. Para controlar esse comportamento, a velocidade das partculas limitada. Peso de inercia O peso de inercia w controla a influencia que a velocidade anterior vai ter no clculo da nova velocidade, controlando as buscas em profundidade e largura. Coeficiente de constrio

Modelos de velocidade i. Somente cognio Nesse modelo, o coeficiente social (c2r2) tem valor zero, fazendo com que as partculas se guiem somente pelo seu melhor valor. Esse modelo apresenta bons resultados em algoritmos de nicho. ii. Somente social O coeficiente cognio (c1r1) tem valor zero, fazendo com que as partculas se guiem somente pelo melhor valor encontrado pela vizinhana. Foi demonstrado empiricamente que esse modelo mais rpido e mais eficiente que o modelo completo e o somente cognitivo. iii. Modelo altrusta basicamente o mesmo que o modelo somente social, mas com a partcula no admitindo se tornar o melhor da vizinhana.

7. Medidas de Performance
Preciso A qualidade da soluo encontrada, que representada pelo melhor valor global. Confiana A porcentagem de simulaes que alcanaram uma preciso especfica. Robustez

Quanto menor a variao de certo critrio de performance em certa quantidade de simulaes, mais robusto ou estvel o enxame. Eficincia O tempo necessrio para alcanar a soluo desejada. Diversidade Grau de disperso das partculas

8. Aplicaes
Redes Neurais Artificiais: i. Treinamento supervisionado ii. Treinamento no supervisionado iii. Definio de Aquitetura Uma das primeiras aplicaes no treinamento de redes neurais foi para identificar a doena de Parkinson, analisando os tremores humanos. Aprendizado em jogos: Utilizado como parte da inteligncia artificial em jogos probabilsticos, como xadrez e jogo da velha. Minerao de dados: Utilizado em minerao de dados com objetivo de extrair um conjunto de regras de uma base de dados.

9. Referncias
http://www.swarmintelligence.org/index.php, (Visitada em 27/02/2012) http://en.wikipedia.org/wiki/Particle_Swarm_Optimization (Visitada em 27/02/2012) Andries P. Engelbrecht, Fundamentals of Computational Swarm Intelligence, 2006.