Planejamento e Gerenciamento

de Capacidade para Sistemas

Distribudos

Agenda
Motivaes
A Internet e o Linux
Tcnicas
Aquisio
Consolidao e Visualizao
Forecasting

Impacto dos Mtodos geis

Virtualizao e Cloud Computing

Motivaes
Nos tempos do mainframe, cada dlar
investido tinha uma relao direta com a
capacidade necessria, cada MIP deveria
ser contabilizado e justificado
Qualquer investimento em hardware tinha
de ser minuciosamente estudado j que
implicava muitas vezes em milhes de
dlares

Motivaes
Com o advento da baixa plataforma os
parmetros de avaliao de desempenho
foram menosprezados
O baixo custo de hardware e a facilidade
para entrega em produo desse tipo de
equipamento fez com que os parques de
mquinas crescessem de forma
desordenada

Motivaes

Motivaes

Motivaes

Motivaes

Motivaes
Altos custos de manuteno de infraestrutura
Inviabilidade econmica e/ou fsica de
construo de novos datacenters
Necessidade contnua de expanso
Necessidade de alinhamento pelo pico
(lead strategy) para o mercado de internet
Green Data Centers

Motivaes
Guerrilla maxim 1.10: Capacity planning is
not just about the future anymore. Today,
there is a serious need to squeeze more
out of your current capital equipment.
Neil J. Gunther
More bang for the buck.

A Internet e o Linux
I think there is a world market for maybe
five computers
Thomas J. Watson (?)

A Internet e o Linux
Abertura comercial da internet: circa 1988
Anncio da primeira verso do kernel
Linux: 1991
I'm doing a (free) operating system (just a
hobby, won't be big and professional like
gnu) for 386(486) AT clones.
Linus Torvalds 26 de Agosto de 1991
comp.os.minix

A Internet e o Linux

Total Sites across All Domains August 1995 July 2009

Source: http://news.netcraft.com/archives/web_server_survey.html

A Internet e o Linux

Totals for Active Servers across all Domains

Source: http://news.netcraft.com/archives/web_server_survey.html

A Internet e o Linux
Web Server

Julho de 2009

Percentual

Apache

39,371,318

51.12%

Microsoft

18,476,487

23.99%

Google

10,862,216

14.10%

3,496,153

4.54%

Sun

159,585

0.21%

qq.com

122,959

0.16%

nginx

Active Sites across all Domains

Source: http://news.netcraft.com/archives/2009/07/28/july_2009_web_server_survey.html

Tcnicas de Aquisio
At pouco tempo as ferramentas de
anlise de desempenho da plataforma
Intel foram usadas apenas para
diagnstico de falha
Os contadores para CaP e diagnstico de
falha muitas vezes so idnticos
A diferena est em como a informao
utilizada

Tcnicas de Aquisio
Run queue ou Load Average
Provavelmente a informao mais importante
que ignorada com a maior frequncia
The load average tries to measure the number
of active processes at any time. As a measure of
CPU utilization, the load average is simplistic,
poorly defined, but far from useless.
Tim O'Reilly Unix Power Tools

Tcnicas de Aquisio
Pacote sysstat (http://bit.ly/VegQO) inclui
ferramentas para avaliao de:
Taxa de I/O global, por dispositivo, por partio e por
task
Estatsticas de uso de CPU global, por CPU ou por
task
Uso de memria e swap
Memria Virtual, paging, faults
Estatsticas de disparo de processos
Interrupes
Rede
Run Queue and System Load

Tcnicas de Aquisio
Para a plataforma Microsoft, o Windows
Performance Monitor oferece as
ferramentas necessrias para a coleta de
dados de praticamente todo o sistema (
http://bit.ly/1241G9)

Consolidao e Visualizao
Guerrilla maxim 2.2: Monitoring vs.
Modeling
The difference between performance
modeling and performance monitoring
is like the difference between weather
prediction and simply watching a
weather-vane twist in the wind.

Consolidao e Visualizao
Objetivos da consolidao e visualizao:
Anlise de tendncia
Constatao de sazonalidades
Anlise do perfil de uso
Modelagem e validao do modelo

Consolidao e Visualizao
Armazenamento dos dados raw:
Permite anlise detalhada a longo prazo
Maior preciso possvel dentro do que foi
especificado na coleta
Pode exigir alto consumo de espao
Pode haver necessidade de prprocessamento devido ao grande volume de
dados

Consolidao e Visualizao
Armazenamento dos dados consolidados:
Limita a quantidade de informao que pode
ser extrada
Pode haver perda de preciso
Permite planejamento do espao ocupado
Minimiza a necessidade de prprocessamento
Exemplo: Round-Robin Databases como as
usadas no MRTG (http://oss.oetiker.ch/mrtg/)

Consolidao e Visualizao
O pacote sysstat oferece ferramentas
para armazenar e exportar os dados
coletados
sar - http://bit.ly/sdBlo
sadf - http://bit.ly/30IjqT

O Windows Performance Monitor tambm

oferece a opo de armazenamento e
exportao dos dados

Consolidao e Visualizao
Ferramentas frequentemente usadas para
visualizao:
Ganglia (http://ganglia.info/)
Cacti (http://www.cacti.net/)

Consolidao e Visualizao

Consolidao e Visualizao

Forecasting
A previso de desempenho e capacidade
de um sistema pode ser feita (inclusive):
Trending: usamos uma massa de dados j
coletados e se extrapola
O sistema tem de existir
Algum lembrou de coletar os dados...

Modeling: Se cria um modelo do sistema para

o qual se deseja fazer a anlise
Maior complexidade
No exige sistemas em produo

Forecasting
Trending: O Microsoft Excel ou o R
(http://www.r-project.org/) permite que se
criem trends a partir de sries com
facilidade
Modeling: O pacote Pretty Damn Quick
(PDQ) resolve diversos modelos de fila
(http://bit.ly/xOf4b).

Impacto dos mtodos geis

O futuro no mais como era antigamente
Renato Russo

Impacto dos mtodos geis

Os ciclos de desenvolvimento de software
tem sido cada vez mais curtos
necessrio que os processos de anlise
e modelagem acompanhem a evoluo
nos processos de desenvolvimento de
software
Unnecessary detail means wasted time.
Lacking the proper detail can be fatal
John Allspaw The art of capacity planning

Virtualizao e Cloud Computing

Virtualizao se tornou onipresente em
sistemas distribudos nos ltimos anos
Os desafios para o planejamento de
capacidade sero o de considerar cargas
diferentes no mesmo host e otimizar o uso do
host por essas cargas, alm de escolher
quais cargas heterogeneas faro melhor uso
do equipamento

Virtualizao e Cloud Computing

Cloud Computing
Tambm conhecido como: terceirizar a sua infraestrutura para algum quem tem mquinas a vontade
para voc usar quando precisar. (polmica intencional)
Variveis novas para o planejamento de capacidade:
Latncia
Capacidade real de processamento
Concorrncia

Mesmo que seja barato ningum quer alugar 1000

mquinas na nuvem quando apenas 200 fariam o
trabalho

Livros e Referncias
John Allspaw The art of capacity
planning
http://bit.ly/17cAg9

Neil J. Gunther Analyzing

Computer System Performance
with Perl::PDQ
http://bit.ly/KVC2o

Michael J. Crawley - The R Book

http://bit.ly/KVC2o

Daniel Menasce Performance by

Design
http://bit.ly/fc7vH

Perguntas ?

Obrigado