Implementando Clusters HPC

com Debian GNU/Linux

Marcelo Gomes de Santana

msantana em cnen.gov.br
http://marcelosantana.wordpress.com

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 O CRCN-NE

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Definio de cluster
Sistema com mais de um computador que
realiza processamento distribudo

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Quando utilizar?
Aplicaes que exijam:
Alto desempenho (computao paralela)
Alta disponibilidade
Balanceamento de carga

Aplicaes que no servem:

Processamento de dados em tempo real
(ex: jogos)

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Alto desempenho
Center of Excellence in Space
Data and Information Sciences
(CESDIS) / Universities Space
Research Association (USRA)
Earth and space sciences
(ESS) project HPCC
Cluster Beowulf (1994),
Thomas Sterling e Don Becker
16 Pcs 486 DX-100

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf
Distribuio Debian GNU/Linux
Port AMD64 (AMD 64bit e Intel
EM64T)
Possibilidades com mquinas
ociosas
Interoperabilidade com NT
Vantagens dos ns sem HD

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf
Fully Automatic Installation (FAI)
root@cluster# aptitude install fai-quickstart
root@cluster# man fai-setup
root@cluster# man make-fai-nfsroot
Escolha por Etheboot ou PXE
Servidor de DHCP e TFTP
root@cluster# aptitude install dhcp3-server sys\
linux tftpd-hpa
root@cluster# man dhcp3 syslinux tftpd
root@cluster# cat /var/lib/tftpboot/pxelinux.cfg\
/default
label linux
kernel vmlinuz
append vga=normal initrd=initrd.gz root=/dev/ram0
nfsroot=192.168.10.10:/estacoes/

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf
Ferramenta Debootstrap (chroot)
root@cluster# aptitude install debootstrap
root@cluster# man debootstrap
root@cluster# mkdir /estacoes; debootstrap arch \
amd64 etch /estacoes http://ftp.debian.org/debian/
root@cluster# man chroot; chroot /estacoes
root@cluster# nano /etc/initramfs-tools/initram\
fs.conf
BOOT=local para BOOT=nfs

Network Information Service (NIS) / LDAP!!

root@cluster# aptitude install nis (Deb NIS HOWTO)

Network File System (NFS)

root@cluster# aptitude install nfs-kernel-server
root@cluster# man exportfs
root@cluster# cat /etc/exports
/estacoes 192.168.10.0/24 (rw,sync)
root@cluster# aptitude install nfs-client (chroot)
VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010
 Montando um Beowulf
Servidor Open-SSH
- sem senha ou via ssh-agent
Portable Batch System (OpenPBS/Torque)
# wget ftp://ftp.sara.nl/pub/outgoing/torque_\
2_deb.tar.gz
# wget em http://www.clusterresources.com/down\
loads/torque/; tar xfvz ... torque_2_deb.tar.gz
# debian/rules binary
# dpkg -i torque.xx.deb
# man pbs_mom pbs_server pbs_sched
- Documentao no site do torque

Controle de prioridade de execuo e

agendamento (Maui)
VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010
 Montando um Beowulf

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf
Passagem de mensagem
- Parallel Virtual Machine (PVM 1989)
- Message Passing Interface (MPI 1994)
Tendncia de convergncia PVMPI

Utilizando PVM
root@cluster# aptitude install pvm xpvm
root@cluster# man pvm
root@cluster# cat hosfile.pvm
estacao01
estacao02
estacao03

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf
Executando aplicao PVM
root@cluster# pvm hostfile.pvm
root@cluster# aimk prog_fonte
root@cluster# ./prog_bin ou
root@cluster# pvm
pvm> spawn -> prog_bin
pvm> halt

Utilizando MPI (vrios forks)

Exemplo com Open-MPI
root@cluster# aptitude install openmpi-bin \
libopenmpi-dev
root@cluster# man ompi_info mpicc mpirun mpif90
root@cluster# cat /etc/openmpi/openmpi-default-\
hostfile
estacao01 slots=4
estacao02 slots=4
estacao03 slots=4

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf
Executando aplicao MPI

root@cluster# mpicc -o prog_bin prog_fonte

root@cluster# mpirun -v -np [n] prog_bin

Ferramentas de gerenciamento
root@cluster# aptitude install ganglia-monitor \
gmetad clusterssh update-cluster
root@cluster# man gmond gmetad clusterssh \
update-cluster
root@cluster# chroot /estacoes
root@cluster# aptitude install gmetad ...

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Montando um Beowulf

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Aplicaes em Nuclear

8 mquinas HP Proliant DL360

Intel Xeon Processor 5400

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Aplicaes em Nuclear

Simulaes diversas
Monte Carlo N-Particle 5 - MCNP
Visualizador Sabrina
GEometry ANd Tracking - GEANT4

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Aplicaes em Nuclear

Interao de Raios
Csmicos com
equipamentos de
satlites artificiais
(Geant4).

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Aplicaes em Nuclear

Interao de
partculas de origem
extraterrestre com
ncleos da atmosfera.
(Geant4)

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Aplicaes em Nuclear

Projeto de detetores
de radiao
(MCNP/Sabrina).

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Aplicaes em Nuclear

Projeto de reatores
nucleares
(MCNP/Sabrina).

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 top500.org

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Links teis
http://www.crcn.gov.br/
http://guialivre.governoeletronico.gov.br/guiacluster/
http://www.beowulf.org/
http://www-users.med.cornell.edu/~dchristi/cardiowulf/beowulf_basics.html
http://www.debian.org
http://www.debian.org/releases/stable/installmanual
http://debianclusters.cs.uni.edu/
http://www.informatik.uni-koeln.de/fai/
http://wiki.debian.org
http://www.debian-administration.org/
http://www.debianbrasil.org
http://www.clusterresources.com/pages/resources/documentation.php
http://www.etherboot.org/
http://www.kegel.com/linux/pxe.html
http://www.csm.ornl.gov/pvm/
http://www.mpi-forum.org/
http://www.open-mpi.org
http://www.fisiocomp.ufjf.br/seminarios/IntroducaoMPI.pdf
http://www.cenapad.unicamp.br/servicos/treinamentos/mpi.shtml
http://bccd.net
http://mcnp-green.lanl.gov/index.html
http://www.whiterockscience.com/sabrina/sabrina.html
http://cern.ch/geant4/
http://www.top500.org/project/linpack
http://www.top500.org/lists/2009/11
http://www.nacad.ufrj.br

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Agradecimentos

Se voc quer saber qual a pessoa

mais importante do nosso movimento,
olhe-se no espelho.

Jon Maddog Hall

Dir. Exec. Linux International

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010

 Perguntas ???
Muito Obrigado !!!
Marcelo Gomes de Santana
msantana em cnen.gov.br

VI Encontro de Software Livre da Paraba Joo Pessoa / PB Maio de 2010