Cluster • DESARROLLO
Cluster
Cluster sencillo
sencillo con
con MPI
MPI
ASALTO AL
TRASTERO
Si tenemos equipos antiguos guardados en el trastero y no sabemos
qué hacer con ellos, ha llegado la hora de desempolvarlos y
aprovecharlos para construir un cluster básico que nos permita eje-
cutar aplicaciones utilizando el Interfaz de Transferencia de Men-
sajes (MPI). POR J.J. SÁNCHEZ TESTAL
H
oy en día cada vez son necesa-
rios más recursos para procesar
cierta información en investiga-
ciones científicas, surgiendo la necesi-
dad de crear grandes computadoras u
ordenadores con gran capacidad de pro-
ceso, pero con un reducido coste econó-
mico.
MPI (Message Passing Interface o Inter-
faz de Paso de Mensajes) es un estándar
que define la sintaxis y la semántica de
las funciones contenidas en una librería
de paso de mensajes diseñada para ser
utilizada con aplicaciones ejecutadas en
sistemas con múltiples procesadores.
El paso de mensajes es un modelo de
comunicación ampliamente usado en
computación paralela que permite reali-
zar agrupamiento de máquinas para tra-
bajar en un fin común.
MPI es una librería de funciones y
macros que pueden ser usados en C y
Fortran para desarrollar programas y que
aprovechen la existencia de múltiples
procesadores por medio del paso de
mensajes.
Catsi, Fotolia
Desde su creación en Junio de 1994 ha La Figura 1 muestra gráficamente la
sido muy utilizado, apareciendo varias estructura de nuestra red.
implementaciones de este estándar,
siendo las más utilizadas las que se Instalación
muestran en la tabla 1. Instalaremos en todos los equipos la dis-
Seleccionaremos para este artículo la tribución Debian Etch v.4.0 r2 utilizando
implementación MPICH, por ser la más la opción de instalación por red de un
sencilla de utilizar y por soportar siste- CD mínimo, que podremos obtener
mas heterogéneos. desde la página oficial de Debian [4].
La instalación se realizará validando
Estructura del Cluster las opciones que aparecen por defecto
Para esta ocasión vamos a disponer de 3 en el asistente, especificando la
equipos con las características que apa- configuración de red de cada uno de los
recen en la tabla 2, y de un pequeño equipos. Llegados al punto de los pro-
switch de 8 puertos 10/100 Mbps, todo gramas a instalar seleccionaremos sis-
ello recuperado del trastero, con los que tema estándar.
formaremos la red de la que se compon- La Figura 2 muestra la opción que
drá nuestro cluster. debe seleccionarse.
Tabla 1: Implementaciones MPI
Denominación Detalles
LAM/MPI[1] Utiliza un demonio activo en cada nodo y proporciona ciertas herramientas
de monitorización
OpenMPI[2] Es descendiente directo de LAM/MPI, en continuo desarrollo, y resulta un
buen candidato para usar en el futuro.
MPICH[3] Independiente de la arquitectura utilizada y fácilmente portable.
WWW.LINUX- MAGAZINE.ES Número 38 57
DESARROLLO • Cluster
Una vez realizada la instalación y rei-
niciado el equipo, sólo nos queda
comentar la línea del fichero
/etc/apt/sources.list que hace referencia
al cd-rom como origen de paquetes a
instalar para desactivarla.
Configuración del Nodo
Maestro
El primer paso es configurar una car-
peta compartida desde el servidor acce-
sible desde todos los nodos de la red,
donde ubicaremos ciertos archivos
necesarios y la instalación de mpich.
Vamos a utilizar NFS (Network File
System, Sistema de Archivos de Red),
protocolo que permite acceder a fiche-
ros remotos dentro de una red tratándo-
los de forma local. Como este paquete
estará incluido dentro de nuestra distri-
bución, podemos instalarlo cómoda-
mente utilizando la herramienta de ins-
talación de paquetes.
apt-get installU
nfs-kernel-server
Creamos la carpeta que se va a compartir:
mkdir /mnt/compartido
Y configuramos NFS para que permita el
acceso remoto desde otros equipos de la
red. Editamos el archivo /etc/exports aña-
diendo una línea por cada equipo que
vaya a acceder al recurso.
/mnt/compartidoU
192.168.0.75(rw,sync)
Actualizamos la información de este
archivo para NFS
exportfs -ra
Verificamos que se encuentran carga-
dos todos los demonios necesarios para
nfs:
rpcinfo -p
Deben aparecer los servicios nfs,
mountd y portmap. De no ser así, puede
Tabla 2: Características Equipos
Tipo Especificaciones Técnicas
Nodo Maestro Pentium III 833 Mhz, 256 Mb Ram, 4 Gb HDD, Tarjeta red 10/100 Mbps
Nodos Esclavos Pentium III 833 Mhz, 128 Mb Ram, 4 Gb HDD, Tarjeta red 10/100 Mbps
58 Número 38
ocurrir que no se haya instalado el del paquete de herramientas de comuni-
paquete nfs-utils o bien que inicial- cación segura del protocolo SSH/SecSH
mente no se hayan cargado, por lo que para redes:
tendremos que hacerlo nosotros a mano
ahora: apt-get install openssh-server
/sbin/portmap Desde el directorio home del usuario
/usr/sbin/rpc.mountd que vaya a tener permisos para ejecutar
/usr/sbin/rpc.nfs aplicaciones utilizando mpich, genera-
/usr/sbin/rpc.statd mos sus claves públicas y privadas.
Modificamos el fichero /etc/hosts.allow cd $HOME
para permitir el acceso de los nodos al ssh-keygen -t dsa
recurso compartido. Incluiremos una
línea con el formato que se especifica a Nos aparecerán una serie de preguntas a
continuación para cada nodo. las que contestaremos con el valor por
defecto. La ejecución de este comando
portmap: direccion_ipnodo creará una carpeta denominada .ssh,
donde se encuentran las claves públicas
Editamos el fichero /etc/hosts.deny y y privadas generadas, y el archivo
añadimos la siguiente línea para que authorized_keys, que contiene las claves
ningún equipo, excepto los especifica- públicas de los equipos que tendrán
dos en el fichero host.allow, pueda acce- acceso al nuestro.
der a este recurso. Copiaremos la clave pública al recurso
compartido para que esté accesible para
portmap: ALL los nodos. Se recomienda la siguiente
nomenclatura:
Nos falta añadir al fichero /etc/hosts
los nodos esclavos según la nomencla- cp .ssh/id_dsa.pub U
tura: /mnt/compartido/U
root_mastermpi.pub
dirección_ip nombre_del_equipo
192.168.0.75 esclavo1mpi Ejecutaremos ssh-agent -s y ssh-add para
que desde el maestro no se pida la clave
El siguiente paso que debemos dar es si la hemos definido. Llegados a este
establecer los cauces de comunicación punto sólo nos queda instalar y configu-
entre el nodo maestro y los esclavos. rar MPICH, para lo cual necesitaremos
Para hacerlo podemos utilizar rsh instalar los paquetes necesarios para
(Remote Shell) [5] o ssh (Secure Shell) compilación.
[6], entre otras opciones. En nuestro
caso utilizaremos el protocolo ssh, apt-get installU
basado en algoritmos de cifrado de crip- build-essential gfortran gccU
tografía asimétrica, que utiliza un par de bzip2
claves pública y privada, y que propor-
ciona medidas de seguridad muy supe- Tabla 3: Parámetros de
riores a rsh. No es objeto de este artículo Configuración de MPICH
explicar en qué consiste este mecanismo
Parámetro Descripción
de cifrado, pero para los lectores curio-
-prefix Especifica dónde se
sos que deseen más información, hay un
instalará la biblioteca
excelente artículo al respecto en la Wiki- -with-device Dispositivo asociado
pedia [7]. ch_p4: Nodos SMP y sistemas
Primero debemos instalar el paquete heterogéneos
Openssh [8], que es una versión libre globus2: Sistema con globus
instalado.
ch_shmem: Sistemas basados en
memoria compartida
-with-arch Arquitectura utilizada
-rsh Mecanismo de
comunicación a utilizar
WWW.LINUX- MAGAZINE.ES

Figura 1: Estructura y Configuración de los equipos del Cluster.
Descargamos el archivo fuente de esta determinar el protocolo de comunicación a
biblioteca desde la página de MPICH [3] y utilizar.
lo descomprimimos.
vi /etc/profile
tar xvzf mpich.tar.gz >PATH=$PATH:U
/mnt/compartido/mpich/bin
Configuramos la compilación y la instala- >export P4_RSHCOMMAND=ssh
ción >:wq!
./configureU Configuración del Nodo
-prefix=/mnt/compartidoU Esclavo
/mpich -with-device=ch_p4 U Comenzaremos la configuración del
-with-arch=LINUX -rsh=ssh nodo maestro permitiendo el acceso a
make los esclavos, para lo que modificamos el
make install archivo /etc/hosts.allow, al que añadire-
mos la línea ALL:192.168.0.74. A conti-
Los parámetros utilizados aparecen deta- nuación cambiamos el archivo /etc/hosts
llados en la tabla 3. añadiéndole la línea 192.168.0.74 mas-
En el archivo termpi.
../mpich/share/machines.LINUX especifi- Posteriormente debemos configurar el
camos las máquinas que van a participar acceso al recurso compartido que hemos
en el cluster, definiendo el número de pro- creado en el servidor, verificando que
cesos que se ejecutarán en cada una de exista y que esté bien definido con:
ellas.
showmount -e mastermpi
host:numero_procesos
que nos mostrará las carpetas comparti-
Para finalizar con la configuración del das en el equipo especificado y los
nodo maestro incluimos la ruta de los pro- nodos que tienen acceso al recurso.
gramas MPICH en el fichero profile (según Ahora creamos la carpeta en la que
la distribución), y añadimos la variable de montaremos la carpeta compartida:
entorno P4_RSHCOMMAND=ssh para
mkdir /mnt/compartido
Cuadro 1: Resultado de la
Utilidad tstmachines Y la declararemos en el fichero /etc/fstab
These machines seem to be para que esté accesible al arrancar la
available máquina, definiendo el equipo donde se
esclavo1mpi encuentra y el nombre del recurso com-
esclavo2mpi partido, el sistema de ficheros (NFS) y
mastermpi las operaciones que podremos realizar
sobre él.
WWW.LINUX- MAGAZINE.ES
Cluster • DESARROLLO
192.168.0.74:/mnt/compartidoU
/mnt/compartido nfs rw U
0 0
Comprobaremos que todo funciona
correctamente montando la unidad.
mount /mnt/compartido
Seguidamente establecemos los cauces
de comunicación a través de ssh, igual
que hicimos para el caso del nodo maes-
tro, instalando el paquete openssh-
server, y creando las claves pública y
privada, aunque en este caso añadire-
mos la clave pública del nodo maestro al
archivo authorized_keys para permitir la
conexión desde este equipo al nodo
esclavo.
Como copiamos la clave pública en el
recurso compartido y lo tenemos ya
accesible, ejecutaremos la siguiente ins-
trucción:
cat /mnt/compartido/U
root_mastermpi.pubU
>> $HOME/.ssh/authorized_keys
Nos falta modificar la variable de
entorno PATH y definir P4_RSHCOM-
MAND=ssh en el archivo /etc/profile,
como hicimos en el caso del equipo
maestro.
Llegados a este punto sólo nos queda
verificar que el cluster está correcta-
mente configurado.
Pruebas de Funcionamiento
Para verificar el correcto funcionamiento
de nuestra plataforma vamos a realizar
ciertas pruebas:
• Comprobar la conexión a través de
ssh
Intentaremos establecer una conexión
ssh desde el usuario root con cada uno
de los esclavos ejecutando la siguiente
instrucción:
ssh esclavo1mpi
A continuación nos mostrará un men-
saje al que contestaremos con “yes”,
con lo que estaremos validados en el
equipo identificado en la conexión. En
este momento podremos ejecutar cual-
quier comando del mismo modo que si
estuviéramos sentados en el teclado de
ese equipo. Si no es así habrá que verifi-
car la configuración ssh.
Número 38 59
DESARROLLO • Cluster

• Disponibilidad de las máquinas del La función

cluster MPI_Init ini-
La biblioteca MPICH proporciona, ade- cializa el
más del compilador y el comando para entorno,
ejecutar las aplicaciones que desa- tomando como
rrollemos, ciertas utilidades que nos per- argumentos los
miten verificar si los nodos del cluster pasados por la
están o no disponibles. función main
En este caso usaremos la utilidad tstma- para realizar
chines, que se encuentra ubicada en la las configura-
carpeta /mnt/compartido/mpich/sbin/, y ciones que per-
que muestra las máquinas especificadas mitan el
en el archivo correcto uso de
../mpich/share/machines.LINUX que la librería MPI.
están disponibles en la plataforma. La Al finalizar el
información que presenta esta herra- programa debe-
mienta se muestra en el cuadro 1. mos llamar a la
• Ejecución de una aplicación de Ejem- función Figura 2: Selección de programas en la instalación Debian.
plo MPI_Finalize
Aunque MPICH incluye una serie de para limpiar todos los trabajos no finaliza- Conclusiones
aplicaciones de ejemplo en la carpeta dos por MPI. Como se ha podido comprobar a lo largo
mpich/examples, vamos a crearnos una El identificador del proceso que se está del artículo, hemos montado un cluster
distinta desde cero, tomando como ejem- ejecutando es devuelto por la función de equipos de una forma rápida y senci-
plo el archiconocido “Hola Mundo”. Des- MPI_Comm_rank. El primer argumento es lla, y sin apenas recursos, permitiéndo-
arrollaremos una aplicación en C que el comunicador. Un comunicador es una nos además introducirnos en el mundo
imprima el mensaje “Hola Mundo” desde colección de procesos que pueden de la programación paralela y distri-
cada uno de los nodos. enviarse entre sí. El comunicador por buida. Por supuesto que esto es sólo el
En el listado 1 se muestra el código defecto o más genérico es principio, ya que hay un universo entero
fuente de este ejemplo, que pasamos a MPI_COMM_WORLD. por descubrir en torno a este tema, del
describir a continuación. Para conocer el número de procesos que que encontraremos muchas fuentes en la
Lo primero que aparece es la inclusión se están ejecutando haremos uso de la Web que podrán servirnos de referencia
del fichero cabecera mpi.h que contiene función MPI_Comm_size. De esta forma para desarrollar todo cuanto nos propon-
las definiciones, macros y prototipos de compondremos el mensaje “Hola Mundo gamos. ■
función necesarios del estándar MPI. desde el proceso x de y”.
Para poder verificar este ejemplo debe- RECURSOS
Listado 1: hola.c mos compilarlo con la herramienta que a
[1] Biblioteca LAM/MPI Parallel Comput-
tal efecto propociona MPICH.
01 #include <stdio.h> ing: www.lam-mpi.org/
02 #include ”mpi.h” [2] Biblioteca OpenMPI Open Source
mpicc -o hola hola.c
03 High Performance Computing: http://
04 int main( argc, argv ) www.open-mpi.org/
Y ejecutarla con la instrucción
05 int argc; [3] Biblioteca MPICH MPICH-A Portable
06 char **argv; Implementation of MPI: http://
mpirun -np 3 hola
07 { www-unix.mcs.anl.gov/mpi/mpich1/
08 int rank, size; [4] Instalación Debian por red desde un
Siendo el parámetro np el que especifica
09 MPI_Init( &argc, &argv ); CD mínimo: http://www.debian.org/
el número de máquinas en las que se va a
10 MPI_Comm_size( CD/netinst/
ejecutar el programa.
MPI_COMM_WORLD, [5] Rsh Wikipedia: http://es.wikipedia.
En el cuadro 2 se puede apreciar el
&size ); org/wiki/Rsh
resultado de esta pequeña aplicación.
11 MPI_Comm_rank( [6] SSH Comunicactions Security: http://
MPI_COMM_WORLD, www.ssh.com/
&rank );
Cuadro 2: Salida del
[7] Criptografía asimétrica: http://es.
12 printf( ”Hola Mundo desde Programa hola.c
wikipedia.org/wiki/
el Hola mundo desde el proceso 3 de Criptograf%C3%ADa_asim%C3%A9tr
proceso %d de %d\n”, rank, 3 ica
size ); Hola mundo desde el proceso 1 de [8] OpenSSH Versión Libre del paquete
13 MPI_Finalize(); 3 de herramientas de comunicación
14 return 0; Hola mundo desde el proceso 2 de segura del protocolo ssh: http://www.
15 } 3 openssh.com/es/

60 Número 38 WWW.LINUX- MAGAZINE.ES