Universidad Mariano Glvez. Ingeniera en Sistema.

Sistemas Operativos Abiertos. Ing. Marvin Xiloj

Clster de Servidores.

Joel Vasquez 1290-06-14406 Oscar Garcia 1290-07-13483 Oscar Ovando 1290-07-13703

La Antigua Guatemala 01 de junio de 2012

CONTENIDO

Introduccin 1. Objetivo general 2. Objetivos especficos 3. Introduccin al Cluster-Knoppix 4. Historias de los Clster 5. Historia de OpenMoxis 6. Como instalar Cluster-Knoppix en el disco 7. Como configurar tarjeta de red en Cluster-Knoppix 8. Herramientas de monitoreo 8.1. OpenMosixView 8.2. OpenMosixprocs 8.3. OpenMosixanalyzer 8.4. OpenMosixmigmon 9. Conceptos bsicos 10. Conclusin 11. Bibliografa

INTRODUCCION El desarrollo de este proyecto consiste en la implementacin de un clster que permita la utilizacin de equipos de cmputo de regulares recursos para formar una computadora con caractersticas superiores. La caracterstica principal de estos sistemas clster es permitir que las tareas sean repartidas de forma balanceada entre cada uno de los nodos que hagan parte del clster, permitiendo as procesar grandes cantidades de datos de una forma ms rpida. Analizando la problemtica que presentan algunas empresas que requieran de la utilizacin de grandes servidores y que por motivos econmicos es difcil tener acceso a estos, los clster aparecen como una buena solucin a esta necesidad con un bajo costo.

Objetivos 1. Objetivo General: Implementar un clster de alta disponibilidad el cual brindara un alto rendimiento para los servicios que vaya a prestar; permitiendo reutilizar equipos que por sus bajos recursos ya no cumple con el rendimiento exigido por una empresa o institucin. 2. Objetivos Especficos: - Hacer que el clster ya formado preste servicios a grandes cargas de trabajo balancendolas entre cada equipo. - Explotar el rendimiento de equipos de bajos recursos.

3. Introduccin al Clster KNOPPIX Que es un clster Es un conjunto de computadoras que trabajan en paralelo, conectndose entre si de una forma coordinada y adems centralizada para as poder procesar cargas ms grandes que las que normalmente sera capaz de soportar un nodo solo. Necesita red de intercomunicacin, siendo el ancho de banda un factor limitante. Ejemplos conocidos Google 20000 nodos repartidos en 7 centros de datos independientes. Usan linux Red Hat, siendo uno de los mayores clusters del mundo Renderizacin de Pelculas Shrek: Dream Works us 1000 estaciones con Red Hat Final Fantasy Marcas de constructoras de automocin que usan clster BMW Audi Fiat Que es un nodo Un nodo hace referencia a todos los equipos que hacen parte en los procesos y que adicional a esto son capaces de migrar procesos a otros, por esto un switch, router, hub, etc. No entran en esta definicin. Caractersticas de un clster Un clster es una aglomeracin de varios computadores trabajando como uno solo, lo cual significa que un solo computador no puede ser un clster, tiene que estar conformado por dos o ms computadores. Todos los nodos de un clster deben estar interconectados entre s para formar una red. Que es un clster homogneo Es un clster en el cual todos sus nodos cuentan con el mismo hardware y el mismo software es decir, son computadores idnticos y ninguno tiene ms capacidad de procesamiento ni de almacenamiento que los dems. Que es un clster heterogneo Este tipo de clster no se asemejan en cuanto a hardware ni un software especifico, es decir no todos los equipos deben de tener los mismos procesadores ni las mismas capacidades, lo que lo hace mas maniobrable puesto que sera fcil conseguir 4 o 5 computadoras con las mismas especificaciones pero imaginasen para conseguir ms de 20 y fuera de eso si en el futuro quisieras agregarle otro equipo a tu clster pero ya no consiguieras un PC igual a los que tienes, sera un problema complicado, afortunadamente estn las soluciones a la mano. Que se necesita Lo primero es un parche para el kernel, pero como ya se sabe hay distribuciones que vienen con el kernel ya parchado y solo es instalarlo y configurarlo, como lo es knoppix.

Este parche sirve para que el sistema reconozca los computadores como parte del clster, puede llevar a cabo la migracin de los procesos llevando a cabo una monitorizacin de los diferentes procesos que realiza el sistema y as sabe cunta es la carga y lograr el balanceo. Que es la escalabilidad Se puede hablar de escalabilidad hacia arriba o tambin hacia abajo, los clster pueden crecer mucho hacia arriba sin elevar tanto el costo como se crezca en ordenadores ya que podemos utilizar computadores que no estn en uso estas son ventajas imprescindibles, en OpenMoxis se pueden tener 65536 nodos trabajando a la vez. Con esto se tiene un rendimiento enorme hasta con computadores de bajos recursos conectados a l. Tipos de clster Existen tres tipos Alta disponibilidad En este clster todos los PCs se comparten los discos duros (hard disk) y se monitorean constantemente entre ellos, este es tolerante a fallos por que cuando un nodo cae los dems se cogen los procesos de este o los migran entre ellos mismos para que no se caiga el proceso pero adems los dems nodos intentan restablecer el funcionamiento del nodo cado, cuando logran tener arriba y listo para procesar ese nodo vuelven a migrar los procesos que el mismo estaba realizando, para lograr estabilidad al clster. Alto rendimiento Estos son varios, una aglomeracin de maquinas que estn diseadas para lograr hacer clculos al mximo con muchsima complejidad, esto se logra repartiendo la carga e una forma estratgica por as decirlo, logrando mas rendimiento en la solucin de un problema. Balanceo de carga Este es una mezcla de los anteriores por que tiene caractersticas de ambos. Su tarea esencial es evitar que las aplicaciones se caigan. Existen dos tipos de transparencias de clster Los no transparentes Estos deben de tener una configuracin paralela previamente predeterminada, y tambin conocer previamente la topologa con la cual funcionara el clster (beowulf) y adems la utilizacin de una libreras para el paso de los mensajes entre las diferentes tareas como lo pueden ser (PVM y MPI). Los transparentes En los transparentes tenemos el Mosix y el OpenMosix, Mosix es un clster SSI en los niveles de sistemas trasparentes se utiliza principalmente para el aumento de procesamiento del sistema y permite la utilizacin de antiguos programas hechos para mono procesadores. Que es Beowulf Se trata de una arquitectura multi computador utilizada para procesamiento paralelo que opera sobre un clster, cuya jerarqua se basa en un nodo servidor y uno o ms nodos cliente en red. Este sistema se apoya en un sistema distribuido y utiliza mecanismos de paso de mensajes.

El procesamiento paralelo Es tipo de procesamiento tiene la capacidad de utilizar varios procesadores al mismo tiempo para ejecutar en cada uno una parte de ese mismo programa, la carga no se reclinara en uno solo si no que sern varios a la vez mejorando el rendimiento por razones obvias. Sistemas distribuidos Son computadoras conectadas en red los cuales logran por medio de mensajes el hardware y software coordinen sus acciones para lograr un objetivo. Sistemas operativos distribuidos Estos hacen lo mismo que los sistemas operativos normales, pero la diferencia es que trabajan de forma distribuida o en entornos distribuidos, para facilitar los accesos y la gestin a los recursos de la red. SSI (Server Side Include, inclusiones laterales del servidor) Estas son las directivas que permiten que el HTML esttico sea reconocido para determinados output al navegador del que lo solicite. Esto fue pensado en los administradores de servidores web ya que facilita la creacin y el mantenimiento de las webs. Que es OpenMosix Es un parche para el sistema operativo Linux que lo que hace es darle al computador una funcionalidad como nodo que hace parte del clster. Conecta con un algoritmo interno de balanceo de carga que permite migrar de forma tranparente los procesos a los dems nodos que hacen parte del clster, la migracin se hace dependiendo de varios factores como lo son la velocidad de la CPU de los nodos individualmente hablando, a la carga que tengan actualmente cuando se vallan a migrar los otros y la conexin de red que se tenga. Ventajas al utilizar OpenMosix No se tiene que preocupar por agregarle libreras No es necesario programar las aplicaciones Utiliza un sistema de ficheros o MFS Cuenta con un daemon para descubrir los nodos automticamente omdiscd Desventajas al utilizar OpenMosix La migracin de los procesos que usan memoria no est totalmente desarrolla est en fase beta. Tiene un ncleo dependiente. Que es Omdiscd Este demonio lo que se encarga de hacer es crear automticamente una lista con las maquinas existentes en la red, cuando se tiene otro demonio de auto deteccin de nodos valido y funcional, as que este le estar informando al kernel OpenMosix de los nodos para que este posteriormente los tenga en cuenta a la hora de migrar procesos.

4. Historia de los Clusters De estas tecnologas se desconoce el origen, lo nico que se puede aproximar es que empezaron terminando los aos 50 y principiando los 60. La persona que hizo posible el trabajo paralelo fue Gene Amdahl de IBM, con la publicacin en 1967 la ley de Amdahl describiendo matemticamente el aceleramiento que se puede dar cuando paralelizamos cualquier tipo de tareas en arquitecturas paralelas. Este articulo seria la base para la ingeniera de la computacin de multiprocesador y de clster. Mas o menos la historia que tienen los grupos de computadoras est ligada a la historia del principio de las redes. Las redes de conmutacin de paquetes fue inventado por RAND en 1962. Utilizando un concepto de una red basada en conmutacin de paquetes, ARPANET que en ese momento vena siendo un proyecto, creo en 1969, la primera red de computadoras bsica soportada en clster. Pero vale aclarar que no era un clster cmodo o (comodity clster) como lo es ahora. Con el crecimiento desmesurado de ARPANET llego a convertirse en lo que hoy conocemos como internet la madre de los clusters 5. Corta Historia de OpenMosix OpenMosix es un proyecto que surgi de la separacin de los dos principales desarrolladores de Mosix: Amnon Barak: actual desarrollador principal de Mosix. Moshe Bar: quien empez OpenMosix bajo licencia GPL. Openmosix funciona simulando un sistema multiprocesador. Reparte procesos entre los nodos segn su carga de forma automtica, transparente y dinmica. 6. Como instalar clster-Knoppix en el disco duro utilizando un live Cd 1. Abrimos una consola como usuario root y ejecutamos el siguiente comando knoppix-installer.

2. Nos aparece un cuadro el cual nos indica que el disco aun no se encuentra particionado y no sugiere que el espacio recomendado que debemos utilizar, al cual le debemos dar OK.

3. Ac nos pregunta que deseamos hacer si particionar o salir, en nuestro caso le damos particionar el disco y luego OK.

4. Al darle en particionar el disco nos aparece un programa el cual no permitir hacer las particiones del disco.

5. Seleccionamos el disco que queremos formatear, damos click derecho el disco y seleccionamos crear nueva tabla de particiones, y le damos que s.

6. La ventana que nos aparece seleccionar la opcin crear como primary particin, tipo de particin
Linux-swap el tamao lo definimos al el doble del tamao de memoria RAM que tengamos en nuestro equipo pero sin exceder 512mb, ejemplo si tenemos 128 Mb de RAM la particin del swap debe de ser de 256mb, pero si tenemos una memoria de 512mb la memoria RAM debe de ser de 512mb como mximo, porque si ponemos ms seria una perdida espacio. En la posicin seleccionamos final del espacio no utilizado, y aceptamos

7. En esta ventana utilizaremos las siguientes opciones: - Crear como Primary Particion -Tipo de particin ext3 - Etiqueta como lo queramos llamar -Tamao define el tamao de la particin del disco - Posicin inicio del espacio no utilizado Y por ultimo le damos aceptar.

8. En la ventana que nos aparece, en la parte superior izquierda hay un disquete le damos all y le damos que en yes para que inicie el proceso de formateo. Y al finalizar el proceso de formateo cerramos la ventana.

9. Luego de haber cerrado la ventana nos aparece la ventana encontramos varias opciones, le damos en
la primera opcin configurar la instalacin y damos en OK y le damos posterior.

10.

En esta ventana seleccionamos la ltima opcin deban: sistemas como deban (Mtodo del antiguo instalador).

11. Ac seleccionamos el disco y le damos en posterior.

12.

En esta ventana seleccionamos el sistema de ficheros para la instalacin, seleccionamos ext3 y le damos en posterior.

13.En esta venta ingresamos nuestro nombre o el que queramos.

14.En esta ventana introducimos el nombre que le queremos dar a el usuario.

15.

Ac introducimos la clave del usuario.

16.Ac introducimos el nombre que le queremos dar al equipo.

17.

En esta venta seleccionamos el gestor de arranque, seleccionamos mbr: sector de arranque primario y le damos posterior.

18.
ok.

Luego en el men que nos sale seleccionamos la opcin 2 comenzar instalacin y click en

19.Ac nos muestra una ventana con toda la configuracin que hicimos verificamos y le damos en posterior.

20.Al haber dado en posterior inicia el proceso de instalacin el disco duro.

21.Al haber terminado con el proceso de copia nos aparece un aviso el cual nos pide un disquete, no es necesario insertarlo solo le damos que no y listo.

22.

Y por ultimo le damos que no, y reiniciamos el equipo y solo sacamos el Cd cuando el sistema lo indique.

Cuando haya iniciado sin utilizar el Cd nos aparece una pantalla como la siguiente

7. Como configurar tarjeta de red en Cluster-Knoppix

1. En la consola de comandos ejecutamos como usuario root el siguiente comando netcardconfig.

2. Ac nos aparese una ventana donde nos pregunta si queremos hacer la configuracin con un DHCP
o si lo queremos hacer manualmente en este caso lo haremos manual, por lo tanto le daremos que no.

3.

En este espacio agregamos la direccin ip queremos utilizar para nuestra tarjeta de red.

4.

Ac agregamos la mscara de red que pertenezca a la direccin ip que ingresamos anteriormente.

5.

Ac se pone la direccin de broadcast.

6.

En esta pantalla se pone la puerta de enlace o Gateway por defecto.

7.

Y por ultimo obtendremos la siguiente informacin la cual nos dice que la interface se encuentra arriba y la configuracin que ingresamos anteriormente.

8. Herramientas de monitoreo 8.1. OpenMosixView OpenMosixView no est en las herramientas de rea de usuario de OpenMosix por defecto. Y la razn es muy simple: las herramientas de rea de usuario son lo mnimo que necesita cualquier administrador o usuario de OpenMosix para poder trabajar. En la mayora de las instalaciones de OpenMosix, los nodos son cajas sin monitor, ratn o teclado con una instalacin mnima de Linux, por lo que en principio OpenMosixView slo ser un problema para el administrador, que puede no tener inters en instalar las libreras QT y KDE en una mquina que slo va a servir procesos. La suite OpenMosixView contiene siete aplicaciones altamente tiles y eficaces tanto para la administracin como para la monitorizacin del clster. OpenMosixView: principal aplicacin de monitorizacin y administracin. OpenMosixprocs: aplicacin para la administracin de procesos. OpenMosixcollector: captura la informacin del clster proporcionada por los demonios. OpenMosixanalyzer: analizador de la informacin capturada por OpenMosixcollector. OpenMosixhistory: historial de monitorizacin de procesos del clster. OpenMosixmigmon: visor que representa la migracin de procesos. 3dmosmon: visor para monitorizacin de datos en 3D. Todos los componentes son accesibles desde la ventana de la aplicacin principal. Este entorno facilita la interaccin con el usuario puesto que le permite ejecutar los comandos de consola ms comunes con unos pocos click del mouse.

La figura muestra la ventana de la aplicacin. El usuario podr interactuar con OpenMosix a travs de sus controles. Para cada nodo del clster (cada fila): una luz, una barra de velocidad, un nmero que indica la

velocidad de procesamiento, dos barras de progreso porcentual que indican la eficiencia de balanceo de carga y de uso de memoria, tambin un par de etiquetas que indican la cantidad de memoria y el nmero de procesadores por nodo. 8.2. OpenMosixprocs

El ProcesList ofrece una visin general de lo que se est ejecutando. La segunda columna muestra el nodo OpenMoxis ID de cada proceso medios locales, todos los dems valores son los nodos remotos. Los procesos migrados estn marcados con un icono verde y procesos no movibles tienen una cerradura. 8.3. OpenMosixanalyzer La siguiente figura nos muestra de forma grfica la carga en el openMosixanalyzer.

Con el OpenMosixanalyzer tendremos un historial continuo de nuestro clster. Los historiales generados por OpenMosixcollector se mostrarn ahora de forma grfica, de forma continua, lo que nos permitir ver la evolucin del rendimiento y dems parmetros de nuestro clster a travs del tiempo. OpenMosixanalyzer puede analizar los historiales a tiempo real (datos generados a tiempo real) y evidentemente tambin puede abrir antiguos Backus con el men File. Los historiales sern guardados en /tmp/OpenMosixcollector/* (y los Back-Ups los tendremos en /tmp/OpenMosixcollector [date]/*) y slo tendremos que abrir el historial principal del clster para visualizar antiguos historiales de informaciones de carga. (el campo [date] en los ficheros de Back-up se refiere a la fecha en que han sido guardados) 8.4. OpenMosixmigmon

Es un monitor para las Migraciones en su OpenMoxis Clster. Muestra todos los nodos como pequeos pinginos sentados en un crculo. El pingino principal es el nodo en el que se ejecuta openMosixmigmon y alrededor de este nodo se muestra tambin sus procesos en pequeos cuadrados de color negro. El proceso est marcado en verde y traza una lnea desde su origen hasta su mando a distancia para visualizar la ubicacin de la migracin. Si mantiene el ratn sobre un proceso mostrar su PID y la lnea de comandos en un texto de ayuda en pequea ventana. En OpenMosixmigmon la funcin de arrastrar y soltar est completamente activada. Se puede arrastra cualquier proceso y colocarlo en cualquiera de los nodos (los pinginos) y el proceso se trasladar all. Si hace doble clic en un proceso en un nodo remoto ser enviada a casa inmediatamente.

9. CONCEPTOS BASICOS Alto rendimiento: Gran demanda de procesamiento de datos en procesadores, memoria y otros recursos de hardware, donde la comunicacin entre ellos es rpida. Balanceo de carga: Lo ideal en el procesamiento paralelo es que cada procesador realice la misma cantidad de trabajo, donde adems se espera que los procesadores trabajen al mismo tiempo. La meta del balanceo de carga es minimizar el tiempo de espera de los procesadores en los puntos de sincronizacin. Computadora paralela: Mquina con dos o ms procesadores que pueden trabajar simultnea y/o coordinadamente. Estas son de dos tipos: las MIMD donde cada procesador puede ejecutar diferentes instrucciones sobre diferentes datos, y las SIMD donde los procesadores ejecutan las mismas instrucciones pero con diferentes datos, como se explicara en la siguiente seccin. Eficiencia: Es la relacin entre el costo computacional y el funcionamiento del clster, y lo que indica es qu tan eficiente se est utilizando el hardware. Escalabilidad: Generalmente se mide la eficiencia de un problema, utilizando un tamao y un nmero de procesadores fijo, pero esto es insuficiente, pues los resultados sern diferentes cuando se aumente o disminuya el tamao del problema y el nmero de procesadores. Cuando se aumenta el nmero de procesadores para el mismo tamao del problema, la sobrecarga debido al paralelismo (comunicaciones, desbalanceo de carga), aumenta y similarmente podemos tener casos en donde el tamao del problema es muy pequeo para tener una evaluacin real del problema sobre cierta mquina. Kernel: El Kernel, tambin conocido como ncleo; es la parte fundamental de un sistema operativo. Es el software responsable de facilitar a los distintos programas acceso seguro al hardware de la computadora. Memoria compartida: En una mquina paralela existe una sola memoria que puede ser accedida por todos los procesadores. Memoria distribuida: Cada uno de los procesadores de un multiprocesador tiene asociado a l una unidad de memoria. Rendimiento: Es la efectividad del desempeo de una computadora sobre una aplicacin o prueba de rendimiento (benchmark) en particular. En las mediciones de rendimiento estn involucrados velocidad, costo y eficiencia.

10. CONCLUSION Esta es una alternativa a la hora de escases de recursos o de dinero, para evitar la adquisicin de equipos ms potentes. Al funcionar bajo OpenMoxis, proporciona una interfaz como si se tratase de un sistema multiprocesador. La distribucin de la carga entre los nodos del clster hace que los procesos que se ejecuten se lleven a cabo de forma ms eficiente, asignando los procesos a los nodos menos saturados. Durante el desarrollo de la prctica observamos que a partir de los 6 nodos, el rendimiento empieza a disminuir, puede ser debido al tiempo que tarda en comunicarse los nodos entre si, a mayor numero de nodos, ms comunicacin entre estos es necesaria. Aunque el rendimiento del Clster pueda disminuir a partir de cierto nmero de ordenadores, es una opcin barata frente a los multiprocesadores, fcil de instalar y altamente escalable.

11. BIBLIOGRAFIA

1. Clustering con OpenMoxis

2. http://mural.uv.es/micopas/linuv/linuvp.pdf Seminario Clster http://www.ganimides.ucm.cl/aurrutia/doc_pdf/Seminario_Juan_Caceres.pdf Knoppix: http://www.knoppix.org/

3.