10/05/12

Brincando de cluster

Guiadohardware

GDHPress

FrumGdH

Publiqueseutexto

RSS

Home

Equipe

EfetuarLogin

Buscar...

ndiceArtigos

Brincandodecluster
Criado7/jul/2007s23h16porCarlosE.Morimoto

Introduo
Vocpodeterumclusteremcasa.Autilidadeseriaquestionvelnamaioriadotempo,masvocpodeconfigurlo emmenosde5minutosusandoalgunsmicrosligadosemrede. Pormaisestranhaqueestaafirmaopossaparecer,amaispuraverdade.possvelterumclusterconfigurado emmenosde5minutosutilizandooClusterKnoppix,umadistribuiobaseadanoKnoppix(irmozinhodoKurumin:) quevemcomumservidorOpenMosixconfiguradopararodardiretodoCD. Em primeiro lugar, de que tipo de cluster estamos falando? Esta palavra um tanto quanto genrica usada em vriassituaesondetemosumconjuntodeaparelhostrabalhandoemconjunto.Porexemplo,umaoutraformade clusteringsuportadaporalgunsnobreaksdestinadosaservidores,ondedoisaparelhospodemserligadospara combinarsuascapacidades.Doisnobreaksde2KVApodemformarumnobreakde4KVAeassimpordiante. Mas, sendo um pouco mais especfico, existem basicamente trs aplicaes para um cluster de micros PCs. A primeira e provavelmente a mais usada a tolerncia a falhas, onde temos dois ou mais PCs ligados entre s. O primeiroPCfaztodootrabalhoenquantoosegundoselimitaamanterseusdadosatualizadosemrelaoaoprimeiro eamonitorloconstantemente.SeoprimeiroPCsairdoarporqualquermotivo,osegundoimediatamenteassume suasfunes.EstatecnologiamuitousadaemservidoresWebeservidoresdebancodedadosemIntranets. Asegundaaplicaoobalanceamentodecarga,usadaprincipalmenteemservidoresWeb.Nestecasotemospelo menostrsPCs,ondeoprimeirorecebetodasasrequisieseseencarregadedividlasentreosdemaisPCs.Ao invsdeterapenasumsuperservidorcarssimo,vocpodeusarvriosPCsbaratosparafazeromesmotrabalho. Aterceiraaplicaooprocessamentoparalelo,ondebrilhamosfamososclustersBeow ulf.Estetipodecluster muitotilemaplicaescientficas,assimcomoanimaeseefeitosdestinadosafilmesondeexisteumgigantesco volume de dados a ser processado. O trabalho dividido em pequenas partes, processado de forma distribuda e depoisoquebracabeasmontado,gerandootrabalhofinal. Os clusters Beow ulf so muito famosos pelo seu uso na NASA, em vrias universidades, na renderizao das cenasdefilmescomoStarWarsep.2,FinalFantasy(entremuitosoutros)eassimpordiante.Configurarumcluster Beow ulfnonenhumbichopapo,vocpoderiaconfigurarumsequisesse,masexisteumpequenodetalhequeos tornapoucoteisemambientesdomsticos:possvelprocessarquantidadesfabulosasdedados,masapenasao utilizar aplicativos escritos com suporte arquitetura. Isto no um grande problema para as universidades ou grandes estdios, que geralmente cuidam de grande parte do desenvolvimento dos programas e podem portlos, masnoumaalternativavivelnamaioriadoscasos. Os clusters OpenMosix seguem uma idia diferente, que os torna mais adequados para o uso geral. Ao invs de dividirprocessamentodentrodeummesmoprograma(oqueexigiriaqueoprogramasejaportadoeotimizado)vrios programas diferentes, ou vrias instncias do mesmo programa migram para os outros ns do cluster e so executadosemparalelodeumaformatransparenteparaousurio. Avantagemqueosistemafuncionacomosprogramasquevocjusanodiaadia,noprecisosaircaando aplicativos especiais. Imagine que voc tente comprimir dois vdeos em Divx ao mesmo tempo, abrindo duas instnciasdomesmoprogramadecompresso.AprimeirainstnciacontinuarrodandonoseuPC,masasegunda migrar para o outro n da rede. Se os dois PCs tiverem mais ou menos o mesmo desempenho voc ter os dois vdeoscompactadosquasequenotempodeum. O sistema envia uma cpia do programa para o segundo n, e em seguida passar a alimentlo com os dados necessrios.Aoinvsdetertodootrabalhodecomprimirosegundovdeo,oseuPCreceberapenasosresultados mastigados.Vejaqueparacomprimirumvdeoemdivxnecessrioumaquantidadeabsurdadeprocessamento,um DVDdeduashorasdemoracercade11horasnumAthlonde1.0GHz. Emcompensao,temosumaquantidaderelativamentepequenadedados,cercade4GBparaaimagemdoDVD(os dados so transmitidos ao longo das 11 horas, o que daria uma mdia de 103 KB/s) e no final temos gerado um arquivo menor ainda, que pode ser transmitido facilmente atravs da rede. O mesmo acontece se voc estiver comprimindo audio, renderizando cenas 3D ou outras tarefas onde seja necessria uma grande quantidade de processamento. Vocnoprecisafazernadaparaqueosprocessosmigrem.CadamicrorodaumadistribuioLinuxcompleta,com umpequenoclienteOpenMosixquemonitoraonveldecarregamentodosdemaisnsdarede.Osoftw areincluium conjuntodefunesque"decidem"quaisprogramassobonscandidatosaseremmigrados,baseadononvelde carregamentodosistemaenotipoequantidadededadosmanipuladosporeles.Outracoisaquelevadaemconta o desempenho de cada micro disponvel na rede: o softw are sempre procura o micro onde a tarefa possa ser processadamaisrapidamente. Se voc est usando um Celeron 366 mas existe um Athlon XP 2200+ disponvel do lado, ele quem acabar recebendoamaiorpartedotrabalho,fazendocomquealmderealizarastarefasmuitomaisrpido,oseuCeleron fiquebemmaisleve:) Mas,poroutrolado,tarefasqueenvolvemumacargamuitograndedeI/O,comoporexemploassistirumvdeoem DivxouumDVDourodarumservidordebancodedadosporexemplonuncasomigradasautomaticamente.Mesmo que voc forasse a tarefa a migrar para outro n manualmente, o desempenho provavelmente acabaria sendo inferioraooriginal. VamosimaginaroqueaconteceriasevoctentassemigrarumprocessodomPlayeroudoXinequeestexibindo aquelefilmeemdivxquevocbaixouontem.Normalmenteofilmedescomprimidocenaporcena,gerandobitmaps

Notcias

Guias

Oquehdenovo?

Notcias
ontem Finalmente:lanadoOpenOffice3.4,agoranasmosdaApache PublicadosegundoReleaseCandidatedaMageia2 Wordpress2.1paraAndroidtrazvriasmelhorias TecnologiadaMSadicionasuporteagestosaosPCssem necessidadedehardw areadicional 08/05 EApublicajogoscasuaisnacentraldeprogramasdoUbuntu MaissobreocasoOraclevsGoogle:adecisofinalaindanofoi dada Canonical:OUbuntuembreveestarem5%dosPCs Nokiacomproblemasfinanceiros,cogitadaajudadaMicrosoft 07/05 Dosonhoparaarealidade:umamodificaonotecladodoiPadpara selecionartextos MicrosoftcomentamaissobreafaltadesuporteaDVDeBlurayno Window s8 Streamingaovivoparaqualquerum:HangoutsOnAirdoGoogle+ 04/05 iPad2,4:UmcuriosoupgradeparaoA5de32nmcomHK+MG MaissobreoGalaxySIII:oqueesperar 03/05 VriasmelhoriasnoGoogleDocs:maisfontesetemplates Finalmente:GalaxySIIIdaSamsung LanadoGIMP2.8estvel 02/05 ContaMicrosoft:umavidanovaparaosserviosdoWindow sLive comoWindow s8 CentraldenotificaesdoMountainLiontermodo'noperturbe' ProjetoexperimentalgerouportdoAndroidemC# 01/05 XFCE4.10:OlegtimosucessordoGNOME2

NotciasdomsdeMaiode2012
Artigos Tutoriais Livros Dicas Anlises

Livros

www.hardware.com.br/artigos/cluster/

1/6

10/05/12

Brincando de cluster

quesoexibidospelaplacadevdeo.Numfilmecomresoluode640x480porexemplotemos614KBporquadro (se forem usados 16 bits de cor) e geralmente 25 quadros por segundo o que vai dar uma transmisso de pouco maisde15MB/sparaovdeoemais88KB/sparaoudio.Seovdeoestiversendoprocessadolocalmenteosdados vodiretoparaaplacadevdeoeaquatidadededadosnoproblema,jqueobarramentoPCItransmitea133 MB/seoAGPatingemuitomais. Mas,sevocmigraroprocessoparaoutromquinadaredeosclculosjficammaisapertados.Umaredede100 megabitspermiteumataxadetransmissotericade12.5MB/smasnaprticasempretemosumpoucomenos. preciso ao mesmo tempo enviar os dados a serem descomprimidos junto com outras informaes e receber os quadros e udio prontos para serem exibidos. No final voc acabar com uma utilizao muito alta da rede, atrapalhandootrabalhodosoutrosmicroseaindaporcimaumvdeofalhado.Comumaconexofullduplex(100Mb deuploade100Mbdedow nloadsimultneos)ocenriojseriamaisconfortvel,masaindaassimseriadifcilvero vdeocomqualidade. Embora no seja a soluo pra tudo, o OpenMosix uma soluo interessante pois no necessrio ter ns dedicados.VocpodemanteroclienteOpenMosix(queaomesmotempoumservidor)nasmquinasdasuarede, deformaqueoscicloslivresdeumasejamusadosparaprocessardadosenviadosporoutrasmquinas.OOpenMosixnoajudamuitonastarefasdodiaadia,comoeditarumarquivono OpenOffice,jogarUnreall2003ouabrirummontedepginasnoMozilla,maspodeajudarbastanteemtarefasmaispesadas,quesoafinalondevocrealmenteprecisademaisdesempenho. ApginaoficialdoOpenMosixa: http://w w w .openm osix.orgouhttp://openmosix.sourceforge.net/ ParafuncionarprecisoummdulocompiladonoKernel.Emmuitoscasosasdistribuiesjvemcomomoduloprontonaformadeumpacoteinstalvelmasemoutrosprecisorecompilaro KerneladicionandoopatchdoOpenMosix.ExisteumarquivomuitobomsobreainstalaodoOpenMosixemvriasdistribuiesdisponvelaqui:http://how to.ipng.be/openMosixHOWTO/. OClusterKnoppixumaversocustomizadadoKnoppixqueincluiumainstalaodoOpenMosixprontaprausar.EletoplugandplayquantooKnoppixoriginal,bastadarbootemalguns PCsligadosemrede,abriroprogramamonitoreosnscomearoasecomunicaretrocarprocessosentres.SevocstiverumCD,existeaindaapossibilidadededarbootnosdemais PCsviarede,viaPXE. ApginadoClusterKnoppix:http://bofh.be/clusterknoppix/.AimagemdoCDtemquase700,omesmotamanhodoKnoppixoriginaleporenquantoestdisponvelapenasviabittorrent.Se vocnuncausou,dumaolhadanomeuartigoaqui:http://w w w .guiadohardw are.info/artigos/259/ DepoisdedarbootcomoCDemtodososmicros,useopingparaverificarsearedeestfuncionando.OKnoppixconfiguraaredeviaDHCPduranteoboot.Senohouvernenhumservidor disponvelvocpodeconfigurararedemanualmenteemcadamicronoIniciar>Knoppix>Netw ork/Internet>Netw orkcardconfiguration. Assimquearedeestiverconfigurada,oclusterformadoautomaticamente.Abraumterminal,useo"su"paravirarrootechameocomando"openm osixm igm on".Ajanelamostraosns docluster,juntocomseusrespectivosendereosIP.Oqueestnocentrooseumicro,ospontospretosemvoltadelesoosprocessosqueestosendoexecutadoseospontosverdes mostramosprocessosquemigraramparaoutrosnsdocluster:

Compreoseu.Livroatualizado!

Sevocarrastarumdospontosparaoutron,oprogramatentarmigrlo,masvoclogovaiperceberqueamaioriadosprocessosdesistemanopodesermigrada.Poroutrolado,muitos dosprogramasquevocabrirseroimediatamentemigrados,mesmosemasuainterveno. Umoutroprogramatilo"openm osixview ".Elemostraonveldecarregamentodecadaumdosnsdocluster.O"13667"nalinhadon234mostraseundicededesempenho(nomuito apurado) que usado para determinar quais ns devem receber trabalho primeiro. O n 250 aparece em vermelho pois ele j fez parte do cluster, mas est no momento desligado ou desconectadodarede. Sevocestiverusandoomicromaisrpidodoclustervaiperceberqueosprocessosdemoramamigrar,mesmoqueosoutrosPCsestejamlivres.Aidiabsicaexecutarastarefasomais rpidopossvel,entoseoseumicroomaisrpidonormalqueelassejamexecutadasnele.Mas,vocpodealterarondicededesempenhodoseumicro,fazendocomqueomonitor passeaconsiderlomaislentoqueosdemaisemigreomximodeprocessospossvel. Experimenteusarocomando:

mstesed10 oclstpe00

Existeumoutroprogramamaissimpleschamado"m osm on",quemostraumgrficosimples,emmodotextoindicandoonveldecarregamento decadan.Aquiestourodandoduasinstnciasdokandel,umprogramageradordefactraisquefazpartedadistribuio.Eleumbomexemplodeprogramaquesebeneficiadocluster poisseutrabalhoenvolveumquasenadadedadoseummundodeprocessamento.AbrindoduasinstnciasdoKandelcadaumdosnsdoclusterficacomuma:

www.hardware.com.br/artigos/cluster/

2/6

10/05/12

Brincando de cluster

Devoltaaoopenm osixview ,abraoopenmosixcollectoremCollector>openMosixCollector>Start.Eleumdaemonquemonitoraaatividadedoclusteregeraumlogquedepoispodeser examinadousandoasoutrasferramentasdoopenmosixview . ClicandosobreobotocomoendereoIPdequalquerumdosnsvoctemacessoaummenudeconfigurao,ondevocpodedesabilitaramigraoautomticadeprocessosparaum determinadondarede(umamquinalentaporexemplo)entreoutrasopes.Estaconfiguraopodesersalva,masissossertilsevocestiverusandooClusterKnoppixinstaladono HD(ainstalaoidnticadoKnoppixnormal)casocontrriovocperdetudoaoreiniciaramquina.

Obs: Embora o sistema de arquivos aparea como opo durante a instalao do ClusterKnoppix, a instalao vai falhar se voc escolhlo. Verses antigas do ClusterKnoppix tambm tinhamproblemascomoExt3(bugquejfoicorrigidosegundoochagelog),porissooidealqueaoinstalarnoHDvocescolhaosistemadearquivosReiserFS. Aindanoopenmosixview ,cliquenoFile>RunProgrameescolhaumexecutvelqualquer(amaioriadosprogramasestnapasta/usr/binou/usr/share).Voccairnomenudeexecuo avanada,ondevocpodedefiniremqualndoclusteroprogramaserexecutado(opo"runon")especificarqueoprogramautilizamuitoprocessamentoeporissoumcandidatoaser migradorapidamente("cpujob")ouqueeleexecutaprincipalmentetarefasqueenvolvemgrandesquantidadesdedados("iojob")equeporissonodevesermigrado:

Outroprogramainteressanteo"openm osixprocs"quemostraumalistadosprocessosqueestorodandoepermitegerenciarosprocessosquemigraramparaoutrasmquinas:

www.hardware.com.br/artigos/cluster/

3/6

10/05/12

Brincando de cluster

Clicandosobreumprocessoqualquernalistaprincipalvoctemaopodeenvialoparaoutramquinaoumesmofechlo:

SevoctiverapenasumCDdoclusterKnoppix,ounotiverdrivedeCDemtodasasmquinas,possivelconfiguraromicrocomoCDROMparaatuarcomoumservidordebootremotopara osdemaismicrosdarede,viaPXE.Oatalhoestem:Iniciar>Knoppix>Services>StartKnoppixOpenMosixTerminalServer. O Wizard configurar o servidor para atender os chamados dos clientes e fornecer a eles os arquivos do CD (via NFS) para que eles possam dar boot atravs da rede. Este sistema

www.hardware.com.br/artigos/cluster/

4/6

10/05/12

Brincando de cluster

basicamenteomesmoutilizadopeloLTSPepeloKuruminTerminalServer,adiferenaqueosclientescarregamtodoosistemadoservidorerodamosaplicativoslocalmenteaoinvsde passaremaatuarcomoterminaisburrosdoservidor. Aconfiguraobemsimples.EleperguntaafaixadeendereosIPqueserreservadaparaosclientesremotoseemseguidapedequevocescolhaosmdulosdasplacasderedeusadas nosclientes.Vocpodemarcarquantosmdulosacharnecessrio(emcasodedvidaporexemplo),onicoinconvenientequecommuitosmdulosativososervidorconsumirumpouco amaisdememriaRAM. Aseguirvocteraopodeativarmaisalgunsrecursos:

Aopo"textmode"fazcomqueosclientesnocareguemomodogrficoduranteoboot,deixandomaismemriaRAMdisponvelpararodarosaplicativos.Estaopointeressanteapenas casovocqueiradeixarosoutrosclientesdisponveisparareceberprocessos,semqueningumosuse. AsopesMasq,DNSeSquidcache/ProxyativamocompartilhamentodaconexocomaIntenretparaosclientes.Estasopessonecessriasapenascasooservidorestejaacessando diretamenteainternet.Setodososmicros,incluindooservidorestiverematrsdeumoutromicroquecompartilhaaconexooucasovocnopretendaacessaraInternet,astrspodem ficardesativadas. Altimatelapermitequevocpasseparmetrosdebootparaasmquinasclientes,aquelasmesmasopesquepodemserusadasnateladebootdoKnoppixparaativararodinhadomouse (w hellmouse),forarumadeterminadaresoluodetela(screen=1024x768)eassimpordiante. Amaioriadasplacasmeatuais,sobretudoascomredeonboard(PCchipsincludas)suportambootviaredeutilizandooprotocoloPXE.Vocprecisaapenasconfigurarasequnciadeboot noSetupoupressionarF8(ouF12,dependendodaplaca)duranteacontagemdememria.Oissofaroclienteenviarumpacotedebroadcastpelarede,queserrespondidopeloservidor, dandosequnciaaocarregamentonormaldosistema.

OclientevaisecomportarquasedamesmaformaquesecomportariacasoestivessecomoCDdoClusterKnoppixnodrive.Tambmnoexistemuitadiferenadedesempenho,poisnuma redede100megabitsogargaloavelocidadedeleituradoCDROMenoarede.Seriaprecisoumleitordequase100Xparaatingirumataxadeleituraprximade12.5MB/s. SejabemvindoaomundodosClusters:) PorCarlosE.Morimoto.Revisado7/jul/2007s23h16 4comentrios

Comentrios
Entrarefazercomentrio

Execelenteartigo
Criado13/fev/2012s18h38porMauro(annim o) Gostariadesabersetemalgoassimparaw indow s? mauroint@gmail.com, gostariamos de usar essa idia na empresa que trabalho, onde temos um robo automatizador de testes e ele demorado ento queriamos distribuir esse processamentoentreasoutrasmaquinasdisponiveis. AguardoRetorno.

www.hardware.com.br/artigos/cluster/

5/6

10/05/12

Brincando de cluster

ClusterdeSO
Criado10/nov/2011s15h02porBrendaPacehco(annim o) EstavapesquisandosobreClustercomoKnoppix.Muitobomoartigo.Obrigada.

Gostei
Criado9/ago/2011s16h53porGabriel(annim o) Muitobom,esclareceumuitominhasdvidasparabens

Cluster
Criado25/out/2010s11h29porIvanRodrigues(annim o) Postmuitobom,abriuminhamente!

Destaques
GuiadoHardwareagoraHardware.com.br Hardw areII,oGuiaDefinitivo Siganos: RSS|Tw itter|Facebook

Gostoudotexto?
Vejanossoslivrosimpressos: Smartphones|Linux|Hardw are Redes|ServidoresLinux ...ouencontreoqueprocurausandoabusca: Buscar

19992012Hardware.com.br.Todososdireitosreservados.

Home

FrumGdH

RSS Equipe Topo

www.hardware.com.br/artigos/cluster/

6/6