Gerenciamento de Virtualizao em Cluster com Proxmox VE

Leandro B. Bria1, Sylvio A. G. Vieira1

1

Sistemas de Informao - Centro Universitrio Franciscano Santa Maria, RS Brazil

lberia@unifra.edu.br, sylvio@unifra.br

Abstract. This paper presents virtualization techniques, which are essential for companies seeking to ensure its growth with low cost. The proposal used the Proxmox Virtual Environment, an open source platform virtualization technology that supports OpenVZ and KVM (Kernel-based Virtual Machine) for creating a virtualized environment through a cluster with virtual machines that are managed and monitored by tools offered by it. Thus, this study sought to understand the techniques involved in the implementation of virtualization technologies OpenVZ and KVM for creating virtual machines on a cluster with Proxmox VE platform support, allowing to analyze its efficiency, to compare the performance differences between the technologies virtualization and the benefits of its use. Resumo. Este trabalho apresenta tcnicas de virtualizao, que so essenciais em empresas que buscam garantir seu crescimento com baixo custo. Na proposta utilizou-se o Proxmox Virtual Environment, uma plataforma open source de virtualizao, que suporta as tecnologias OpenVZ e KVM (Kernelbased Virtual Machine), para criao de um ambiente virtualizado, atravs de um cluster com mquinas virtuais, que so gerenciadas e monitoradas por ferramentas oferecidas por este. Dessa forma, este estudo buscou compreender as tcnicas envolvidas na implementao das tecnologias de virtualizao OpenVZ e KVM, para criao das mquinas virtuais sobre um cluster, com apoio da plataforma Proxmox VE, permitindo analisar sua eficincia, comparar as diferenas de desempenho entre as tecnologias de virtualizao e os benefcios em sua utilizao.

1. Introduo
A demanda de tecnologias da informao nas empresas, que buscam solues com baixo custo, sem que este custo venha a prejudicar seu crescimento, tem se tornado diferencial competitivo. Com o aumento da capacidade de processamento dos computadores pessoais, e a relao de custos entre estes e os servidores, tornam as mquinas virtuais uma opo interessante, visando o aproveitamento da infraestrutura existente. Alm da flexibilidade, portabilidade e segurana, que as mquinas virtuais oferecem [Carissimi 2008]. Atualmente, muitas empresas possuem seus computadores conectados em rede, o que torna propcio o aproveitamento de seus recursos, de forma mais eficiente, com a implementao de um cluster que, associado a uma tecnologia de virtualizao,

permitem um avano na capacidade e desempenho dos processos da empresa [Laureano and Maziero 2008]. Notando a importncia e a alta demanda de processamento, executar as aplicaes em ambientes virtualizados torna-se um atrativo. Os dois maiores fabricantes de processadores da atualidade so Intel e AMD, ambas implementaram em seus processadores a tecnologia que promove suporte diretamente ao hardware para a virtualizao, e tambm de empresas conceituadas que criaram suas ferramentas para virtualizao, como IBM, Microsoft, Oracle, entre outras [Carissimi 2008]. Neste trabalho, apresentado o embasamento terico para o entendimento das plataformas de virtualizao, tecnologias de virtualizao, virtualizao de cluster, gerenciamento das mquinas virtuais e do cluster, de forma centralizada com Proxmox VE, funcionamento do monitor das mquinas virtuais, tecnologias de virtualizao em processadores, avaliao do comportamento e desempenho das tecnologias de virtualizao OpenVZ e KVM suportadas pelo Proxmox VE. Alm disso, so apresentados trabalhos relacionados ao assunto proposto, para base de elaborao deste trabalho. O objetivo deste trabalho estudar e avaliar as tecnologias de virtualizao OpenVZ e KVM, gerenciadas atravs da plataforma de virtualizao Proxmox VE, suas diferenas e benefcios de sua utilizao. Desta forma, pode-se enumerar os seguintes objetivos especficos: identificar o funcionamento de um cluster, identificar o funcionamento de mquinas virtuais sobre hypervisors, implantar um cluster virtualizado, implantar as tecnologias de virtualizao OpenVZ e KVM, analisar a eficcia do gerenciamento centralizado oferecido pelo Proxmox VE, comparar as diferenas das tecnologias de virtualizao OpenVZ e KVM e analisar os resultados da implantao e de desempenho.

2. Trabalhos Correlatos
Nesta seo, so abordados trabalhos relacionados com o escopo da presente proposta.

2.1 Linguagem De Programao Interpretada Utilizada Na Configurao De Aplicativos Voltados Para Sistemas Multi-Plataforma Com Implementao Em Ambiente Paravirtualizado
O trabalho de Silva et Al. (2010), tem por objetivo o estudo sobre tecnologia da virtualizao, demonstrando os benefcios que estes oferecem, principalmente da paravirtualizao, que atravs do desenvolvimento de uma linguagem interpretada, aplica-se ao hospedeiro Asterisk para comunicao VOIP, unidos ao ambiente paravirtualizado, para que em sua criao no necessitem de hardware adicional. A implementao da linguagem interpretada no Asterisk proposta por Silva et Al. (2010) feita aps a instalao e configurao do software que passar a ser um servidor de comunicao VOIP que funciona atravs de trs protocolos abertos que so: SIP, MGCP e IAX, que tem como funo sinalizar as chamadas telefnicas sobre rede IP.

Em seu trabalho, Silva et Al. (2010), apresentam a codificao completa da linguagem interpretada responsvel pela comunicao das chamadas telefnicas sobre IP que so interpretadas pelo Asterisk, assim como a diviso dos recursos entre o ambiente paravirtualizado.

2.2 Ambiente De Virtualizao: Uma Anlise De Desempenho

Nesse trabalho realizado por Clayton Ferreira Santos tem por objetivo o estudo sobre desempenho de ferramentas de virtualizao com o objetivo de oferecer a ferramenta mais adequada para a implementao de ambientes virtuais em servidores de redes. As tecnologias de virtualizao utilizadas por Santos (2011) em seu trabalho foram: VMware ESXi e o Citrix XenServer, onde ferramentas de benchmark foram utilizadas para gerao de sobrecarga sobre as mquinas virtuais, exigindo de processador, memria e disco. Posteriormente foram analisados os resultados dos testes, que foram divididos em dois sistemas hspedes que so: Windows 2003 Server e Fedora 14. Para cada tecnologia de virtualizao propostas por Santos (2011), foram testadas at cinco mquinas virtuais, comeando os testes por uma mquina virtual, duas mquinas virtuais e at completar as cinco mquinas virtuais em cada tecnologia, com isso observando a maneira em que se comportam em cada tipo de situao. Santos (2011) concluiu em seu trabalho que a escolha do sistema operacional hspede influencia diretamente no desempenho da tecnologia de virtualizao que ser utilizada, sendo que para o sistema operacional hspede Windows 2003 Server a tecnologia de virtualizao que apresentou melhor desempenho nas mquinas virtuais foi o Citrix XenServer e para o sistema operacional hspede Fedora 14 a tecnologia de virtualizao mais adequada para as mquinas virtuais foi o VMware ESXi.

2.3 Sw-V: Modelo De Streaming De Software Baseado Em Tcnicas De Virtualizao e Transporte Peer-To-Peer
Nesse trabalho realizado por Rafael Augusto Teixeira tem por objetivo o estudo sobre tcnicas de virtualizao e redes peer-to-peer, desenvolvendo um modelo de streaming de software que se chama SW-V, capaz de eliminar a necessidade da instalao e configurao do software individualmente em cada mquina. As caractersticas principais do modelo destacadas por Teixeira (2010) foram: um mecanismo que divide os recursos utilizados pelo software; um mecanismo que distribui pela prpria infraestrutura da rede uma imagem do software sem a necessidade de investir em servidores; uma mquina virtual mediadora responsvel pelo controle da distribuio entre o software e as mquinas e a capacidade do usurio utilizar as aplicaes mesmo sem estar conectado rede. Em seu trabalho Teixeira (2010) desenvolveu pequenos mdulos para testar o modelo proposto, onde chegou concluso que pode ser construdo uma soluo robusta para ser utilizada em grande escala, aproveitando dos benefcios da virtualizao da aplicao. Com relao a tecnologia Proxmox VE, no foram encontradas referncias em trabalhos acadmicos, o que motivou a sua utilizao neste trabalho.

3. Referencial Terico
Esta seo apresenta conceitos e tecnologias relacionados com este trabalho, que se referem da utilizao do Proxmox VE para gerenciamento de um cluster virtualizado utilizando das tecnologias de virtualizao OpenVZ e KVM por ele suportado. 3.1 Virtualizao A virtualizao a tecnologia onde possvel a execuo de mltiplos sistemas operacionais em uma mesma plataforma, ou seja, so sistemas operacionais que executam simultaneamente em um mesmo computador, como se fossem vrios computadores sendo executados separadamente [Veras 2011]. Estes computadores sendo executados em cima de uma plataforma de virtualizao so conhecidos como mquinas virtuais, onde segundo Castillo et Al., (2013) as principais vantagens na utilizao da virtualizao so: isolamento, segurana, flexibilidade, agilidade, portabilidade, rpida recuperao em caso de falhas, melhor aproveitamento de recursos de hardware, reduo dos custos de manuteno de servidores, reduo dos custos operacionais, economia no consumo de energia, escalabilidade e ambientes de testes. 3.1.1 Virtualizao de Plataforma A utilizao das tcnicas de virtualizao de plataforma, permitem a criao de vrios ambientes virtualizados, atravs de mltiplas mquinas virtuais, usando como base para compartilhamento de recursos um nico servidor fsico [Veras 2011]. 3.1.2 Monitor de Mquinas Virtuais Hypervisor O hypervisor, virtual machine monitor (VMM) ou monitor de mquina virtual, uma camada de software que fica entre o hardware fsico e as mquinas virtuais, responsvel por interpretar, traduzir e controlar os recursos das mquinas virtuais que esto sendo executadas sobre o hypervisor, com ele possvel a execuo de mltiplos sistemas operacionais sobre o mesmo servidor fsico [Gavrilovska et Al. 2007]. 3.1.3 Tecnologias de Virtualizao em Processadores Existem tecnologias de virtualizao nativas via hardware, que foram implementadas diretamente nos processadores, atravs das fabricantes dos mesmos, uma delas foi utilizada no trabalho: Intel VT - Intel Virtualization Technology: Tecnologia de virtualizao desenvolvida pela Intel, onde incluso no processador existem um conjunto de instrues, chamado de Virtual Machine Extensions (VMX), que associados a um conjunto de melhorias ao hypervisor, aceleram o desempenho dos sistemas operacionais em ambientes virtualizados, como melhorias de desempenho da rede e tambm a reduo na utilizao dos processadores [Chen, et Al. 2008]. 3.1.4 Tecnologias de Virtualizao As tecnologias de virtualizao so de grande importncia, pois so a base para integrao e comunicao entre as mquinas virtuais e o hypervisor, o que influencia diretamente no comportamento destas em ambiente virtualizado. Cada tecnologia traz

um conjunto de caractersticas distintas, que quando implementadas trazem benefcios nicos na criao de ambientes virtualizados [Laureano and Maziero 2008]. As tecnologias de virtualizao utilizadas no trabalho foram: KVM mecanismo de virtualizao (Kernel-based Virtual Machine): Tecnologia de virtualizao completa baseada em hardware, que para ser implantada, necessita de um processador compatvel. Funciona como um mdulo do kernel Linux, que capaz de oferecer uma virtualizao nativa, emulando todo o hardware real para a mquina virtual. Como integrado ao hypervisor, pode ser emulado qualquer sistema operacional, ajudando a simplificar a gesto e melhorar o desempenho em ambientes virtualizados [Kovari and Dukan 2012]. Virtualizao container (OpenVZ): Baseado no kernel do Linux que foi modificado para adicionar caractersticas, que permitem um servidor fsico executar vrias instncias de sistemas operacionais isolados, que so conhecidos como containers ou Virtual Private Servers (VPS). Nesta tecnologia as mquinas virtuais ficam isoladas independentes uma das outras permitindo um melhor gerenciamento dos recursos e da segurana do servidor fsico. Necessita que o sistema operacional que est sendo emulado esteja usando a mesma verso kernel Linux do gerenciador OpenVZ [Kovari and Dukan 2012]. 3.2 Proxmox Virtual Environment O projeto baseado na distribuio de cdigo aberto Linux Debian, apenas com seus servios bsicos, para consumir poucos recursos e obter o melhor desempenho possvel. Todo o gerenciamento do cluster e das mquinas virtuais realizado atravs de uma interface web, que oferece ferramentas de suporte, monitoramento e manuteno. Permite que vrios sistemas operacionais possam ser instalados atravs da integrao da tecnologia OpenVZ, que suporta virtualizao para Linux, e da tecnologia KVM que atravs de Kernel Virtual Machine suporta a virtualizao de Windows e Linux [Proxmox 2013]. A Figura 1 mostra a interface de gerenciamento web do Proxmox VE, onde possvel a instalao, configurao e gerenciamento do cluster e das mquinas virtuais.

Figura 1 Demonstrao da interface de gereciamento web do Proxmox VE.

3.3 Cluster Cluster um conjunto de computadores interconectados em rede que podem trabalhar simultaneamente processando uma nica tarefa, cada computador no cluster chamado de n e todos esses ns (computadores) so vistos como um nico computador [Werstein et Al. 2007]. A plataforma Proxmox VE pode usar a combinao do cluster de alta disponibilidade com o cluster de balanceamento de carga, que segundo Ault et Al. (2003), serve para aumentar sua disponibilidade e capacidade de suportar um maior nmero de processamento que possa ser requisitado pelas aplicaes, que esto sendo executadas entre os ns.

4. Metodologia
A escolha do gerenciador de cluster e virtualizao Proxmox VE foi realizada pela possibilidade de gerenciar todo o ambiente virtualizado de forma centralizada e compatibilidade com as tecnologias de virtualizao OpenVZ e KVM para criao das mquinas virtuais. Alm de ser um software livre pouco explorado que contribui para que o custo desta soluo seja baixo. A partir dos conceitos discutidos, tem-se embasamento para a configurao das virtualizaes e do cluster atravs da plataforma Proxmox VE. O sistema operacional escolhido para servir como base para realizar os testes de desempenho e comportamento foi a distribuio Linux Ubuntu 13.10 baseada em Debian, pois atualmente alm de ser a distribuio Linux mais difundida, oferece compatibilidade com as tecnologias de virtualizao suportadas pelo Proxmox VE que so: OpenVZ e KVM. A Tabela 1 mostra o hardware que foi utilizado como base para toda proposta.
Tabela 1. Hardware usado como base. Processador Intel Core i7 4700MQ Memria 8 GB Disco 256 GB SSD Rede 100 Mbps/s

Para simular 2 mquinas fsicas foi utilizado o software VMware Workstation verso 10.0.1, que um software que permite a instalao e utilizao de um sistema operacional dentro de outro, com isso foram criadas 2 mquinas virtuais que serviram como base para instalao do Proxmox VE verso 3.1. O hardware utilizado nestas 2 mquinas demonstrado pela Tabela 2.
Tabela 2. Hardware utilizado para testes da proposta. Processador Intel Core i7 Ncleos 2 Memria 4 GB Disco 40 GB Rede 100 Mbps/s

Note que o processador Intel Core i7 4700MQ disponibilizado para testes, oferece suporte instrues Intel-VT, o que viabiliza o uso da tecnologia KVM, que depende do suporte nativo do processador para seu funcionamento.

Cada mquina fsica foi configurada para ser um n do cluster atravs do terminal de comando do Proxmox VE e assim ficam unificadas para o controle e gerenciamento pela interface web do Proxmox VE. Dentro da plataforma Proxmox VE so ento criadas as mquinas virtuais de acordo com a necessidade do usurio. Como o objetivo comparar e testar cada tecnologia de virtualizao, foram estabelecidas as mesmas condies as tecnologias OpenVZ e KVM, onde atravs do Proxmox VE foram criadas e configuradas 4 mquinas virtuais com a mesma configurao de hardware para cada tipo de tecnologia, utilizando o hardware descrito na Tabela 3.
Tabela 3. Hardware das mquinas virtuais. Processador Intel Core i7 Ncleos 2 Memria 1 GB Disco 8 GB Rede 100 Mbps/s

4.1. Minerao de Dados com Weka A ferramenta open source utilizada para realizar os testes foi o Weka, baseada em Java, que segundo Hall et Al. (2009), tem como funo a minerao de dados, onde atravs de tcnicas que usam algoritmos de aprendizagem, so capazes de extrair e classificar os dados, ajudando no reconhecimento de padres destes. Para realizao do testes foi utilizado a verso modificada do Weka chamada de GridWeka2, mantido por Andreas Hess (2013), que possibilita a minerao de dados em mltiplos computadores em paralelo e a utilizao da interface grfica que facilita a interpretao dos resultados. Na minerao de dados, quando utilizada uma grande base de dados, esta exige muita demanda de recursos computacionais do ambiente virtualizado (HALL, et Al. 2009), por este motivo foi escolhido para testes de desempenho, estabilidade e consumo de recursos das mquinas virtuais. O contedo da base de dados escolhida para utilizao no Weka, foi sobre a populao de Los Angeles - EUA, disponibilizada por IPUMS International (2013), que tem como objetivo realizar o censo na cidade, buscando por padres da populao, esta base de dados foi a maior encontrada, tendo como caractersticas 8844 instncias, 61 atributos e mais de mil linhas de dados. Com isso a base de dados tornou-se a opo ideal para a realizao dos testes nas mquinas virtuais. Foram realizados testes em ambas tecnologias de virtualizao suportadas pelo Proxmox VE, que so: OpenVZ e KVM. Cada mquina virtual, foi monitorada e avaliada atravs dos grficos de uso do processador, uso da memria, trfego de rede e uso do disco disponibilizados na interface web do Proxmox VE. Aps foi mensurado o tempo de execuo da minerao de dados entre as mquinas virtuais utilizando o log disponibilizado pelo Weka ao fim do processo. O algoritmo de classificao utilizado no Weka foi o ZeroR, que vem como padro na ferramenta, e Cross-validation em 100 folds, que segundo IBM (2013), faz com que o Weka construa um modelo a partir de subconjuntos dos dados em processamento, calculando sua mdia e criando um modelo final.

A Figura 2 mostra o Weka Cliente em execuo na mquina virtual 1 que foi utilizada como cliente/servidor para a realizao de todos os testes, onde constantemente busca por servidores disponveis para a distribuio dos dados.

Figura 2 Weka Cliente em execuo.

A Figura 3 mostra o Weka Server em execuo em cada uma das 4 mquinas virtuais, onde estes servidores aguardam por conexo da mquina cliente, que responsvel pela distribuio de pequenos blocos de dados aos servidores disponveis no momento, onde os dados so processados em paralelo e devolvidos a mquina cliente que interpreta e exibe o resultado atravs do Weka Cliente GUI.

Figura 3 Weka Server em execuo.

5. Resultados Obtidos
Nesta seo sero demonstrados os resultados obtidos durante os testes, na execuo da minerao de dados nas mquinas virtuais que esto sobre o Proxmox VE, utilizando as tecnologias de virtualizao OpenVZ e KVM. 5.1. Tecnologia de Virtualizao OpenVZ A Figura 4 mostra como exemplo o monitoramento instantneo do uso de processador e memria na mquina virtual 1 durante a execuo da minerao de dados pelo Weka.

Figura 4 Uso de processador e memria na mquina virtual 1.

A Figura 5 mostra como exemplo o monitoramento instantneo do uso de rede e disco na mquina virtual 1 durante a execuo da minerao de dados pelo Weka.

Figura 5 Uso de rede e disco na mquina virtual 1.

A Tabela 4 resume o uso mximo de recursos de hardware, alcanado por cada mquina virtual, durante a execuo da minerao de dados, baseado na anlise dos grficos no Proxmox VE.
Tabela 4. Uso de recursos com OpenVZ. Mquina Virtual 1 2 3 4 Max. Processador 26% 12% 10% 11% Max. Memria 930 MB 790 MB 800 MB 800 MB Max. Disco 9 kb/s - Escrita 3 kb/s - Escrita 4 kb/s - Escrita 3 kb/s - Escrita Max. Rede 1.7 MB/s - Sada 550 kb/s - Entrada 550 kb/s - Entrada 600 kb/s - Entrada

O tempo total de execuo da minerao de dados entre as mquinas virtuais medido pelo log do Weka foi de 65 segundos. 5.2. Tecnologia de Virtualizao KVM A Figura 6 mostra como exemplo o monitoramento instantneo do uso de processador e memria na mquina virtual 1 durante a execuo da minerao de dados pelo Weka.

Figura 6 Uso de processador e memria na mquina virtual 1.

A Figura 7 mostra como exemplo o monitoramento instantneo do uso de rede e disco na mquina virtual 1 durante a execuo da minerao de dados pelo Weka.

Figura 7 Uso de rede e disco na mquina virtual 1.

A Tabela 5 resume o uso mximo de recursos de hardware, alcanado por cada mquina virtual, durante a execuo da minerao de dados, baseado na anlise dos grficos no Proxmox VE.

Tabela 5. Uso de recursos com KVM. Mquina Virtual 1 2 3 4 Max. Processador 32% 13% 17% 16% Max. Memria 900 MB 780 MB 790 MB 780 MB Max. Disco 500 kb/s - Leitura 3 kb/s - Escrita 3 kb/s - Escrita 4 kb/s - Escrita Max. Rede 5 MB/s - Sada 1.7 MB/s - Entrada 1.7 MB/s - Entrada 1.6 MB/s - Entrada

O tempo total de execuo da minerao de dados entre as mquinas virtuais medido pelo log do Weka foi de 39 segundos. 5.3. Comparao de Resultados Como demonstrado na subseo anterior a tecnologia de virtualizao KVM apresentou melhor desempenho nos testes realizados em relao a OpenVZ, por se beneficiar do uso dos conjuntos de instrues oferecido pela tecnologia Intel VT, que aceleram o desempenho dos sistemas operacionais em ambientes virtualizados. A Tabela 6 mostra uma pequena comparao do tempo total gasto na execuo da minerao dos dados usando 4 mquinas virtuais OpenVZ, 4 mquinas virtuais KVM, 1 mquina virtual OpenVZ e 1 mquina virtual KVM, todos estes sobre o Proxmox VE.
Tabela 6. Comparativo de resultados obtidos 1 Mquina Virtual OpenVZ 191 segundos 1 Mquina Virtual KVM 118 segundos 4 Mquinas Virtuais OpenVZ 65 segundos 4 Mquinas Virtuais KVM 39 segundos

6. Concluses
O estudo foi de grande valia para o conhecimento sobre diversos assuntos apresentados no trabalho, que envolveram tecnologias de virtualizao, monitores de mquina virtual, cluster, Proxmox VE e minerao de dados atravs da ferramenta Weka. A escolha do Proxmox VE foi em razo de ser uma ferramenta completa, open source e at ento pouco explorada, para criao de um cluster virtualizado, oferecendo desde o sistema operacional baseado em Linux, a ferramentas de suporte para manuteno, backup e recuperao, gerenciamento e monitoramento do cluster virtualizado, suporte a duas tecnologias de virtualizao (OpenVZ e KVM), que oferecem benefcios conforme as necessidades em que forem implantadas. A implantao de um sistema utilizando Proxmox VE perfeitamente vivel uma vez que a demanda por tecnologia da informao est em constante crescimento no mundo, e podem ser utilizadas as tcnicas estudas neste trabalho para suprir a demanda um custo relativamente baixo.

7. Referncias
Ault, M., Tumma, M. and Burleson, D. (2003) Oracle9i RAC: Oracle real application clusters configuration and internas, Rampant TechPres, v. 1, Estados Unidos. Carissimi, A. (2008) Virtualizao: da teoria a solues. 26 Simpsio Brasileiro de Redes de Computadores e Sistemas Distribudos, Porto Alegre, Brasil. Castillo, E. P., Zaldivar, Y. A. and Torres, M. D. L. A. G. (2013) SLD192 Virtualizacin con Proxmox como estrategia de reduccin de costos en los centros de datos. XV Convencin y fera internacional de informtica, Habana, Cuba. Chen, W., Hongyi, L., Shen, L., Wang, Z., Xiao, N. and Chen, D. (2008) A Novel Hardware Assisted Full Virtualization Technique. The 9th International Conference for Young Computer Scientists, Hunan, China. Gavrilovska, A., Kumar, S., Raj, H., Schwan, K., Gupta, V., Nathuji, R., Niranjan, R., Ranadive, A. and Saraiya P. (2007) High-Performance Hypervisor Architectures: Virtualization in HPC Systems. Workshop on System-level Virtualization for HPC (HPCVirt), Atlanta, USA. Hall, M., Frank, E., Holmes G., Pfahringer B., Reutemann P. and Witten I. H. (2009) The WEKA data mining software: an update. ACM SIGKDD Explorations Newsletter 11, no. 1, Orlando, USA. Hess, A. (2013) Site oficial do criador, GridWeka2, http://www.andreashess.info/projects/gridweka2/index.html, Novembro. Ibm, (2013) Site oficial da empresa, Minerao de dados com Weka, http://www.ibm.com/developerworks/br/opensource/library/os-weka1/, Novembro. Ipums, (2013) Site oficial da empresa, Integrated Public Use Microdata Series, International, https://international.ipums.org/international/, Novembro. Kovari, A. and Dukan, P. (2012) KVM & OpenVZ virtualization based IaaS Open Source Cloud Virtualization Platforms: OpenNode, Proxmox VE. IEEE 10th Jubilee International Symposium on Intelligent Systems and Informatics, Subotica, Serbia. Laureano, M. A. P. and Maziero, C. A. (2008) Virtualizao: Conceitos e Aplicaes em Segurana. Simpsio Brasileiro em Segurana da Informao e de Sistemas Computacionais. Curitiba, Brasil. Proxmox. (2013) Site oficial da empresa, Proxmox http://www.proxmox.com/proxmox-ve/features, Novembro. VE Features,

Santos, C. F. (2011) Ambiente de Virtualizao: Uma Anlise de Desempenho. Trabalho de concluso de curso (Bacharel em Sistemas da Informao), http://www.bsi.ufla.br/monografias/2011/ClaytonFerreiraSantos.pdf, Novembro. Silva, D. R. V., Flores, F. B. and Sales, N. S. (2010) Linguagem de Programao Interpretada Utilizada na Configurao de Aplicativos Voltados para Sistemas MultiPlataforma com Implementao em Ambiente Paravirtualizado. Trabalho de concluso de curso (Bacharel em Cincia da Computao), http://engenharia.anhembi.br/tcc-10/cco-12.pdf, Novembro.

Teixeira, R. A. (2010) SW-V: Modelo de streaming de software baseado em tcnicas de virtualizao e transporte peer-to-peer. Trabalho de concluso de curso (PsGraduao em Cincia da Computao), http://www.dcce.ibilce.unesp.br/ppgcc/dissert/Diss-24-RafaelAugustoTeixeira.pdf, Novembro. Veras, M. (2011) Virtualizao: Componente Central do Datacenter. Rio de Janeiro, Brasil, Brasport. Werstein, P., Jia, X. and Huang, Z. (2007) A Remote Memory Swapping System for Cluster Computers. Eighth International Conference on Parallel and Distributed Computing, Applications and Technologies, New Zealand.