EduCloud

h1. Resultados Benchmark

h2. Introdução

Com a aplicação da virtualização de hardware, mostrou-se necessário haver alguma forma de comparação entre o desempenho dessas máquinas com aquelas que não utilizam esse recurso. Isso é importante pois dessa forma pode-se mensurar qual é a sobrecarga que o sistema de virtualização provoca em condições correlatas e também para mensurar o desempenho de máquinas que só se tornaram possíveis com a virtualização.

Existem tipos diferentes de benchmark como o usado no TOP500 (top500.org) e no Graph500 (graph500.org). Cada um mensura características diferentes do computador.

h3. Benchmark

Benchmark é a normalização de determinados procedimentos de forma a tornar possível a comparação entre eles. 

h3. LINPACK Benchmark

LINPACK Benchmark é um sistema de avaliação do poder computacional de computadores, utilizando ponto flutuante. Para isso, mede-se a velocidade de resolução de um sistema linear de equações n x n do tipo ''Ax = b''.

Será utilzado o HPLinpack que possibilita o teste da paralelização de computadores, em que o tamanho do problema pode ser definido de acordo com a disponibilidade de recursos de forma a fazer uso da plena capacidade das máquinas.

Os seguintes resultados são mostrados para cada teste:

*R_max:*   a performance em Gflops/s para o maior problema executado

*N_max:*   o tamanho do maior problema executado

*N_{1/2}:* o tamanho do problema para quando metade da *R_max* foi atingida.

*R_peak:*  o pico teórico de performance.

h3. Parâmetros utilizados

Os parâmetros utilizados foram obtidos a partir do software [hpl-calculator | http://hpl-calculator.sourceforge.net/] e seguem as seguintes especificações:

* Número de nós equivale ao número de máquinas a serem utilizadas: 1 ou 4.

* Número de cores é o número de núcleos de processamento em cada um dos nós: 8 (sem hyper-thread) ou 16 (com hyper-thread).

* Velocidade por core: 2.67.

* Quantidade de memória por nó: 6GB.

* Operações por ciclo: 4.

Das indicações feitas pelo hpl-calculator, escolhemos:

* P x Q aproximadamente iguais

* NBs entre 96 e 256.

* N entre 80 e 94%

h3. Dos resultados:

Após realizar os testes com os valores escolhidos anteriormente, obtém-se:

* valor ótimo de N e NB a partir do pico real de performance.

* comparação direta entre os desempenhos das máquinas em condições correlacionadas:

** influência do recurso de Hyper-Threading

** influência da escolha da Matriz P x Q (quadrada e linear)

** máquina virtual x máquina real

h2. Nomenclatura

Cada teste é armazenado na máquina 00 em /opt/hpl/ utilizando um diretório cujo nome indica a qual teste pertence. Esse nome é composto por abreviações seguidas por valores:

* hw: número de máquinas reais

* vm: número de máquinas virtuais

* ht: hyper-thread ativo ou não.

h3. Exemplos

* hw4ht0: teste com quatro máquinas reais sem hyper-threading

* hw1ht1: teste com uma máquina real com hyper-threading

* mv1ht0: teste com uma máquina virtual sem hyper-threading

h2. Instruções para teste de "single"

* criar diretório e acessá-lo para receber informações do teste. O nome do diretório deve obedecer a nomenclatura estabelecida.

<pre>

~$ mkdir <nome>

~$ cd <nome>

</pre>

* copiar os arquivos necessários para o diretório recém criado

<pre>

~$ cp -r /opt/hpl/* .

</pre>

* modificar o arquivo "HPL.template" nos quesitos P e Q

<pre>

~$ vim hpl-files/HPL.template

</pre>

* editar o script "generateFile.pl" e alterar os parâmetros Ns e NBs

<pre>

~$ vim hpl-files/generateFile.pl

</pre>

* executar script "generateFile.pl" para gerar arquivos de entrada

<pre>

$ perl hpl-files/genereteFile.pl

</pre>

* modificar "runme-single.sh" no quesito número de cores (NUMBER_CORES)

<pre>

~$ vim hpl/runme-single.sh

</pre>

* executar runme-single.sh

<pre>

~$ hpl/runme-single.sh

</pre>

Testes:

[[Máquina Real com HT Vs Máquina Real sem HT]]

[[Matriz QxP quadrada vs Matriz QxP Linear]] 

[[Busca pelo maior número de operações por segundo em uma unica máquina sem HT - Variação do uso de memória]]

[[Busca pelo maior número de operações por segundo em uma unica máquina virtual - Variação do uso de memória]]

[[Busca pelo maior número de operações por segundo em 4 máquinas sem HT - Variação do uso de memória]]

[[Busca pelo maior número de operações por segundo em 4 máquinas virtuais - Variação do uso de memória]]