EduCloud

h1. Raphael

h2. 23-05-2013

h3. Executou:

* Modificações ao script de coleta de dados e geração de gráficos:

** Ver log do git para detalhes;

* Leituras sobre gerência de memória no KVM:

** http://www.linux-kvm.org/page/Memory

** FAQ do KVM (http://www.linux-kvm.org/page/FAQ);

* Acompanhamento das threads: 

** https://www.redhat.com/archives/rhelv6-list/2011-February/msg00011.html

* Overcommiting de CPUs e Memória:

** http://www.linuxtopia.org/online_books/rhel6/rhel_6_virtualization/rhel_6_virtualization_sect-Virtualization-Tips_and_tricks-Overcommitting_with_KVM.html

h3. Próximas Ações:

* Coletar dados;

h2. 22-05-2013

h3. Executou:

* Resolvido problemas com mpirun;

** Os testes deveriam iniciar consumindo menos memória;

** Máquinas criada com o nova não estavam recebendo hostnames;

*** Hostnames definidos na mão;

*** /etc/hosts alterado na mão;

* Iniciados Testes;

h3. Próximas Ações:

* Coletar dados;

h2. 21-05-2013

h3. Executou:

* Detectados problemas na execução dos teste:

** mpirun alegando problemas de comunicação;

** leituras de referências para resolução do problema;

h3. Próximas Ações:

* Coletar dados;

h2. 20-05-2013

h3. Executou:

* Criação de ambiente de testes:

** 8 Vms em 2 HW (vm8hw2) - Hospedeiras: educloud05 e educloud06 2 cores/vm,  1.25 GB/vm

** 16 Vms em 2 HW (vm16hw2) - Hespedeiras: educloud07 e educloud08 1 core/vm, 0.625 GB/vm 

* Inicio dos testes;

h3. Próximas Ações:

* Coletar dados;

h2. 17-05-2013

h3. Executou:

* Coleta de dados:

** 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm

* Criação de Páginas com resultados;

h3. Próximas Ações:

* Criação de ambiente de testes para 8 vms em 2 hw e 16 vm em 2 hw;

h2. 16-05-2013

h3. Executou:

* Coleta de dados:

** 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm,  2.5 GB/vm

** 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm,  1.25 GB/vm

** 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm,  0.625 GB/vm

* Criação de Páginas com resultados;

h3. Próximas Ações:

* Verificar resultados para 4 Vms em 2 HW (vm4hw2)

h2. 15-05-2013

h3. Executou:

* Criação de ambiente (VMs) e execução de testes:

** 2 Vms em um HW (vm2hw1) - Vms: 192.168.100.3 e 4) (Hospedeira: educloud05) 4 cores/vm,  2.5 GB/vm

** 4 Vms em um HW (vm4hw1) - Vms: 192.168.100.5,7,8,9 (Hospedeira: educloud06) 2 cores/vm,  1.25 GB/vm

** 8 Vms em um HW (vm8hw1) - Vms: 192.168.100.10 ~ 17 (Hospedeira: educloud07) 1 cores/vm,  0.625 GB/vm

** 4 Vms em 2 HW (vm4hw2) - Vms: 192.168.100.18 ~ 21 (Hospedeiras: educloud08 e educloud10)4 cores/vm, 2.5 GB/vm

h3. Próximas Ações:

* Verificar resultados e plotar gráficos

h2. 14-05-2013

h3. Executou:

* Coleta de dados para 8 vms falha pois o SO hospedeiro está ficando sem memória para executar nada.

* Desempenho com 36% de uso de memória: 8 Gflops;

h3. Próximas Ações:

* Verificar possibilidade de criar VMs com menos memória

h2. 13-05-2013

h3. Executou:

* Implementação do script perl para conter a lógica da calculadora (terminado);

** Atualizado script no git;

* Testes executando para 8vms em uma máquina física (uma por core) de 30% a 60% de uso de memória;

h3. Próximas Ações:

* Verificar resultados e plotar gráficos

h2. 10-05-2013

h3. Executou:

* Implementação do script perl para conter a lógica da calculadora;

h3. Próximas Ações:

* Terminar a implementação do script;

* Executar testes com as novas entradas geradas;

h2. 09-05-2013

h3. Executou:

* Execução de testes demorando muito - tamanho N utilizado incompatível com a RAM disponível;

* Testes para descobrir possível valor de porcentagem de memória aceitável para rodar benchmark;

* Máquina roda benchmark com até 55% de uso de memória para tamanho de bloco 248;

h3. Próximas Ações:

* Estudo de cálculo utilizado pelo hpl-calculator;

* Implementação no script perl gerador de entradas a lógica utilizada pela calculadora;

h2. 08-05-2013

h3. Executou:

* Execução de testes;

* Resolução de problemas de comunicação do impi: máquinas não reconheciam seus próprios hostnames;

h3. Próximas Ações:

* Execução de testes;

h2. 07-05-2013

h3. Executou:

* Configuração de ambiente para novos testes:

** Pesquisa sobre como instanciar uma vm numa máquina específica;

** Criação de 8 VMS em educloud05

** Criação de flavor para teste: 1 processador, 750mb de ram;

h3. Próximas Ações:

* Iniciar testes;

h2. 06-05-2013

h3. Executou:

* Definição de calendário de atividades para novo mês;

* Leituras de referências sobre comparativos entre vms e hws reais;

** http://www.loria.fr/~lnussbau/files/linux-virtualization-mls09-slides.pdf

** https://indico.fnal.gov/getFile.py/access?contribId=55&sessionId=80&resId=0&materialId=slides&confId=2012

h3. Próximas Ações:

* Subir ambiente para novos testes;

h2. 03-05-2013

h3. Executou:

* Atualização do Wiki com comparativo:

** [[4 Máquinas Reais Vs 4 Máquinas Virtuais]]

h3. Próximas Ações:

* Estudar parâmetros para otimização do kvm e tentar obter melhores resultados;

h2. 02-05-2013

h3. Executou:

* Confecção do Relatório;

h3. Próximas Ações:

* Atualizar Wiki com comparativo:

** 4vm vs 4hw

h2. 30-04-2013

h3. Executou:

* Confecção do Relatório;

h3. Próximas Ações:

* Atualizar Wiki com comparativo:

** 4vm vs 4hw

h2. 29-04-2013

h3. Executou:

* Atualização da Página do wiki com dados do benchmark para 1vm;

* Atualização de Página wiki com comparativo entre os benchmarks: 

** 1vm vs 1hw

* Início do Relatório;

h3. Próximas Ações:

* Relatório;

* Atualizar Wiki com comparativo:

** 4vm vs 4hw

h2. 26-04-2013

h3. Executou:

* Coleta de dados Inicial para 4 vms;

** Resultado inicial em Número de Operações: 2.05980*10^02 GFlops

h3. Próximas Ações:

* Atualizar Página com comparativos:

** 1vm vs 1hw

** 4vm vs 4hw

h2. 25-04-2013

h3. Executou:

* Coleta de dados Inicial para 1 vm;

** Resultado inicial em Número de Operações: 7.63280*10^01 GFlops

* Script de geração de estatísticas comitado para git;

h3. Próximas Ações:

* Coletar dados para 4 vms;

h2. 24-04-2013

h3. Executou:

* Instalação do nova-compute em máquinas;

* Teste Benchmark com uma VM;

* Teste de Benchmark com 4 VMs

h3. Próximas Ações:

* Coletar dados;

h2. 23-04-2013

h3. Executou:

* Criação da Imagem para rodar benchmarks

h3. Próximas Ações:

* Instalação do nova-compute em máquinas;

* Rodar teste com uma VM única e compararar com Hw real;

h2. 22-04-2013

h3. Executou:

* Coleta de dados e filtragem de dados no experimento de 4 máquinas (32 processadores);

* Atualização e reorganização de Página no Wiki com comparativos;

h3. Próximas Ações:

* Instalação do nova-compute em máquinas;

* Rodar teste com uma VM única e compararar com Hw real;

h2. 19-04-2013

h3. Executou:

* Modificação do script para coleta de dados de forma que fique genérico para criação de gráficos

h3. Próximas Ações:

* Coletar resultados para 4 máquinas (32 processadores);

h2. 18-04-2013

h3. Executou:

* Criação de entradas para benchmark;

* Modificação do script run-multi.sh para rodar com todas as possíveis entradas;

h3. Próximas Ações:

* Coletar resultados e plotar gráficos;

h2. 17-04-2013

h3. Executou:

* Script para coleta de dados da execução em uma máquina sem HT;

* Criação de gráficos para apresentar variação do tempo em cada porcentagem de memória;

* Criação de gráficos para apresentar variação do Número de operações  em cada porcentagem de memória;

* Criação de gráficos com Número de operações e Tempo para cada porcentagem de uso de memória;

* Descoberta de melhor valor de uso de memória e tamanho de problema:

** 92% de uso de memória;

** Tamanho de problema (NB) em 184;

** Número de Operações: 7.82992*10^01 GFlops;

* Setup do ambiente para execução de testes em mais de uma máquina (ssh sem senha, testes com o mpirun);

h3. Próximas Ações:

* Executar testes para 4 máquinas;

h2. 16-04-2013

h3. Executou:

* Execução de experimentos com processador utilizando HT - 90% de uso de memória;

* Criação de gráfico que compara a execução do benchmark com HT e sem.

* Criação de página no wiki para guardar resultados de benchmarks;

h3. Próximas Ações:

* Encontrar valor otimizado de memória e tamanho de problema para uma única máquina sem HT.

h3. Bloqueio:

* Aguardando benchmark terminar de executar;

h2. 15-04-2013

h3. Executou:

* Script para busca de valores otimizados para tamanho do problema, NB e melhor uso de memória;

h3. Próximas Ações:

* Plotar Gráfico de resultados;

* Criar página no wiki com resultados;

h2. 12-04-2013

h3. Executou:

* Valor otimizado para uso do hpl em nb = 120 (com 90% de uso de memória: 7.66826e+01 GFlops); 

* Gráfico de estudo do tempo vs nbs vs gflops

!https://ncc.unesp.br/its/attachments/225/NBvsTimevsGflops.png!

h3. Próximas Ações:

* instalar nova-compute em máquinas;

h2. 11-04-2013

h3. Executou:

* Codificação de script para geração de arquivos .dat de entrada;

* Geração de entradas;

* Script para execução do linpack, jpgando saídas em output/

* Ticket 779 fechado (https://ncc.unesp.br/its/issues/779);

h3. Próximas Ações:

* Verificar valores otimizados para testes;

* Plotar gráfico com dados de saída dos testes;

h2. 10-04-2013

h3. Executou:

* Execução do Procedimento UNESP nas máquinas 04-08;

* Modificação do nfs para rw;

* Teste do Linpack utilizando nfs;

* Desabilitação do ht na educloud05;

h3. Próximas Ações:

* Rodar conjuntos de testes para achar valores otimizados de Ns e NBs

h2. 09-04-2013

h3. Executou:

* Tentativa de compilação do Linpack;

** Utilizando openmpi;

* Testes de execução do linpack com Intel® Math Kernel Library;

* Screen sobre a utilização do Linpack utilizando Intel mpi;

* Leituras sobre o uso da calculadora para HPL.dat (http://hpl-calculator.sourceforge.net/):

** http://ufpr.dl.sourceforge.net/project/hpl-calculator/HPL%20Calculator/HPL-HowTo.pdf

h3. Próximas Ações:

* Completar instalação do ambiente;

* Testar execução do linpack otimizado para intel (fornecido pelo ncc) - em /opt;

h2. 08-04-2013

h3. Executou:

* Leitura sobre Top500

** http://www.top500.org/project/introduction/

** http://www.top500.org/project/linpack/

* Leitura sobre Linpack

** http://www.netlib.org/utk/people/JackDongarra/PAPERS/The-LINPACK-Benchmark-An-Explanation.pdf

** Sobre HPL: http://www.netlib.org/benchmark/hpl/

** http://support.clearspeed.com/resources/documentation/LINPACK_Getting_Started_Manual_Rev1.B.pdf

*** Guia de uso do Linpack

* Sobre a diferença entre LAPACK e LINPACK:

Até onde entendi o LAPACK é uma biblioteca para algebra linear e pode (deve) ser utilizado em um futuro para a substituição de algumas rotinas do problema solucionado pelo LINPACK. A idéia é que o LINPACK foi concebido para rodar nos computadores que eram modernos na época, os Vector CPUS (http://en.wikipedia.org/wiki/Vector_processor). Ao se substituir as rotinas do problema solucionado pelo LINPACK pelo LAPACK o benchmark (ainda o LINPACK) vai poder explorar melhor as arquiteturas modernas baseadas em cache. 

* LAPACK vs LINPACK vs EISPACK: http://www.netlib.org/lapack/lug/node10.html.

h2. 03-04-2013

h3. Executou:

* Definição cronograma próxima fase;

* Criação de imagem do ubuntu e upload para Glance;

* Instalação do Cinder;

* Atualização da página do [[Ambiente]] com manual de instalação do Cinder;

h3. Próximas ações:

* Começar estudo Top500.org;

h2. 02-04-2013

h3. Executou:

* Escrita do Relatório

h3. Próximas ações:

* Instalação Cinder;

h2. 01-04-2013

h3. Executou:

* Leituras sobre criação de imagens personalizadas:

** Utilizando o proprio nova: http://docs.openstack.org/trunk/openstack-compute/admin/content/creating-images-from-running-instances.html

** Utilizando o VMBuilder: 

*** http://wiki.debian.org/VMBuilder - Criação de imagens debian;

*** Ubuntu Juice (JeOS): https://help.ubuntu.com/12.04/serverguide/jeos-and-vmbuilder.html

*** Usando debootstrap: http://www.diogogomes.com/2012/07/13/debootstrap-kvm-image

* Leitura de QEMU vs KVM:

** http://blog.vmsplice.net/2011/03/should-i-use-qemu-or-kvm.html

h3. Próximas ações:

* Criação de imagem personalizada

h2. 28-03-2013

h3. Executou:

* Instalação do nova;

* Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-computesevice.html

** O serviço não inicializa, esperando o componente nova-conductor que não está na lista de dependência dos pacotes do nova;

** Leitura sobre o nova-conductor http://russellbryantnet.wordpress.com/2012/11/19/a-new-nova-service-nova-conductor

*** Basicamente nova-conductor é o componente responsável por funcionar como um proxy para o banco de dados, evitando assim que em cenários com múltiplos nova-compute todos façam acesso ao banco de dados. Nós com nova-compute não são considerados seguros.

h3. Próximas ações:

* instalação cinder;

* geração de imagem debian personalizada;

h3. Bloqueio:

* configuração da rede na instalação do nova;

h2. 27-03-2013

h3. Executou:

* Resolução de problema de autenticação no glance + keystone;

** Problemas com a documentação http://docs.openstack.org/trunk/openstack-compute/install/apt/content/osfolubuntu-imageservice.html:

*** Usuário admin não é adicionad a tenant service;

*** Trocar o usuário admin em *-paste.ini de admin para glance;

h3. Próximas ações:

* Instalação nova;

* Instalação cinder;

h2. 26-03-2013

h3. Executou:

* Implementação das configurações de servidor na máquina 00.

* Inicio da implementação do Ambiente na máquina 00.

** instalação do keystone

** instalação do glance

h3. Próximas ações:

* finalizar instalação do glance

* instalação do cinder

h3. Bloqueio:

* glance não faz autenticação no keystone

** Rever http://docs.openstack.org/developer/glance/authentication.html;

** Possivelmente relacionado:

*** https://lists.launchpad.net/openstack/msg21700.html

h2. 25-03-2013

h3. Executou

* Leituras sobre Quantum:

** Instalação e configuração do Quantum-Server;

** Setup de RPC;

** Lista de plugins;

** Comparação Quantum vs nova-network: http://www.gossamer-threads.com/lists/openstack/dev/18373

*** Recomendação de continuar com nova-network para instalação Flat DHCP;

** Integração com Keystone;

*** Criação de Serviço e endpoint;

h3. Próximos passos:

* Definição de arquitetura de rede a ser utilizada pelas máquinas de nova-compute

h2. 21-03-2013

h3. Executou

* Leitura OPS - Guia de operação do openstack;

** Capítulo 1;

** Diferença entre back-end de armazenamento em blocos e em objetos (cinder vs swift);

* Estudo de diferenças entre Cinder e nova-volumes;

** http://docs.openstack.org/trunk/openstack-compute/admin/content/cinder-vs-nova-volumes.html

h3. Próximos Passos:

* Instalaçõa de Máquinas;

h2. 20-03-2013 (presencialmente na Unesp)

h3. Executou

* Configuração BMC da máquina 06;

* Atualização da Bios;

* Atualização Firmware do BMC;

h3. Próximos Passos:

* Estudo Cinder;

* Estudo Quantum

h2. 19-03-2013

h3. Executou

* Leitura Release Notes Openstack Folsom;

** https://wiki.openstack.org/wiki/ReleaseNotes/Folsom;

*Tradução de texto com perguntas sobre TPM/TXT;

h3. Próximos Passos:

* Estudo Cinder;

* Estudo Quantum

h2. 18-03-2013

h3. Executou

* Screen de instalação do nova + nós;

h3. Próximos Passos:

* Screen instalação Horizon

h2. 15-03-2013

h3. Executou

* Screen de instalação do glance;

h3. Próximos Passos:

* Instalação do nova;

h2. 14-03-2013

h3. Executou:

* Screen de instalação do Keystone

h3. Próximos Passos:

* Instalação do Glance;

h2. 13-03-2013

h3. Executou:

* Instalação de SO - 3 Máquinas:

** Sistema Operacional;

** Procedimento UNESP;

h3. Próximos Passos:

* Leitura do documento produzido no Educloud com o procedimento de instalação - [[Ambiente]];

h2. 12-03-2013

h3. Executou:

* Leitura sobre Glance:

** http://docs.openstack.org/developer/glance/installing.html - Instalação;

** http://docs.openstack.org/developer/glance/configuring.html - Configuração (Leitura rápida pra familiarização com Parâmetros);

** http://docs.openstack.org/developer/glance/authentication.html - Integração com o Keystone;

h3. Próximos Passos:

* Leitura do documento produzido no Educloud com o procedimento de instalação - [[Ambiente]];

* Instalação de SO em máquinas - Quarta pela manhã.

h2. 11-03-2013

h3. Executou:

* Leitura de artigo sobre UEFI vs TPM (em especial sobre o secure boot e implementação no Suse.:

** https://www.suse.com/blogs/uefi-secure-boot-overview/

** https://www.suse.com/blogs/uefi-secure-boot-plan/

* Leitura sobre openstack: Keystone:

** http://docs.openstack.org/developer/keystone/architecture.html - Arquitetura;

** http://docs.openstack.org/developer/keystone/installing.html - Instalação;

* Leitura básica sobre devstack

** http://devstack.org/

h3. Próximos Passos:

* Continuar leituras sobre openstack;