Este documento apresenta três novos algoritmos de escalonamento de workflows em nuvens computacionais visando à economia de energia: PowerHEFTLookahead, HEFT-DynamicAllocationVM e Task Clustering. Experimentos no simulador CloudSim-DVFS mostraram que esses algoritmos podem reduzir o consumo energético em até 22,7% em comparação a algoritmos existentes, sem impactar significativamente o makespan.
Algoritmos para economia de energia no escalonamento de workflows em nuvens computacionais
1. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Algoritmos para economia de energia no
escalonamento de workflows em nuvens
computacionais
Elaine N. Watanabe, Pedro P. V. Campos,
Kelly R. Braghetto, Daniel M. Batista
Instituto de Matemática e Estatística
Universidade de São Paulo, São Paulo, Brasil
{elainew,pedrovc,kellyrb,batista}@ime.usp.br
Simpósio Brasileiro de Redes de Computadores e Sistemas
Distribuídos - 2014
3. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Motivação
Data centers [BB10]: 2% do CO2 no mundo
Servidores (Google) [BH07]:
Análise de milhares de servidores durante 6 meses
CPUs operavam entre 10% a 50%
Ineficiente energeticamente
Gastos extras
Custos em 2014 [B07]:
Refrigeração e Energia elétrica(75%) > Equipamento(25%)
Uma das possíveis soluções
Computação em nuvem!
4. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Computação em nuvem
Máquinas virtuais (VMs)
Alto desempenho
(TOP500: posição 64
em 11/2013)
Ambiente elástico
(sob demanda)
Candidato à execução de
Workflows
5. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Workflows científicos
Descrição de um experimento
científico
Conjunto de tarefas interligadas
Aquisição
Processamento
Análise
Visualização
Etc.
E no contexto da nuvem?
Problema?
Dependência entre os dados
Possível solução?
Novas políticas de escalonamento!
6. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Objetivos
Avaliar o escalonamento de workflows em nuvens
computacionais visando à economia de energia
3 novos algoritmos de escalonamento
PowerHEFTLookahead
HEFT-DynamicAllocationVM
Task Clustering
Uso do simulador CloudSim-DVFS
7. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Trabalhos relacionados
Topcuoglu et al. 2002: HEFT
(Heterogeneous Earliest-Finish-Time)
Mais de mil citações no Google Acadêmico
Aksanli et al. 2012: GENSim
Estudo comparativo de eficiência energética
Simular batch jobs e service jobs
Sem suporte a VMs
Kliazovich et al. 2012: GreenCloud
Comparação entre simuladores existentes
Avaliar componentes da rede, não apenas os servidores
Não possui código aberto
8. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Trabalhos relacionados
Beloglazov et al. 2012: CloudSim
Eficiência energética em nuvem
CloudSim + simulações energéticas
Sem suporte a workflows
Weiwei and Deelman 2012: WorkflowSim (CloudSim)
Simulação de workflows em nuvens computacionais
considerando simulação de falhas
Sem suporte a simulações energéticas
Guérout et al. 2013: CloudSim-DVFS (CloudSim)
Suporte à simulação energética de workflows em nuvens
computacionais
Escalonadores com número de VMs fixas
10. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
CloudSim-DVFS
Disponível em outubro/2013
Uso do DVFS (Dimensionamento dinâmico de voltagem e
frequência): De acordo com o uso de CPU, altera-se frequência
e voltagem da CPU, economizando energia
11. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Modelo energético
PTOT = (1 −α)PCPUOciosa +(α)PCPUCargaMaxima (1)
onde α é o uso de CPU e PCPUOciosa e PCPUCargaMaxima são as
potências da CPU a 0% e 100% de utilização, respectivamente.
12. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Frequências utilizadas para criação de VMs
Frequências (GHz) 0.8 1.0 1.2 1.5 1.7
CPU ociosa (W) 140 146 153 159 167
CPU carga máxima (W) 228 238 249 260 272
Tabela: Frequências da nuvem privada (Grid’5000 Reims) utilizadas por
Guérout et al. 2013 para criar a lista de VMs
13. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Workflows
DAG (Grafo Orientado Acíclico)
Nós: custo de computação
Arestas: custo de comunicação
(transferência de dados)
Caminhos críticos e não-críticos
14. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Escalonadores do CloudSim-DVFS
Performance: frequência máxima sempre
OnDemand: frequência máxima se CPU em uso e mínima
quando ociosa
Optimal: diminuir consumo energético nos caminhos não-críticos
com VMs "mais lentas"
17. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
VM 1 = VM do tipo
"mais rápida"(Tipo 1)
18. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
Aloca a tarefa de
maior rank na VM 1
19. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
Simula a alocação das
demais tarefas
Qual o consumo
energético?
20. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
Simula a criação de
uma nova VM (Tipo 1)
Qual o consumo
energético?
21. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
Simula a criação de
uma nova VM (Tipo 2)
Qual o consumo
energético?
22. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
Simula a criação de
uma nova VM (Tipo 3)
Qual o consumo
energético?
23. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
PowerHEFTLookahead
Qual caso obteve o
menor consumo
energético?
É melhor criar uma
nova VM? De qual
tipo?
25. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
VM 1 = VM do tipo
"mais rápida"(Tipo 1)
26. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Aloca a tarefa de
maior rank
27. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Aloca a tarefa de
maior rank
Tarefa dependente da
anterior? Pode
executar na mesma
VM
28. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Tarefa paralelizável?
Aloca uma nova VM
do tipo "mais lenta"
29. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Paralelize o máximo
que puder
30. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Uma VM lenta vai
executar mais de uma
tarefa?
31. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Troque por uma VM
mais rápida, pois pode
ser um caminho crítico
32. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
HEFT-DynamicAllocationVM
Faça isso para todos
os casos
36. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Task Clustering
Reconhece duas VMs
"mais lentas"que vão
executar apenas uma
tarefa cada
37. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Task Clustering
Agrupa as tarefas em
uma única VM "mais
rápida"
39. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Experimentos
Ambiente de Teste: o mesmo utilizado por [Guérout et al. 2013]
1 VM por host
Tipos de VMs: conforme frequências para DVFS
Escalonadores:
Performance (PERF)
DVFS: OnDemand (ONDEM) e Optimal (OPT)
PowerHEFTLookahead (POWERHEFT)
HEFT
HEFT-DynamicAllocation-VM (DAVM)
HEFT-DynamicAllocation-VM-TaskClustering (DAVM-TC)
Optimal-TaskClustering (OPT-TC)
40. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Figura: Exemplo da estrutura do workflow (a) Sipht (codificação de genes),
(b) Cybershake (caracterização de zonas de risco de terremotos.) e (c)
Montage (mosaico astronômico).
41. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Montage
Figura: Comparativo do consumo energético e makespan do DAG Montage
utilizando diferentes políticas de escalonamento de tarefas.
43. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Conclusões
Resultados
Redução do consumo energético na maioria dos casos,
chegando até a 22.7%
Task clustering pode ser vantajoso tanto em relação
ao consumo energético quanto ao tempo de execução
Estrutura de interligação das tarefas no workflow influencia no
escalonamento
44. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Conclusões
Contribuições
Três novos algoritmos para escalonamento de workflows
visando a eficiência energética sem impacto significativo no
makespan
Estudo comparativo com algoritmos existentes
Dados e código abertos à comunidade
45. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Trabalhos futuros
Simulações
Outros ambientes de teste
Outros modelos energéticos
Uso de cargas de trabalho dinâmicas
Novas abordagens com o HEFT
Validação dos resultados em ambiente real
Possibilidades de:
Integração do WorkflowSim ao CloudSim-DVFS
Utilização de escalonadores dinâmicos ao invés de estáticos
Adição da estimativa de consumo energético de outros
componentes do data center
46. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Muito obrigada!
Perguntas?
elainew@ime.usp.br
Agradecimentos
FAPESP (processo número: 2011/24114-0) e CAPES
Rodrigo N. Calheiros e Tom Guérout (CloudSim-DVFS)
Weiwei Chen (WorkflowSim)
Daniel A. Cordeiro (explicação sobre o HEFT)
Disponível em:
https://github.com/pedropaulovc/CloudSim_DVFS
http://www.ime.usp.br/~elainew
47. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Bibliografia
L.A. Barroso e U. Hölzle. The case for energy-proportional computing.
Computer, 40(12):33–37, 2007.
Tom Guérout, Thierry Monteil, Georges Da Costa, Rodrigo
Neves Calheiros, Rajkumar Buyya e Mihai Alexandru. Energy-aware
simulation with dvfs. Simulation Modelling Practice and Theory, v.39, i.1,
p.76-91, 2013.
H. Topcuoglu, S. Hariri e Min-You Wu. Performance-effective and
low-complexity task scheduling for heterogeneous computing. IEEE
Transactions on Parallel and Distributed Systems, 13(3):260–274, 2002.
A. Beloglazov e R. Buyya. Energy Efficient Resource Management in
Virtualized Cloud Data Centers. Energy Efficient Resource Management
in Virtualized Cloud Data Centers, 826–831, 2007.
C. Belady. In the data center, power and cooling costs more than the it
equipment it supports Energy Efficient Resource Management in
Virtualized Cloud Data Centers, 2007.
48. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Bibliografia
S. Murugesan. Harnessing green IT: Principles and practices IT
professional, 24–33,2008.
J. Vöckler, G. Juve, E. Deelman, M. Rynge and B. Berriman
Experiences using cloud computing for a scientific workflow
application Proceedings of the 2nd international workshop on
Scientific cloud computing, 15–24,2011.
L.F. Bittencourt, E. Madeira, N.L.S. Fonseca Scheduling in hybrid
clouds Communications Magazine, IEEE, 42–47,2012.
49. Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões
Bibliografia
B. Aksanli, J. Venkatesh and T. Rosing Using Datacenter
Simulation to Evaluate Green Energy Integration Computer,
56–64,2012.
D. Kliazovich, P. Bouvry and S.U. Khan GreenCloud: a
packet-level simulator of energy-aware cloud computing data
centers The Journal of Supercomputing, 1263–1283,2012.
C. Weiwei and E. Deelman WorkflowSim: A toolkit for simulating
scientific workflows in distributed environments IEEE 8th
International Conference on E-Science (e-Science), 1-8,2012.