Apresentação feita na LatinoWare 2012, mostrando o uso do software Orquestra, desenvolvido internamente.

1. globo
.com
Gerenciando a cloud
na Globo.com

2. Globo.com, quem somos?

3. Globo.com, quem somos?
‣ Marca das Organizações Globo na Internet

4. Globo.com, quem somos?
‣ Marca das Organizações Globo na Internet
‣ Maior audiência de video streaming no país

5. Globo.com, quem somos?
‣ Marca das Organizações Globo na Internet
‣ Maior audiência de video streaming no país
‣ Referência na distribuição de conteúdo pela Web
no Brasil

6. Globo.com, quem somos?
‣ Marca das Organizações Globo na Internet
‣ Maior audiência de video streaming no país
‣ Referência na distribuição de conteúdo pela Web
no Brasil
‣ Líder absoluta no mercado de portais de notícias,
esportes e entretenimento em toda a América
Latina

7. Globo.com em números

8. Globo.com em números
‣ 45 milhões de acessos por dia

9. Globo.com em números
‣ 45 milhões de acessos por dia
‣ 1.8 milhões de acessos por hora

10. Globo.com em números
‣ 45 milhões de acessos por dia
‣ 1.8 milhões de acessos por hora
‣ 32 mil acessos por minuto

11. Globo.com em números
‣ 45 milhões de acessos por dia
‣ 1.8 milhões de acessos por hora
‣ 32 mil acessos por minuto
‣ Cerca de 10 milhões de visitantes únicos

12. Globo.com em números
‣ 45 milhões de acessos por dia
‣ 1.8 milhões de acessos por hora
‣ 32 mil acessos por minuto
‣ Cerca de 10 milhões de visitantes únicos
‣ e crescendo a cada dia

13. Agenda
‣ Desafio
‣ Orquestra
‣ Componentes
‣ Lições

14. Desafio

15. Recursos computacionais
Percentagem média de uso dos recursos computacionais
Em Uso
Ocioso

16. Ocupação do Data Center
Espaço físico ocupado em percentagem
100
75
50
25
0
Servidor Físico Servidor Virtualizado

17. Provisionamento
Etapas para instalação de um novo servidor

18. Provisionamento
Etapas para instalação de um novo servidor
Instalação física

19. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
Instalação do sistema operacional

20. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
DNS
Instalação do sistema operacional

21. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
DNS
Instalação do sistema operacional
Rede

22. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
DNS
Instalação do sistema operacional
Rede
Configuração
dos serviços

23. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
Deployment
DNS
Instalação do sistema operacional
Rede
Configuração
dos serviços

24. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
Deployment
DNS
Instalação do sistema operacional
Monitoração
Rede
Configuração
dos serviços

25. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
Deployment
DNS
Instalação do sistema operacional
Monitoração
Rede
Configuração
dos serviços Balanceamento
de carga

26. Provisionamento
Etapas para instalação de um novo servidor
Instalação física
Deployment
DNS
Instalação do sistema operacional
Monitoração
Rede
Configuração
dos serviços Balanceamento
de carga

27. Cloud Computing

28. Cloud Computing

29. Cloud Computing
‣ Recursos computacionais são serviços

30. Cloud Computing
‣ Recursos computacionais são serviços
‣ API

31. Cloud Computing
‣ Recursos computacionais são serviços
‣ API
‣ Abstração

32. Cloud Computing
‣ Recursos computacionais são serviços
‣ API
‣ Abstração
‣ Agilidade

33. Cloud Computing
‣ Recursos computacionais são serviços
‣ API
‣ Abstração
‣ Agilidade
‣ Segurança

34. Cloud Computing
‣ Recursos computacionais são serviços
‣ API
‣ Abstração
‣ Agilidade
‣ Segurança
‣ Manutenibilidade

35. Cloud Computing
‣ Recursos computacionais são serviços
‣ API
‣ Abstração
‣ Agilidade
‣ Segurança
‣ Manutenibilidade
‣ Menor custo

36. Tipos de serviços

37. Tipos de serviços
Infrastructure As A Service
IaaS

38. Tipos de serviços
Platform As A Service
PaaS
IaaS

39. Tipos de serviços
Software As A Service
SaaS
PaaS
IaaS

40. Orquestra

41. Orquestra

42. Orquestra
‣ Projeto de IaaS

43. Orquestra
‣ Projeto de IaaS
‣ Iniciado em 2008

44. Orquestra
‣ Projeto de IaaS
‣ Iniciado em 2008
‣ Python/Django

45. Orquestra
‣ Projeto de IaaS
‣ Iniciado em 2008
‣ Python/Django
‣ Desenvolvimento totalmente nacional

46. Orquestra
‣ Projeto de IaaS
‣ Iniciado em 2008
‣ Python/Django
‣ Desenvolvimento totalmente nacional
‣ Componentes opensource

49. Estrutura lógica

51. Grupo Virtual

52. Grupo Virtual
‣ Agrupamento máquinas com mesma função

53. Grupo Virtual
‣ Agrupamento máquinas com mesma função
‣ Configuração

54. Grupo Virtual
‣ Agrupamento máquinas com mesma função
‣ Configuração
‣ Rede/balanceamento

55. Grupo Virtual
‣ Agrupamento máquinas com mesma função
‣ Configuração
‣ Rede/balanceamento
‣ Clonagem

56. Grupo Virtual
‣ Agrupamento máquinas com mesma função
‣ Configuração
‣ Rede/balanceamento
‣ Clonagem
‣ Administração unificada

57. Grupo Virtual
‣ Agrupamento máquinas com mesma função
‣ Configuração
‣ Rede/balanceamento
‣ Clonagem
‣ Administração unificada
‣ Objetivo é a entrega de um projeto, não uma
máquina virtual

58. Grupo Virtual
‣ Caracteristicas herdadas pelas VMs
‣ Memória
‣ Disco
‣ Sistema Operacional
‣ CPUs por VM
‣ Configuração

59. Arquitetura

60. Demo

61. Demo

62. Componentes

63. Provisionamento

64. Provisionamento
instalação física

65. Provisionamento
instalação física instalação do SO

66. Provisionamento
configuração da
instalação física instalação do SO
rede

67. Provisionamento
configuração da
instalação física instalação do SO
rede
DNS

68. Provisionamento
configuração da
instalação física instalação do SO
rede
gerência de
DNS
configuração

69. Provisionamento
configuração da
instalação física instalação do SO
rede
gerência de
DNS deployment
configuração

70. Provisionamento
configuração da
instalação física instalação do SO
rede
gerência de
DNS deployment
configuração
monitoração

71. Provisionamento
configuração da
instalação física instalação do SO
rede
gerência de
DNS deployment
configuração
monitoração balanceamento

72. Instalação fisica/SO

73. Instalação fisica/SO
‣ Xen/XCP

74. Instalação fisica/SO
‣ Xen/XCP
‣ Hypervisor de alta performance

75. Instalação fisica/SO
‣ Xen/XCP
‣ Hypervisor de alta performance
‣ Pronto para Cloud

76. Instalação fisica/SO
‣ Xen/XCP
‣ Hypervisor de alta performance
‣ Pronto para Cloud
‣ Seguro

77. Instalação fisica/SO
‣ Xen/XCP
‣ Hypervisor de alta performance
‣ Pronto para Cloud
‣ Seguro
‣ API de fácil uso

78. Instalação fisica/SO
‣ Xen/XCP
‣ Hypervisor de alta performance
‣ Pronto para Cloud
‣ Seguro
‣ API de fácil uso
‣ Grande comunidade

79. Instalação fisica/SO
‣ Xen/XCP
‣ Hypervisor de alta performance
‣ Pronto para Cloud
‣ Seguro
‣ API de fácil uso
‣ Grande comunidade
‣ Clonagem de máquinas com SO pré-instalado

80. Configuração da rede/balanceamento

81. Configuração da rede/balanceamento
‣ NetworkAPI

82. Configuração da rede/balanceamento
‣ NetworkAPI
‣ Usada para gerenciar recursos de redes físicos

83. Configuração da rede/balanceamento
‣ NetworkAPI
‣ Usada para gerenciar recursos de redes físicos
‣ Incluir VLANs nos switches

84. Configuração da rede/balanceamento
‣ NetworkAPI
‣ Usada para gerenciar recursos de redes físicos
‣ Incluir VLANs nos switches
‣ Interagir com balanceadores de carga

85. Configuração da rede/balanceamento
‣ NetworkAPI
‣ Usada para gerenciar recursos de redes físicos
‣ Incluir VLANs nos switches
‣ Interagir com balanceadores de carga
‣ Documentação da topologia da rede

86. Configuração da rede/balanceamento
‣ NetworkAPI
‣ Usada para gerenciar recursos de redes físicos
‣ Incluir VLANs nos switches
‣ Interagir com balanceadores de carga
‣ Documentação da topologia da rede
‣ Agnostico à fornecedores

87. Configuração da rede/balanceamento
‣ NetworkAPI
‣ Usada para gerenciar recursos de redes físicos
‣ Incluir VLANs nos switches
‣ Interagir com balanceadores de carga
‣ Documentação da topologia da rede
‣ Agnostico à fornecedores
‣ OpenSource em breve!

88. DNS

89. DNS
‣ DNSAPI

90. DNS
‣ DNSAPI
‣ Interface de gerencia Web

91. DNS
‣ DNSAPI
‣ Interface de gerencia Web
‣ API

92. DNS
‣ DNSAPI
‣ Interface de gerencia Web
‣ API
‣ Bind 9

93. DNS
‣ DNSAPI
‣ Interface de gerencia Web
‣ API
‣ Bind 9
‣ Configuração sobre GIT

94. DNS
‣ DNSAPI
‣ Interface de gerencia Web
‣ API
‣ Bind 9
‣ Configuração sobre GIT
‣ OpenSource

95. DNS
‣ DNSAPI
‣ Interface de gerencia Web
‣ API
‣ Bind 9
‣ Configuração sobre GIT
‣ OpenSource
‣ http://opensource.globo.com/

96. Gerência de configuração
‣ Puppet
‣ Provisiona os recursos de software
‣ Baseado em papéis

97. Deployment

98. Deployment
‣ One Click Deploy

99. Deployment
‣ One Click Deploy
‣ Faz a publicação da aplicação nos servidores

100. Deployment
‣ One Click Deploy
‣ Faz a publicação da aplicação nos servidores
‣ Capistrano / Fabric

101. Deployment
‣ One Click Deploy
‣ Faz a publicação da aplicação nos servidores
‣ Capistrano / Fabric
‣ Histórico

102. Deployment
‣ One Click Deploy
‣ Faz a publicação da aplicação nos servidores
‣ Capistrano / Fabric
‣ Histórico
‣ Controle de acesso

103. Deployment
‣ One Click Deploy
‣ Faz a publicação da aplicação nos servidores
‣ Capistrano / Fabric
‣ Histórico
‣ Controle de acesso
‣ Automatizado, mas ainda não integrado

104. Monitoração
‣ Nagios
‣ Verifica se o host está respondendo
‣ Verifica se os serviços estão funcionando

105. Lições

106. Lições aprendidas

107. Lições aprendidas
‣ Compartilhar responsabilidade

108. Lições aprendidas
‣ Compartilhar responsabilidade
‣ Controle é quem/quando/porque

109. Lições aprendidas
‣ Compartilhar responsabilidade
‣ Controle é quem/quando/porque
‣ Definir regras ≠ executar manualmente

110. Lições aprendidas
‣ Compartilhar responsabilidade
‣ Controle é quem/quando/porque
‣ Definir regras ≠ executar manualmente
‣ Equipes precisam ser especialistas

111. Arquitetura

112. Arquitetura
‣ Não é possivel ter tudo num só lugar

113. Arquitetura
‣ Não é possivel ter tudo num só lugar
‣ Atender 90% dos casos com 10% esforço

114. Arquitetura
‣ Não é possivel ter tudo num só lugar
‣ Atender 90% dos casos com 10% esforço
‣ Ferramentas especializadas ainda são necessárias

115. Arquitetura
‣ Não é possivel ter tudo num só lugar
‣ Atender 90% dos casos com 10% esforço
‣ Ferramentas especializadas ainda são necessárias
‣ Faça um castelo com pequenos blocos

116. Arquitetura
‣ Não é possivel ter tudo num só lugar
‣ Atender 90% dos casos com 10% esforço
‣ Ferramentas especializadas ainda são necessárias
‣ Faça um castelo com pequenos blocos
‣ Mas nunca de cartas

117. Arquitetura
‣ Não é possivel ter tudo num só lugar
‣ Atender 90% dos casos com 10% esforço
‣ Ferramentas especializadas ainda são necessárias
‣ Faça um castelo com pequenos blocos
‣ Mas nunca de cartas
‣ Núcleo do sistema é a cola que junta tudo

118. Melhorias

119. Melhorias
‣ Extensibilidade

120. Melhorias
‣ Extensibilidade
‣ Suporte a outros hypervisors

121. Melhorias
‣ Extensibilidade
‣ Suporte a outros hypervisors
‣ Facilidade de instalação/testes

122. Melhorias
‣ Extensibilidade
‣ Suporte a outros hypervisors
‣ Facilidade de instalação/testes
‣ Open source

123. Melhorias
‣ Extensibilidade
‣ Suporte a outros hypervisors
‣ Facilidade de instalação/testes
‣ Open source
‣ API EC2 compatível

124. Melhorias
‣ Extensibilidade
‣ Suporte a outros hypervisors
‣ Facilidade de instalação/testes
‣ Open source
‣ API EC2 compatível
‣ Automação dos fluxos ainda operacionais

125. Melhorias
‣ Extensibilidade
‣ Suporte a outros hypervisors
‣ Facilidade de instalação/testes
‣ Open source
‣ API EC2 compatível
‣ Automação dos fluxos ainda operacionais
‣ Elasticidade

126. Dúvidas
Silvano Nogueira Buback
snbuback@gmail.com
twitter.com/snbuback