Marcelo Anton, Cloud Engineer da Linx+Neemu+Chaordic, palestrou sobre "Gerenciamento de custos na Cloud", no DevCommerce Conference 2016. O DevCommerce Conference 2016 aconteceu nos dias 06 e 07 de junho de 2016, no Hotel Tivoli em São Paulo-SP http://devcommerce2016.imasters.com.br/

1. Marcelo Anton
Lead Cloud Engineer
GERENCIAMENTO DE CUSTOS NA CLOUD

2. Aumentamos nosso número de
requests, mas não o gasto AWSNOSSO DESAFIOS NOS ÚLTIMOS ANOS

3. NOSSO DESAFIOS NOS ÚLTIMOS ANOS
Junto ao nosso aumento de request, o dólar
disparou nos últimos 3 anos, nosso gasto
mesmo em reais se manteve controlado

4. 95%dos econsumidores
brasileiros já foram
impactados pelas
nossas soluções.
maiordo que a soma
dos 3 principais
concorrentes no setor.
líderem software para gestão
de varejo em todo o
território nacional.
7dos10maiores ecommerces
do Brasil utilizam as
nossas soluções.
líderem personalização
para ecommerce na
América Latina.
98,3%
dos clientes renovam
seus contratos com a
nossa empresa.
SOBRE LINX+NEEMU+CHAORDIC

5. MANAUS
ONDE ESTAMOS
FLORIPA SÃO PAULO

7. AWS
Cuidado: com
elasticidade é fácil
perder o controle
dos custos
⍄ Muitos recursos e serviços
⍄ Todas camadas: IaaS, PaaS, SaaS
⍄ Elasticidade: computação "infinita" disponível
⍄ Modelo de cobrança sob-demanda

8. USANDO TAGS PARA ALOCAÇÃO DE CUSTO
Utilize tags em todos seus recursos, de
acordo com a sua divisão de custo: time,
produto, ambiente.

9. ATIVANDO O CSV
Ative a entrega do CSV
num bucket do S3

10. AWS-COSTS-MANAGER
Nossa solução customizada
para gestão de custo cloud

11. FORECAST DIÁRIO VIA E-MAIL

12. LIBRATO, VISÃO A LONGO PRAZO

13. MAIS VISÕES,
POR EXEMPLO,
POR PRODUTO AWS

14. RESPONSABILIDADE
MANDAMOS ESSE E-
MAIL PARA TODOS:
GERENTES,
CONTROLADORIA,
POs, DEVS
⍄ TODOS são responsáveis pelo Custo Cloud
⍄ Diáriamente olhamos o relatório buscando
por comportamentos não previstos
⍄ Em caso de problemas atuamos
imediatamente para entender o por quê
⍄ Tabelas no mysql nos ajudam nesse
momento: consultas por centro de custo,
produto aws, tipo de instâcia, etc.

15. ANÁLISE SIMPLES COMO UM SQL

16. RESULTADO EM SEGUNDOS

17. OUTRAS OPÇÕES
Existem outras
ferramentas disponíveis,
encontre a sua
⍄ Na Chaordic optamos por desenvolver
nossa ferramenta propria, mas existe
outras opções
⍄ Netflix Ice: https://github.com/Netflix/ice
⍄ Solucões pagas, cobram percentual da
fatura
⍄ Trusted Advisor da AWS

18. JÁ TEMOS A VISIBILIDADE E
CONSEGUIMOS ENCONTRAR
PROBLEMAS. AGORA COMO
ECONOMIZAR?

19. SOLUÇÃO MAIS SIMPLES
Soluções simples,
geram boa economia
⍄ Agendar start/stop de ambientes de
desenvolvimento e homologação
⍄ Desligar máquina não utilizadas
⍄ Fazer Downscale
( Trusted Advisor pode ajudar )
⍄ Juntar serviços usando containers por
exemplo

20. Spot gera muita
economia, pense
muito nisso
⍄ Leilão dos recursos AWS
⍄ Economia de até 90% no preço de
instâncias em relação a OnDemand
⍄ Você solicita uma instância e informa um
BID, preço máximo que você aceita pagar,
você pode ganhar ou não ela, e pode
perder a qualquer momento
⍄ Sua aplicação deve estar preparada, ou
seja, deve ser tolerante a falhas
SPOT

21. SPOT HISTORY
Histórico de uma semana
para instância m2.xlarge.
Preço on-demand da
mesma: 0.245

22. TIO PATINHAS
Na Chaordic em 2012
desenvolvemos o Tio
Patinhas ( Open Source
no Github )
Script que permite
economizar trabalhando
juntamente com o Auto
Scale.
Tipicamente dividimos as
máquinas de um grupo
50% OnDemand e 50%
Spot.

23. SPOT
⍄ Pool de máquinas com Auto Scale, ativar
TioPatinhas
⍄ Usar dois Auto Scale Groups, um
OnDemand e outro Spot
ONDE USAR SPOT

24. ONDE USAR SPOT
⍄ Ambientes temporários de teste ou
homologação
⍄ Jobs de processamento em batch, caso
ocorra a perda as instâncias, podemos
reprocessar o job sem problemas
SPOT

25. CHAORDIC IGNITION
Projeto Open Source
Ignition da Chaordic
Utilitários para jobs Spark
e programas Scala
Scripts para lançamento
de clusters, busca melhor
cenário Spot

26. Instâncias reservadas
permitem economizar
de 30% a 40%
⍄ Ideal para instâncias EC2 fixas: Database,
Cache, etc.
⍄ Três formatos: Full Upfront, Partial
UpFront, No UpFront
⍄ Reservas por 1 ou 3 anos
⍄ Reservar por 3 anos? Pense bem, AWS
evolui muito rapidamente
⍄ Possibilidade de venda no Market Place
INSTÂNCIAS RESERVADAS

27. SITE Ec2instances.info

28. INSTÂNCIAS RESERVADAS
Cuidados para gestão
das suas reservas
⍄ Instâncias reservadas alocam todo custo
do mês no primeiro dia, tanto via painel
AWS quanto via CSV
⍄ Faça seus forecast considerarem isto
⍄ Caso você use Full Upfront é interessante
amortizar contabilmente esse custo
durante o período de sua reserva
⍄ Consolide todas suas contas AWS em
uma única Linked Account, suas reservas
serão "compartilhadas" entre todas suas
contas

29. RESERVED INSTANCES
Software Open Source
para validação/alteração
das reservas em uso:
https://github.
com/jros2300/reservedin
stances

30. Utilizamos o software reserved instances,
para desenvolver relatórios diários
de uso de reservas
RELATÓRIO DE RESERVAS

31. RELATÓRIO DE RESERVAS

32. ⍄ Muita atenção ao Data Transfer,
dependendo da sua aplicação ele pode se
tornar caro
⍄ Use CloudFront e concentre suas entregas
para Internet nele
⍄ Negocie um desconto no CF com a AWS
dependendo do seu volume
⍄ Observe que existe DT entre zonas AWS,
considere isso ao montar uma aplicação
multi-az
CUIDADO COM OS VILÕES
Conheça e estude
muito bem os preços
dos produtos AWS

33. CUIDADO COM OS VILÕES
⍄ Atenção no S3, o armazenamento é
extremamente barato, mas você paga
Data Transfer e também por operações
⍄ Já reduzimos mais de U$ 1000,00
alterando algumas linhas de código de
uma aplicação que fazia milhares de
GET/POST no S3
⍄ Use a calculadora AWS: http://calculator.
s3.amazonaws.com/index.html
Conheça e estude
muito bem os preços
dos produtos AWS

34. CONSIDERAÇÕES FINAIS
⍄ Visibilidade é a palavra chave de custo cloud
⍄ Soluções simples: desligar, diminuir ou agrupar
⍄ Se prepare para falhar e use Spot
⍄ Use e controle suas RIs

35. http://github.com/chaordic/tiopatinhas
http://github.com/chaordic/ignition-core
FERRAMENTAS CHAORDIC

36. +
+
+
++
+
OBRIGADO!
Marcelo Anton
marcelo@chaordic.com.br
http://github.com/mbanton
http://linkedin.com/in/mbanton