Processamento Serverless em Escala

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Thiago Paulino
Enterprise Solutions Architect, AWS
Maycon Bordin
Analista Digital | Woop Sicredi
BDA304
Processamento de dados Serverless em Escala:
Caso de estudo Amazon.com

O que esperar dessa sessão?
O que é processamento serverless em tempo real?
Porque Streams, Amazon Kinesis, AWS Lambda?
Amazon FBA Seller Inventory Authority Platform
Amazon Video – Thursday Night Football
Melhores Prátricas e lições aprendidas

Processamento Serverless em tempo
Construa seu processamento de tempo real (ingestão,
processamento e consumo) aplicações e serviços
… Sem gerenciamento de infra-estrutura.
ProcessIngest Consume

Por que Streams?

Processamento Stream
Objetivo:
• Alto-throughput (>1 GB/s)
• Serverless (sem gerenciamento de servidores)
• Tempo-real (pipeline)
Streams
• Limitação de tamanho
• Limitação de tempo
• Acesso a dados recentes
• Limitação de processamento
Batch
• Sem limite de tamanho
• Sem limite de tempo (Sem tempo real)
• Acesso a todo o dado
• Processamento longo (reports)

Processamento Stream
Porque os dados são:
• Gerados continuamente e simultaneamente por centenas de origens de
• Tipicamente pequeno (KBs)
E precisa ser processado:
• Sequêncialmente e incremental
• Ou processamento em janelas
algumas em tempo real

O que é Amazon Kinesis?

Kinesis: O que é isso?
É um storage
Armazenamento e
retenção de até 7 dias
Local aonde os
dados são
disponibilizados
rapidamente
Menos de 1 segundo
de latência
Possuí ponteiro
de processamento
Suporta multiplos
processadores
concorrentes com
ordenação
Serviço
gerênciado
Atraves de APIs
torna-se fácil
configurar o
processo de PUT e
GET de dados

Amazon Kinesis Data Streams

Amazon Kinesis Data Firehose

Amazon Kinesis Data Analytics

Amazon Kinesis Video Streams

O que é AWS Lambda?

Lambda: O que é isso?
É uma função
Suas bibliotecas, seu código
sua execução
Com modelo de
programação
Fácil de usar, diversos
tutoriais, e funções
prontas além de
monitoramento e log
Roda stateless
A Infraestrutura é
abstrata, persista seus
dados no Amazon
DynamoDB, Amazon S3
ou Amazon ElastiCache
Modelo de
segurança integrado
Integrado com IAM,
policies e roles,
além de suporte a
VPC
Modelo de recurso
flexivel
Escolha a quantidade
memória e nós
alocamos
proporcionalmente
CPU, rede, banda de
rede e I/O de disco

Lambda: Como fazer para iniciar isso?
Amazon
S3
Amazon
SNS
Modelo Push Asynchronous
Amazon
Alexa
AWS
IoT
Modelo Synchronous Push
• Mapeie o seu evento de origem
• Triggers (inicie) Lambda via Invoke
APIs
• Acesso aos seus recursos da AWS
baseado em policy de permissões
RequestResponse
invocation
Event Invocation
Como funciona

Lambda: Como iniciar uma função?
Amazon
DynamoDB
Amazon
Kinesis
Modelo Stream Pull Mapping owned by Lambda
Função Lambda é invocada quando
novos registros são encontrados no
stream
Permissão ao Lambda baseado
em role policy
Polled batch
RequestResponse
invocation
Lambda polls streams

Lambda
Node.js
Python
Java
C#
FunctionEvent source
AWS
CloudFormation
Amazon
API Gateway
Amazon
SNS
Database
Cloud
service
Anything
Endpoint
Amazon
Kinesis

Node.js
Python
Java
C#
Function
Kinesis
Endpoint
Database
Cloud
service
Anything
Event source
IoT data
IoT data
Financial
data
Log data
Kinesis

Processamento Stream com Lambda

Kinesis
Lambda
Amazon
CloudWatch
Amazon
DynamoDB
Lambda
Amazon
ES
Amazon
S3
Processando Stream: Lambda

Processamento Streams: Lambda

Processamento Streams : Lambda
Evento recebido por uma função lambda a partir de um Streaming:
{ "Records": [ {
"kinesis": {
"partitionKey": "partitionKey-3",
"kinesisSchemaVersion": "1.0",
"data": "SGVsbG8sIHRoaXMgaXMgYSB0ZXN0IDEyMy4=",
"sequenceNumber":
"49545115243490985018280067714973144582180062593244200961" },
"eventSource": "aws:kinesis",
"eventID": "shardId-
000000000000:49545115243490985018280067714973144582180062593244200961",
"invokeIdentityArn": "arn:aws:iam::account-id:role/testLEBRole",
"eventVersion": "1.0",
"eventName": "aws:kinesis:record",
"eventSourceARN": "arn:aws:kinesis:us-west-
2:35667example:stream/examplestream",
"awsRegion": "us-west-2" } ] }

Por shard:
▪ As chamadas Lambdas obtem os registros com o limite de (10k ou 10 MB)
▪ Se não tiver registro, aguarde um tempo (1s)
▪ Sub-batch em memória, formatação dos registros dentro do lambda
▪ Chamada Lambda com chamadas sincronas
… …
Source
Kinesis
Destination 1
Lambda
Destination 2
Shards
Lambda will scale automaticallyScale Kinesis by splitting or merging shards
Waits for responsePolls a batch

Retries
As tentativas de processamento terão retry até o objeto expirar
Throttles e erros afetam a duração e diretamente o throughput do shard/Lambda
Best practice
Tente novamente retry with exponential backoff
Effective theoretical throughput with retries
( # shards * batch size (MB) ) / ( function duration (s) * retries until expiry)
…
Source
Kinesis
Destination
1
Lambda
Destination
2
Shards
Polls a batch
Receives success
Receives error
Receives error

FBA Seller Inventory Authority Platform

Como o FBA funciona?

Desafio da plataforma de dados
• Uma única fonte da verdade para o inventário de vendas
• Reconciliação de inventário
• Acompanhamento de discrepâncias

Requisitos de design
• Deve receber um alto volume de mensagens (>10000
TPS)
• Deve ser capaz de lidar com Hotkeys nas mensagens de
entrada
• Receber uma mensagem grande para um inventário
grande, muitos itens e/ou mensagem grande
• Deve ser capaz de lidar com duplicidade de mensagens e
for a de ordem
• Manter auditoria para toda e qualquer mudança de
inventário

Plataforma de autoridade de inventário de vendedores

Resultados
• 22 semanas de desenvolvimentos poupados, custo de
operação reduzido em 11 vezes
• Lançamento em menos de 4 meses
• Melhoria da precisão dos itens recebidos entre 5% a
10%
• Redução do custo de operação do negócio (Exemplo:
Contatos de vendas)
• Desenvolvedores do time gostaram de utilizar os
serviços gerenciados da AWS

Amazon Video
Thursday Night Football

(Assinatura) Séries
Transacional (Filmes/Locação)
Canais

Thursday Night Football
• Stream ao vivo para milhões de usuários em 191 países
• 600 dispositivos diferentes

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Thursday Night Football estatísticas
2 milhões de
visualizações simultaneas
191 Países
Média de stream 55
minutes
Países
United States
Mexico
Germany
1
2
3
Estados
California
Texas
New York
1
2
3
Elastic Load Balancing
Processamento de dados
por jogo
Elastic Load Balancing
conexões estabelecidas
por jogo
58 TB 176M

Lambda
API Gateway
Amazon S3
CloudFront
Elemental
Ad InsertionAmazon Redshift
Amazon DynamoDB
Amazon
CloudWatch
ELK
Kinesis
Load balancers
EC2 instances

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Desafios: Intermitência/Picos
Problem: Thursdays são ótimos! Outros dias não tem tanta
demanda.
Solution: Lambda

Desafios: Picos
Problem: As propagandas rodam para todos
simultaneamente.
Solution: Amazon Kinesis

Desafios: Escalabilidade
Problema: Milhões de pessoas assistindo = Milhões de TPS
Solução: Amazon Kinesis shards + processamento batching
… …
Source
Kinesis
Destination 1
Lambda
Destination 2
Shards
Lambda will scale automaticallyScale Kinesis by splitting or merging shards

Arquitetura Macro

Resultados
• Somente 3 meses do papel até lançamento
• Redução do tempo gasto para desenvolvimento,
métricas e alarmes
• Redução da operação do negócio em mais de 90%
• Fácil lidar com mudanças
• Fácil e adaptável/escalável

Melhores práticas e lições aprendidas

Eficiência em desenvolver funções
• Evite funções pesadas e mololíticas
• Controle de dependências nos pacotes das
suas funções
• Otimize conforme sua linguagem
• Node – Browserfy, Minify

JAVA – Scope your POM file
<dependencyManagement>
<dependencies>
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-bom</artifactId>
<version>2.10.10</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<artifactId>aws-java-sdk-s3</artifactId>
</dependency>
<dependency>
<artifactId>aws-java-sdk-dynamodb</artifactId>
</dependency>
<dependencies>
Maven bill of materials
(BOM) module for AWS
SDK
Evite aws-java-sdk todo!
Selecione as
dependências de cada
serviço

Ambiente de funções sem persistência
• Lambda processa um evento por
container.
• LEMBRE-SE – containers são
reusáveis
• Sem dependências de objetos.
Carregue o objeto sem
dependências.
• Não Carregue o que você não
precisa, pois a iniciação da
função será penalizada
import boto3
client = None
def my_handler(event, context):
global client
if not client:
client =
boto3.client("s3")
# process

Alocação de recursos inteligente
Encontre a melhor alocação de recurso (até 3 GB)
Defina sua configuração corretamente. O teste abaixo foi baseado em
1000 execuções, execuções totais são milhões.
128 MB 11.722965sec $0.024628
256 MB 6.678945sec $0.028035
512 MB 3.194954sec $0.026830
1024 MB 1.465984sec $0.024638

Multithreading?
• <1.8 GB continue single core
• Aplicações que demandam não terão ganhos – os processos
compartilham o mesmo recurso
• >1.8 GB rode muti-core
• Aplicações que demandam não terão ganhos, mas precisarão
de multi thread
• I/O Aplicações com uso alto de I/O terão ganhos
• e.x., Execuções em paralelo

Concorrência vs. Latência
▪ Aumento do número de shards com distribuição da chave aumentará a concorrência
▪ Se o processo de ingestão é maior que a capacidade de rede aumente o número de shards
para aumentar sua capacidade de rede do cluster.
• Calculo da efetividade da função Lambda + capacidade de rede:
( # shards * batch size (MB) ) / (function duration (s) * retries until expiry)
… …
Source
Kinesis
Destination 1
Lambda
Destination 2
Shards
Lambda will scale automaticallyScale
Kinesis by splitting or merging shards

Monitoramento
Monitoramento Amazon Kinesis Data Streams
•GetRecords: (effective throughput)
•PutRecord: bytes, latency, records, etc.
•GetRecords.IteratorAgeMilliseconds: how old your last processed
records were

Monitoramento
Monitoramento de funções Lambda
Invocation count: Quantidade de execuções
•Duration: Execução/Tempo de processamento
•Error count: Número de erros
•Throttle count: Número de execuções com throttled
•Iterator Age: Tempo desde o pedido de execução além o final da
execução

Outras lições aprendidas
• Otimize o custo fazendo agregações de 25-KB de
tamanho de payload
• Quando re-ajustar o shard, tente escalar em multiplos de
2 ou mais
• Faça compressão de objetos para economizar no
tamanho de banda utilizada no Kinesis
• Otimize o Lambda para obter batchs de dados a serem
processados maiores

Caso de uso Sicredi | Woop Scredi

Sicredi | Woop Sicredi | Sobre nós

www.woopsicredi.com
“Informações em tempo real com menor esforço”
• Instituição financeira
cooperativa;
• Desde 1902;
• + 3,7 milhões de associados;
• Plataforma 100% digital;
• Lançado em 18/06;
• Novo core bancário na
nuvem;

A plataforma da AWS é a fundação de
toda a transformação digital do
Sicredi.
“Escolhemos a AWS por ser a
empresa líder em soluções
para arquiteturas serverless,
com componentes que
integram-se nativamente.”
Desafios
• Responder a mudanças o
mais rápido possível;
• Dados com múltiplas origens
e propósitos;
• Redução de esforços com
manutenção de ambientes;
• Arquitetura escalável;

Data Lake – Arquitetura Serverless

Obrigado!

Por favor, complete a avaliação da sessão no
aplicativo do evento: AWS Summit.

Submit Session Feedback
1. Tap the Schedule icon. 2. Select the session
you attended.
3. Tap Session Evaluation
to submit your feedback.

Processamento Serverless em Escala

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Processamento Serverless em Escala

Ähnlich wie Processamento Serverless em Escala (20)

Mehr von Amazon Web Services

Mehr von Amazon Web Services (20)

Processamento Serverless em Escala