O documento apresenta uma palestra sobre arquitetura e processamento de dados em tempo real. A palestra discute a diferença entre data lake e data warehouse, introduz a arquitetura lambda proposta por Nathan Marz para big data e realiza uma demonstração.

1. ARQUITETURA E PROCESSAMENTO
DE DADOS EM TEMPO REAL

2. SOBRE MIM
Paulo Ricardo Santos
Pós-Graduado Business intelligence
pauloricardodba@gmail.com
Linkedin: pauloricardovds

3. AGENDA
 Data Lake x Data Warehouse
 Arquitetura de Business Intelligence
 Introdução ao Big Data
 Arquitetura Big Data - Lambda
 Demo

4. DEFINIÇÃO DE DATA LAKE
“If you think of a datamart as a store of bottled water –
cleansed and packaged and structured for easy consumption –
the data lake is a large body of water in a more natural state.
The contents of the data lake stream in from a source to fill the
lake, and various users of the lake can come to examine, dive
in, or take samples.”
Segundo Tamara Dull:
Um Data Lake é um repositório de armazenamento que contém uma
grande quantidade de dados brutos em seu formato nativo, incluindo
dados estruturados, semi-estruturados e não estruturados. A estrutura e
os requisitos de dados não são definidos até que os dados sejam
necessários.

5. PRINCIPAIS
DIFERENÇAS
ENTRE UM DW
E O DATA LAKE

6. ARQUITETURA DE BI

7. NÃO CUSTA NADA LEMBRAR?
Big Data é o termo que descreve o imenso volume de dados –
estruturados e não estruturados – que impactam os negócios no dia
dia. Mas o importante não é a quantidade de dados, e sim o que as
empresas fazem com os dados que realmente importam.

8. BIG DATA 3 V’S
Velocidade
VolumeVariedade

10. ARQUITETURA LAMBDA
Nathan Marz
Engenheiro em Twitter
Criador do projeto open-source: Storm
and Cascalog

11. ARQUITETURA LAMBDA
Batch layer
Master dataset
New
Data
?
Query
?
Query?
Query
Speed layer
Real-time
view
Real-time
view
Serving layer
Batch
view
Batch
view

12. DEMO

13. OBRIGADO!
Paulo Ricardo Santos
pauloricardodba@gmail.com
Linkedin: pauloricardovds
Blog: medium.com/@pauloricardovds