1. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
1
10.11.2017
Dr. Flávio Eduardo Aoki Horita
flavio.horita@ufabc.edu.br | http://www.flaviohorita.com
Sala 509-2 – Torre 2 – Bloco A – Santo André - Brasil
Introdução ao Big Data: Conceitos e
Aplicações
2. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
2
10.11.2017
• Professor Adjunto, CMCC, UFABC.
• Membro do AGORA e LabGRIS
• Doutor em Ciências Matemáticas e de Computação,
ICMC, USP
• ... Desenvolvedor ... PHP... Java ... Flex ... Gerente
de Projetos ... Pesquisador ... Python.
• Interesses de pesquisa:
• Modelagem em sistemas-de-sistemas
• Data-driven decision-making
Flávio Horita
3. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
3
10.11.2017
• Introdução
• Conceitos
• Aplicações
• => Luiz ... Hadoop, Hands-On, ...
Agenda
4. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
4
10.11.2017
Introdução
5. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
5
10.11.2017
• Dados sempre foram empregados para apoiar a
tomada de decisão:
• Período de Automatização dos Processos (a partir
dos anos 70);
• Bancos transacionas;
• SGBSs;
• ERPs;
• Sistemas de Informação;
• Engenharia de Software.
Introdução
6. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
6
10.11.2017
GLOBALIZAÇÃO (a
partir anos 90)
• Internet;
• Desenvolvimento
distribuído;
• Interoperabilidade de
processos;
• Sistemas distribuídos;
• Aprimoramento de
software e hardwares.
7. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
7
10.11.2017
• Dados sempre foram empregados para apoiar a
tomada de decisão:
• Período da Mineração dos Dados (a partir dos anos
2000);
• Aprimoramento de software e hardwares.
• Mineração de dados;
• Armazenamento em larga escala;
• Big Data;
• Obtenção de conhecimento;
• Data-driven decision-making;
• Etc.
Introdução
8. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
8
10.11.2017
Big Data
9. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
9
10.11.2017
• Dados...
• são gerados pelas mais diversas plataformas:
• Redes sociais;
• Dispositivos móveis;
• Internet das coisas;
• Centrais de autoatendimento;
• Websites;
• etc.
Introdução
10. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
10
10.11.2017
• Dados...
• são produzidos para as mais diferentes finalidades:
• Gestão de desastres;
• Mobilidade urbana;
• Distribuição de energia elétrica;
• Consumo de água;
• Serviços urbanos;
• Marketing;
• Desenvolvimento e lançamento de produtos;
• etc.
Introdução
11. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
11
10.11.2017
• Dados...
• são produzidos e armazenados em grandes bancos
de dados;
Introdução
1 ZB = 1 073 741 824 TB
Aprox. 1milhão de HD comuns
12. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
12
10.11.2017
• Dados...
• são gerados continuamente;
Introdução
Flight Radar
13. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
13
10.11.2017
• Dados...
• são gerados continuamente;
Introdução
14. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
14
10.11.2017
• Como extrair conhecimento a partir desta
grande quantidade de dados?
• Como lidar com a heterogeneidade dos dados?
• Como processar essa grande volume de
dados?
• Como apoiar a tomada de decisão com dados
atualizados sobre as variáveis de interesse?
15. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
15
10.11.2017
Conceitos
16. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
16
10.11.2017
““Massivo crescimento da quantidade de
dados ao redor do mundo.”
17. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
17
10.11.2017
““Técnicas e iniciativas de tratamento,
integração e análise de dados provenientes
de diversas fontes em diferentes mídias e
formatos”
18. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
18
10.11.2017
Big Data x Ciência de Dados
Conceitos
• Ciência de dados tem como objetivo criar e
projetar modelos para extrair padrões
(“insights”) a partir de sistemas complexos.
• Big Data x Ciência de Dados: são conceitos
diferentes, embora relacionados com uma
mesma área.
19. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
19
10.11.2017
Conceitos
20. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
20
10.11.2017
velocity
Big Data
veracity
volume variety
Source: Hashem et al., (2015)
21. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
21
10.11.2017
Big data e a evolução da pesquisa científica
Conceitos
22. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
22
10.11.2017
O Quarto Paradigma da Ciência
Conceitos
• James Gray (Microsoft)
• Ciência é centrada nos dados,
sejam observados ou
simulados, unificando teoria,
experimentos e simulações:
eScience
• Três atividades básicas:
captura, tratamento e análise.
• Computação e estatística são
fundamentais.
23. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
23
10.11.2017
O Quarto Paradigma da Ciência
Conceitos
• Computação e
estatística são
fundamentais.
• Banco de
dados
• Linguagens
• Processamento
• Visualização.
24. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
24
10.11.2017
O Quarto Paradigma da Ciência
Conceitos
25. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
25
10.11.2017
O Quarto Paradigma da Ciência
Conceitos
26. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
26
10.11.2017
Aplicações
27. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
27
10.11.2017
Source: Rodríguez-Mazahua et al., (2016)
Aplicações
Big data
28. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
28
10.11.2017
Cidades Inteligentes
Aplicações
Source: Cavalcante et al., (2016)
29. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
29
10.11.2017
Cidades Inteligentes
Aplicações
Source: Pregnolato et al. (2016)
30. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
30
10.11.2017
Cidades Inteligentes
Aplicações
ImagensMensagens
TwitterFlickr Instagram
31. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
31
10.11.2017
Gestão de Desastres
Aplicações
Hard sensors Exploratory teams
Social Media Collaborative Platforms
Source: Elwood (2008); Goodchild & Glennon (2010); Niko et al., (2011); DeLongueville et al. (2012); Horita et al. (2013); Haworth &
Bruce (2015)
32. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
32
10.11.2017
Gestão de Desastres
Aplicações
Source: Chae et al. (2013)
33. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
33
10.11.2017
Gestão de Desastres
Aplicações
January 21st, 2018January 16st, 2018
34. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
34
10.11.2017
2. Big Data Analytics
35. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
35
10.11.2017
• http://www.mobimais.com.br/blog/dados-
informacao-conhecimento-ideia-e-sabedoria/
• https://lisianegc.wordpress.com/2011/04/17/dado
-informacao-e-conhecimento/
• https://audiotech.com/trends-
magazine/harnessing-big-data-opportunity/
• http://www.businessinsider.com/mobile-data-
consumption-will-surge-by-2021-2016-6
• http://blog.qmagico.com.br/educacao/big-data-
servico-da-educacao/
Imagens
Referências
36. Introdução ao Big Data: Conceitos e Aplicações
Dr. Flávio E. A. Horita | http://www.flaviohorita.com
36
10.11.2017
Introdução a Big Data: Conceitos e Aplicações
Dr. Flávio Eduardo Aoki Horita
E: flavio.horita@ufabc.edu.br
W: http://flavio.horita.com
Sala 509-2 – Torre 2 – Bloco A – Santo André - Brasil
Questions?