Palestra realizada no 24HoP 2013 (24 Hours of PASS - Portuguese), abordando o assunto Por Onde Começar no BigData.

1. Por onde começar no
BigData
Diego Nogare / MVP SQL Server
@DiegoNogare / www.DiegoNogare.net

2. HDInsight

3. Criando o Cluster
3
3

4. HDInsight
4
4

5. Demo – Criando o Cluster de HDInsight
5
5

6. A caixa de sapato digital
Business Intelligence
Data Science
Real-Time
Hadoop DB
Machine Learning
Ad-Hoc
Dremel
Operational
Data Mining
Query Self-Service
Analytics
Hive
Predictive
Batch
Map Reduce
SQL
Exploratory
Unstructured
Social
Insight
Pig
Interactive
Cloud Scale
6
Pivot
Visualization
Hadoop
Big Query
Text Analytics
6
Data Warehouse
Reporting
Drill

7. Hadoop

8. 15%
Dados
Estruturados
85%
Dados Não
Estruturados
Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘
de Informações': Os Maiores Desafios para CIOs do Século 21
8
Mark Beyer, Outubro 2011
8

9. Arquitetura do Hadoop
Distributed Processing
(Map Reduce)
Distributed Storage
(HDFS)
9
9

10. Arquitetura do Hadoop
Log file aggregation
(Flume)
10
Business Intelligence
(Excel, Power View, SSAS…)
Pipeline / workflow
(Oozie)
System Center
(Future)
10
Data Integration
Active Directory
(Future)
Distributed Storage
(HDFS)
( ODBC / SQOOP/ REST)
Distributed Processing
(Map Reduce)
NoSQL Database
(HBase)
Machine Learning
(Mahout)
Stats processing
(RHadoop)
Graph
(Pegasus)
Metadata
(HCatalog)

11. Arquitetura do Hadoop
Log file aggregation
(Flume)
11
Business Intelligence
(Excel, Power View, SSAS…)
Pipeline / workflow
(Oozie)
System Center
(Future)
11
Data Integration
Active Directory
(Future)
Distributed Storage
(HDFS)
( ODBC / SQOOP/ REST)
Distributed Processing
(Map Reduce)
NoSQL Database
(HBase)
Machine Learning
(Mahout)
Stats processing
(RHadoop)
Graph
(Pegasus)
Metadata
(HCatalog)

12. Movimentando dados
para o HDInsight

13. Demo – Movimentando Dados
13
13

14. Mudando a forma de pensar com os 3 Vs
do BigData
Volume
Velocidade
Variedade

15. HIVE

16. Arquitetura do Hive
Hive
Hadoop
16
16

17. Demo – Consumindo dados com HIVE

18. MapReduce

19. Propósito

20. E como é processado?

21. Livros técnicos sobre BigData

22. Livros sobre assuntos relacionados
22 |

23. Links e Assuntos relacionados
Links relacionados
• Lançamento do HDInsight
http://blogs.technet.com/b/microsoft_blog/archive/2013/10/28/
announcing-windows-azure-hdinsight-where-big-data-meets-the-cloud.aspx
• SQL Continues to Crash the BigData Party
http://visualstudiomagazine.com/blogs/data-driver/2013/11/sql-and-big-data.aspx
• Facebook SQL-on-Hadoop
http://gigaom.com/2013/11/06/
facebook-open-sources-its-sql-on-hadoop-engine-and-the-web-rejoices/
Sessões relacionadas
• PowerBI (Bruno Basto) – 13/11 – 18hs GMT (16hs Brasília)
• Self-Service BI (Manuel Dias) – 13/11 – 22hs GMT (20hs Brasília)
• Data-Driven (Rui Quintino) – 14/11 – 20h GMT (18hs Brasília)
23 |

24. Dúvidas?

25. Obrigado pela participação!