스톰을 공부하기 이전에 빅데이터와 하둡에 대한 개념 정리를 위한 발표자료

1. Big Data & Hadoop
김태우
fb.com/taewoo.kim.3910829
taewook1124@gmail.com

2. Definition of Big Data (1)
• From Wikipedia
>> 기존의 DBMS 로 관리할 수 없는 대
량의 정형 또는 비정형 데이터 집합
>> 위와 같은 데이터로부터 가치를 추
출한 뒤 결과를 분석하는 기술

3. Definition of Big Data (2)
• From Udacity
>> it's data that‘s too big to be
processed on a single
machine.
• The 3 Vs
>> Volume : 데이터의 크기
>> Variety : 데이터의 다양성
>> Velocity : 데이터의 생성 및 처리
속도

4. Definition of Hadoop
• From Wikipedia
>> 대량의 자료를 처리할 수 있는 큰 컴퓨
터
클러스터에서 동작하는 분산 응용 프로그램
을
지원하는 오픈 소스 프레임워크

5. Core Hadoop
MapMap
ReduceReduce
Store
In
HDFS
Process
With
Map Reduce

6. Hadoop Distributed File System
BLK_2
BLK_1
BLK_3
File
Chunk 단위로 분할
NameNode
DataNode
Cluster

7. Map Reduce
Mappers
Index 를 통해서 Key – value 형태의
intermediate record 를 생성
Shuffle and
Sort
Reducers
Result
intermediate record 를
Reducers 에게 전달
Key 값과 Key 에 해당하는
모든 value 를 가짐

8. What I’ll do
• Do tutorial
>> Set up
>> Examples run
• And more...
>> Udacity.com
>> github