AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
김필중
솔루션즈 아키텍트 / Amazon Web Services
AWS 기반의 대용량 실시간
스트리밍 데이터 분석
아키텍처 패턴

최근 데이터를 기반으로 발 빠른 결정
시간이 지남에 따라
그 가치를 빠르게 잃어가는 데이터
모바일 앱
앱 로그
측정 기록
IoT 센서
[Wed Oct 11 14:32:52
2000] [error] [client
127.0.0.1] client
denied by server
configuration:
/export/home/live/ap/
htdocs/test
지속적인 데이터 생산
의사 결정의 정보 반감기

스트리밍 데이터 처리 패턴
지속적으로 데이터 생성
스트림으로 지속적인
데이터 쓰기
무엇이든 대상이 될 수
있음
데이터 생산자
내구성 있게 데이터
저장
데이터 준비를 위한
임시 버퍼 공간 제공
매우 높은 쓰루풋 제공
스트리밍 서비스
지속적으로 데이터 처리
정리, 준비 및 집계
데이터를 정보로 변환
데이터 소비자
Mobile client Kinesis Amazon Kinesis app

Amazon Kinesis와 함께하는 스트리밍
비디오와 데이터 스트림을 실시간으로 손 쉽게 수집 및 처리, 분석
데이터 스트림을
분석하는 사용자 정의
애플리케이션 개발
Kinesis Data Streams
데이터 스트림을
AWS 데이터
저장소에 적재
Kinesis Data Firehose
SQL을 사용하여 데이터
스트림을 분석
Kinesis Data Analytics
분석을 위한 비디오
스트림 캡처 및 처리,
저장
Kinesis Video Streams

Amazon Kinesis Data Streams
Kinesis Streams로
데이터를 캡쳐하여
보냄
Kinesis Analytics나 Apache Spark 또는
EC2, Lambda를 이용한 사용자 정의의
실시간 어플리케이션을 작성
처리된 데이터를 저장하고
실시간 경보, 대시보드
등에 활용
• Easy administration: 새로운 스트림을 만들고 Shard로 원하는 용량 수준을 설정 가능
• Build real-time applications: Kinesis Client Library (KCL), Apache Spark / Storm,
AWS Lambda 등을 사용하여 대용량 데이터 스트리밍에 대한 지속적인 처리 수행.
• Low cost: 어떤 규모의 워크로드에도 비용 효율적임.

Amazon Kinesis Data Firehose
스트리밍 데이터
캡쳐 및 전송
선호하는 BI 도구를 사용하여
스트리밍 데이터 분석
Firehose는 Amazon S3, Redshift 및
Elasticsearch에 지속적으로 스트리밍 데이터 로드
• 애플리케이션을 개발/ 인프라 관리 없이 S3, Redshift 에 스트리밍 데이터를 전송.
• 간단한 설정으로 스트리밍 데이터를 60초내에 Batch 처리, 압축하고 암호화하여
데이터 저장소에 전송.
• 들어오는 소스 데이터를 변환하기 위해 람다 함수를 호출

Amazon Kinesis Data Analytics
• Kinesis Stream 또는 Firehose Delivery Stream에 쉽게 연결하고 SQL 검색
• 빅 데이터 스트리밍에 대한 지속적인 처리를 초단위로 수행
• 데이터 처리량에 따라 쉽게 확장
Kinesis Stream 이나
Firehose 에 접속
Data Stream 에서 표준
SQL 쿼리 수행
Kinesis Analytics는 처리 된 데이터를
analytic tool 로 보내어 경고를 생성하거나
실시간으로 응답

Amazon Kinesis 데이터 스트림
EMR/Spark
Custom code
on EC2
Amazon S3
Amazon
Redshift
Splunk
데이터
스트림을
수집, 저장
Kinesis Data
Streams
Kinesis Data
Analytics
데이터 집계,
필터, 강화
Kinesis Data
Firehose
데이터
스트림
전달
AWS Lambda
실시간
완전 관리형
확장성
안전성
비용 효율성
Amazon
Elasticsearch
Service

입력
Kinesis Data Firehose나
Kinesis Data Streams으로
스트리밍 데이터 캡쳐
Kinesis Data Analytics
데이터 스트림에 표준
SQL 쿼리를 적용
결과
처리된 데이터를 분석
도구로 보내어 경보 등
실시간으로 반응할 수
있게 함

Kinesis Data Analytics 애플리케이션
스트리밍 데이터 처리를 위해 SQL 코드를 쉽게 작성
스트리밍 소스에 연결
지속적으로 SQL 결과 전달

스트리밍 SQL: 스트림 (인-메모리 테이블)
CREATE STREAM calls_per_ip_stream(
eventTimeStamp TIMESTAMP,
computationType VARCHAR(256),
category VARCHAR(1024),
subCategory VARCHAR(1024),
unit VARCHAR(256),
unitValue BIGINT
);

스트리밍 SQL: 펌프 (연속 쿼리)
CREATE OR REPLACE PUMP calls_per_ip_pump AS
INSERT INTO calls_per_ip_stream
SELECT STREAM "eventTimestamp",
COUNT(*),
"sourceIPAddress"
FROM source_sql_stream_001 ctrail
GROUP BY "sourceIPAddress",
STEP(ctrail.ROWTIME BY INTERVAL '1' MINUTE),
STEP(ctrail."eventTimestamp" BY INTERVAL '1' MINUTE);

스트리밍 애플리케이션 패턴

스트림 처리: 3가지의 대표적 사용 사례
데이터가 생성 될 때 분석 수행
지속적인
지표 생성
실용적인 통찰력 통찰력을 기반으로 분석결과에 반응
스트리밍
수집-변환-적재
신속하고 저렴하게 분석 도구에 데이터 전달

스트림 처리: 3가지의 대표적 사용 사례
• 윈도우 분석 (예: 최근 5분간 X의 합)
• 세션화와 같은 이벤트 상관 관계
• 시각화
지속적인
지표 생성
실용적인 통찰력
• 데이터에 따라 이벤트 또는 경보를 발생
• 머신 러닝
• 실시간 피드백 루프
스트리밍
수집-변환-적재
• 원시 데이터를 대량으로 수집 및 적재
• 원자 변환
• 간단하게 데이터를 강화

1. 스트리밍 수집-변환-적재
예시
• Amazon S3로 로그 데이터를 수집 및 적재
• 클릭스트림 데이터 수집 및 정리, 데이터 웨어하우스에 유지
• IoT 센서, 장치 원격 측정 데이터 캡처 및 검증
핵심 요구사항
• 대용량의 소규모 이벤트를 내구성 있는 곳에 수집 및 버퍼링
• 간단한 변환 수행
• 효율적으로 데이터 보존 및 저장

AWS 네트워크 로그 분석
VPC
subnet
Amazon
CloudWatch
Logs
AWS
Lambda Kinesis
Data
Firehose
Amazon S3
bucket
Amazon
Athena
Amazon
QuickSight
VPC 흐름 로그
전달
집계 및 변환
근 실시간 질의 및
시각화
• 여러 단계로 데이터를 버퍼링 (데이터 생성자, Amazon Kinesis, 데이터
소비자)
• 사용 사례를 지원하는 데이터 형식을 선택 (JSON vs GZIP vs Parquet)
• 정확성 및 비용을 포함한 요소들과 지연 사이의 절충이 필요

2. 지속적인 지표 생성
예시
• 애플리케이션 로그를 사용하여 지표 생성
• Top 웹 페이지 또는 앱 화면을 위한 리더보드 구축
• 광고 노출 및 페이지 뷰와 같은 클릭스트림 분석
핵심 요구사항
• 늦거나 순서가 바뀔 수 있는 데이터로 정확한 결과를 생산
• 과거의 데이터와 결합된 결과
• 최종 사용자(기술자 및 비기술자 모두)에게 신속히 데이터를 제공

시계열 데이터 분석
• 데이터 생성자가 항상 온라인이 아닐 수 있으므로 늦거나 순서가 바뀔 수
있는 데이터를 고려
• 수집할 때의 이벤트 시간을 기준으로 사용
• S3 또는 Amazon Redshift 등에서 정적 데이터나 과거 데이터와 함께 결합
IoT sensor AWS IoT
RDS
MySQL DB
instance
Kinesis
Data
Streams
Kinesis
Data
Streams
Kinesis
Data
Analytics
AWS
Lambda function
매 10초마다 평균 기온 계산센서 데이터 수집
데이터베이스에
시계열 분석 저장

3. 반응형 분석
예시
• 리테일 웹사이트의 추천 엔진
• 지능적 장치 운영 및 경고
• 사용자의 행동 추세와 이상행동 감지
핵심 요구사항
• 낮은 지연으로 사용자와 기계에 통지
• 스트림을 통한 장기 실행, 상태가 있는 작업

실시간 이상 징후 감지 및 조치
• 확장되는 수집 및 처리를 통해 데이터 스트림 유지
• 알고리즘은 데이터 과학자의 대체물이 아니므로 데이터에 대해 높은 이해가
필요
• 앱 또는 사람이 ‘이유’를 파악하기 위해 데이터와 관련된 충분한 컨텍스트를
제공
Amazon
API
Gateway
Amazon
Kinesis
Streams
Amazon
Kinesis
Streams
Amazon
Kinesis
Analytics
Lambda
function
Amazon
SNS
email
notification
users
SMS
notification
SMS
클릭스트림 데이터 수집
이상 징후
감지 및 조치 사용자에게 알림

그 이외의 다양한 활용 사례
• 알람
• 문제 발생 시 수분 이내로 알기를 원함
• 문제해결
• 근 실시간으로 AWS CloudWatch Logs로 전송되는 로그와 크래시 기록들
• 대시보드
• 배포
• 새 버전의 앱 배포 후 실시간으로 사용자 반응 모니터링
• 데이터 공유
• 소비자는 실시간으로 새로운 데이터에 대한 알림을 받음
• 심층분석
• 스트리밍 데이터와 과거 데이터를 기반으로 ML 모델링, 예측 생성, 위험
감지

실시간 데이터 분석 예제
- 게임 로그 실시간 분석 -

아키텍처
Kinesis
Data
Stream
Kinesis
Data
Analytics
Kinesis
Data
Firehose
Amazon
Elasticsearch
Service
Amazon S3
EC2
Instance
Reference
Data
Kinesis
Data
Firehose
수집 분석 적재

게임 로그 데이터 수집
Kinesis Data StreamEC2 Instance
원시 로그 데이터
• 하나의 매치 (대전) 와
관련된 수십 개의
데이터들
• 매치 당 ~1KB
• KDA/WIN_LOSS 비율
등의 분석 결과에
대부분이 필요 없는
데이터들
Kinesis Stream 입력
• 관련된 데이터만
• 레코드당 7개의 속성
• 레코드당 ~250B 크기

SQL로 스트리밍 데이터에 접근
스트림 (STREAM)
• 테이블 (TABLE) 과 비슷
• 연속적인 데이터 흐름을 나타냄
CREATE OR REPLACE STREAM "GAME_LOG_STREAM" (
ID BIGINT, CHAR_NAME VARCHAR(20), KILLS INTEGER . . .
펌프 (PUMP)
• 연속적인 삽입 (INSERT) 쿼리
• 하나의 인앱 스트림에서 다른 곳으로 데이터를 삽입
CREATE OR REPLACE PUMP ”GAME_LOG_PUMP" AS
INSERT INTO "GAME_LOG_STREAM"
SELECT STREAM * FROM . . .

쿼리에서 참조 데이터 사용
char,class
Brasta,Fighter
Carle,Fighter
Ilthi,Tank
Erilalta,Wizard
Gaorz,Assassin
s3://summit-demo/char_class_map.csv
SELECT STREAM cc.”class"
FROM ”GAME_LOG_STREAM" gamelog
INNER JOIN ”CharClass" cc
ON gamelog.”CHAR_NAME" =
LOWER(cc.”char")
Kinesis
Data
Analytics
Reference
Data

스트리밍 데이터 수집 방법
• 스트리밍 분석의 일반적인 요구사항은 지정된 시간 내에
수집된 이벤트들을 대상으로 set 기반의 명령(count,
average, max, min 등)을 수행하는 것
• 보통의 데이터베이스처럼 테이블 전체를 대상으로 수집을
하기 힘듬
• 잠재적으로 끊임없는 스트림에서는 ‘윈도우 함수’로 부분
집합을 지정하여 처리

윈도우란?
• 윈도우는 고정된 길이
• 두 종류의 윈도우: 텀블링, 슬라이딩
아웃풋 레코드는 윈도우의 끝 시점의 타임스탬프 값을 포함
1 5 4 26 8 6 4
t1 t2 t5 t6t3 t4
Time
Window1 Window2 Window3
집계 함수 (Sum)
18 14
아웃풋 이벤트

두 가지 윈도우의 비교
아웃풋은 윈도우 끝에 생성
윈도우의 아웃풋은 사용된 집계 함수를 기반으로 한 단일
이벤트가 됨
텀블링 윈도우
시간 간격 별 집계
슬라이딩 윈도우
윈도우는 지속적으로 재평가됨

Kinesis Data Firehose로 출력
PREPROCESSED_STREAM
•CHAR_NAME
•KILLS_COUNT
•DEATHS_COUNT
•ASSISTS_COUNT
•KDA
•WIN_LOSS_RATIO
Amazon
Elasticsearch
Service
KibanaKinesis Data
Firehose

Kibana로 결과 시각화

Zynga 의 실시간 데이터 분석
사례

Zynga 의 실시간 스트리밍 데이터 분석
실시간 분석이 필요한 부분
: 지난 10분간 iMessage 플랫폼을 통해 게임을 설치한 사람이 몇 명인가?

인스톨 추적을 위한 아키텍처
게임 데이터
Kinesis
Data
Streams
Kinesis
Data
Analytics
Lambda
(전 처리)
Kinesis
Data
Streams
Lambda
(리더)
스트리밍 소비자
원시 데이터를 Kinesis Data Analytics
에서 집계 (aggregation) 하기 쉬운
형태로 변환
1. Parse 2. Match 3. Map

스트리밍 데이터
계산 용
SQL 스트림
합병 용 대상
SQL 스트림
대상
SQL 스트림
Kinesis Data Stream
전처리 된 결과
원시 데이터를
아웃풋 분류로 변환
rowtime, record time, source,
metric 등으로 그룹화. FLOOR를
사용하여 rowtime을 가까운
분으로 정규화 (tumbling)
분산된 여러 스트림을 병합하여
rowtime, time, source, metric
등으로 그룹화 (tumbling)
10분간 count, sum, average,
min, max 등을 계산
(sliding window)
집계된 데이터가
전송되며 Lambda로
작성된 리더가 읽어 감

시나리오
처리
800 190 10
12:00-12:01 12:01-12:02 12:02-12:0312:00-12:01
1000
입력 입력

Tumbling 윈도우 결과
처리
800 190 10
12:00-12:01 12:01-12:02 12:02-12:0312:00-12:01
1000
입력
12:01 - 800
입력
12:02 - 190
12:03 - 10

Sliding 윈도우 결과
처리
800 190 10
12:00-12:01 12:01-12:02 12:02-12:0312:00-12:01
1000
입력
12:00:00 - 1
입력
12:00:01 - 2
12:00:02 - 3
...
12:03:30 - 999
12:03:32 - 1000

멀티 윈도우 체인
처리
800 190 10
12:00-12:01 12:01-12:02 12:02-12:0312:00-12:01
1000
입력
12:01 - 800
입력
12:02 - 990
12:03 - 1000

멀티 윈도우 체인
• 1분 텀블링 윈도우 결과는 10분 슬라이딩 윈도우로 반영됨
• 데이터 레코드는 데이터 파이프라인을 통해 전파되기 까지 ~10분이
소요될 수 있음 (평균 ~3분 정도 소요)
…
GROUP BY
FLOOR((”SOME_DESTINATION_SQL_STREAM"."ROWTIME" - TIMESTAMP '1970-
01-01 00:00:00') MINUTE / 1 TO MINUTE),
"time", "source", "metric", "detail";
…
WINDOW W1 AS (
PARTITION BY "time", "source", "metric", "detail"
RANGE INTERVAL '10' MINUTE PRECEDING);

Kinesis 기반의 데이터 분석의 이점
• 관리형 서비스
• 상태 없는 디자인
• 느슨한 결합 (loose coupling)
• 확장 가능한 시스템
• 내결함성
• 고성능 시스템

이전 세션 기억하시나요?
“30분만에 만드는 AWS 기반 빅데이터
분석 애플리케이션”

손 쉽게 확장하는 AWS 기반 빅데이터 분석

분야 별 데이터 스트리밍 활용
분야
가속화된 Ingest-Transform-
Load/Data Lake
지속적인 지표 생성 기계 학습 및 실용적인 통찰
디지털 광고
기술/마케팅
퍼블리셔, 입찰자 데이터
집계
범위, 산출량, 전환율 등의 광고
지표
광고에 대한 사용자 참여,
최적화된 입찰/구매 엔진
IoT 센서, 장치 원격 측정 데이터
수집
운영상 지표와 대시보드 기기 운영 지능형 정보 및 경보
게임 온라인 데이터 수집 (예: 상위
10 플레이어)
대규모 멀티 플레이어 온라인
게임 (MMOG) 라이브 대시보드
리더보드 생성, 플레이어-스킬
매치
Consumer Online 클릭스트림 분석 노출 수 및 페이지 뷰와 같은
지표
추천 엔진, 사전 예방
보안 운영 데브옵스 도구, VPC Flog
Logs 수집
CloudWatch Logs 의 로그
데이터를 실시간으로 분석
이상 탐지

Kinesis를 활용하는 많은 고객들
연결된
장치로부터 매주
10억 개의
이벤트
근 실시간 주택
가치 평가
(Zestimates)
10초 미만으로
갱신되는 라이브
클릭스트림 대시보드
250개 이상의
사이트에서 매일
100GB의
클릭스트림
50ms 이하
응답으로 연간
50억 회의 광고
노출
하루 1,000만
건의 온라인
스타일리스트
처리
100개 이상의
마이크로서비스
간 통신
실시간으로
수십억 개의
네트워크 흐름
분석
IoT 예측 분석
근 실시간으로
게임 이벤트
분석

기존 솔루션과 쉽게 통합 가능

참고 자료
• Kinesis 홈페이지: https://aws.amazon.com/kinesis/
• Kinesis 데이터 생성기: https://aws.amazon.com/blogs/big-data/test-your-
streaming-data-solution-with-the-new-amazon-kinesis-data-generator/
• Kinesis Firehose 랩:
https://run.qwiklab.com/focuses/preview/1641?search=44727
• 로그 분석 솔루션 구축: https://aws.amazon.com/getting-
started/projects/build-log-analytics-solution/
• 블로그: https://aws.amazon.com/kinesis/firehose/blog-posts/

AWS Summit 모바일 앱과 QR코드를
통해 강연 평가 및 설문 조사에 참여해
주시기 바랍니다.
내년 Summit을 만들 여러분의 소중한
의견 부탁 드립니다.
#AWSSummit 해시태그로 소셜 미디어에 여러분의 행사
소감을 올려주세요.
발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로
공유될 예정입니다.
여러분의 피드백을 기다립니다!

AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018

Ähnlich wie AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018 (20)

Mehr von Amazon Web Services Korea

Mehr von Amazon Web Services Korea (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)

AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴::김필중::AWS Summit Seoul 2018