Serverless Architecture를 응용한 실시간 DW 플랫폼 구현 :: 서지형 :: AWS Summit Seoul 2018

1. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
서지형
(주) 해줌
Serverless Architecture를
응용한 실시간 DW 플랫폼 구현

2. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
발표자 소개
서지형
해줌 IT 사업실 백엔드 개발자
머신러닝 시스템 인프라 설계 및
구축
Cloud 시스템 설계 및 migration
linkedin.com/in/jihyeongseo

3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
이야기 할 내용들
태양광 IT 기업 해줌
Cloud Migration의 필요성
Serverless Architecture를
응용한 DW 플랫폼
QnA

4. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
태양광 IT 기업 해줌

5. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
해줌
해줌은
데이터 분석기술을
기반으로
태양광 확산을 주도하고
있는
국내 유일의
태양광 IT 기업입니다.

6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
태양광 시장의 급성장
1. 글로벌 태양광 보급
2016
7.0%
2022
10.5%
2030
20%
재생에너지 발전비중
2016
13.3GW
2022
27.5GW
2030
63.8GW
재생에너지 설비용량
정부의 다양한 정책 및 투자를 통한
태양광 보급 활성화
선진국 중심 시장에서 개도국으로 시장 확대 인도,
동남아시아, 북아프리카 등
2. 국내 태양광 보급
0
50
100
150
200
250
300
350
Gigawatts
Source: IEA PVPS.
Previous year’s capacityAnnual additionsTotal global capacity
2016
303
2015
228
2014
177
2013
137
2012
99
2011
70
2010
40
2009
23
2008
16
2007
8
+75
+51
+40
+38
+29
+30
+17
2006
6

7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
발전량 예측 필요성의 대두
0
0.5
1
1.5
2
2.5
3
3.4
Output
맑은 날 vs 흐린 날 발전량의 차이
흐린 날잘못된 예측량
06:20:00
06:50:00
07:20:00
07:50:00
08:20:00
08:50:00
09:20:00
09:50:00
10:20:00
10:50:00
11:20:00
11:50:00
12:20:00
12:50:00
13:20:00
13:50:00
14:20:00
14:50:00
15:20:00
15:50:00
16:20:00
16:50:00
17:20:00
17:50:00
18:20:00
18:50:00
19:20:00
19:50:00
실제 발전량과 예측발전량의 차이
 태양광 발전설비 증가에 따른 전력망 리스크
증가
초과발전 전력망 부하
미달발전 보조 전원 가동
 많은 유럽 국가에서 발전량 예측 의무화: 독일, 호주 등
 불필요한 비용을 줄이고, 수익성을 극대화하는 데에 정확한 발전량
예측기술은 필수

8. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
발전소
데이터
기상 데이터
DATA
해줌의 솔루션
전세계 모든 기후, 장소, 부품에서도 적용가능한
세계최고 수준 정확도의 태양광 발전량 분석 기술
발전소모델링
일사량
예측기술
음영 분석 기술발전량 예측
Solar map SaaS Monitoring ForecastingService

9. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Cloud Migration의
필요성

10. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
온프레미스 환경의 한계
사업 확장 고속화 대응의 어려움
- 추가적인 H/W 구매 및 유지보수
- IT 운영 인력의 증가
외부 위협요인에 취약
- 정전
- 인터넷 회선 장애
- H/W 고장
- 그 외 기타요인

11. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS
De facto standard
다양한 Region 지원
01
쉬운 Interface
02
많은 User
03
많은 Reference 자료
04

12. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Serverless Architecture를 응용한 DW
플랫폼

13. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
온프레미스 DW 플랫폼 구조
DATA
PROCESSING
기상데이터 수집
발전소 데이터
수집

14. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS cloud
초기 Cloud 구성도
Data
수집
Amazon
EC2
Amazon
RDS
Amazon
EC2
Amazon
RDS
Amazon
EC2
Amazon
EC2
LIFT AND SHIFT?
1. EC2 관리
2. Scalability
단
점
Not Cloud Native

15. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
재구성(1)
Amazon
RDS
Amazon
CloudWatch
AWS
Lambda
event
(time-based)
수집 및 Data processing
수집
Data

16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
재구성(1)
AWS cloud
Amazon
CloudWatch
event
(time-based)
Async한 작업을 위한
코드 리팩토링 및 분산화
수집
수집 및
Data processing
…
Worker
AWS
Lambda
Manager
Amazon
RDS
Data

17. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon
DynamoDB
재구성(2)
Amazon
CloudWatch
AWS cloud
… 수집 및
Data processing
이 부분에서는
Scalability가
해결되지 않는다.
수집한원본데이터저장의필요성
- Data Processing 디버깅
- Data Validation
확장 가능한 NoSQL
(AWS DynamoDB)를 사용
Worker
수집
AWS
Lambda
Manager
event
(time-based)
Amazon
RDS

18. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
최종구성도
AWS cloud
Amazon S3
Amazon
DynamoDB
Amazon
CloudWatch
AWS
Lambda
event
(time-based)
Manager …
수집Worker
…
Data
Processing
Worker
수집 Worker Lambda와 Data processing Worker Lambda 분리!
수집
event

19. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Serverless Architecture를 통한 DW 플랫폼 구축의 이점
01
Lambda(128mb)
$ 0.38
저렴한 요금
Lambda(128mb)
$ 1.26
- EC2(m4.2xlarge) EC2(t2.nano)
월 이용요금 $ 288 $ 4.176
현재
- EC2(m4.2xlarge)
월 이용요금 $ 576
1년 후 예상 (발전소 2배 증가)

20. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Serverless Architecture를 통한 DW 플랫폼 구축의 이점
02
- 온프레미스 ServerlessAchitecture
데이터 수집 1회
소요시간
420초 18초
빠른 속도
약 23배 빨라짐

21. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
As-Is and To-Be
DW 플랫폼 migration
모니터링 시스템 초기
구축
발전량 예측 플랫폼
이관
모니터링 시스템
구축
01 As-IS 02 To-Be

22. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
QnA