게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022

© 2022, Amazon Web Services, Inc. or its affiliates.
GAMES ON AWS 2022
오 승 용
Head of Data Platform
Devsisters Corp.
게임의 성공을 위한
Scalable 한 데이터 플랫폼
G A M E S O N A W S 2 0 2 2 – T R A C K 0 4

GAMES ON AWS 2022
발표자 소개
오 승 용 SeungYong Oh
데브시스터즈
VP of Engineering / Head of Data Platform
쿠키런 서버 개발자로 데브시스터즈 합류
쿠키런 오븐브레이크 런칭 멤버
2

GAMES ON AWS 2022
• 글로벌하게 사랑받는 Cookie Run 시리즈의 개발사/퍼블리셔
• 글로벌 누적 이용자 2억명 돌파!
• 쿠키런: 킹덤
• 4천만명 이상의 글로벌 유저
• Pocket Gamer Mobile Game Awards - People's Choice
• 2021 대한민국 게임대상 최우수상
3

GAMES ON AWS 2022
오늘 다룰 주제: 데이터 플랫폼의 Scalability
• 쿠키런: 킹덤이 런칭하자마자 데이터 트래픽이 n00배+
• 그런데 데이터플랫폼 개발자는 3명 (킹덤 런칭 기준, 지금은 많아요 ㅎㅎ)
• 어떤 선택을 거쳐 데이터플랫폼이 살아남고 게임의 성공에 기여했는가?
4

GAMES ON AWS 2022
Contents
1. 데브시스터즈의 데이터플랫폼 소개
2. 분석 환경의 Scalability 높이기
3. 데이터 인프라의 Scalability 높이기
4. Scalable 한 데이터플랫폼으로 게임의 성공에 직접적으로 기여하기
• 두 가지 Scalability 관점으로
▪ 인프라/서비스의 Scalability 확보 관점 n00+배의 트래픽에 대응하기 위한 아키텍처
▪ 사람의 Scalability 확보 관점 사람이 가장 Scalable 하지 않은 요소
5

GAMES ON AWS 2022
사람의 Scalability 란? = Toil 줄이기
6
• 사람이 가장 Scalable 하지 않음
▪ 뽑기도, 유지하기도..
• Toil (=고역, 잡일) 없애기
▪ Overhead (팀 미팅, HR서류작업 등) 와 달리,
서비스 운영에 필요하면서도 매뉴얼, 반복적이고,
자동화 가능하며, 서비스 성장에 따라 선형적으로 커지는 일
▪ Toil을 줄이기 위한 기술적, 문화적 선택을 통해
사람의 Scalability 를 확보
https://sre.google/sre-book/eliminating-toil/

GAMES ON AWS 2022
데브시스터즈의
데이터플랫폼
7

GAMES ON AWS 2022
게임에서의 데이터 플랫폼?
• 게임서버 로그, DB, 클라이언트, 써드파티 등으로부터 다양한 데이터를 수집하고
• 활용가능한 형태로 적절히 가공하고 쌓아 두어
• 다양한 니즈에 맞게 활용할 수 있는 방법을 제공하고
• 이를 통해 게임의 개발, 운영과 성장에 필수적인 다양한 문제를 해결
할 수 있는 플랫폼
8

GAMES ON AWS 2022
9
데이터 스토리지
Data Source 로그 수집 / 전처리
Apache Kafka
& Kafka Streams
준실시간 데이터 검색 / 분석
Data Warehouse
Storage
Data Mart
Storage
Data Lake
Storage
Elasticsearch
데이터 소비자
TEAM DEV 구성원
경영진
PD / PM
게임 디자이너
클라이언트/백엔드
DevOps
QA 엔지니어
고객지원팀
BI Analyst
데이터 과학자
마케터
...
데이터 기반
서비스들
데이터 적재 / 가공
카탈로그
AWS Glue Amazon Athena
Logstash Kibana
대시보드
& Ad-hoc 분석 서비스
Servers
Client
Apps
Web
3rd Party Apps
(ex. User attribution)
Operational
Databases
Other Sources
(ex. Google Sheets)
쿼리 서비스
Data Platform Overview

GAMES ON AWS 2022
데이터플랫폼의 활용 예: 지표 및 분석
10
• 분석가 / DW Engineer 가 지표를 만들 수 있는 환경
▪ 주요 KPI 지표 (AU, NU, 매출, 리텐션, ..)
▪ 게임 별 세부 지표 (기능별 참여도, 어뷰징, ..)
▪ 마케팅 세부 지표 (유저 ROI, LTV, ..)
• Adhoc 분석 환경

GAMES ON AWS 2022
데이터플랫폼의 활용 예: 로그 검색
클라 개발자: “음 뭔가 서버에서 응답이 이상하게 오는데 확인해주세요!”
서버 개발자: “서버 로그 한번 봐야겠는데.. 잠시만요”
vs.
11

GAMES ON AWS 2022
데브시스터즈의 데이터플랫폼
• 처음에는 쿠키런 게임 서버팀 내 하나의 영역으로 시작
• 데브시스터즈의 게임/서비스들이 다변화되기 시작하면서
여러 서비스에서 같이 활용 가능한 데이터 플랫폼으로 확장
• 게임 팀이 빠르게 게임을 개발하고, 성공할 수 있도록 돕는 내부 제품들을 개발
12

GAMES ON AWS 2022
Part 1.
분석 환경의
Scalability 높이기
13

GAMES ON AWS 2022
분석 인프라 (Gaming on AWS 2018)
14

GAMES ON AWS 2022
• 요약
▪ Kafka 로 로그 수집
▪ Spark (Scala) 을 통해 전처리해 S3 적재 (Parquet)
▪ PySpark 을 통해 Data Warehouse, Data Mart Table 적재 (Parquet)
▪ Athena 로 Parquet Table 을 쿼리하여 지표 대시보드에 사용
▪ Airflow 로 Spark Job Scheduling
분석 인프라 (Gaming on AWS 2018)
15

GAMES ON AWS 2022
• 여러 게임을 서비스하며 데이터의 유형과 사용이 다양/복잡해짐
• BI 조직을 셋업, DW Engineer 와 비즈니스 분석가 직군 합류
Python/Spark 기반 분석 환경의 한계
16
기존 팀 협업 모델
게임 팀
데이터 팀
데이터 엔지니어 데이터 과학자
변경된 팀 협업 모델
BI 팀
SQL-first
데이터플랫폼 팀
Python-first
BI 팀이 ETL 작업을 추가하려면
데이터플랫폼팀 개입이 필수적
게임 팀들
게임 팀들

GAMES ON AWS 2022
• DW 엔지니어가 직접 작업을 개발하고 배포하기 어려운 상황
• 데이터플랫폼 엔지니어의 병목, DW 엔지니어의 생산성 저하
• 여러 가지 고민들
▪ 별도로 Data Warehouse (Redshift, MSSQL, ..) 를 셋업하고 Data Lake 와 연동?
▪ DW 엔지니어에게 Python 을 교육?
Python/Spark 기반 분석 환경의 한계
17

GAMES ON AWS 2022
• Glue Catalog + Spark Thrift Server 기반의 SQL 쿼리 환경
• 기존 EC2 Spark -> Spark on k8s (with dynamic allocation)
✅ 인프라 프로비저닝을 신경쓰지 않고 SQL 쿼리 실행 가능
해결책 1: Spark SQL 기반으로 SQL 환경을 지원하자
18
Kubernetes Forum Seoul 2019:
Re-architecting Data Platform with Spark on Kubernetes
https://youtu.be/7MPH1mknIxE

GAMES ON AWS 2022
• Airflow 위에서 SQL Task 정의를 위한 별도 프레임워크 개발
19
-- query.sql
CREATE TABLE IF NOT EXISTS dw.login (
user_id string
date date
) PARTITIONED BY date
INSERT OVERWRITE TABLE dw.login
PARTITION (date = '{{ date_kst }}')
SELECT ...
FROM ods.login
# task.py
class LoginTask(SQLTask):
source_tables = ["ods.login"]
target_table = "dw.login"
start_date = "2022-10-01"

GAMES ON AWS 2022
• Airflow 위에서 SQL Task 정의를 위한 별도 프레임워크 개발
▪ SQL 기반으로 손쉽게 Task 를 생성하고, 의존성을 정의해 DAG 생성
▪ Jinja 기반 렌더링을 지원
▪ Unit Testing & GitOps & CI/CD
✅ DW 엔지니어가 Spark SQL 기반의 ETL 작업들을 직접 손쉽게 관리
✅ 데이터플랫폼 엔지니어의 병목 해소, 대응 부담 해소
20

GAMES ON AWS 2022
그러나 여전히 아쉬운 점들..
Parquet
• UPDATE / DELETE 불가 → 전체 재적재 필요
• 한 개 row만 수정/삭제하고 싶은데, 불가능하므로
파티션 하나를 통째로 drop & insert
• 컬럼 삭제/수정 불가
• 테이블 메타 정보가 제한적
Spark SQL
• PySpark의 함수들 중 지원되지 않는 경우가 있음
• 예: replaceWhere()
• 자유로운 쿼리(e.g. PL/SQL) 사용 불가능
21

GAMES ON AWS 2022
• Delta Lake
▪ ACID Transactions
▪ Upserts / Deletes
▪ 다양한 Metadata API
▪ 다양한 최적화 지원
– Compaction
– Z-Ordering
해결책 2: Delta Lake 기반의 Data Lakehouse
22
https://www.databricks.com/blog/2019/08/21/diving-into-delta-lake-unpacking-the-transaction-log.html

GAMES ON AWS 2022
해결책 2: Delta Lake 기반의 Data Lakehouse
23
• Databricks 로 Spark Runtime 을 Migration
• Delta Lake 로 기존 Parquet 기반 테이블들을 Migration
✅ Spark 실행 환경, Parquet 의 제한 사항들을
운영/서포트하기 위한
데이터플랫폼 엔지니어의 부하 경감
✅분석가, DS, DWE 등 다양한 사용자들이
SQL Query, Notebook 등 환경과 툴로 능동적 액션
https://www.databricks.com/blog/2022/02/23/get-to-know-your-queries-with-the-new-databricks-sql-query-profile.html

GAMES ON AWS 2022
Part 2.
데이터 인프라의
Scalability 높이기
24

GAMES ON AWS 2022
• 별도로 CDC 하지 않고 스냅샷만 S3 적재:
운영과 맥락의 비용 절감
• Aurora: S3 Parquet Export 기능 사용
• CockroachDB (킹덤 주 DB)
▪ n십 TB 규모 – Spark 으로 분산 처리하여 스냅샷 생성 및 ETL
DB 파이프라인
25
Amazon Aurora
Amazon S3
(Parquet)
Amazon ElastiCache
(Redis)
Amazon S3
(rdb)
CockroachDB

GAMES ON AWS 2022
로그 수집/검색/적재 파이프라인
26
Web
Frontend
Game
Client
VM &
Containers
Kubernetes
Cluster
Log
Collector
Server
Apache Kafka &
Kafka Streams
Logstash Elasticsearch
Kibana
Amazon S3
User Log
Query
Service
Apache Spark
준실시간(<10초)
~최근 2주간의 로그 저장
로그 메세지 큐
& 전처리 (Streams)
약 3일간의 로그 저장
3rd Party
Services
Servers
Clients Data Warehouses
로그 장기 저장
로그 수집 / 전처리
로그 검색 / 조회
로그 적재

GAMES ON AWS 2022
로그 수집의 Scalability 올리기
• 2016년 <쿠키런: 오븐브레이크> 글로벌 런칭 후
Kafka 로 인한 프로덕션 서비스 장애
▪ Kafka 의 Disk 가 찼는데 알람 설정 오류로 인지하지 못함
▪ Kill switch 의 작동 오류
• 이외에도, 로그 개발자의 Kafka 이해도 요구,
로그 스키마 관리가 되지 않아 발생하는 다양한 이슈들
▪ 특정 필드의 타입 충돌 -> 다양한 인프라의 이슈 발생
▪ 로그 사용자 입장에서 로그의 종류와 필드의 의미를 찾기가 힘듦
27
Game
Servers
Apache Kafka

GAMES ON AWS 2022
로그 수집의 Scalability 올리기 (cont’d)
• Kafka 의 장애가 서비스에 직접적 영향이 없고 신뢰 가능한 구조로
➔ 서비스와의 decoupling 이 필요
• 각각의 로그 생산/사용 주체가 Kafka 에 대한 지식 없이 쓸 수 있도록
➔ 로그 생산자에게 Kafka 의 interface 를 노출시키지 않아야 함
• 최소한의 로그 퀄리티가 모든 파이프라인에 걸쳐 유지될 수 있도록
➔ 자동화된 검수와 전처리가 필요
28

GAMES ON AWS 2022
해결책 1: Agent 기반의 수집 구조
✅ 서버에서의 로그 수집을 Host Agent (EC2) / DaemonSet (K8s) 기반으로,
Agent 가 로그를 수집하도록 변경
29
Apache Kafka
EC2 instance / Kubernetes Worker Node
App 1
App N
Filebeat
Agent
Docker log
Docker log

GAMES ON AWS 2022
해결책 2: Kafka Streams 기반의 전처리/검수
Filebeat 등 로그 생산자로부터 온 로그를 전처리하고 최소한의 퀄리티 보장
✅ 스키마 이슈가 있는 로그를 격리
✅ 공통 로그 포맷에 맞게 로그 전처리
30
로그 생산자
(서버, 클라,..)
Kafka Topics
Raw Log
Topics
Kafka
Streams
Transformed
Topics
Malformed
Topics
Schema
Store

GAMES ON AWS 2022
해결책 3: 쓰기용/읽기용 Kafka 클러스터 분리
Producer-faced / Consumer-faced 클러스터를 분리하여,
✅ Spark batch read 중 producer 영향 같은 이슈를 decoupling
✅ 각 클러스터의 목적에 맞게 최적화 가능
31
Kafka “Writer” Cluster
(Producer-faced)
Kafka “Reader” Cluster
(Consumer-faced)
Mirror
Maker
로그 생산자
(서버, 클라,..)
로그 소비자
(Elastic,
Spark, ..)

GAMES ON AWS 2022
“숙제를 미룬다고 사라지지 않는다”
• 데이터 파이프라인에 일단 데이터가 들어오면
내보내야함
▪ 처리하거나 버리거나
• 처리 한계를 넘어서는 순간, 지연 해소까지 오랜
시간이 걸림
32
처리 한계

GAMES ON AWS 2022
해결책: 컴포넌트별 특성에 따른 트래픽 급증 대응 정책
• Kafka (Producer-faced) 를 신뢰성 있는 Buffer 용도로 사용
• 이후 단계 어플리케이션은
▪ 빠르게 n 배 확장할 수 있게 하거나 (예: Kafka Streams)
▪ 사전 (혹은 이슈 발생에 따라) SLA 를 기반으로 지연시키거나 버리기
33

GAMES ON AWS 2022
• 데이터 인프라에서 대부분의 컴포넌트가 Stateful
• 최대한 Storage 와 Compute 가 분리가능한 구조를 사용
▪ 분리 정도에 따라 인프라의 Scalability 가 상당부분 결정됨
▪ (거의) 완전히 분리 가능 – 예: Apache Spark + Amazon S3
▪ 제한적으로 확장 가능 – 예: Apache Kafka (AWS EC2 / EBS Storage)
▪ 인스턴스 단위로만 확장 가능 – 예: Elasticsearch (AWS EC2 / Local Storage)
Storage 와 Compute 의 분리
34

GAMES ON AWS 2022
데이터 인프라 운영의 Scalability 올리기
• Stateless 의 경우는 이미 Autoscaling 그룹 등으로 운영 자동화했지만,
Stateful Application 들은 제약이 많음
• Stateful Application 특성상 in-place upgrade / 작업이 빈번
• 작업자의 맥락 인지 비용이 높음
35

GAMES ON AWS 2022
해결책: Terraform 과 Ansible 을 이용한 IaC
• 코드가 진실의 근원이 되어, 맥락 팔로업 / 변화사항 인지비용을 최소화할 수 있도록
• 대부분의 EC2 기반 Stateful Application 에서,
▪ (Terraform) Auto-scaling group 의 기능을 제한적으로 활용/정의
▪ (Terraform) Instance userdata 기반 Provisioning 자동화 (service discovery, cluster join, ..)
▪ Rolling 하기 어려운 in-place 작업의 경우 Ansible 로 진행, Terraform 에 후반영
▪ Custom Resource 들은 custom terraform provider / in-house 스크립트로 해결
36

GAMES ON AWS 2022
Part 3. 실전:
Scalable 한 데이터플랫폼으로
게임의 성공에
직접적으로 기여하기
37

GAMES ON AWS 2022
Case 0. 실전 운영
• 사전에 (대박을 상정한) 부하테스트에도 불구하고 예상보다 많은 유저 인입
• Kafka Peak 트래픽이 런칭 전 2MB/s -> 런칭 이후 300MB/s 로 급격한 증가
• 일일 로그 적재량이 (원본 로그 기준) n00GB -> 10TB+
✅ 핵심 컴포넌트 SLI 100% 유지
✅ 유의미한 지연 없이 데이터 적재 및 처리
38

GAMES ON AWS 2022
Case 1. 킹덤, 총 56시간의 긴급 점검
• DB conf (1차), AWS AZ 오류(2차) 로 storage 영역 일부에 corruption / 유실 발생
• Replicated data 를 이용해 복구 가능했지만 데이터 규모가 매우 큼 (8 TB)
• Spark r5.8xlarge 350대를 이용, 빠른 복구 성공
• 로그 기반으로 유저의 상태 재현, DB 무결성 검증 완료
39

GAMES ON AWS 2022
Case 1. 킹덤, 총 56시간의 긴급 점검 (cont’d)
• 점검 오픈 직후 유저 트래픽의 폭발적인 인입
• Kafka 는 정상적으로 기능 – 로그 기반으로 이후 CS 이슈 대응
40
NDC 2022:
쿠키런: 킹덤,
총 56시간의 긴급 점검 회고
https://youtu.be/AZbCZ2KOcwU

GAMES ON AWS 2022
Case 2. 다양한 운영 이슈 대응과 분석
• N천만명의 유저 로그와 DB 데이터를 분석할 수 있는 환경
• 운영상 발생한 다양한 이슈들을 데이터 기반으로 대응, 유저와의 신뢰 유지
▪ 특정 유저의 문의에 대한 CS 대응부터
▪ N십~N백 TB 단위의 전체 유저 데이터 분석을 기반으로 하는 대응까지
41

GAMES ON AWS 2022
Case 2. 다양한 운영 이슈 대응과 분석 (cont’d)
• 분석가가 유저의 패턴들을 대규모로 분석할 수 있어서,
게임팀에서 데이터 기반으로 유저의 몰입과 게임의 성장을 위한 액션들을 진행
42

GAMES ON AWS 2022
Case 3. 데이터플랫폼을 활용한 조건부 아이템 지급
• 쿠키런 IP 를 공유하는 게임들 간의 Cross Game Promotion
• 처음에는 게임 서버 –> 플랫폼 서버 간 API 로 조건 달성 여부 전달
▪ -> 부하 발생, Sync API 여서 응답 시간 지연 이슈
• Kafka 를 consuming 하여 로그를 기반으로
조건 달성 여부 확인,
부하를 줄이고 조건의 자유도도 높임
43
https://tv.naver.com/v/23650703
Deview 2021: 데이터 드리븐으로 서비스 운영 100% 자동화하기

GAMES ON AWS 2022
이 모든 과정 중에서도
✅ 주요 지표 (NU, AU, 리텐션, 매출, …) 는 유의미한 지연 없이, 자동으로 송출
✅ 킹덤 뿐 아니라, 다른 게임들도 정상적으로 서비스
44

GAMES ON AWS 2022
Next Steps
45

GAMES ON AWS 2022
Wrap-Up
• 사람과 인프라의 Scalability 를 확보하거나 우회할 수 있는 다양한 옵션들을 통해
▪ SQL 기반의, 분석가/DW 엔지니어가 능동적으로 사용 가능한 Spark 분석 인프라
▪ N백 배의 트래픽 증가를 버텨낼 수 있는 데이터 인프라 아키텍처
• 이를 통해 폭발적인 성장의 시기에도 Scalable 한 데이터플랫폼을 구축하고
• 게임의 성공에 직접적으로 기여할 수 있었음
46

GAMES ON AWS 2022
만약에 킹덤과 같은 게임이 N 개 존재한다면?
• 지금보다 데이터플랫폼의 대응성 업무와 데이터의 맥락을 줄여야 함
• 이를 위해서는
▪ 사용자에게 자유도를 주어 데이터플랫폼의 self service 가 가능하고
▪ 데이터플랫폼 개발자와 사용자의 Toil 을 줄여나갈 수 있는 환경 필요
47

GAMES ON AWS 2022
We are Hiring!
48
https://coo.kie.run/data-career

GAMES ON AWS 2022
Thank you!
오승용
데브시스터즈
seungyong@devsisters.com

게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022

Ähnlich wie 게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022 (20)

Mehr von Amazon Web Services Korea

Mehr von Amazon Web Services Korea (20)

게임의 성공을 위한 Scalable 한 데이터 플랫폼 사례 공유 - 오승용, 데이터 플랫폼 리더, 데브시스터즈 ::: Games on AWS 2022