Amazon DocumentDB vs MongoDB 의 내부 아키텍쳐 와 장단점 비교

DATA SPECIAL WEBINAR – DOCUMENTDB & MONGODB
© 2022, Amazon Web Services, Inc. or its affiliates.
Amazon DocumentDB
vs MongoDB의
내부 아키텍쳐와
장단점 비교
이덕현
Database Specialist Solutions Architect
AWS

• MongoDB Internals &
Replica Set & Sharding
• Amazon DocumentDB Internals
• Overview
• Best Practices
• Pros & Cons of DocumentDB & MongoDB
Agenda
• Migration MongoDB to Amazon DocumentDB

Overview
3

Amazon DocumentDB (with MongoDB compatibility)
4
기본 활성화 된 백업 기능
내구성 기본 적응
고가용성 기본 내재화
보안 모범 사례 기본 적용
자동 패치
모니터링과 경고
완전 관리형

5
확장성
몇 분 안에 컴퓨팅 확장
스토리지와 IO 자동 확장
스토리지 64TiB 까지 자동 확장
15대 까지 읽기 복제본 확장

6
애플리케이션, 드라이버 및 도구는 변경 없이
Amazon DocumentDB와 함께 사용
수백 개의 API, 연산자 및 단계 지원
고객이 필요로 하는 기능을 제공하기 위해
지속적으로 역방향 작업
MongoDB API 호환

MongoDB
DB Engine Ranking AWS Market Place
7

Schema-less
8
tableA {
userNumber int
,userCellPhoneNumber char(13) }
RDBMS 에 비해서 IO 가 큰 폭으로 증가할 수 있으며,
DB Buffer 에도 상대적으로 적은 수의 document 가 존재
-> 성능상 취약해 질 가능성 큼 DB는 IO
RDBMS
1row 당 17 byte
MongoDB
1row 당 46 byte
(_id 포함 58byte)

Modeling Pattem
Embedded Data Model Reference Data Model
9

• MongoDB Internals &
Replica Set & Sharding
10

MongoDB 데이터 쓰기
Transaction
Page Cache
1
2 3
Eviction
Block
Manager
Reconciliation
CheckPoint
0 1 … n
+
Checkpoint 이후 삭제
=> 4.0부터 Journal 필수
Disk
SNAPPY
Buffer Pool – 전체 메모리의 50%
Hazard
Pointer
A2
B3
Skip
List
TRX 12
TRX 9
TRX 3
Journal -> 비정상 종료 시,
복구에 사용

MongoDB CheckPoint
Data Block
Data Block
Data Block
Data Block
Data Block
원본
{“item”:”apple”,
num:1}
{“item”:”orange”,
num:1}
{“item”:”banana”,
num:5}
Skip List
num:4}
TRX
10
num:3}
TRX
6
num:2}
TRX
3
Data Block
원본
num:4}
num:3}
Merge
Dirty Page
Check
Point
- 60초
- 저널로그 20G

MongoDB 데이터 읽기
Transaction
Page Cache
Eviction
Block
Manager
Reconciliation
CheckPoint
0 1 … n
+
Checkpoint 이후 삭제
Journal
Disk
SNAPPY
Buffer Pool
Hazard
Pointer
A2
B3
Skip
List
TRX 12
TRX 9
TRX 3
1
decomp
ression
SNAPPY
2

MongoDB 캐시 이빅션
D
D
D
D
Eviction Eviction
FOREGROUND
=> 쿼리 처리 성능 저하
BACKGROUND
WiredTigerLAS.wt
더티페이지

Cursor 와 Tcmalloc
– Cursor
– Tcmalloc
spinlock_total_delay_ns

Read Write Ticket
– Read & Write Ticket

Replica Set 구조
Primary
Secondary Secondary
- Primary
− Secondary
복제
복제
Heartbeat

Replica Set 특징
<5개 멤버 중 3개 이상 멤버의 투표 필요> - 2개 서버 FAIL까지 보장
<6개 멤버로 늘어나면 4개 이상 멤버의 투표 필요> - 2개 서버 FAIL까지 보장

Replica Set 특징
Primary
Secondary Secondary
- Primary
− Secondary
복제
복제
Heartbeat

Sharding 데이터 읽기
• sort() X: 각 샤드로부터 받은 결과를 순서대로 반환
• sort() 포함: 정렬 수행 후 mongos로 반환 ( 정렬 의 주체는 상황에 따라 다름)
Mongos
Shard
(N~Z)
Config
Shard
(A~M)
Query Query
Merge
Client
①
②
③
④

Sharding
Type, Date
Key Space for (Type,Date)
Chunk1 Chunk2 Chunk7 Chunk8
{ Type :1
Date :2018-09-20 }
{ Type :1
Date : 2018-11-20 }
{ Type : 2,
Date : 2017-08-20 }
{ Type : 5
Date : 2017-11-20 }
type:1
Date:
2018-10-17
type :2
Date:
2018-10-17
type : 4
Date:
2018-10-17
Chunk 1 : { type:1, datetime : 2018-09-20 ~ type:2, datetime : 2017-01-19 }
Chunk 2 : { type:2, datetime : 2017-10-20 ~ type 5, datetime : 2016-01-19 }
Chunk 3 : { type:5 datetime : 2018-11-20 ~ type:8, datetime : 2018-02-19 }

Sharding 제한
– 유니크 인덱스
– 단일 도큐먼트 수정 작업

Sharding Split
– splitVector
– splitChunk
Key Space for (Shardkey)
{ key:1 } { key :100} { key :130}
나뉘어지는 샤드키 전체를
BSON으로 변환
①
②
split 기준 설정(중복값 무시) Config
③
Update
④
①
②
③
④

Chunk Balancing
– 정의
– Balancing Process

Sharding 종류
– 레인지 샤딩
– 해시 샤딩

Task Executor Pool
– Task Executor Pool
while true;
do
echo ======`date`;
/home/ssm-user/db/mongodb/bin/mongo --port mongosport admin -uuserid -
ppassword --eval '
result=db.runCommand( { "connPoolStats" : 1 } );
result1=result.hosts;
for(key in result1){
print(key,result1[key].inUse)};'|grep -v -e connecting -e MongoDB -e session;
sleep 1;
done;

• Amazon DocumentDB
Internals
27

Architecture
스토리지/컴퓨팅
분리
API
Query processor
Caching
Logging
Storage
Log writes
컴퓨트
레이어
스토리지
레이어
분리

Architecture
API
Query processor
Caching
Logging
Storage
Log writes
디커플링( Decoupling)
Scale compute
Scale storage
분리
분리
컴퓨트
레이어
스토리지
레이어

Architecture
컴퓨트
스토리지
분산 스토리지 볼륨
AZ1 AZ2 AZ3
Instance
(primary)
Reads
Writes
r6g.large
분리

Architecture
AZ1 AZ2 AZ3
Instance
(primary)
Reads
Writes
r6g.large
Instance
(replica)
Reads
r6g.large
분리
컴퓨트
스토리지

Architecture
AZ1 AZ2 AZ3
Instance
(primary)
Reads
Writes
r6g.large
Instance
(replica)
Reads
Instance
(replica)
Reads
r6g.large
r6g.large
분리
컴퓨트
스토리지

Architecture
Compute
Storage
AZ1 AZ2 AZ3
Instance
(primary)
Reads
Writes
r6g.large
Reads
Instance
(replica)
Reads
r6g.2xlarge
r6g.large
Instance
(replica)
분리

Architecture
AZ1 AZ2 AZ3
Instance
(primary)
Reads
Writes
r6g.2xlarge
Instance
(replica)
Reads
Instance
(replica)
Reads
r6g.2xlarge
r6g.2xlarge
분리
컴퓨트
스토리지

Architecture
Instance
(replica)
AZ1 AZ2 AZ3
Reads
Instance
(primary)
Instance
(replica)
Reads
Writes
Reads
Eventual
consistency
Eventual
consistency
ACK
db.foo.insert({’x’:1})
복제
컴퓨트
스토리지

Architecture
Instance
(replica)
AZ1 AZ2 AZ3
Reads
Instance
(primary)
Instance
(replica)
Reads
Writes
Reads
AZ 장애:
내구성
컴퓨트
스토리지

Global Clusters
Reads
Reads
Replication
Service
Reads
Reads
Writes
Reads
Replication
Service
Reads
Reads
Replication
Service
db.foo.insertOne({}) {“x”:1}
db.foo.find({}) {“x”:1}
글로벌 복제: Up to 5 secondary regions
낮은 복제 지연: Typically < 1 sec
빠른 복구: Typically < 1 min downtime
호환성: V 4.0 and later
글로벌 리더 인스턴스: Up to 90
(primary region)
(secondary region) (secondary region)
Seoul
Oregon Tokyo

Fast database cloning
Page
1
Page
2
Page
3
Page
4
Source Database
Page
1
Page
2
Page
3
Page
4
Cloned Database
Page
1
Page
2
Page
3
Page
4

Best Practice
39

Aggregation $match
filtering
• Aggregation pipeline filtering ( $match ) 을 통해서
그 다음 단계의 파이프라인으로 보내는 데이터 양을 최소화
• SQL query 에서 where 와 같은 역할 하는 함수
• Aggregation 의 최상단에 $match 배치하도록 쿼리 튜닝 필요
• Match 조건에는 반드시 적절한 index 전략 필요

Aggregation blocking
• Aggregation pipeline 은 streaming 방식으로 데이터 단위로 전달
• 단, 일부 집계함수는 전체 데이터의 수집이후 시작하므로 해당 stage 가
aggregation pipeline 의
쿼리 실행 시간 증가의 주요 원인이 됨 -> blocking stage 의 최소화 ($sort , $group)
Source collection
Aggregation#1
Aggregation#2
Aggregation#4
Aggregation#3 Blocking Aggregation Pipeline stage type
$group , $sort ,$count

MongoDB Concern
- primary-secondary-arbiter 구성의 경우 off 로 변경 권장
Client 에서 read concern 사용 못함

MongoDB Concern
- sharding 에서 secondary 에서 read operation 할 경우 read concern 설정 필요
(default read concern 사용 X )

Paging Query
> var showPage = function(page){
... return db.orders.find().sort( { "_id": -1 } ).skip((page-1)*2).limit(2);
... }
> showPage(1)
{ "_id" : 6, "item" : { "category" : "brownies", "type" : "blondie" }, "amount" : 10 }
{ "_id" : 5, "item" : { "category" : "cake", "type" : "carrot" }, "amount" : 20 }
> showPage(2)
{ "_id" : 4, "item" : { "category" : "cake", "type" : "lemon" }, "amount" : 30 }
{ "_id" : 3, "item" : { "category" : "cookies", "type" : "chocolate chip" }, "amount" : 15 }
> showPage(3)
{ "_id" : 2, "item" : { "category" : "cookies", "type" : "chocolate chip" }, "amount" : 50 }
{ "_id" : 1, "item" : { "category" : "cake", "type" : "chiffon" }, "amount" : 10 }

Paging Query

• Migration MongoDB to
Amazon DocumentDB
46

Migration ( dump & restore)
Mongodump Mongorestore
47
./mongodump --host=localhost --port=30011 --
username=admin --password=‘ ' --
authenticationDatabase=admin --db=ldhtest1 --gzip --
out=/home/ssm-user/ldh
./mongorestore --host=mongodbtest.cluster-cgxmlfj5cocx.ap-
northeast-2.docdb.amazonaws.com --port=27017 --
username=ldhadmin --password='test1234' --
authenticationDatabase=admin --gzip /home/ssm-user/ldh

Migration ( DMS)
Source endpoint Target endpoint
48

Migration ( DMS)
Create Replication Instance Create Database Migration task
49

• Pros & Cons of
DocumentDB & MongoDB
50

Pros & cons of DocumentDB & MongoDB
Dirtypage 및 checkpoint 의 부하 없음
Secondary 의 buffer 거의 100% read 에 사용가능
Secondary 의 추가/삭제 스펙변경 용이
AWS 다른 서비스와 연동 편함
Sharding 지원
최신 버전 최신 기능 사용 가능
4.0 이하 버전의 일부 기능 documentDB 지원 안함 ( Full text search index )

Thank you!

Amazon DocumentDB vs MongoDB 의 내부 아키텍쳐 와 장단점 비교

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Amazon DocumentDB vs MongoDB 의 내부 아키텍쳐 와 장단점 비교

Ähnlich wie Amazon DocumentDB vs MongoDB 의 내부 아키텍쳐 와 장단점 비교 (20)

Mehr von Amazon Web Services Korea

Mehr von Amazon Web Services Korea (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Amazon DocumentDB vs MongoDB 의 내부 아키텍쳐 와 장단점 비교