Case Study on AWS JavaScript SDK and DynamoDB

Cliff Chao-kuan Lu
<clifflu@gmail.com>
A Case Study:

 以超連結 (hyperlink) 代替引用
(attribution)
 引用外部內容均
◦ 已取得授權，或
◦ 包含原始連結，並在合理範圍內引用
 本文件原創內容以 CC-BY 3.0 釋出
2014/5/19
CC-BY 3.0, Cliff Chao-kuan Lu
<clifflu@gmail.com> 2

 Full-stack Web Developer
 AWS Solutions Architect
 Nerd
2014/5/19
about.me/clifflu

 Full-stack Web Developer
 AWS Solutions Architect
 Nerd
2014/5/19
about.me/clifflu
Level Up !!
Professional

 Intro
◦ AWS JS SDK
◦ IAM
◦ DynamoDB
 Case Study
◦ Headless Poller
2014/5/19

2014/5/19

這名字好長
2014/5/19

 很新
2014/5/19

 官網
 起自 AWS SDK for Node.js
 2.0 更名並支援 Browser
2014/5/19

 率先支援
◦ DynamoDB
◦ S3
◦ SNS
◦ SQS
 猛烈 rc 中
2014/5/19

AutoScaling, CloudFormation, CloudFront, Cloudsearch,
CloudTrail, CloudWatch, DataPipeline, DirectConnect,
DynamoDB, EC2, ElastiCache, ElasticBeanstalk, ElasticTranscoder,
ELB, EMR, Glacier, IAM, ImportExport, Kinesis, OpsWorks, RDS,
Redshift, Route53, S3, SES, SimpleDB, SNS, SQS, StorageGateway,
STS, Support, SWF
2014/5/19

2014/5/19

2014/5/19
國防布

 SDK for
◦ PHP, Python, Node.js
◦ Java, .NET,
◦ Ruby
 AWS SDK for Android & iOS
Dec. 8th, 2010
2014/5/19

2014/5/19

 Browser 直通 AWS
◦ 減低對 API Server 的需求
2014/5/19

 機房、機器、網路、電力很難搞
交給 Amazon Web Services 正好
 那 EC2 Instance 呢？
2014/5/19

 EC2 各種麻煩
◦ Load Balancing
◦ Types
◦ Contracts
◦ AutoScaling
 Parameters
 Pattern
2014/5/19

 太多 Gotcha
 每層服務、各層之間都要考慮
 複雜度可能變 M x N
2014/5/19

2014/5/19
example.com
ELB
Route53 CF
S3
Static
Content
Shared
Env
Auto Scaling
group
AMI
AZ 2
Web Servers S1 Secondary
S2 Secondary
Config
AZ 1
Web Servers
S1 Primary S2 Primary
Config
AZ 3
Web Servers
Config +
Arbitor
mongod

 將麻煩留給 AWS
◦ 第三方與服務端授權
◦ Scaling / HA
2014/5/19

 促成符合 SOA Pattern 之架構
2014/5/19
Web Page
HTML
CSS
JS
Authentic
ate &
Authorize
Services
1. Auth Request
3. Authorized Identity
2. Access Token

 容易整合其他服務
 IAM
 STS: Security Token Service
 WIF: Web Identity Federation
 DynamoDB, S3, …
 自有服務，SOA 嘛 O.o/
2014/5/19

 減低將 Access / Secret Token 打入
源碼的可能性
2014/5/19

 API
 IAM
 Services
2014/5/19

 RESTful, SOAP (deprecated)
 Dev Tools 是好朋友
2014/5/19

 安全乃第一要務
 不然會變成礦工 ˇˇ
2014/5/19

AWS 權限樞紐
2014/5/19

 Root User
 Group / IAM User
 Roles
◦ AWS SVC
◦ X-Account
◦ IdP
 Web
 SAML
2014/5/19

 Password
 MFA (Multi-factor authentication)
 Access / Secret Key Pair
 X.509 certificate
 3rd Party
◦ SAML
◦ Web Identity Federation
2014/5/19

2014/5/19

2014/5/19
 Effect: Deny | Allow
 Action:
◦ 允許呼叫的 API
 Resource:
◦ arn
 Principal
◦ 授權端限制
 Condition
◦ 其他限制

 for rule in rules:
◦ Explicit Deny -> Deny
◦ Explicit Allow -> Allow
◦ Default Deny
2014/5/19

2014/5/19
 格式
◦ 冒號分隔
◦ 首二節固定為 arn:aws
◦ Service
◦ Region
◦ Account
◦ Resource Identifier

 給路人甲的
◦ Access / Secret Key Pair
◦ Management Console 登入權限
2014/5/19

2014/5/19
不用怕被關

2014/5/19
Facebook,
Google 可也

 只接受下列驗證機制
◦ 表三家：Amazon, Facebook, Google
◦ SAML
 說明列表
 IAM Partners
2014/5/19

 Trust Relationships
◦ Identity Provider
◦ Client ID
 Permissions
2014/5/19

 用戶可透過第三方驗證與 IAM:STS,
WIF 授予調用 AWS API 之權限
2014/5/19

 WIF Playground
 Login with amazon
 AWS Documentation
◦ Using IAM
◦ Using STS
◦ SDK for JavaScript
2014/5/19

Managed NoSQL Service
2014/5/19

 Managed NoSQL Service
 取代 SimpleDB
 三本柱
◦ Scalable
◦ Available
◦ Fast
2014/5/19

 Scalar
◦ Number
{“N”: “300”}
◦ String
{“S”: “300”}
◦ Binary
{“B”: “BASE64”}
 Multi-valued
◦ Number Set
{“NS”: [“1”,”2”,”3.14”]}
◦ String Set
{“SS”: [“A”,”b”]}
◦ Binary Set
{“BS”: [“BASE64”]}
2014/5/19

 Document size: 64 KB (UTF-8)
 5 LSIs / 5 GSIs per Table
 Min throughput: 1
 Hash Key: 2 KB
 Range Key: 1KB
 BatchGetItem: 1MB or 100 items
 BatchWriteItem: 1MB or 25 items
2014/5/19

 Data Storage:
◦ 約是 S3 10x
 Provisioned Throughputs
◦ Reads：4kb
 循序可合併
 Eventually Consistent 消耗減半
◦ Writes : 1kb
2014/5/19

 Hash Key
 [opt] Range Key
2014/5/19
{“hash”: “a”, “range”: “123”, …}
{“hash”: “a”, “range”: “223”, …}
{“hash”: “a”, “range”: “321”, …}
{“hash”: “b”, “range”: “3”, …}
{“hash”: “b”, “range”: “22”, …}
{“hash”: “b”, “range”: “321”, …}

2014/5/19
{“hash”: “a”, “range”: “123”, …}
{“hash”: “a”, “range”: “223”, …}
{“hash”: “a”, “range”: “321”, …}
{“hash”: “b”, “range”: “3”, …}
{“hash”: “b”, “range”: “22”, …}
{“hash”: “b”, “range”: “321”, …}
SortedSharded

 Index Name
 Hash Key
 Range Key
 Projection
 Shared Throughputs
2014/5/19

 Index Name / Hash / Range Key
◦ 比照 LSI
◦ 不要求 uniqueness
 有自己的 Throughputs
 Eventual Consistency
 Projected Attributes
2014/5/19

 針對特定 Index (PK, LSI or GSI) 查詢
 支援 Condition
 支援 Filter
 高效
2014/5/19

 現適用於 scan 及 query
 消耗 throughput 不變
 減低 DynamoDB <-> Caller 傳輸
 boto 僅 boto.dynamodb2 支援
2014/5/19

 …
2014/5/19

 Upsert
 需包含 Primary Key
 Update: PATCH
 Put: POST (PUT)
 支援 Conditional Operation
2014/5/19

 支援 Conditional Operation
 用於刪除 Item
 若要刪除 Attribute，需使用
updateItem
2014/5/19

 “Expected”
 可實現 MVCC pattern
 配合 Document Atomicity 可模擬
transactional behavior (2-Phase
Commit)
2014/5/19

 updateItem
◦ AttributeUpdates
 Value
 Action:
 PUT
 DELETE
 ADD
2014/5/19

2014/5/19
 Item
 Attribute

2014/5/19
 Item
◦ “dynamodb:LeadingKeys”:
[“xxx”]
 Attribute
◦ “dynamodb:Attributes”:
[“xxx”,”yyy”]

 While True: Item.save(expect=…)
 1unit for Read / Write
2014/5/19

 Stats from
DynamoDB
2014/5/19

 CloudWatch 顯示低階數據
 `Expect` 不消耗 Read Unit
 允許 short burst
2014/5/19

 了解 DynamoDB 的
◦ 設計目標
◦ 調校
 Index
 Throughput
◦ 操作
◦ 計費
2014/5/19

終於到正題了 !?
2014/5/19

 Phil:
clifflu 你要不要講五月小聚
 Henry:
聽說 Cloudflare + wordpress 會爆炸
 clifflu:
好啊，就講這個吧
2014/5/19

 秒殺
 WP 看 location.href 重導頁面
 講不滿三十分鐘 ˇˇ
 只好調出備用題目
2014/5/19

 EC2 各種麻煩
◦ Load Balancing
◦ Types
◦ Contracts
◦ AutoScaling
 Parameters
 Pattern
2014/5/19

2014/5/19

 使用服務
◦ IAM, S3 (DynamoDB), CF
 Octopress / Jekyll !?
Clone Ruby 好像很遜 >///<
2014/5/19

 最新功能
 最冷門功能
 最好 Manual 沒有
2014/5/19

 前端
◦ Angular.js 潮
◦ OAuth 勁
 後端
◦ 從缺，帥
 資料
◦ DynamoDB，猛
2014/5/19

 前端
◦ Angular.js 潮
◦ OAuth 勁
 後端
◦ 從缺，帥
 資料
◦ DynamoDB，猛
2014/5/19
CloudFront

 申請 APP
◦ Amazon
◦ Facebook
◦ Google
 將 access_token 透過 STS 轉換為
Access / Secret Key Pair
2014/5/19

 欄位：uid, q_id, o_id
 Primary Key
◦ (uid, q_id) : unique 確保每人每題一票
◦ 選 uid 為 hash key
 Authentication
 Cardinality
2014/5/19

 updateItem (省略 callback)
2014/5/19
Primary Key
Upsert

 updateItem
2014/5/19

 正解：Worker，但霸氣不足
 需求：
◦ uid 不外漏
◦ affordable
◦ 快
2014/5/19

 建立 (q_id, o_id) 之 GSI
 禁止讀取 uid 欄位
 取出列數即為總票數
 循序讀取，節省 read capacity
2014/5/19

 LSI / GSI 必定包含 Primary Key
 透過 Query / Scan 取得 Item 時，必
須允許讀取 primary key
2014/5/19

2014/5/19

 運用 “select”: “COUNT”
 只計算票數，不取 Item body
 循序讀取
2014/5/19

 Document 沒寫
 Boto 沒使用
◦ dynamodb 實做了 query.count()，透過
取回 item 記數
◦ dynamodb2 未有類似功能
2014/5/19

 GSI Read Capacity, 1.5 !!??
2014/5/19

2014/5/19

2014/5/19
Throughputs Read Write
Table 1 5
GSI 19 5

2014/5/19
Throughputs Read Write
Table 1 5
GSI 19 5
Total #Reads
8kb data 消耗 1
投票消耗
GSI ~ Table
~6.6 USD/mo

 改用 Batched Query ?
◦ 不支援 select COUNT
 優化流程
◦ 資料更新
◦ 後台計票
◦ 操作介面
◦ PR please 
2014/5/19

今天沒有 bonus session
2014/5/19

回家記得念 Manual
2014/5/19


/clifflu/headless-poller
 簡報下載：
 AWS Doc
◦ IAM
◦ STS
◦ DynamoDB
API
2014/5/19

Case Study on AWS JavaScript SDK and DynamoDB

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Mehr von Cliff Chao-kuan Lu

Mehr von Cliff Chao-kuan Lu (15)

Case Study on AWS JavaScript SDK and DynamoDB