6. Zhong Hong, Vice President
We support about 50 agencies worldwide... Efficiency
is great but capability is even more crucial...
AWS is the perfect infrastructure and technology service
provider for entrepreneurial companies, both in terms of cost
efficiency and the ability to scale into demand
Christopher Amen-Kroeger, Senior
Vice President of Engineering
AWS Offers: Efficiency & Scale and
Innovation
7. “We run the RTB platform on more than 2,500 machines,
approximately eight hours a day globally, at a cost of less
than $0.05 per day per machine...”
“Because weʼre running on AWS, weʼre able to focus 95
percent of our staff on new product development. Using AWS
allows us to focus on innovating our platform and solving
customer problems.”
Valentino Volonghi, CTO AdRoll
Efficiency & Scale: Enabling Real
Time Bidding
8. Efficiency & Scale: RTB Data Collection
• Improved speed (mins to secs), simplicity & cost reduction
ü Reducing data latency to seconds
ü Ingesting approximately 150TB daily
9. Issue: Drastic changes in daily traffic volume (70%)
• AWS Answer
• Dynamically scale capacity
up and down
• Use Reserved Instances (RI)
• Purchase capacity at
significant discount (EC2
Spot Market – 70% off
market)
Efficiency & Scale: Economics of Spot Market
10. “AWS has enabled us to build an infrastructure
that is efficient, elastically scalable, low latency,
and redundant. AWS is a key partner of ours,
enabling TellApart to offer the fastest and most
scalable technology in display ad retargeting to
our retail clients.”
Mark Ayzenshtat, CTO TellApart
Efficiency & Scale: Economics of Spot
Market
11. Efficiency & Scale: AWS Global Reach
• “As new markets move their inventory to
programmatic we have to make sure we
are there as well. AWS helps us by being
able to roll out in new markets instead of
weeks and months...”
• Cristopher Sandberg, CTO Eyeota
Global Audience Platform
ü 1.5B user profiles
ü 30,000 publishers
16. New Ad Technologies: In Image
• New advertising formats IN-IMAGE
ü 400M daily visitors across 2,000 premium
publishers
ü 1 billion events (approximately 6 TB of data)
every day.
• “With AWS, we can smoothly process billions
of events daily with 24/7 reliability, and can
scale quickly to meet spikes in demand...”
• Ken Weiner Chief Technology Officer
https://aws.amazon.com/solutions/case-studies/gumgum/
18. New Ad Technologies: Location +
Mobile Ads
• “With AWS Lambda, our various
engineering teams can tap into a parallel
data stream to create microservices
independently from the main analytics
application. It helps us get new services to
our customers faster. For a startup, faster
time to market is key.”
• Mohit Dilawari Director of Engineering
Location driven mobile advertising
ü 37,000 apps
ü 3B devices worldwide.
https://aws.amazon.com/solutions/case-studies/localytics/
20. AWS Regions as Centers of Gravity
Advertiser
Ad
Exchange
Ad
Network
Publisher
Ad
Network
Ad
Network
Ad
Network
Advertiser
Publisher
Reasons:
ü Low latency
ü Lower traffic costs
ü Large scale secure
B2B data sharing
High Growth
in
ü Mobile
ü Video
21. AWS JP Ad Tech team is active again in 2016
• お隣韓国のAdTech担当とイベント共催の計画等をしています
– 登壇や事例紹介等でご興味があれば是⾮お声がけください!
22. Ad Tech in Korea
• Buzzvil: Ad Network
– EC2, ELB, RDS, S3 でスモールスタート
– その後 Auto Scaling, CloudFront, Lambda, DynamoDB, Kinesisなどを活⽤
23. Ad Tech in Korea
• IGAWorks: DMP
– AWSマネージドサービスを活⽤しモダンな構成に
24. Ad Tech in Korea
• IGAWorks: DMP
– re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS
https://www.youtube.com/watch?v=-F3Y68_RfWQ
25. Ad Tech in Korea
https://www.youtube.com/watch?v=-F3Y68_RfWQ
⽇本のアドテク企業様からも、
このようなグローバルな場で事例を出して、
よりプレゼンスを⾼めていただければ幸いです!
• IGAWorks: DMP
– re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS
26. AWS JP Ad Tech team is active again in 2016
• AWS Japanでも組織を強化しています
• 海外カンファレンスでAWSを利⽤しているグローバルのプレーヤーや
技術担当とのディスカッションの場なども提供していきます
– もし、出展の計画等ございましたらお声がけください!
27. Building a Real-Time Bidding Platform on AWS
• Whitepapers
– https://aws.amazon.com/whitepapers/
29. Building a Real-Time Bidding Platform on AWS
• Whitepaperの⽬的
– アーキテクト、広告主、そしてDeveloperがRTBを理解し、AWS上で構築
できるようになる
– お客さまがご利⽤になっているものに近いリファレンスアーキテクチャの
提⽰とRTB platform on AWSをはじめる上での付加的な情報の提供
42. Real Time Bidding on AWS
• Elasticity on AWS
– Amazon EC2
• 数分間で起動できるサーバーインスタンス
• トラフィックに応じたクイックなスケールアップ/ダウンが可能
• 解析処理をバッチで稼働させることも可能
– 稼働終了後インスタンスを落とせばその間は課⾦されない
• 予想不可能なスパイクにも対応可能
• ⻑期間のコミットメントや巨額の初期投資は不要
43. Real Time Bidding on AWS
• Low Latency Networking on AWS
– AWS Region
• Exchangeがある場所と同じ地域にあるAWS Regionを使うことで低レ
イテンシを実現
– AWS Direct Connect
• PublicなInternet回線を経由すると、jitter(イライラする)なレイテン
シが起こる可能性がある
• ExchangeとあなたのVPCをDirect Connect(DX)で結ぶことによって
⾼速で安定した接続を実現
– EC2 Instance type
• Enhanced networking with SR-IOV(拡張ネットワーキングの有効化)
– http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/enh
anced-networking.html
44. Real Time Bidding on AWS
• AWS Global Footprint
– AWSなら世界中のリージョンにRTBプラットフォームをデプロイ可
– デプロイメントサービスを利⽤できるのも⼤きなアドバンテージ
• AWS CloudFormation
– https://aws.amazon.com/cloudformation/
• AWS OpsWorks
– https://aws.amazon.com/opsworks/
• AWS Elastic Beanstalk
– https://aws.amazon.com/elasticbeanstalk/
– もし特定のリージョンで広告キャンペーンを持つことがなくなったのであ
れば、すぐにシャットダウン可能
• 次に利⽤する機会があれば直ぐに⽴ち上げ直すことも可能
• AWSは使った分だけの従量課⾦
45. Real Time Bidding on AWS
• The Economics of RTB on AWS
– RTB on AWSを改良していく⼀般的な⽅法
• Auto Scaling機能を使ったエラスティックなスケールの実現
• Spot Instancesを使ったコスト削減
– Spot Fleet APIの活⽤
» http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/
spot-fleet.html
– Spot Bid Advisorの活⽤
» https://aws.amazon.com/jp/ec2/spot/bid-advisor/
• リザーブドインスタンスによるコスト削減
• Direct Connectを使った外部との⾼速で安定したネットワーク接続
• Amazon DynamoDBを使ったダイナミックなスケールの実現
46. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– RTBプラットフォームについて理解し、そこで使われるコンポーネントが
どんなものか分かったところで、どのコンポーネントにどのAWSサービス
が使われていくか解説
– Bid Traffic Ingestion and Processing on AWS
• ⼊札リクエストの負荷分散にElastic Load Balancing(ELB)の活⽤
– ELBはAWSによるフルマネージドなロードバランサ
» 複数Availability Zoneへの振り分けを簡単に実現
» ヘルスチェック機能
• Auto ScalingやAPI/CLIを使ったスケールイン/アウト
– Whitepaper『Managing Your Infrastructure at Scale』に詳細
• オープンソースのBidderであるRTBkit(http://rtbkit.org/)
– EC2上に簡単にローンチ可能
47. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– Analysis Traffic Ingestion and Processing on AWS
• Amazon Kinesisへの直接のデータの取り込み、もしくは、ELB+EC2
でデータを取り込みpre-processingした後にKinesis Producerを使っ
てKinesisへフォワード
• Kinesis Client Library(KCL)を使ったKinesisストリームからのデータ
の取り出し
• Kinesis⇒S3(DurableなRepository)にデータを保存
• Amazon Kinesis Firehoseを活⽤すれば⼤量データのS3への保存プロ
セスを簡略化可能
48. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– Low Latency Data Repository on AWS
• AWS Managedサービスを活⽤
– Amazon DynamoDB
– Amazon ElastiCache
– Do-it-yourselfでEC2上にAerospike, Cassandra, Couchbaseといった
データベースを稼働させることは可能
• Amazon DynamoDBは⾮常に⼤きなテーブルを少ない管理系タスクお
よび⼈的な介⼊無しに運⽤可能
– DynamoDB Streamsを活⽤しリージョンをまたいだレプリケーションを
実現
– トランザクション量に応じたプロビジョンスループットの上げ下げ
» クラスタ管理等は不要。容易なコスト削減
» テーブル毎にスループットを設定可能
49. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– Amazon DynamoDB
• Hash KeyとRenge Keyを使ったユーザーのカテゴライズ例
– ユーザーIDをハッシュキー、ユーザーが属するセグメントをレンジキー
– ユーザーが属するセグメントによって⼊札価格を調整
50. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– Durable Data Repository for Long-Term Storage on AWS
• Amazon S3
– スケーラブル、セキュア、⾼可⽤性を実現。使った分だけの従量
課⾦
– Object Lifecycle Management
» 例) 7年経過したオブジェクトはAmazon Glacierへ
• Amazon Elastic MapReduce
– 分散データ処理基盤
– S3から直接データを読み込み、Apache Sparkといったオープン
ソースのツールを使って分析可能
• AWS Lambda
– S3にオブジェクトが配置されたイベントを元に、イベント・ドリ
ブンなプロセッシングの実現
– 今までのbatch-basedなアーキテクチャからの開放
51. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– RTB Analytics Platform on AWS
• 機械学習のアプローチを取られることが多い
– Spark MLlib on EMRが使われることが多い
» もちろん他のツールをEMR上で稼働させることも可能
– Amazon Machine Learning(Amazon ML)
» S3にあるLong-termなデータセットを使った分析が可能
• Whitepaper『Big Data Analytics Options on AWS』
• 分析のワークロードに⽤いられることが多いサービス
– Amazon Simple Workflow Service(SWF)
– AWS Data Pipeline
– AWS Lambda
52. Real Time Bidding on AWS
• Components of an RTB Platform on AWS
– Campaign Management on AWS
• いわゆるWell-ArchitectedなWebアプリケーション
• Bid-processingと同じようにシステムになることが多いが、永続化
データの可⽤性がより問われる
• Amazon RDS
– Oracle, SQL Server, Aurora, MySQL, PotgreSQL, そしてMaria DBをサ
ポート
– インストール、パッチあて、⽇次バックアップのような保守運⽤的なタス
ク、そしてMulti-AZの同期レプリケーションをサポート
• Amazon CloudFront
– コンテントデリバリネットワーク
– セキュアに素早く、ユーザーに⼀番近いエッヂの拠点からJavaScriptや広
告画像を配信することが可能