http://www.db-tech-showcase.com/tokyo_2016_jp

1. ヤフー株式会社
データ＆サイエンスソリューション統括本部
杉山 朋広
Yahoo! JAPANのデータ基盤とHadoop

2. 自己紹介
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2
杉山 朋広
（すぎやま ともひろ）
2002年
ヤフー株式会社中途入社
2002年ー2011年
Yahoo!ウォレットの開発・運用
Yahoo! JAPAN IDのログイン・登録・DBの運用
2012年ー現在
Hadoopクラスタの構築・運用
広告集計システムの開発
広告システム向けのデータプラットフォームの構築

3. >3000万 MAU
>100 services
2億 商品数
82%
of PC users
74%of smartphone users
100以上
DUB
No.1App publisher ※1
>8000万
※1 ゲームアプリケーションを除く

4. Copyright (C) 2016 Yahoo Japan Corporation. All Rights
Reserved. 無断引用・転載禁止
4

5. Copyright (C) 2016 Yahoo Japan Corporation. All Rights
Reserved. 無断引用・転載禁止
5

6. Agenda
• データ基盤の概要
• データ基盤の歴史
• 次世代基盤
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6

7. Agenda
• データ基盤の概要
• データ基盤の歴史
• 次世代基盤
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7

8. データ基盤の概要
日本有数の規模
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8
S3互換ストレージ
6000
nodes
2000
nodes
200
dbs
500
dbs
1.7
PB
1500
nodes

9. データ基盤の概要＞Hadoop利用の歴史
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9
スケールの問題と共に成長
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFS

10. データ基盤の概要＞Hadoop利用の歴史
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 10
スケールの問題と共に成長
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFSHadoop以前 黎明期 導入期 データ爆増 これから

11. Agenda
• データ基盤の概要
• データ基盤の歴史
• 次世代基盤
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 11

12. データ基盤の歴史＞Hadoop以前
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 12
Hadoopがデータ基盤に採用される前の時代
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFSHadoop以前 黎明期 導入期 データ爆増 これから

13. データ基盤の歴史＞Hadoop以前
高性能なストレージを中心に置いた設計
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 13
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Teradata
ORACLE
MySQL
Network
Storage
Batch
C++
Batch
perl
Batch
php
• ストレージをスケールインすることで性能を向上
• バッチ処理は独自の分散フレームワーク
• クエリエンジンはRDBが主流
• 独自の分散フレームワークの限界・・

14. データ基盤の歴史＞黎明期
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 14
Hadoopをはじめて投入
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFSHadoop以前 黎明期 導入期 データ爆増 これから

15. データ基盤の歴史＞黎明期＞Hadoop
内製分散システムの限界からHadoopを選定
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 15
• 既存の分散フレームワークの限界
• 事業部ごとに予算化し、10〜100ノード程度のHadoopクラスタを個別に保有
• ストレージのI/O軽減にも寄与
レガシーシステム Hadoop
最大並列数 30ノード 4,000ノード
分散フレームワーク 内製で開発 hadoopがサポート
開発リソース 内製 オープンソース
開発範囲
分散フレームワークと
アプリケーション
アプリケーションのみ

16. データ基盤の歴史＞黎明期＞データ基盤
予算がある部門による検証段階
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 16
• Hadoopは事業部予算で10〜100ノード程度のクラスタが乱立
• 部門の予算では100ノードくらいが限界
• 予算とスケーラビリティの限界・・
Hadoop
(x10〜x100)
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Teradata
ORACLE
MySQL
Network
Storage
Batch
C++
Batch
perl
Batch
php

17. データ基盤の歴史＞導入期
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 17
クラスタを集約しコストを最適化
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFSHadoop以前 黎明期 導入期 データ爆増 これから

18. データ基盤の歴史＞導入期＞Hadoop
大きなクラスタを共同利用
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 18
Hadoop x 1000
• 事業部予算から全社共通な予算へ
• マルチテナンシーを実現するためにHadoop Securityに対応
• 空いたリソースを有効活用
Hadoop
x100
Hadoop
x50
事業部A
Hadoop
x50 Hadoop
x30
事業部B
事業部A
リソース
35%
事業部B
リソース
25%
事業部C
リソース
20%
共通
リソース
20%

19. データ基盤の歴史＞導入期＞データ基盤
全社基盤化により利用促進
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 19
• ストレージからアップロードする機能をサポート
• 事業部のアプリケーションが直接ストレージにアクセスしなくなった
• 予算がない部門も利用可能に
• Hadoopへの使用率が加速・・
Hadoop
(x1000)
Hadoop
(x10〜x100)
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Network
Storage
Teradata
ORACLE
MySQL

20. データ基盤の歴史＞データ爆増期
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 20
本格的なデータ利活用のはじまり
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFSHadoop以前 黎明期 導入期 データ爆増 これから

21. データ基盤の歴史＞データ爆増期＞Hadoop
クラスタの全体最適化
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 21
Hadoop
(x3000)
Hive/Tez
(x700)
• メインのクラスタのノード数を増強
• SLAが厳しいサービスに特化したクラスタを用意
Hadoop
(x1000)
アドホック 定常ジョブ 高SLA アドホック 定常ジョブ 高SLA
Data

22. データ基盤の歴史＞データ爆増期＞データ基盤
データ利用の効率化を促進
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 22
Web
Server
Web
Server
Web
Server
Data
Pipeline
(Y!Inc
origin)
Hadoop
(x3000)
ObjectStore
(YJ origin)
cassandra
Hive/Tez
Network
Storage
• Hadoopクラスタの増強
• 高SLAなサービスには専用クラスタを提供
• Hive, cassandraなど次世代のデータストアを導入
Teradata
ORACLE
MySQL

23. データ基盤の歴史＞まとめ
性能・コストの最適化からマルチビッグデータへ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 23
開発リソースのフォーカス
全社基盤化による性能・コスト最適
データ集約によるマルチビッグデータ基盤の実現

24. Agenda
• データ基盤の概要
• データ基盤の歴史
• 次世代基盤
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 24

25. 次世代基盤
Caption
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 25
技術革新による最適化
一部の部署
で先行利用
マルチテナ
ント化
分析データ
拡張
タイムライン型
コンテンツ＆広告
0
10
20
30
40
50
60
70
80
90
100
0
1,000
2,000
3,000
4,000
5,000
6,000
2009 2010 2011 2012 2013 2014 2015 2016
RowHDFSStorage(inPB)→
NumberofNodes→
Nodes HDFSHadoop以前 黎明期 導入期 データ爆増 これから

26. 次世代基盤
最適化の３要素
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 26
効率化
設備投資
進化

27. 次世代基盤＞設備投資
積極的な設備投資
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 27
効率化
設備投資
進化
設備投資額(億円)
１８０
2012年度 2015年度
３８０

28. 次世代基盤＞効率化
DC・HW・SWの相乗効果による効率化
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 28
データセンター
ハードウェア
ソフトウェア
✖️ ２
✖️ ２
✖️ ２
✖️ ８効率化
設備投資
進化

29. 次世代基盤＞効率化
コストの削減と性能向上の施策
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 29
海外DC利用で電力コスト圧縮
保守性重視から性能重視へ
HadoopやCassandraの開発
データセンター
ハードウェア
ソフトウェア
効率化
設備投資
進化

30. 次世代基盤＞進化
トップベンダーとの開発協力
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 30
効率化
設備投資
進化

31. 次世代基盤＞進化
シリコンバレー拠点の開設
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 31
効率化
設備投資
進化

32. 次世代基盤＞データ基盤
パイプラインのOSS化・コモディティ化
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 32
Web
Server
Web
Server
Web
Server
New
Data
Pipeline
(Kafka cluster)
Hadoop
Stream
Platform
• データ取得においてもストレージ依存を脱却
• ストリーム処理基盤の追加
• Hadoopだけでなく、KVS,RDBも適材適所で活用
Tez
llap
ObjectStore
(YJ origin)
cassandra
Hive/Tez
Teradata
ORACLE
MySQL

33. 次世代基盤＞まとめ
ROIを引き上げデータ基盤の課題を解決
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 33
キャパシティの上限を増やす
コスト効率を上げる
進化のスピードを上げる
⇒ 設備投資
⇒ 技術革新
⇒ パートナー・SV拠点

34. Copyright (C) 2016 Yahoo Japan Corporation. All Rights
Reserved. 無断引用・転載禁止
34

35. Copyright (C) 2016 Yahoo Japan Corporation. All Rights
Reserved. 無断引用・転載禁止
35