1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
2017年3月15日
ヤフー株式会社 クエリエンジンチーム 曾臻
Prestoクエリログの保存／
分析機能の構築

2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
2
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
3
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
１．自己紹介
4
名前 ： 曾 臻
所属 ：ヤフー株式会社 D&Sソリューション
統括本部 クエリエンジン
経歴 :
Presto開発・運用
広告システム開発

5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
5
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
２．現在の課題
6
 Prestoを再起動したらクエリログが消える
 クエリ情報の保存は上限がある
 JVMのMetrics分析が難しい

7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
7
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
8
最初の試み
• SYSTEMコネクターでクエリの履歴を取得
• 定期的にクエリ情報をほかのデータベースに保存
参考：https://prestodb.io/docs/current/connector/system.html
SELECT
*
FROM
system.runtime.queries;

9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
9
データの保存はまだ課題：
• 保存前にクラスターを再起動したら、クエリログが消える
• 頻繁すぎると、クラスターの負担になる
解決方法：
• クエリ実行でトリガーする

10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
10
去年からTeradata、日本テラデータとCoDevを行っている
アメリカ出張でBootcampを実施
Prestoの内部構成、開発手法等を教えてもらった
ハーバード大学も見学（頭が少し良くなった気がする）
日本に戻った後でも活発的に交流している

11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
11
コミュニティのエンジニアと意見を交換
1. EventListenerでクエリログ保存
2. JMXコネクターでJVMのMetrics保存
EventListener: https://prestodb.io/docs/current/develop/event-listener.html
JMX: https://prestodb.io/docs/current/connector/jmx.html

12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
12
PrestoのPluginを開発し、
クエリ情報をJSONファイルに保存

13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
13

14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：クエリログ
14
クエリログの保存：
Frontend
UI
Presto
Coordinator
Presto
Worker
Presto
Worker
Presto
Worker
Object
storage
(2) Run queries and write logs
(3)Use Fluentd plugin
to send logs(1) HTTP requests

15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：JMX
15
JVM情報もPresto JMXコネクターを
利用して、簡単に取れた。
しかしどうやって保存？
参考：https://prestodb.io/docs/current/connector/jmx.html

16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：JMX
16
JMX情報保存の流れ：
JVM Metrics
→Fluentd plugin + Presto JMX Connector
→ Fluentd s3 plugin
→ 社内Object Storage

17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
３．Prestoログの保存：JMX
17
JMX情報の保存：
Presto
Coordinator
Presto
Worker
Presto
Worker
Presto
Worker
Object
storage
(2) Run queries and write logs
(3)Use Fluentd plugin
to send logs
(1) JMX Connector（HTTP requests）
select * from "java.lang:type=operatingsystem"

18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
18
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
４．Prestoログの分析
19

20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
４．Prestoログの分析
20

21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
４．Prestoログの分析
21
分析

22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
４．Prestoログの分析
22
• JSONをObject Storageに保存
• Hive MetastoreでTableを作成
• SQL文で、Slow Query／リソース利
用の分析

23. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
23
1. 自己紹介
2. 自己紹介現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

24. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
５．アーキテクチャ
24
Frontend
UI
Presto
Coordinator
Presto
Worker
Presto
Worker
Presto
Worker
Object
storage
(2) Run queries and write logs
(3)Use Fluentd plugin
to send logs
(1-1) SQL Query(HTTP requests)
(1-2)SQL with JMX Connector （HTTP requests）
Hive
metastore

25. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
25
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

26. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
６．まとめ
26
１）課題解決
• クエリ保存:Presto plugin 開発
• JMX情報保存:
JMX connector + fluentd plugin活用
２）OSSコミュニティとの交流
• 機能追加が順調にできた
• コミュニティへの還元もしていきたい

27. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
EOP