JJUG CCC 2017 Fall http://www.java-users.jp/ccc2017fall/ PrestoはDesign Patternを幅広く使っている、ソースコードは理解しやすいです。 Builder、Factory、Singleton、Iterator、Interpreter、Template Method、VisitorなどのDesign Patternを活用しています。 今回はTemplate Method、Visitorを中心に、この２つDesign Patternの概念・使い方とPrestoソースコードの実例を紹介します。

1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
2017年11月20日
ヤフー株式会社 クエリエンジンチーム 曾臻
sso@yahoo-corp.jp
Design patterns
in presto

2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
2
• 自己紹介
• Presto紹介
• Design Patterns in presto
• Template Method
• Visitor

3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
自己紹介
名前 ： 曾 臻
所属 ：ヤフー株式会社 D&Sソリューション
統括本部 クエリエンジン
経歴 :
Presto開発・運用
広告システム開発
SIer
3

4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
4
• 自己紹介
• Presto紹介
• Design Patterns in presto
• Template Method
• Visitor

5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Presto紹介
• 100% オープンソースの分散式ANSI SQL クエリエン
ジン
• Facebookが公開した
• パフォーマンス＆スケーラブル
• Hadoopだけではなく、違うプラットフォームのデー
タもアクセス可能
• Apache licensed, hosted on GitHub
5

6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
6
• 自己紹介
• Presto紹介
• Design Patterns in presto
• Template Method
• Visitor

7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Design Patterns in presto
PrestoはBuilder、Factory、Iterator、
Singletonなどのパターンを活用してい
る。
今回は主にTemplate Methodと
Visitorパターンを紹介したい。
7

8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Design Patterns in presto
8
Source:[Head First Design Patterns] - O'Reilly Media
オブジェクトの生成に関するパターン
プログラムの構造に関するパターン
オブジェクトの振る舞いに関するパターン

9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
9
• 自己紹介
• Presto紹介
• Design Patterns in presto
• Template Method
• Visitor

10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Methodとは何？
定義：
ある処理のおおまかなアルゴリズムをあ
らかじめ決めておいて、そのアルゴリズ
ムの具体的な設計をサブクラスに任せる
ことである。
10 Source : https://ja.wikipedia.org/wiki/Template_Method_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3

11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method例１
Template Method パターンの目的は、ある
処理のおおまかなアルゴリズムをあらかじ
め決めておいて、そのアルゴリズムの具体
的な設計をサブクラスに任せることである。
11

12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method例１
12
https://gist.github.com/zz22394/1e5a097253db10f606dbbed8075c00f5
具象クラスは複数個作って良い

13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
• Prestoソースコードの中のTemplate Method
パターンを分析してみる。
• AbstractOperatorBenchmark
• AbstractArrayBlock
13

14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
14
AbstractOperatorBenchmark

15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
15

16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
16

17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
17

18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
18

19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Presto
19

20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
• JavaのTemplate Methodの実例を話す
• HttpServlet
• JUnit
20

21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
21
http://www.codejava.net/java-ee/servlet/uml-class-diagram-of-httpservlet-api

22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
22

23. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
23

24. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
24

25. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
25
• Junit
http://junit.sourceforge.net/doc/cookstour/cookstour.htm

26. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method in Java
26

27. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Template Method のまとめ
27
• 抽象クラスのテンプレートでアルゴリズム
の不変な部分を実装し、具象クラス内で
可変な部分を実装。
• 共通処理は抽象クラスに集約されるので、
ソースコードが再利用される

28. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Agenda
28
• 自己紹介
• Presto紹介
• Design Patterns in presto
• Template Method
• Visitor

29. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンとは？
29
Visitor パターンは、オブジェクト指向プログラミング およびソフトウェ
ア工学 において、 アルゴリズムをオブジェクトの構造から分離するための
デザインパターンである。分離による実用的な結果として、既存のオブ
ジェクトに対する新たな操作を構造を変更せずに追加することができる。
基本的には Visitor パターンは一群のクラスに対して新たな仮想関数をク
ラス自体を変更せずに追加できるようにする。そのために、全ての仮想関
数を適切に特化させた Visitor クラスを作成する。Visitor はインスタンス
への参照を入力として受け取り、ダブルディスパッチを用いて目的を達す
る。

30. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンクラス図
30
https://ja.wikipedia.org/wiki/Visitor_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3

31. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
31
Visitor:アルゴリズムをオブジェクトの構造か
ら分離する
練習問題：
車Objectがある。車の運転と検査仕組みを
それぞれ書く。

32. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
32

33. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
33

34. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
34

35. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
35
InspectVisitor/DriveVisitorがそれぞれの形で
visitXXXメソッドを実装した

36. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
36
InspectVisitor/DriveVisitorがそれぞれの形で
visitXXXメソッドを実装した

37. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンの例１
37
メリット：データ構造と処理が分離された。
ある日「洗車機能を追加したい」
と言われたら、新しいVisitorで簡単に対応できる。

38. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
38
• Visitor パターン例
• Visitor in presto

39. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
39
• Prestoの実行計画生成の流れ

40. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
40

41. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
41
背景：NodeのAST（抽象文法木）はどうやっ
て作られた？
例：あるSQL文
SELECT ROW_NO,START_TIME FROM TBL_01

42. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
42
ANTLR4

43. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
43

44. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
44

45. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
45

46. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
46

47. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
47

48. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
48

49. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor in presto
49

50. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Visitor パターンのまとめ
50
• 複雑なパターン
• 利用のハードルは比較的に高い
• 向いているユースケース：データオブジェ
クト構成が大きく変わらない、且つデータ
オブジェクトに対しての操作がよく変わる
（あるいは複数パターンの操作がある）

51. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
EOP