1. Elastic Stack Ver.6.3の紹介
2018/06/19
Acroquest Technology 株式会社
吉岡 洋
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Japan Elastic User Group 第1回

2. 自己紹介
 名前：吉岡 洋（よしおかひろし）
 所属：Acroquest Technology株式会社
(データアナリティクスエンジニア)
 領域：ビッグデータ分析／可視化
 その他：
─Microsoft MVP for Powershell（2006～2010）
─「Windows PowerShell宣言！」(2007)
─IBM Certified Specialist
IBM SPSS Modeler Professional（2014～）
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2

3. Acroquest Technology株式会社
1.新横浜にあるITベンチャー
2.事業（データ活用ビジネス）
①Elastic Stack活用支援サービス
– 日本唯一のElastic OEMパートナ
②IoTデータ分析プラットフォーム
③機械学習／AI
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3

4. Copyright © Acroquest Technology Co., Ltd. All rights reserved.
4
本日のテーマ
Elastic Stack Ver.6.3の紹介

5. More
Use Cases
Ver.6.3の新機能を３つのカテゴリーで紹介
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5
Easier
to Use
More
Efficiency
より多くの人に
使いやすく
1 2 3
ユースケースを
拡大する新機能
より効率的な
開発／運用

6. Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6
1. Easier to use

7. 1. Easier to use～より多くの人に使いやすく～
1. X-Pack
① X-Packのソースコード公開
1. Elasticsearch
① ElasticsearchへのSQLアクセスが可能に
② SQLからクエリを生成する「SQL Translate API」
2. Kibana
① KibanaからIndexの一括管理が実行可能に
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7

8. 1. Easier to use
X-Packのソースコード公開
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
8

9. 1. Easier to use
X-Packのソースコード公開
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9

10. 1. Easier to use
X-Packのソースコード公開
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10

11. 1. Easier to use
ElasticsearchへのSQLアクセスが可能に
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11

12. 1. Easier to use
ElasticsearchへのSQLアクセスが可能に
例）
POST /_xpack/sql?format=txt
{
"query": "SELECT * FROM tweets"
}
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12
※format=txt/csv/json/yaml（デフォルト：json）

13. 1. Easier to use
SQLからクエリを生成する「SQL Translate API」
例）
POST /_xpack/sql/translate
{
"query": "SELECT * FROM tweets where user='yoshioka'"
}
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13
複雑なクエリを書く前に、SQL Translate APIで
叩き台を生成するという使い方も可能。

14. 1. Easier to use
KibanaからIndexの一括管理が実行可能に
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
14
1. Elasticsearchでは運用業務の1つとして、
Indexのライフサイクル管理を行う必要がある
※これまではCUI(DevTools)から実行
① IndexのOpen／Close
② Hot／Warm Nodeへのデータ移動など
2. Ver.6.3からはKibana UIからIndexを一括管理可能
Active Read Only ClosedSnapshot Delete

15. Copyright © Acroquest Technology Co., Ltd. All rights reserved.
15
2. More Use Cases

16. 2. More Efficiency～活用ユースケースの拡大～
1. Kibana
① Vegaによる可視化表現の拡大
– 例）相関分析、関連の可視化、グラフ間連動、売上分析
② Dashboardの機能強化
– Dashboardのレイアウトグリッドの改良
– TimePickerのカスタマイズ
– 入力コントロールの連動機能
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
16

17. 2. More Use Cases
Vegaによる可視化表現の拡大
1. Vegaとは
① インタラクティブな可視化表現を作成するための宣言型Web言語
2. できること
① データのロード／変換
– Elasticsearch／JSONファイル／CSVファイル
② 様々なインタラクティブな可視化表現の描画
③ 作成した可視化表現はVisualizeとして保存できる。
Dashboardへの配置も可能
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
17

18. 2. More Use Cases
Vegaによる可視化表現の拡大
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
18
Vega Example

19. 2. More Use Cases
Vegaによる可視化表現の拡大
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
19
Vega Example

20. 2. More Use Cases
Vegaによる可視化表現の拡大
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
20
Vega Example

21. 2. More Use Cases
Vegaによる可視化表現の拡大
1. 相関分析マトリクスの例
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
21

22. 2. More Use Cases
Vegaによる可視化表現の拡大
1. 関連性の可視化の例
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
22

23. Copyright © Acroquest Technology Co., Ltd. All rights reserved.
23
3. More Efficiency

24. 3. More Efficiency～より効率的な開発／運用～
1. Elasticsearch
① Rollup API（利用ディスクサイズの削減）
② Painless Exeution API（Painlessデバッグ環境）
1. Kibana
① クエリバーのオートコンプリート
② SavedObject APIの導入
③ X-Pack APIのオートコンプリート
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
24

25. 3. More Efficiency
Rollup API（利用ディスクサイズの削減）
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
25
ロギングデータ／メトリクスデータのアグリゲーションで必要なデータを
保持しつつデータサイズを
小さくするのに有効
Rollup機能は、データを定期的にアグリゲートするジョブを実行して、
結果をElasticsearchのIndexとして保存する事が可能
ElasticsearchのIndexとして保存して、
そのままKibanaで表示も可能
例えば、Webサーバのアクセス数や
転送データ量などをアグリゲートする
事が想定されるユースケース

26. 3. More Efficiency
Rollup API（利用ディスクサイズの削減）
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
26
Metricbeatの例
900万ドキュメント
3GB
1万4千ドキュメント
27MB
基本設定
グループ
メトリクス

27. 3. More Efficiency
クエリバーのオートコンプリート
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
27

28. 3. More Efficiency
Painless Exeution API（Painlessデバッグ環境）
1. Elasticsearchでは様々な機能でスクリプトをサポート
1. 6.3.x以前では、スクリプト(Painless)の開発／デバッ
グ環境がなく、生産性が低かった。
1. Painless Exeution APIを利用すると、Painlessスクリ
プトのシミュレーションが可能。
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
28

29. 3. More Efficiency
Painless Exeution API（Painlessデバッグ環境）
例）
POST /_scripts/painless/_execute
{
"script": {
"source": "params.count / params.total",
"params": {
"count": 100.0,
"total": 1000.0
}
}
}
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
29

30. 3. More Efficiency
SavedObject APIの導入
1. SavedObject(以下)のCRUD API。
細かな環境バックアップ／データ移行が可能になる。
① Visualization
② Dashboard
③ Index Pattern
– フィールドのフォーマット、Scripted Field含む
＜過去のVersion＞
2. ①②はUIからしかExport/Import不可
3. ③はUIからExport不可
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
30

31. Copyright © Acroquest Technology Co., Ltd. All rights reserved.
31
Infrastructures Evolution
ご清聴ありがとうございました。
さらに詳しい話については
本日の交流会でお話しましょう！