Apache tinkerpopとグラフデータベースの世界

Apache Tinkerpop
とグラフデータベースの世界
JJUG CCC 2018 Spring
森下雄貴

スピーカー
森下雄貴
- プリンシパルアーキテクト @ DataStax Japan合同会社
- Apache Cassandra コミッター
DataStax
- Apache Tinkerpop のコードベースの大部分をコミット
- DataStax Enterprise
- マルチモデルデータベース
- Apache Tinkerpopベースのグラフアクセス

グラフデータベース
グラフのデータ構造をそのまま扱うことができるデータベース
→ “つながり”をそのままデータとして持つ

グラフデータベースの利用例
- 不正検知
- 取引、ユーザー、端末、場所などの情報を結び付け、不正な取引との関連を調べる
- レコメンデーション/パーソナライズ
- ユーザーの振舞い、取引をすべて結び付け、次のアクションを相互の関連から提示
- カスタマー360 / マスターデータ管理
- 複雑な階層構造を持つデータの管理

Apache Tinkerpopプロジェクト
- https://tinkerpop.apache.org/
- 2015年からApacheプロジェクト
- 最新バージョン(2018年5月): v3.3.3
- Java!

- グラフデータベース(OLTP)とグラフ分析(OLAP)のためのグラフコンピューティングフ
レームワーク
- グラフのデータ構造 (プロパティグラフ)とAPI
- TinkerGraph
- インメモリのグラフデータベース実装
- Gremlin
- グラフトラバーサル言語
- gremlin-console
- 対話的にGremlinを実行するためのコンソール
- gremlin-server
- リモートからグラフデータベースへアクセス
- ドライバー
- Java、Python、C#、...

Azure CosmosDB
Amazon Neptune

Tinkerpopのプロパティグラフ
- Graph (グラフ)
- バーテックスとエッジの集合
- Vertex (バーテックス/ノード/頂点)
- ラベルとプロパティを持つ
- Edge (エッジ/辺)
- ラベルとプロパティ、方向を持つ
- Property (プロパティ)
- キーとバリュー
- バーテックスとエッジがプロパティを持つ
- メタプロパティ(プロパティのプロパティ )やマルチプロパティ(複数の値を持つプロパティ )がある

グラフ

バーテックス

バーテックスラ
ベル

エッジ

エッジ
ラベル

プロパティ

Gremlin ~ グラフトラバーサル言語
データの問合せ/操作
- リレーショナルデータベース => SQL
- グラフデータベース => ????
- Cypher / openCypher (Neo4J, SAP HANA Graph …)
- PGQL (Oracle)
- SPARQL (RDFデータベース)
- Gremlin (Apache Tinkerpop実装グラフデータベース )
- ...

グラフトラバーサル:
エッジを通ってグラフを辿っていき、答えを見つける。

// markoの友達の名前は?
g.V().
has("person", "name", "marko").
out("knows").
values("name")

g.V().
out("knows").
values("name")
=> vadas
=> josh

g.V().
out("knows").
values("name")
ステップ

ステップの種類
- filter
- map
- flatMap
- sideEffect
- branch

// Gremlin
g.V().
out("knows").
values("name")
JavaのStream APIと同じように考えてみるとわかりやすい(かも)
// Java Stream API
Set vertices = ...
vertices.stream().
filter(person -> person.name == "marko").
flatMap(person -> person.knows).
map(person -> person.name)

// 新しいmarkoの友達を追加する
g.addV(“person”).
property("name", "yuki").as(“yuki”).
V().has(“person”, “name”, “marko”).
addE(“knows”).to(“yuki”)
// そして削除する
g.V().
has(“person”, “name”, “yuki”).
drop()

そのほかのGremlinの機能
- 制御
- repeat() / coalesce() /choose()
- パターンマッチ
- match()
- 集計
- count() / groupCount() / sum() / max() ...
- グラフ分析エンジンとの連携
- pageRank()

Gremlinコンソール
- Gremlinを対話的に実行できるコンソール
- https://tinkerpop.apache.org から単体でダウンロード可能
- コンソール内でインメモリのグラフを扱える
- リモートのGremlinサーバーへ接続してGremlinの実行も可能(後述)

デモ
- Gremlinコンソールの起動
- サンプルグラフデータの読み込み
- Gremlinクエリの実行

デモ: サンプルデータの読み込み
- SQL2Gremlin
- http://sql2gremlin.com
- マイクロソフトのSQL Server用デモデータである Northwindデータセットを使って、 SQLとGremlinの両
方の比較

Gremlin IO
- GraphML (XML)
- GraphSON (JSON)
- Gryo (Kryo: Javaのシリアライゼーション形式の一つ)
のデータの読み込み/書き込みをサポート
graph.io(gryo()).readGraph("../data/northwind.kryo")
graph.io(graphson()).writeGraph("../data/northwind.json")

デモ: Gremlinクエリ
// どんなデータが入っているの ?
g.V().groupCount().by(label)

// イクラを誰が、いつ、いくつ買った ?
g.V().has("product", "name", "Ikura").
in("is").as("item").
in("contains").
order().by("orderDate", decr).limit(10).as("order").
in("ordered").as("customer").
select("customer", "order", "item").
by("name").by("orderDate").by("quantity")

// この商品を買った人は、ほかにこのような商品も買っています。
// (リアルタイム協調フィルタリング )
g.V().has("customer", "name", “Paul Henriot”).as("customer").
out("ordered").out("contains").out("is").aggregate("products").
in("is").in("contains").in("ordered").where(neq("customer")).
out("ordered").out("contains").out("is").where(without("products")).
groupCount().order(local).by(values, decr).
select(keys).limit(local, 5).unfold().values("name")

Gremlinサーバー
- WebSocket / REST APIを介して、グラフデータベースへリモートからアクセス可能に
する
- Apache Tinkerpop対応グラフデータベースへは通常 Gremlinサーバーを経由してアクセス
- Gremlinクエリ / 実行結果は GraphSON もしくは Gryo (JVM言語のみ) としてやり取り
- SSL、ユーザー認証にも対応
アプリケーション
Gremlin
コンソール
Gremlin
サーバー
Tinke
rpop
API
Tinkerpop対応
グラフデータベース
Gremlin
ドライバー GraphSON / Gryo
over
WebSocket / REST

Gremlinサーバー
- https://tinkerpop.apache.org からGremlinサーバー単体をダウンロード可能
- インメモリのTinkerpopGraphをサーバー側で動かせる

デモ: Gremlinサーバー
- 設定ファイル
- シリアライゼーション形式や通信形式、認証などの各パラメータを設定
-
- デモではサーバー起動時にNorthwindのデータを読み込むよう設定

デモ: Gremlinサーバー
- Gremlinコンソールから接続してみる
gremlin> :remote connect tinkerpop.server conf/remote.yaml
==>Configured localhost/127.0.0.1:8182
gremlin> :remote console
==>All scripts will now be sent to Gremlin Server - [localhost/127.0.0.1:8182] - type
':remote console' to return to local mode
gremlin> g
==>graphtraversalsource[tinkergraph[vertices:3209 edges:6177], standard]

Javaプログラムからのアクセス
- ドライバー gremlin-java をアプリケーションに組み込む
<dependencies>
<dependency>
<groupId>org.apache.tinkerpop</groupId>
<artifactId>gremlin-driver</artifactId>
<version>${tinkerpop.version}</version>
</dependency>
</dependencies>

Javaプログラムからのアクセス
Gremlinクエリの実行はいくつか方法がある
- Gremlinクエリを文字列として投げる
- トラバーサルAPIをそのまま使う
https://gist.github.com/yukim/6e914f92e3dea4b6ad954e278b273167

クエリ結果の可視化
- 各グラフデータベースベンダー付属のツール

- 商用ツール
Linkurious (https://linkurio.us/) Keylines
(https://cambridge-intelligence.com/keylines/ )

- オープンソース
- グラフ描画ができるJavaScriptライブラリを利用
- d3.js
- Cytoscape.js
- など
- Graphexp (https://github.com/bricaud/graphexp)

まとめ
- グラフデータベースはグラフデータ構造をそのまま扱える
- “つながり”に注目すると、さまざまなビジネス課題に応用できる
- Apache Tinkerpopはグラフコンピューティングフレームワーク
- グラフデータベースに必要な APIやグラフトラバーサル言語 Gremlinを提供
- 実装データベースが増えてきた

さらに知りたい方
- https://tinkerpop.apache.org/
- オフィシャルウェブサイト
- https://github.com/krlawrence/graph
- Practical Gremlin: An Apache TinkerPop Tutorial
- 非常に充実したGremlinチュートリアル
- 英語
- https://academy.datastax.com/resources/ds330-datastax-enterprise-graph
- DSE Graphのオンライントレーニング
- 分散データベースを利用して Gremlinの基本が一通り学べる
- 英語

Apache tinkerpopとグラフデータベースの世界

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Apache tinkerpopとグラフデータベースの世界

Ähnlich wie Apache tinkerpopとグラフデータベースの世界 (20)

Mehr von Yuki Morishita

Mehr von Yuki Morishita (11)

Kürzlich hochgeladen

Kürzlich hochgeladen (11)

Apache tinkerpopとグラフデータベースの世界