RDFチェックツール「rdflint」のご紹介

takemikamiʼs note ‒ http://takemikami.com/
RDFチェックツール「rdflint」のご紹介
im@sparlのデータセットをコミュニティで運⽤するために
Copyright (C) Takeshi Mikami. All rights reserved. 1
三上威(アーリース情報技術株式会社代表) twitter: @takemikami
2019.4.21アイマスハッカソン2019 in 名古屋 (o･∇･o)
尾張だよ〜

副業紹介
• みかみんP (@takemikamas)
• フリーランスITエンジニア
• データ分析及び機械学習等の応⽤システム開発
• マーケティングデータ分析基盤のシステム開発
• 略歴
• 情報通信ネットワーク・確率論 @ 甲南⼤学理学部応⽤数学科
• EC, CRM等のシステム開発・構築 @ NEC系SIer
• 旅⾏系ECサイトのマーケティングデータ分析 @ DeNA
• データ分析及び機械学習等の応⽤システム開発 @ アーリース情報技術(株)
• 最近扱っている技術領域
• GCP, Hadoop, SparkMLlib, Python, R, TensorFlow/Keras
発表者のプロフィールを紹介します
P

本業紹介
• 担当
• 765AS: 萩原雪歩
• ミリオン: 箱崎星梨花
• デレマス: ⼩⽇向美穂
• IM@Study関連
• 何つながりなのかな？を探る⾃然⾔語処理
〜765PRO LIVE THEATERに通りがかる⼩⽇向美穂〜
@週刊IM@Study 2019年5⽉
• ima@sparqlではじめるR Markdownとgitbookによるレポート⽣成
@2017.9.2 あいますえんじにあ Meetup in 京都
• 担当アイドルに反応してLチカさせる予測モデル開発
@2017.5.17 アイマスエンジニア MeetUp In Tokyo
• RDFファイルの⾃動検査ツール https://github.com/imas/rdflint
発表者の本業を紹介します

テーマとアジェンダ
• テーマ
• RDFチェックツール「rdflint」の使い⽅の紹介と仕組みの概要
• アジェンダ
• RDFとトリプル
• rdflintで出来ること
本資料のテーマ、アジェンダを⽰します

rdflintとは
• 以下のチェックが⾃動化出来る
• RDF、Turtle(ttl)ファイルの⽂法チェック
• 未定義の主語が、⽬的語として使われていないかのチェック
• SPARQLクエリによるカスタムチェック
• CIに組み込んでPullRequestによるマスターデータ運⽤に利⽤可能
• Apache Jenaを利⽤して実装されている
RDFファイルの⾃動検査ツール
リポジトリ → https://github.com/imas/rdflint

RDFとトリプル

グラフデータベースのデータモデル
グラフデータベースとLinked Open Data
グラフDBのデータモデルとしてプロパティグラフとトリプルを⽰します
プロパティグラフトリプル
主語(Subject) ⽬的語(Object)
述語(Predicate)
頂点
辺
プロパティ
点、辺、プロパティで構成
点・辺にキー/値ペアのプロパティを持つ
→有向グラフ＋プロパティ
主語、述語、⽬的語の集まりで構成
→⼀般的な有向グラフ
RDFではこちらの
データモデルを表現する

トリプルによるデータの表現グラフ表現
トリプルによるデータ表現の例を⽰します
宮沢賢治岩⼿県
花巻市
盛岡市
銀河鉄道の夜
ジョバンニ
カムパネルラ
1934年
宮沢賢治
花巻市
盛岡市⽣誕県
⽣誕市
著作品名称
岩⼿県
県庁
所在地
所属
所属
名称
名称
名称
銀河鉄道の夜名称
初出年
登場⼈物
登場⼈物
リソースのURI
リテラル
凡例:
宮沢賢治と
銀河鉄道の夜に関する
データを例として

トリプルによるデータの表現関係とリテラル
• リソース間の関係を表現
• リソースに関連する値(リテラル)を表現
トリプルによるデータ表現の例を⽰します
宮沢賢治銀河鉄道の夜
1934年
著作品
銀河鉄道の夜
主語述語⽬的語
初出年
主語述語⽬的語
これらの集合が前スライドで⽰したようなグラフ表現になる
リソースのURI
リテラル
凡例:

Resource Description Framework (RDF)
• 主語・述語・⽬的語かのセット（＝トリプル）を記述できる
• 必要に応じて、RDFスキーマで語彙を拡張できる
• 語彙には、述語に使⽤されるものや、リソースのクラスを⽰すものがある
• SPARQL(SPARQL Protocol and RDF Query Language)などのクエリ⾔
語で問い合わせが出来る
Resource Description Framework(RDF)について説明します
ウェブ上のリソースの
メタデータを記述するための枠組み

RDFファイルの例
箱崎星梨花に関するRDFの抜粋と、グラフ表現を⽰します
<rdf:Description rdf:about="detail/Hakozaki_Serika">
<imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana>
<schema:name xml:lang="ja">箱崎星梨花</schema:name>
<foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age>
<rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/>
<imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/>
</rdf:Description>
detail/Hakozaki_Serika
http://ja.dbpedia.org/resource/⿇倉もも
はこざきせりか
imasrdf/URIs/imas-schema.ttl#Idol
箱崎星梨花
13
imas:nameKana
imas:name
foaf:age
rdf:type
imas:cv

rdflintで出来ること

rdflintで出来ること① 〜RDFファイルとして正しいか〜
rdflintで出来ること: RDFファイルとして正しいかのチェックのイメージを⽰します
</rdf:Description>
箱崎星梨花
13
imas:nameKana
imas:name
foaf:age
rdf:type
imas:cv
RDFファイルとして
正しいかチェック

rdflintで出来ること② 〜主語の存在チェック〜
rdflintで出来ること: 主語の存在チェックのイメージを⽰します
</rdf:Description>
箱崎星梨花
13
imas:nameKana
imas:name
foaf:age
rdf:type
imas:cv
im@sparqlのデータセットで
管理されている主語の
存在チェック
存在チェック
存在チェック
存在チェック

rdflintで出来ること③ 〜SPARQLクエリによるチェック〜
rdflintで出来ること: SPARQLクエリによるカスタムチェックのイメージを⽰します
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
SELECT ?s ?o
WHERE {
?s rdf:type ?o .
FILTER NOT EXISTS {
?s rdf:type <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol>
}
}
チェック⽤SPARQLクエリ
rdf:typeが「imasrdf/URIs/imas-schema.ttl#Idol」以外
の主語・述語を返却するクエリ
対象ファイル: RDFs/765AS.rdf
765ASのメンバを定義するファイル
やりたいこと: 765ASのアイドル定義⽤ファイルに
アイドル以外が定義されていないかチェックしたい

rdflintで出来ること③ 〜SPARQLクエリによるチェック〜
rdflintで出来ること: SPARQLクエリによるカスタムチェックのイメージを⽰します
while(rs.hasNext()) {
log.warn("アイドル以外の定義があります " + rs.next())
}
クエリ結果を警告として出⼒するスクリプト(groovy)
RDFs/765AS.rdf
warn アイドル定義⽤ファイル: アイドル以外の定義があります ( ?o =
<https://schema.org/MusicRecording> ) ( ?s =
<https://sparql.crssnky.xyz/imasrdf/RDFs/detail/%E9%AD%94%E6%B3%95%E3%82%92%E3%81%8B%E3%
81%91%E3%81%A6%21%20%28M%40STER%20VERSION%29_01> )
チェック結果の表⽰
※意図的に誤ったデータを追加して確認した結果です。

検査の実⾏イメージ
検査の実⾏イメージを⽰します
$ wget https://jitpack.io/com/github/imas/rdflint/0.0.4/rdflint-0.0.4-all.jar
rdflintのダウンロード
$ java -jar rdflint-0.0.4-all.jar -config .circleci/rdflint-config.yml
RDFs/Event.rdf
warn Undefined URI: https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_serika (Triple:
https://sparql.crssnky.xyz/imasrdf/RDFs/detail/765Caravan_2 - http://schema.org/actor -
https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_serika)
rdflint検査の実⾏
対象ファイル
エラー理由
※Hakozaki_serika → Hakozaki_Serika (⼤⽂字・⼩⽂字の誤り)

SPARQLクエリによるチェックの設定イメージ
SPARQLクエリによるチェックの設定イメージを⽰します
baseUri: https://sparql.crssnky.xyz/imasrdf/
rules:
- name: アイドル定義⽤ファイル
target: "RDFs/765AS.rdf"
query: |
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
SELECT ?s ?o
WHERE {
?s rdf:type ?o .
FILTER NOT EXISTS {
?s rdf:type <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol>
}
}
valid: |
while(rs.hasNext()) {
log.warn("アイドル以外の定義があります " + rs.next())
}
設定ファイル: .circleci/rdflint-config.yml

インタラクティブモード
• コマンドラインでローカルにあるRDFファイルにSPARQL実⾏が出来る
インタラクティブモードを紹介します
$ wget https://jitpack.io/com/github/imas/rdflint/0.0.4/rdflint-0.0.4-all.jar
rdflintのダウンロード
$ java -jar rdflint-0.0.4-all.jar -i -config .circleci/rdflint-config.yml
sparql >
rdflintインタラクティブモードの開始

インタラクティブモードの実⾏イメージ
インタラクティブモードの実⾏イメージを⽰す
$ java -jar rdflint-0.0.4-all.jar -i -config .circleci/rdflint-config.yml
sparql > PREFIX schema: <http://schema.org/>
> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
> PREFIX imas: <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#>
> SELECT ?星梨花の主語
> WHERE {
> ?星梨花の主語 rdf:type imas:Idol;
> schema:name ?アイドル名.
> filter(contains(?アイドル名,"箱崎星梨花"))
> }
>
--------------------------------------------------------------------
| 星梨花の主語 |
====================================================================
| <https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_Serika> |
--------------------------------------------------------------------
rdflintインタラクティブモードでのクエリ実⾏

RDFチェックツール「rdflint」のご紹介

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to RDFチェックツール「rdflint」のご紹介

Similar to RDFチェックツール「rdflint」のご紹介 (20)

More from Takeshi Mikami

More from Takeshi Mikami (20)

RDFチェックツール「rdflint」のご紹介