SPARQLによるLODの検索＠第4回LODとオントロジー勉強会-

SPARQLによるLODの検
索
大阪大学産業科学研究所/
LODチャレンジ実行委員会関西支部長
古崎晃司
第4回
Linked Open Dataとオントロジー勉強会
2015/10/27@大阪大学中之島センター

開催年度＼応募部門データセットアイデア
アプリケー
ション
ビジュアライ
ゼーション
基盤技術
2014年度（245作品）
2013年度（321作品）
2012年度（205作品）
2011年度（ 73作品）
８７
１０１
８７
２１
５１
６７
５０
３４
６９
１２２
４４
１８
２０
１８
２４
１８
１３
Linked Open Data（LOD）
チャレンジ
LODの技術普及を目的として開催している日本初の
オープンデータに関するコンテスト（2011年度より毎年開催）
 これまでの応募状況 http://lodc.jp
2015/10/28
LODチャレンジ2015：作品募集中（2016年1月17日まで）
年々，応募作品数の増加/質の向上が見られる＝LOD利用の広がり
2013年度以降には，オープンデータのコンテストが多数開催される
ICTSFC-WS in 大阪 2

LODハッカソン関西
2015/10/28 ICTSFC-WS in 大阪 3
• 2013年～，これまでに6回開催
• LODの技術資料の公開にも注力
http://wp.lodosaka.jp

関西オープンデータディ
～検索したおしたんディ～
2015/10/28 ICTSFC-WS in 大阪 4
• 開催日：2015/11/23（月・祝）
• 会場：大阪イノベーションハブ
• テーマ：データを検索したおす！
• サイト： https://goo.gl/KY2AW4

本日の予定
 19:00～20:30
SPARQLを用いたLODの検索入門＆ハンズオン
 LODについて，おさらい
 SPARQLによるLOD検索入門＆ハンズオン
 20:30～20:45
参加者からの話題提供（ライトニングトーク）
 ５分×３件を予定
 20:45～21:00
LODの公開・利用に便利なツールの紹介
2015/10/27 5LODとオントロジー勉強会

本日の勉強会のねらい
 メイントピック
 SPARQLによるLODの検索
 本日の目標
 SPARQLの基本的な使い方を学ぶ
 基本的な文法
 簡単なクエリの書き方
 いろいろなクエリのパターンを学ぶ
 基本的なクエリを組み合わせて，少し複雑な
SPARQLクエリを書けるようになる
 初めて見るデータセット（SPARQL Endpoint）に対
しても，いろいろ試せるようになる
2015/10/27 LODとオントロジー勉強会 6

LODについて，おさらい

Linked Open Data(LOD)
 Linked Data：Web上のデータを，つなぐ（linkする）ことで，新しい価値
を生み出そうとする取り組み．Webの創始者Tim Berners-Lee氏が提唱
※ Linked Open Data(LOD)：オープンな形で公開されたLinked Data
2015/10/27 LODとオントロジー勉強会
http://linkeddata.org/
• 誰もが同じ方法で，「データをつなぐことができる仕組み」を提供している．
• 技術的には，
－データ公開の共通フォーマット（URIによる名前付け，RDFによるグラフ表現
－コンピュータが，データにアクセスする共通の仕組み
が提供されている．
→Web上に公開された膨大なデータを統合した１つのデータベースとして利用できる．
8

5 ★ オープンデータ
★ (どんな形式でも良いので) あなたのデータをオープンライセンスでWeb上に公
開しましょう
★★ データを構造化データとして公開しましょう
★★★ 非独占の形式を使いましょう
★★★★ 物事を示すのにURIを使いましょう，そうすることで他の人々があなたのデータ
にリンクすることができます
★★★★★ あなたのデータのコンテキストを提供するために他のデータへリンクしましょう
http://5stardata.info/ja/
より引用
（図および原文は
http://5stardata.info/ ）
ライセンスについて
フォーマットについて
Webの発明者でありLinked Dataの創始者でもあ
るティム・バーナーズ＝リーがオープンデータのた
めに提案したスキーム
※注：図中のPDF，エクセル，CSVのアイコンは，
あくまでも例示であって，そのフォーマットを推奨
している訳ではない．
LOD
9

５★オープンデータにおけるLOD
 ★★★★ （RDF）
物事を示すのにURIを使いましょう，そうすることで
他の人々があなたのデータにリンクすることができます
 ★★★★★ （LOD）
あなたのデータのコンテキストを提供するために
他のデータへリンクしましょう
→LOD（Linked Open Data）
＝Web上で相互にリンクされたOpen Data
※リンクする際には「Webの仕組み」を利用する
 データ（物事）を示すのにURIを用いる
 データ間を（名前付き）Hyper-linkでリンクする

Linked Data (RDF)の例
大阪府
大阪市
都道府県
223㎢
2,687,287人
面積
人口
吹田市
豊中市
…
バラ科
市の木
隣接自治体
隣接自治体
…
http://ja.dbpedia.org/resource/大阪市というURIから得られる情報
サクラ
科
Cherry blossom英名
リソース：
URIで表される
モノ・コト
プロパティ：
リソース間の関
係を表す
リテラル
：文字列
主語述語目的語
トリプル
※RDF（Linked Dataのデータ
モデル）は，「トリプルの組み
合わせ」で表される
（DBpedia Japaneseより）
目的語が他のリソースのとき，トリプル
を辿って更なる情報が得られる
※実際のリソースとプロパティは，すべてURIで表される．

Linked Data (RDF)の例
http://ja.dbpe
dia.org/resour
ce/大阪府
http://ja.dbpe
dia.org/resour
ce/大阪市
http://ja.dbpedia.org/resource/都道府県
223㎢
2,687,287人
http://ja.dbpedia.org/resource/面積
http://ja.dbpedia.org/resource/人口
http://ja.dbpe
dia.org/resour
ce/吹田市
http://ja.dbpe
dia.org/resour
ce/豊中市
… http://ja.dbpe
dia.org/resour
ce/バラ科
http://ja.dbpedia.org/resource/市の木
http://ja.dbpedia.org/resource/隣接自治体
http://ja.dbpedia.org/resource/隣接自治体
…
http://ja.dbpedia.org/resource/大阪市というURIから得られる情報
http://ja.dbpe
dia.org/resour
ce/サクラ
http://ja.dbpedia.org/resource/科
Cherry blossomhttp://ja.dbpedia.org/resource/英名
（DBpedia Japaneseより）
※実際のリソースとプロパティは，すべてURIで表される．

SPARQLの基本

SPARQLによるRDFの検索
 SPARQL
 RDFデータに対するクエリ言語
 「指定したグラフ構造」に一致するトリプルを検索する
 最も基本的な検索
select ?s ?p ?o
where {
?s ?p ?o .
}
LIMIT 100 ←取得する数の制限
←検索するグラフのパターン
←返す要素
この例では「任意のトリプルの組み合わせ」
このパターンを変
えることで，欲しい
データを取得する
142015/10/27
「.」（ピリオド）を忘れない
LODとオントロジー勉強会
* とすると全ての変数を返す

SPARQL検索のハンズオン
 SPARQLの検索の基本例
 DBpedia Japaneseの検索を例に，基本的な
SPARQLクエリについて学ぶ
 さまざまなクエリのパターン
 大阪市の情報LODを用いた簡単な検索
 CSVなどの表形式のオープンデータから変換された
RDFの検索
 DBpedia Japaneseのより複雑な検索
 興味があるデータ（リソース）を中心とした検索
 同一種類のデータ（リソース）を中心とした検索

DBPedia
Wikipediaの各記事のインフォボックスの情報を抽出して自動生成
されるLOD
様々なデータをつなぐLODのハブ的な存在となっている．
http://dbpedia.org/
日本語版のDBPediaは
http://jp.dbpedia.org/ インフォボックスの例

データの例（大阪府）
すべてのWikipediaの記事が
http://ja.dbpedia.org/resource/大阪府
のようなURIでデータ化されている

DBpedia Japanese
http://jp.dbpedia.org/
SPARQL Endpoint
※ここから，検索可能

SPARQL Endpointの例
サンプルクエリ集
http://wp.lodosaka.jp/tool/sparqlquery/
http://ja.dbpedia.org/sparql
ここに，クエリを入れる
※プログラムからのクエリ
＋結果取得も可能

SPARQLの検索の基本例①
 「東京都を主語（Subject）に含む」トリプルの述語(?p）
と目的語(?o)を取得する
select distinct ?p ?o
where {
<http://ja.dbpedia.org/resource/東京都> ?p ?o .
}
LIMIT 100
「東京都」を表すURI
DBｐｅｄｉａ Japanese
での検索結果
↑同じパターンは除外する

SPARQLの検索の基本例②
 「ラベルが“大阪”と一致する」トリプルの主語(?s)
select distinct ?s where {
?s <http://www.w3.org/2000/01/rdf-schema#label> "大阪"@ja .
}LIMIT 100
リテラルの指定
（※データの言語指定も含
めて一致が判定される）
での検索結果

SPARQLの検索の基本例③
 「ラベルに“大阪”を含む」トリプルの主語(?s)
?s <http://www.w3.org/2000/01/rdf-schema#label> ?o .
FILTER(regex(str(?o), "大阪")) .
}LIMIT 100
「文字列が含む」データでの絞り込み
での検索結果

SPARQLの検索の基本例④
 「ラベルが“大阪”と一致する」トリプルの主語(?s)
につながっている述語(?p)と目的語(?o)
select distinct ?p ?o where {
?s ?p ?o.
}LIMIT 100
パターンを続けて書くと「AND条件」になる
※この例では，?p ?oを限定していないが…
での検索結果

OFFSETの利用
 OFFSETを使うと，クエリ結果をn番目から取得で
きる
PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/>
select distinct ?p ?o
where {
dbpedia-ja:東京都 ?p ?o .
}
LIMIT 10
OFFSET 10
2015/10/27 24
10番目の結果から取得

SPARQLの省略表現①
 PREFIXの利用
?s ?p ?o.
}LIMIT 100
252015/10/27
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
?s rdfs:label "大阪"@ja .
?s ?p ?o.
}LIMIT 100

SPARQLの省略表現②
 主語が同じ時の省略表現
262015/10/27
?s rdfs:label "大阪"@ja .
?s ?p ?o.
}LIMIT 100
?s rdfs:label "大阪"@ja ;
?p ?o.
}LIMIT 100

RDFの検索

大阪市の施設情報・防災情報の
LOD＋簡易検索システム
2015/10/28
 大阪市の施設(9,238件)・防災設備(4,694件)，標高(18,780地点)
の情報のLODです．約3万地点の緯度・経度情報がLOD化され，
検索用API（SPAQRLエンドポイント）・簡易検索システムと共に公開．
SPARQL（RDF用検索言語）を使わずに，
簡単なキーワードによる検索が可能
http://lodosaka.hozo.jp/OsakaCityMapLOD.htm
他のアプリを開発するときに，直接，利用できる仕組み
LODチャレンジ2013
チャレンジデー賞
ICTSFC-WS in 大阪 28

表からへ関したRDFデータの構造
 表から変換したRDFの多くは，下記のようなグラフ構
造になる
2015/10/28 29
ID_1
スポーツ施設
千代台公園野球場
函館市千代台町22-26
http://www.zaidan-hako
date .com /okugai/baseball/
41.784926
140.746367
カテゴリ
施設名（ラベル）
住所
HPのURL
緯度
経度
主語
（Subject）
述語
（Property）
目的語
（Object）
RDFデータ
＝「主語-述語-目的語」
の組み合わせで表される
グラフ構造のデータ
※目的語になるデータには，「URIで表されるリソース」と「文字列で表されるリテラル」がある．
→目的語を他のリソースとすることで，複雑なグラフも表現可能

表からへ関したRDFデータの構造
へのクエリ
 主語（?s）を変数として，絞り込みたいクエリを書けば良い
 ただし，全てのプロパティが使われているとは限らないので，必須出な
いプロパティにはOPTIONALを使う
例）
PREFIX schema:<http://schema.org/>
SELECT DISTINCT * WHERE{
?uri schema:address ?address;
schema:name ?name.
FILTER regex(str(?address),"中之島")
OPTIONAL{
?uri <http://schema.org/address> ?addr.
}
}
 大阪市の施設情報
 http://lodosaka.hozo.jp/OsakaCityMapLOD.htm
 大阪市のイベント情報
 http://data.lodosaka.jp/osaka-events/

RDFの検索

DBpedia Japaneseの検索例
大阪府を主語とするトリプル一覧
 興味があるデータ（リソース）が決まっているときに，
“そのデータにつながっている全データ”
＝“そのデータを主語とする全トリプル”
を取得する
2015/10/27 32
select distinct * where {
dbpedia-ja:大阪府 ?p ?o.
}
興味があるデータ
（リソース）
全てのトリプル＝つながっている
述語（?p）と目的語（?o）を指定
全変数（ここでは，?pと?o）を返す

大阪府が持つプロパティ一覧
 結果が多すぎるので，興味があるトリプルに絞りたい．
 どのプロパティ（関係）で絞り込むかを考えるために，
“そのデータにつながっているプロパティの一覧”
を取得する
2015/10/27 34
select distinct ?p where {
}
★取得する結果を，?pのみに変える

2015/10/27 35
ここから，興味があ
るプロパティ（関係）
を選ぶと良い
例）隣接都道府県

大阪府の隣接都道府県
 “興味があるデータ（リソース）と，
興味があるプロパティ（関係）でつながったトリプル”
（の目的語）を取得する
2015/10/27 36
PREFIX prop-ja: <http://ja.dbpedia.org/property/>
dbpedia-ja:大阪府 prop-ja:隣接都道府県 ?o.
}
目的語
全て取得（ここでは，目的語?o）
主語：興味がある
データ（リソース）
述語：興味がある関係
（プロパティ）

すべての隣接都道府県の組
 主語（?s）と目的語（?o）を変数として，
興味があるプロパティ（関係）のみを指定すると，
“その関係を持つ，すべての主語と述語の組”が
取得できる
2015/10/27 38
?s prop-ja:隣接都道府県 ?o.
}
目的語主語も変数
にする
述語：興味がある関係
（プロパティ）

大阪府の隣接都道府県の数
 countを使うと，取得したデータの数を取得できる．
2015/10/27 40
select distinct count(?o) where {
}
大阪府の
隣接都道府県
select distinct count(?o) AS ?count where {
}
カウントした結果（数）を?countに代入

2015/10/27 41
カウントした結果（数）
を?countに代入

不要なプロパティをFILTERで除
外
 あるプロパティ（関係）によるトリプルが多すぎるので除
外したい．→FILTERを用いることで，取得するトリプルの
“特定の条件による絞り込み”が可能
2015/10/27 42
FILTER (?p != dbpedia-owl:wikiPageWikiLink) .
}
絞り込み条件
（?p がwikiPageWikiLinkではない）

RDFの検索

タイプ一覧の取得
 RDFにおけるリソースは，rdf:typeプロパティにより，
リソースの種類（＝どのクラスのインスタンスであるか）
が指定される．※タイプが指定されていないRDFデータもある
 そのデータセットで“使われているタイプの一覧”を取得
2015/10/27 44
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
select distinct ?o where {
?s rdf:type ?o.
}LIMIT 100

2015/10/27 45
ここから，興味がある
タイプを選ぶと良い
例）Place

都道府県の一覧を取得
 rdf:typeプロパティの目的語となるクラスを指定することで，
特定の種類のリソースが取得できる．
 ただ，DBpedia Japaneseでは，クラスの種類が少ないため，
dcterms:subjectプロパティで，Wikipediaでの記事のカテゴリ
を指定することで，うまく調整する．
2015/10/27 46
PREFIX dbpedia-owl: <http://dbpedia.org/ontology/>
PREFIX dcterms: <http://purl.org/dc/terms/>
PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:>
?s rdf:type dbpedia-owl:Place.
?s dcterms:subject category-ja:日本の都道府県.
}
クラスの指定
カテゴリの指定

2015/10/27 47
備考：
カテゴリのみの指定だと，
このようなゴミが入る

都道府県の一覧を郵便番号でソート
 ORDER BYを使うと，取得した一覧をソートできる．
 “ソートのキー”とする変数を指定する．
2015/10/27 48
select distinct ?s ?o where {
?s rdf:type dbpedia-owl:Place;
dcterms:subject category-ja:日本の都道府県;
dbpedia-owl:postalCode ?o.
} ORDER BY ?o
各都道府県(?s)
の郵便番号
郵便番号（?o）を
ソートのキーに指定
DESC（?o）
に変えると「降順」でソート
都道府県

都道府県を「隣接自治体の数」でソート
 ORDER BYの“ソートのキー”としてcount結果を利用する．
2015/10/27 50
select distinct ?s count(?o) AS ?c where {
?s rdf:type dbpedia-owl:Place;
dcterms:subject category-ja:日本の都道府県;
prop-ja:隣接都道府県 ?o.
} ORDER BY ?c
隣接都道府数（?c）を
各都道府県(?s)
の隣接都道府県
隣接都道府（?o）をカウントして?cに代入
都道府県

各都道府県で生まれた政治家
 都道府県一覧を取得するクエリに，もう少し複雑なクエリを組み合
わせてみる．
2015/10/27 52
select distinct ?pref ?s where {
?pref rdf:type dbpedia-owl:Place.
?pref dcterms:subject category-ja:日本の都道府県.
?s rdf:type dbpedia-owl:Politician;
dbpedia-owl:birthPlace ?pref.
}ORDER BY ?pref
政治家（?s）＝タイプが政治家で，
生まれた場所が，各都道府県（?pref）
各都道府県の一覧
(?pref)を得るクエリ
都道府県
都道府数（?pref）を

各都道府県で生まれた政治家の数
 GROUP BYを用いると，取得したトリプルをグループ化できる．
2015/10/27 54
select distinct ?pref (count(?s) AS ?c) where {
?pref rdf:type dbpedia-owl:Place.
?pref dcterms:subject category-ja:日本の都道府県.
?s rdf:type dbpedia-owl:Politician;
dbpedia-owl:birthPlace ?pref.
} GROUP BY ?pref
ORDER BY ?c
政治家（?s）の数をカウント
都道府県
都道府数（?pref）
毎にグループ化
都道府県（?pref）毎の
政治家（?s）の数（?c）
をソートのキーに指定
ここを変えると，
いろんな職業の出身県
別ランキングが出来る
例）Comedian

出生地が大阪府または東京都の政治家
 UNIONを使うとOR条件での検索が可能．
2015/10/27 56
select distinct ?s ?pref where {
{?s rdf:type dbpedia-owl:Politician;
dbpedia-owl:birthPlace dbpedia-ja:大阪府.}
UNION
{?s rdf:type dbpedia-owl:Politician;
dbpedia-owl:birthPlace dbpedia-ja:東京都.}
?s dbpedia-owl:birthPlace ?pref.
}ORDER BY ?pref
取得した政治家（?s）の出生地（?pref）
※この例では「大阪府」か「東京都」
出生地が大阪府の
政治家を得るクエリ
出生地が東京都の
政治家を得るクエリ

SPARQLに関する参考資料
 SPARQL 1.1の仕様書(W3C)
 http://www.w3.org/TR/sparql11-overview/
 LODハッカソン関西
 http://wp.lodosaka.jp/
 リンクト・オープン・データ・イニシアティブ（LODI）による
「Linked Open Data連続講義」
 http://linkedopendata.jp/?cat=17
 第5回「LODの作り方・使い方」
http://linkedopendata.jp/?p=554
 SPARQLでマッシュアップ-LOD活用のための技術紹介
（by Hiroshi Ueda)
 http://www.slideshare.net/uedayou/sparqllod

LODの公開・利用に便利なツール
の紹介
 CSV2RDF http://lodosaka.jp/tool/CSV2LOD/
 CSVファイルをRDFに変化するツール
 テンプレートを用いることで柔軟な変換が可能
 解説スライド
http://www.slideshare.net/KoujiKozaki/csvlod
 DyDra.com http://dydra.com/
 RDFデータベース（トリプルストア）のクラウドサービス
 Free版有り（100万トリプル？まで）
 アカウントを発行してもらうと
http://dydra.com/koujikozaki/osakacitydata
のようなURLで，SPARQLエンドポイントを立てることが出来る

今後の予定
 11/6（金）,7（土）
 神戸ITフェスティバル：LODのセッション有り
 11/7，16:30～17:30 LODハンズオン
 11月中旬？
 11/23に向けた「モクモク会」を開催するかも？
 11/23（月）
 関西オープンデータディ～検索したおしたんディ～
 勉強会の開催日について
 平日夜 or 休日？
 その他のご希望は？

SPARQLによるLODの検索＠第4回LODとオントロジー勉強会-

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie SPARQLによるLODの検索＠第4回LODとオントロジー勉強会-

Ähnlich wie SPARQLによるLODの検索＠第4回LODとオントロジー勉強会- (20)

Mehr von Kouji Kozaki

Mehr von Kouji Kozaki (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (11)

SPARQLによるLODの検索＠第4回LODとオントロジー勉強会-