第5回Solr勉強会での発表資料です。

1. 国会図書館サーチの概要
2011/05/16 大谷 純

2. サービス概要
 国立国会図書館の新しい検索サービス
 国立国会図書館が所蔵する図書の全てを探すことが可能
 都道府県立図書館、政令指定都市の市立図書館の蔵書、
国立国会図書館デジタルアーカイブポータル（PORTA）が
収録している各種のデジタル情報も探すことが可能
 本格サービス開始は平成24年1月を予定。現在はプロトタ
イプ版
 対象データは約3000万（収集データは約5800万件）
※「国立国会図書館サーチ」についてより抜粋

3. システムの概要
PC・携帯
SRW
検索系Webアプリ SRU
横断検索 （Enjuベース）
HTTP Open
Search
DB
Solr
Solr
検索・提供機能
（Ruby/Rails）
OAI-PMH
Solr
メタデータ
XML変換 インデック
収集
ス生成
FTP
書誌同定
グループ 差分抽出 DB更新
化
組織化機能
収集機能 （Hadoop/HDFS）

4. システムの概要（収集機能）
PC・携帯
SRW
検索系Webアプリ SRU
横断検索 （Enjuベース）
HTTP Open
Search
DB
Solr
Solr
検索・提供機能
（Ruby/Rails）
OAI-PMH
Solr
メタデータ
XML変換 インデック
収集
ス生成
FTP
書誌同定
グループ 差分抽出 DB更新
化
組織化機能
収集機能 （Hadoop/HDFS）

5. システムの概要（収集機能）
 横断検索
 リアルタイムに他のサービスへの検索を行う
 Enjuとの連携にはSRUを利用
 メタデータ収集機能
 国会図書館の所蔵する書誌のメタデータの収集
 他機関が提供しているメタデータの収集

6. システムの概要（組織化機能）
PC・携帯
SRW
検索系Webアプリ SRU
横断検索 （Enjuベース）
HTTP Open
Search
DB
Solr
Solr
検索・提供機能
（Ruby/Rails）
OAI-PMH
Solr
メタデータ
XML変換 インデック
収集
ス生成
FTP
書誌同定/
グループ 差分抽出 DB更新
化
組織化機能
収集機能 （Hadoop/HDFS）

7. システムの概要（組織化機能）
 XML変換
 収集したメタデータを統一的なXMLに変換
 以降の処理では必要に応じてXMLからデータを抜き出して利
用
 書誌同定/グループ化
 書誌同定
 複数の図書館から集めたメタデータには同じ書誌に関するデータ
が存在している。このデータを1つのデータに集約する
 グループ化
 同一書誌ではないが、関連のある書誌（例：ドラえもん1巻と2巻な
ど）をグルーピングする

8. システムの概要（組織化機能）
 差分抽出
 変更のあったデータ（追加/更新/削除）を抽出
 Solrインデックス作成
 Solrのインデックスを作成
 SOLR-1301に機能追加したモジュールを利用
 DB更新
 差分抽出で出力された追加/更新/削除のデータをDBに反映

9. システムの概要（検索・提供機能）
PC・携帯
SRW
検索系Webアプリ SRU
横断検索 （Enjuベース）
HTTP Open
Search
DB
Solr
Solr
検索・提供機能
（Ruby/Rails）
OAI-PMH
Solr
メタデータ
XML変換 インデック
収集
ス生成
FTP
書誌同定
グループ 差分抽出 DB更新
化
組織化機能
収集機能 （Hadoop/HDFS）

10. システムの概要（検索・提供機能）
 検索系Webアプリ（Enjuベース）
 多種多様な提供プロトコルを採用
 OAI-PMH、SRU/SRW、RSS、OpenSearchなど
 Solr＋DBによる書誌検索の提供
 翻訳機能の提供（日中韓英）
 外部サイト連携（カーリル、ブクログなど）
 スマートフォン、携帯への対応
 利用者登録機能
 連想キーワード機能（GETAssoc連携）

11. ENJUの改良点
 データの持ち方の変更
 1テーブルにXMLをそのまま登録
Enjuでは著者の管理なども行っているため正規化された
テーブル構成になっている。
 Sunspotの廃止（rsolrの利用）
 インデックス登録は全てHadoopで行う
シームレスにSolrに登録できるSunspotの利点が生きない。
 様々なSolrの機能を利用。様々なパラメータをハンドリング
する必要あり

12. 国会図書館サーチでのSOLRの利用機能
 分散検索（Distributed Search）
 ドキュメント数が多いため
 グループ化表示（Field Collapsing）
 グループ化されたデータの表示
 クラスタリング
 Carrot2によるクラスタリング
 ファセット
 絞り込み候補の提供
 SOLR+Hadoop（SOLR-1301）
 Hadoop上でのインデックス作成
 マルチコア
 インデックスの切り替え

13. SOLR-1301の概要
 Hadoop上でインデックス作成
 入力データはHDFS上に配置
 Map/Reduce、HDFSの仕組みを利用
 Solrの設定にてスキーマを定義可能
 入力がCSV形式のサンプルプログラムが付属
 URL
https://issues.apache.org/jira/browse/SOLR-1301

14. SOLR-1301の概要
 SOLR-1301の流れ
1, Writable
HDFS 1,aaa,bbb…
2, Writable
HDFS
2,ddd,bbb…
Map Reduce
CSV
3,aaa,bbb…
1,aaa,bbb… 3, Writable
4,aaa,bbb…
2,ddd,bbb… 4, Writable
3,aaa,bbb…
4,aaa,bbb…
Map
5,ccc,yyy… 5,ccc,yyy…
5, Writable Reduce
Map
 Mapフェーズでドキュメントを抽出
 入力：CSVの1行
 出力：ID、MapWritable（Solrフィールド名、値）に変換（1ドキュメン
ト=1オブジェクト）

15. SOLR-1301の概要
 SOLR-1301の流れ
1, Writable
HDFS 2, Writable
HDFS
3, Writable
Map Reduce
Map
4, Writable
Reduce
Map 5, Writable
 Reduceフェーズでローカルディスクにインデックス作成
 MapWritableをSolrInputDocumentに変換
 EmbeddedSolrServerを利用し、インデックス作成

16. SOLR-1301の概要
 SOLR-1301の流れ
HDFS HDFS
Map Reduce
Map
Reduce
Map
 最後にHDFS上にインデックスをコピー

17. SOLR-1301の改修内容
 入力はXML
 XPathにてSolrインデックス対象フィールドのデータを
抽出
 Senの利用
 SenをHadoopの各ノードにインストールせずに利用出来る形
に修正
 FieldCollapsing対応
 CollapseのキーをReduceするときのキーに利用し、同一の
Collapseキーをもつドキュメントは同一Shardに登録される