code4lib japan 2020ライトニングトーク資料

1. Webブラウザで使える
文献Web API取得結果の
スプレッドシート化
～ Google Colabはじめました ～
code4lib japan 2020 ライトニングトーク発表資料
東京大学情報システム部 前田 朗

2. GitHubはじめました
•GitHub
•プログラムの公開サイト
•https://github.com/maedaak/
• とりあえず、図書館関連メタデータ処理用のコードを
中心に、コードを公開
• ぼちぼちと使い込んでいきます

3. 公開中リポジトリ (リスト後半の4つがGoogle Colab用)
リポジトリ名 概要 実行環境
CiNiiOpendataParser CiNii BooksのオープンデータXMLを、タブ区切りテキストに変換 Python3
dcndl-simple_parser DC-NDL (simple)のXMLを入力にCSV化 Python3
dcndlParse.pl DC-NDL (simple)のXMLを入力に、簡単な整形出力 Perl5
on-dutyTable 当番表をランダムで生成する簡単なPythonスクリプト Pyhon3
cinii_articles_json2csv4GoogleColab CiNii ArticlesのOpenSearch取得データ(JSON形式）をCSV化 Google Colab
ndl_search2csv4GoogleColab NDL SearchのOpenSearch取得データ(JSON形式）をCSV化 Google Colab
ndlsearch_oai2csv4GoogleColab NDL SearchのOAI-PMH取得データ(JSON形式）をCSV化 Google Colab
junii22csv4GoogleColab 機関リポジトリのOAI-PMH取得データ(junii2）をCSV化 Google Colab

4. Google Colabは何がよい？
• Google Colaboratory (Google Colab)とは
• https://colab.research.google.com/
• Webブラウザのみで使えるPythonプログラム実行環境
• Googleアカウントがあれば無償枠で使える
• 注目ポイント
• 上記サイトに「機械学習、データ分析、教育に適してる」とあるが、
前田は「業務用端末事情によらず、仕事でPythonプ
ログラミングの作成・配布・実行ができる」ことに着目
している

5. 文献Web API取得結果のスプレッドシート化
•Web APIの処理結果を得るのは難しくないことが多い
• 指定のURLでリクエストであれば、Webブラウザでも十分
• 残る敷居は各Web APIで異なる出力フォーマット対応では？
•そこで、Web APIの出力を取り扱いやすいようCSVに変換
するプログラムを用意してみた
• Google Colabで端末事情によらず使える
• CSVであればスプレッドシートに簡単に取り込める
• CSV化では多少のデータ劣化は許容

6. 準備（自分のGoogle Colabにコードを取り込む）
1. Googleアカウントを（もっていなければ）作る
2. Google ColabにGoogleアカウントでサインインする
3. 上部メニュー「ファイル」→「ノートブックを開く」
4. 「GitHub」タブメニューを選ぶ
5. 前田のGit Hub(https://github.com/maedaak/ )で検索
6. プルダウンでリポジトリを指定
7. コードをダブルクリックで自分のGoogle Colabに取り込み

7. 使い方
(NDL SearchのOpenSearch APIを例に)

8. １．Web APIからデータを取得
• NDL SearchのAPI
• https://iss.ndl.go.jp/information/api
• たとえば、OpenSearch APIで”library”を200件取得
• https://iss.ndl.go.jp/api/opensearch?cnt=200&any=library
・左図のように、Webブラウ
ザ(google Chrome)で表示と
ダウンロード可能
・Windows標準の
PowerShellのコマンドでもダ
ウンロードできる（OAI-PMH
の保存はこちらがお勧め）

9. ２．Google Colabの実行（１）
• 自分のGoogle Colabに取り込んだ
「ndl_search2csv.ipynb」を開く。
• コードのブロックを上から順に実
行。
• 実行ボタンをクリックするとコード
の処理がはじまる。処理中はアイ
コンが回転するので、止まるまで
待って、次にいく。
クリック

10. ３．Google Colabの実行（２）
• 外部ファイル取り込みのコード
の実行（右図）のときに「参照」
を開き、先にファイルに保存し
たWeb APIデータを取り込む。
• このときは、アイコンがコードの
処理中を示す回転をしていて
よい。
• ファイルの読み込みが終わる
とこのブロックの処理が完了。
（アイコンの回転も止まる）

11. ４．Google Colabの実行（３）
• ブロックを最後まで実行する
と、処理結果CSVがダウン
ロードされる
（ダウンロードの処理はWebブ
ラウザによって異なる）

12. ５．Google Colabの実行（４）
• ダウンロードしたCSVはExcel等のスプレッドシートで処理できる。
• コードを修正すれば、GoogleドライブにCSVを保存し、そのままGoogle
スプレッドシートで編集に入るようにも作れる。

13. おわりに（宣伝）
• ２０２０年度「 大学図書館員のためのIT総合研修」で
今回紹介のプログラムの活用も検討しています。受
講生募集中です。
• 2020年度のテーマ： 「Web APIを使ったデータの入手と
その整備 」
• Web開催： 2020.9.16（水）～ 9.18（金）
• 申し込み期限： 2020.7.31（金）
• 詳しくは https://hrd.nii.ac.jp/it/2020 をご覧ください
13