2013/7/16 プログラマーズカフェ１０分LT資料

1. オープンデータ・ビッグ
データ
ほんとうに怖い日本の

2. 世界最先端ＩＴ国家創造
 平成25年6月14日 閣議決定されました
 日本は最先端のIT国家になるんだぞ
おーーーー！という宣言で、微に入り細
に入りかかれています。
 http://www.kantei.go.jp/jp/singi/it2/kettei/pdf
/20130614/siryou1.pdf

3. しかし、つっこみどころ満載
IT農業で、このご時世にバリュー
チェーンとかいっちゃってるし、市販
の次世代テレビはスマートテレビで
４K,８Kにするんだとかはりきっ
ちゃってるし。あげくIT人材の育成の
評価方法は研修実施人数だ！なんて
ありさま。

4. 読んだ感想
 タグ：おもしろ
 すっげダメそう・・・（悲観）
 パブコメ募集してたので盛大につっこん
だけど決定された本文をみたら変更あま
りなかった…

5.  でも、評価できるところもあって、その
中でも「オープンデータ・ビッグデータ
の活用の推進」というのがあってこれは
とてもよい
 データ構造についてガイドラインが設定
されているのだけど、このガイドライン
をつくったひとからは技術の匂いを感じ
る。
 少しだけ未来が見えてきたぞ！（希望）

6.  数値（表）、文章、地理空間情報のデー
タ作成に当たっての留意事項（ガイドラ
イン別添）（案）
 http://www.kantei.go.jp/jp/singi/it2/info/h250
524-g2.pdf
 紙で配布するための印刷のためのレイア
ウトから集計しやすいデータフォーマッ
トに変更！これかいた人偉い！！

7. ちなみに自民党案
新たなＩＣＴ戦略に関する提言
デジタル・ニッポン２０１３
－ＩＣＴで、日本を取り戻す。－
 https://www.jimin.jp/policy/policy_topics/121208
.html

8. ＩＣＴによる国土強靭化と経済成長
コンクリートに
ＩＣＴを
 おい、誰か止めろ！！（懇願）

9. で、ようやく本題！！
 「独立行政法人 統計センター」（nstac）
がオープンデータのためのAPIを公開した
ぞ！！
 「独立行政法人 統計センター」というな
んかいかにもな独立行政法人。
 http://www.nstac.go.jp/
 「オープンデータ流通推進コンソーシア
ム」というなんかいかにもな業界団体。
 http://www.opendata.gr.jp/

10. 日経オープンデータ情報ポータル
 このAPIをつかって日経さんががんばって
実験サイトをつくっていてすごくよくで
きてます。
 オープンデータ、データジャーナリズム
に関する情報と実験のサイトです。
 http://opendata.nikkei.co.jp/
 d3.jsとBootstrap これは楽しそうだ！

11. さっそくnstacにいってみよう！
 アプリケーションIDとかを発行してもら
うために、ユーザ登録が必要まあ、しょ
うがないよね。ふむふむ。
 でAPI仕様とにらめっこ。
 API仕様
 http://statdb.nstac.go.jp/wp/wp-
content/uploads/2013/06/API-spec.pdf

12. USAGEが一本もない

13.  なんのデータがあるのか分類コードとか
もドキュメントにない。
 検索キーに発行団体のコードが必要だが
これも何を指定してよいかわからない。

14. 必須項目だけ埋めて投げてみるか・・・
↓
帰ってこない
↓
必須項目以外の仕様を確認する・・・

15. 「データの取得行数を指定して下さ
い。省略時は10万件です。」

16. 省略時は
10万件です

17.  殺す気かっ・・・！というか死んだ。う
さ毛が一本も生えてない理由がわかった。
レスポンス重いのに、なにこの実行した
ら止まらない感。これが伝説の官僚モー
ドかッ
 ちなみにデフォでxmlなので、データ容量
がたいしたことなくてもメタ部分が大量
にあって猛烈に重たいです。

18. ちょっとしたブラクラ…
 良い子のためにたった50行に絞ったusage
をあげておこう。
 統計表ID（statsDataId）を直指定したもの
（全国物価統計調査のデータ）
 http://statdb.nstac.go.jp/api/1.0b/app/getStat
sData?appId=6da587c6e6c8cfbf4ecadc9cfbb
d49da5aad074c&lang=J&statsDataId=000010
0080&limit=50

19.  ちなみにjsonモード appのあとにjsonを入
れるだけ
 http://statdb.nstac.go.jp/api/1.0b/app/json/ge
tStatsData?appId=6da587c6e6c8cfbf4ecadc9
cfbbd49da5aad074c&lang=J&statsDataId=00
00100080&limit=50

20.  これで呼び出すとこうなります。

21.  {"GET_STATS_DATA":{"RESULT":{"STATUS":3
04,"ERROR_MSG":"抽出件数が100000件
を超えるため、JSON形式では取得でき
ません。絞り込み条件を見直すか、XML
形式で取得して下さい。","DATE":"2013-07-
12T18:48:42.447+09:00"},"PARAMETER":{"LA
NG":"J","STATS_DATA_ID":"0000100080","D
ATA_FORMAT":"J","START_POSITION":1,"LI
MIT":50,"METAGET_FLG":"Y"}}}

22.  いや、おかしいだろ・・・。
 なんでIDで呼び出しデータ指定してるの
に１０万件以上なんだよ。
 誰かレコードセット全部取得しなくても
limit句つかえばいいよと教えてあげてく
ださい。

23. というわけで日本の未来は明るい
やることがいっぱいあるのはいいことだ
（楽観）

24. おまけ
 APIにもいろいろ種類があるのでほかの
USAGEかいておくよ。あと、データコードが
ないと使えないので少しみつけておいたよ。
 政府統計一覧
 http://www.stat.go.jp/info/guide/public/keikaku/
pdf/beshi1.pdf
 政府統計コード
 http://www.stat.go.jp/info/guide/public/code/pdf
/code.pdf

25. USAG 統計表情報取得
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsLi
st?appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5
aad074c&lang=J&surveyYears=200501-201212
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsLi
st?appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5
aad074c&lang=J&surveyYears=200701-
200912&stasField=00200&statsCode=00200572

26. メタ情報取得
 http://statdb.nstac.go.jp/api/1.0b/app/getMet
aInfo?appId=6da587c6e6c8cfbf4ecadc9cfbbd
49da5aad074c&lang=J&statsDataId=XXXX

27. 統計データ取得 （死亡注意）
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsData?
appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074
c&lang=J&statsDataId=0000100080&limit=500
 http://statdb.nstac.go.jp/api/1.0b/app/getStatsList?a
ppId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074c
&lang=J&surveyYears=200701-
200912&stasField=00200&statsCode=00200572
 http://statdb.nstac.go.jp/api/1.0b/app/getMetaInfo?
appId=6da587c6e6c8cfbf4ecadc9cfbbd49da5aad074
c&lang=J&statsDataId=0000100080

28. ちなみに日経さんは
 Api直接コール＆集計ではなくて
 http://opendata.nikkei.co.jp/demo/statdb/jap
an_topo_with_properties.json
 こんな感じで自前で集計済みのものをス
タックしてました。