位置情報にまつわるデータ補間技術
•
31 gefällt mir•5,857 views
第45回 データマイニング+WEB ＠東京 ( #TokyoWebmining 45th ) － オープンデータ 最前線と未来 祭り －の発表資料です http://www.eventbrite.com/e/45-web-tokyowebmining-45th--tickets-16532655618
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie 位置情報にまつわるデータ補間技術
Ähnlich wie 位置情報にまつわるデータ補間技術 (20)
Mehr von Hiroaki Sengoku
Mehr von Hiroaki Sengoku (20)
位置情報にまつわるデータ補間技術
- 1. 第45回 データマイニング+WEB ＠東京 TokyoWebmining 45th 2015/4/18(土) 株式会社マイクロベース 仙石 裕明(@xianshiyuming) 位置情報にまつわるデータ補間技術 1
- 3. 今日のお話 • 位置情報を持つデータを扱うときに面倒なこと、困 難なことについて。データ解析を始める前の加工の 話がメイン。 • オープンデータには位置情報のあるデータが多くあ り、使えるものが多い。 • 位置情報のあるデータを補間してできること。 3
- 4. 留意事項 本スライドではオープンデータという言葉を頻繁に使いま すが、ライセンスや定義的に完全なオープンデータではな い、 準オープンデータ 的な位置づけのデータも含んでい ます。あしからず。 4
- 5. 何がしたいのか？ 5
- 9. 網羅性 ⾼高 網羅性 低 解像度 低 解像度 ⾼高 GPS POS 交通量調査 アメダス 住民基本台帳 ネット調 査 アンケー ト調査 求⼈人DB 不動産DB記事DB パーソナルデータ パプリックデータ ソーシャルデータ 自己調査データ 引用： 仙石 裕明, オープンデータを活用したマイクロジオデータの開発, 統計と情報の専門誌「エストレーラ」, 2014.11 位置情報のあるデータの種類 9
- 10. Copyright © 2013 microbase, LLC. 本資料の無断転⽤用・転載は固くお断りしております。 10 網羅性 ⾼高 網羅性 低 解像度 低 解像度 ⾼高 GPS POS 交通量 調査 アメダス 住民基本台帳 ネット 調査 アンケー ト調査 求⼈人DB 不動産DB記事DB ⾼高価である場合や個 ⼈人情報保護・プライ バシー等の問題によ り利⽤用が難しい 網羅率・更新度とも に⾼高く、⾼高度な解析 が可能 パーソナルデータ
- 11. Copyright © 2013 microbase, LLC. 本資料の無断転⽤用・転載は固くお断りしております。 11 網羅性 ⾼高 網羅性 低 解像度 低 解像度 ⾼高 GPS POS 交通量 調査 アメダス 住民基本台帳 ネット 調査 アンケー ト調査 求⼈人DB 不動産DB記事DB オープンに公開され、 ⾏行動記録や⼈人間関係 図など応⽤用可能性は 広い。 ! ただし、網羅率は必 ずしも⾼高くなく、ノ イズ除去等の加⼯工の ⼿手間が⼤大きい ソーシャルデータ
- 12. Copyright © 2013 microbase, LLC. 本資料の無断転⽤用・転載は固くお断りしております。 12 網羅性 ⾼高 網羅性 低 解像度 低 解像度 ⾼高 GPS POS 交通量 調査 アメダス 住民基本台帳 ネット 調査 アンケー ト調査 求⼈人DB 不動産DB記事DB パブリックデータ（いわゆるオープンデータ系） 政府による調査となるため、網羅率は⾼高い ! 更新頻度が遅く、個⼈人の特定ができないよ うに集計単位が粗い場合が多い
- 15. 位置情報を持つデータ分析上の 特有の課題 • 実空間は連続的に事物が構成されているが、取得 可能なデータは断片的な取得に限られるケースが 大半 • 位置情報の粒度（都道府県>市区町村>町丁>号）が 細かいほど、この特徴が強くなる • 個人情報となりえるデータが多いため、そもそも 利用に制限もしくは属性が限定的な場合が多い 15
- 16. 補間したい項目 • 粒度（マクロ->ミクロ） • 属性情報（年齢性別、所得・⽀支出等） • ⾏行動情報（移動⼿手段、移動経路等） • サンプル数（時間的・空間的） 16
- 17. データをどう取得するか？ • データ保有企業と組む • 技術的に取得できるようにする • 自力で集める • オープンデータを使う 17
- 18. データをどう取得するか？ • データ保有企業と組む • 技術的に取得できるようにする • 自力で集める • オープンデータを使う 18
- 19. オープンデータの種類 学術系 政府系 市民系 その他 Wikipedia, OpenStreetMap, etc. 国勢調査, 国土画像情報 etc.NASA, GRENE, etc. （環境データや実験結果データなど） 19
- 22. 国勢調査 日本の全ての居住者および世帯 を対象に実施される統計調査 調査票の情報が集計された値 がデータとして公開 http://ja.wikipedia.org/wiki/国勢調査_(⽇日本)22
- 23. オープデータの活用課題 • 網羅性がない • データが扱いにくい • 集計単位が粗い • バラエティが少ない 市民系 政府系 23
- 27. 補間したい項目 • 粒度（マクロ->ミクロ） • サンプル数（時間的・空間的） • ⾏行動情報（移動⼿手段、移動経路等） • 属性情報（年齢性別、所得・⽀支出等） 27
- 28. ダウンスケーリング Hessami, M., Quarda, T.B.M.J., Gachon, P., St-Hailaire, A., Selva, F. and Bobee, B., “Evaluation of statistical downscaling method over several regions of eastern Canada”, 57th Canadian water resources association annual congress, 2004. 気象分野において、将来の気候変動をモデル化した GCMs(Global Climate Models)によって作成された データを精細化 ローカルに観測された気象デー タからモデルを作成し、 GCMsに適⽤用 http://epscorspo.nevada.edu/nsf/climate1/climate10.htmlhttps://www.ral.ucar.edu/projects/conus-downscaling 28
- 29. 擬似的に居住属性を生成 人口を対象としたダウンスケーリング 町丁目単位 500mメッシュ単位 住居と世帯の関係を示す延床面積別 一般世帯数や世帯の家族類型別世帯数 Gallego J., Downscaling population density in the European Union with a land cover map and a point survey, JRC-Ispra. ローカルスケールで取得可能 なデータ 29
- 32. http://microgeodata.com/shop/micropupulationcensus/世帯単位のライフスタイル属性を推定 擬似的に推定された65歳以上のみで構成される世帯分布 32
- 34. 補間したい項目 • 粒度（マクロ->ミクロ） • サンプル数（時間的・空間的） • ⾏行動情報（移動⼿手段、移動経路等） • 属性情報（年齢性別、所得・⽀支出等） 34
- 37. 空間的自己相関 モランI統計量 Moran's I ( -1.0 < I < 1.0) 空間的な連続性を定義するために空間的位置関係の 隣接性から地区間の連結性行列w（空間重み付け行 列）を作成し、隣接地区間で属性の共変動関係を定 義 Xは属性値 Anselin (1988), LeSage and Pace (2009) 37
- 38. 空間的自己相関 install.packages("spdep") library(spdep) ! data(oldcol) crime <- COL.OLD$CRIME plot(COL.nb, coords = cbind(COL.OLD$X, COL.OLD$Y)) ! col.W <- nb2listw(COL.nb, style = "W") str(moran(crime, col.W, length(COL.nb), Szero(col.W))) moran(crime, col.W, length(COL.nb), Szero(col.W)) ! moran.test(crime, nb2listw(COL.nb, style = "W")) Rの例（オハイオ州） http://web.sfc.keio.ac.jp/~maunz/wiki/index.php?asakura_sp_chap05 より詳しくは、慶應義塾⼤大学古⾕谷准教授のページが参考になります 38
- 40. gdal_grid -zfield variable -of GTiff input_path output_path （おまけ）単純なヒートマップをつくりたいだけなら GDAL(Geospatial Data Abstraction Library)を⼊入れると らっくらく〜～！！ GDALはラスターデータのメタデータの検索（gdalinfo） や、データフォーマットの変換（gdal_gransform, gdalwarp）などが可能なPythonライブラリ 40
- 43. 空間回帰モデルにより推定 43
- 45. スマートニュース周辺 45
- 46. background: Statmen Toner / OSM 46
- 48. 補間したい項目 • 粒度（マクロ->ミクロ） • サンプル数（時間的・空間的） • ⾏行動情報（移動⼿手段、移動経路等） • 属性情報（年齢性別、所得・⽀支出等） 48
- 51. • 移動データ（GPSログ等）に特化した可視化・解析ツール • 東京大学地球観測データ統融合連携研究機構・特任研究員の 上山智士氏によって開発 1500,1,1,1998/10/01 06:00:00,139.9249985549,35.7318406842,2,7,4110309,14,97,33,,97 3700,1,1,1998/10/01 06:00:00,139.9123053021,35.753511987,1,10,4112107,10,97,33,,97 7300,1,1,1998/10/01 06:00:00,139.9132597066,35.7134959947,1,7,4114009,8 ,97,40,,97 5500,1,1,1998/10/01 06:00:00,139.9374260851,35.7387718937,2,12,4113004,14,97,32,,97 9500,1,1,1998/10/01 06:00:00,139.9268670539,35.6868715236,1,2,4115011,12,97,26,,97 9700,1,1,1998/10/01 06:00:00,139.9238668934,35.6892555155,2,6,4115016,14,97,32,,97 11400,1,1,1998/10/01 06:00:00,139.9293917865,35.6808909812,1,6,4115107,9 ,97,36,,97 11800,1,1,1998/10/01 06:00:00,139.9077829215,35.6792209637,2,6,4115202,14,97,21,,97 10100,1,1,1998/10/01 06:00:00,139.9298447577,35.684551261,1,1,4115014,12,97,26,,97 What s Mobmap? 51
- 52. • Google Chromeアプリとしてインストール可能 • Google Mapsの上に重ねられる移動物レンダラを実装 • ベースマップの準備不要、Windows・Mac・Linux対応 What s Mobmap? 52
- 58. 補間したい項目 • 粒度（マクロ->ミクロ） • サンプル数（時間的・空間的） • ⾏行動情報（移動⼿手段、移動経路等） • 属性情報（年齢性別、所得・⽀支出等） 58
- 60. 60
- 63. まとめ • 位置情報のあるデータは、不完全なケースが多い • 完成度の高いデータを使えるようにするために 補間 があると便利 • ミクロなデータがあれば、他のマクロなデータ もミクロにできる 63