SlideShare ist ein Scribd-Unternehmen logo
1 von 11
Downloaden Sie, um offline zu lesen
2014/04/17
先端IT活用推進コンソーシアム
菅井康之
~HackForJapan 気象データ勉強会~
過去の気象庁XMLを
試験的に参照するAPIの
ご紹介
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2
Windows
コンソーシアム
日本経営協会
XMLフェスタ
Java
コンソーシアム
XML部会
2000/07 設立宣言 2001/06~2010/03実活動 2010/03~2010/09 2010/09/08設立
先端IT活用推進コンソーシアム
Advanced IT Consortium
to Evaluate, Apply and Drive
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3
AITCと気象庁XMLの関係①
http://xmlconsortium.org/seminar09/090512-13+19-20/data/090512/Web-Service/WS_2_1.pdf#page=3
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4
AITCと気象庁XMLの関係②
• 気象庁XML利活用セミナーの共催
– 第1回気象情報を知る・取る・使うための実践
(2013年3月12日開催)
• 公開資料:http://xml.kishou.go.jp/seminar/seminarInfo.html
– 気象情報を知る・取る・使うための実践(大阪開催)
(2013年7月11日開催)
– 第2回気象情報を知る・取る・使うための実践
(2014年3月20日開催)
• 公開資料:http://xml.kishou.go.jp/seminar.html
• イベント協力
– YahooOpenHackDayJapan2
(2014年2月15日~16日開催)
• イベント用サイトの構築、APIの提供
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5
本日の主題
• 気象庁XMLはFeedの配信後、一定時間経過する
とXML本体がサーバから削除される
• これから気象庁XMLを扱おうとした際に、過去
のXMLをサンプルとして参照したい
– 季節の特色的な気象情報
– 記録的な○○のあった、○月○日の気象情報
過去の気象庁XMLを参照出来るAPIを公開
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 6
気象庁XML API
• 2013年1月1日以降のデータが参照可能
– 2013年は一年を通じたデータ
• URL: http://api.aitc.jp/
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 7
気象庁XML API
• APIは3種類
(作成当初は内部での技術検証として利用)
– REST API
• APIの中で一般的に使われているもの
• 様々な条件を指定して気象庁XMLを取得可能
– SPARQL
• 配信されるFeedをRDF化+気象台の緯度経度情報
• SPARQLのクエリによりフィルタリングや集計な
ども可能
– WebSocket
• WebSocket+Kafka
• リアルタイムに気象庁XMLを取得可能
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 8
蓄積状況 (2013年1月1日~2014年4月16日)
=================================================
| "府県天気概況" | 102831 |
| "府県天気予報" | 92288 |
| "気象警報・注意報" | 59095 |
| "府県週間天気予報" | 52590 |
| "気象特別警報・警報・注意報" | 29105 |
| "地方海上警報" | 15383 |
| "地方海上予報" | 11345 |
| "地方週間天気予報" | 10453 |
| "府県気象情報" | 8850 |
| "紫外線観測データ" | 7990 |
| "震源・震度に関する情報" | 2910 |
| "特殊気象報" | 2530 |
| "噴火に関する火山観測報" | 2317 |
| "地方気象情報" | 2268 |
| "生物季節観測" | 2059 |
| "全般海上警報(定時)" | 1895 |
| "台風解析・予報情報(3日予報)" | 1862 |
| "竜巻注意情報" | 1591 |
| "府県高温注意情報" | 1412 |
| "土砂災害警戒情報" | 1006 |
| "指定河川洪水予報" | 846 |
| "地方1か月予報" | 759 |
| "全般台風情報(定型)" | 600 |
| "全般週間天気予報" | 555 |
| "府県海氷予報" | 510 |
| "異常天候早期警戒情報" | 444 |
| "震度速報" | 404 |
| "台風解析・予報情報(5日予報)" | 337 |
| "全般海上警報(臨時)" | 302 |
| "震源に関する情報" | 286 |
| "地方高温注意情報" | 259 |
| "火山の状況に関する解説情報" | 253 |
| "府県潮位情報" | 236 |
| "全般気象情報" | 235 |
| "季節観測" | 211 |
| "スモッグ気象情報" | 195 |
| "府県天候情報" | 186 |
| "地方3か月予報" | 154 |
| "全般台風情報" | 122 |
| "全般台風情報(詳細)" | 98 |
| "記録的短時間大雨情報" | 77 |
| "地方潮位情報" | 72 |
| "地方天候情報" | 71 |
| "全般1か月予報" | 69 |
| "地方暖・寒候期予報" | 33 |
| "全般潮位情報" | 32 |
| "津波情報" | 28 |
| "津波情報a" | 19 |
| "地震の活動状況等に関する情報" | 16 |
| "東海地震観測情報" | 15 |
| "全般天候情報" | 14 |
| "全般3か月予報" | 14 |
| "津波警報・注意報・予報" | 11 |
| "噴火警報・予報" | 9 |
| "津波警報・注意報・予報a" | 9 |
| "気象特別警報報知" | 7 |
| "顕著な地震の震源要素更新のお知らせ" | 6 |
| "全般スモッグ気象情報" | 5 |
| "JMAXML publishing feed"@ja | 4 |
| "全般暖・寒候期予報" | 3 |
| "火山現象に関する海上警報・海上予報" | 3 |
----------------------------------------
SPARQLの画面から参照可能
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 9
配信されるデータ量
• 2013年1月1日~2013年12月31日
(1年間)
– feed
• 572,595回(平均1,568回/日)、重複含む
• 2,444MByte/年(平均6.69MByte/日)
– 気象庁防災情報XML
• 323,212件(平均885件/日)
• 6,399MByte/年(平均17.53MByte/日)
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 10
注意事項
• サイトは、AITCの会費で運用しています
– そのため、商用利用は遠慮してもらっています
– 2台のサーバで頑張ってます
• RESTとSPARQLのデータは、受信モレがありま
す
• 時々、高負荷になり、応答に時間がかかります
• 時々、止まるかも知れません
• 何かあれば、 staff@aitc.jp まで
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11
終わり

Weitere ähnliche Inhalte

Mehr von Yasuyuki Sugai

Mehr von Yasuyuki Sugai (17)

業務システムで使える可視化テクニック - Apache HTTP編 -
業務システムで使える可視化テクニック - Apache HTTP編 -業務システムで使える可視化テクニック - Apache HTTP編 -
業務システムで使える可視化テクニック - Apache HTTP編 -
 
AnsibleではじめるNW設定の自動化について - Cisco(VIRL)編 -
AnsibleではじめるNW設定の自動化について - Cisco(VIRL)編 -AnsibleではじめるNW設定の自動化について - Cisco(VIRL)編 -
AnsibleではじめるNW設定の自動化について - Cisco(VIRL)編 -
 
Caffeの特徴と最近の動向 -CNN、そしてRNNへ-
Caffeの特徴と最近の動向 -CNN、そしてRNNへ-Caffeの特徴と最近の動向 -CNN、そしてRNNへ-
Caffeの特徴と最近の動向 -CNN、そしてRNNへ-
 
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
 
AITCオープンラボ IoTx総まとめ「IoTxロボット・AI開発をはじめよう!」
AITCオープンラボ IoTx総まとめ「IoTxロボット・AI開発をはじめよう!」AITCオープンラボ IoTx総まとめ「IoTxロボット・AI開発をはじめよう!」
AITCオープンラボ IoTx総まとめ「IoTxロボット・AI開発をはじめよう!」
 
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
 
IoTとDeep Learningで自宅警備員を育ててみる
IoTとDeep Learningで自宅警備員を育ててみるIoTとDeep Learningで自宅警備員を育ててみる
IoTとDeep Learningで自宅警備員を育ててみる
 
IoTハンズオン勉強会 「センサーデータをクラウドに蓄積してみよう」
IoTハンズオン勉強会 「センサーデータをクラウドに蓄積してみよう」IoTハンズオン勉強会 「センサーデータをクラウドに蓄積してみよう」
IoTハンズオン勉強会 「センサーデータをクラウドに蓄積してみよう」
 
IoT勉強会「IoTデバイス Intel Edison編」
IoT勉強会「IoTデバイス Intel Edison編」IoT勉強会「IoTデバイス Intel Edison編」
IoT勉強会「IoTデバイス Intel Edison編」
 
IoT勉強会「littleBitsとIFTTTで超お手軽IoTクッキング」
IoT勉強会「littleBitsとIFTTTで超お手軽IoTクッキング」IoT勉強会「littleBitsとIFTTTで超お手軽IoTクッキング」
IoT勉強会「littleBitsとIFTTTで超お手軽IoTクッキング」
 
IoT勉強会「とりあえずIoT的なものを作ってみた ~センサーデータの測定・収集・蓄積・分析・出力まで~」
IoT勉強会「とりあえずIoT的なものを作ってみた ~センサーデータの測定・収集・蓄積・分析・出力まで~」IoT勉強会「とりあえずIoT的なものを作ってみた ~センサーデータの測定・収集・蓄積・分析・出力まで~」
IoT勉強会「とりあえずIoT的なものを作ってみた ~センサーデータの測定・収集・蓄積・分析・出力まで~」
 
AITCクラウド部会 2014年度 これまでの振り返りとこれから
AITCクラウド部会 2014年度 これまでの振り返りとこれからAITCクラウド部会 2014年度 これまでの振り返りとこれから
AITCクラウド部会 2014年度 これまでの振り返りとこれから
 
rChartsによるインタラクティブな可視化表現
rChartsによるインタラクティブな可視化表現rChartsによるインタラクティブな可視化表現
rChartsによるインタラクティブな可視化表現
 
Yahoo Open Hack Day Japan 2
Yahoo Open Hack Day Japan 2Yahoo Open Hack Day Japan 2
Yahoo Open Hack Day Japan 2
 
Vagrant勉強会 チュートリアル編
Vagrant勉強会 チュートリアル編Vagrant勉強会 チュートリアル編
Vagrant勉強会 チュートリアル編
 
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
 
RとJavaScript Visualizationを俯瞰しよう
RとJavaScript Visualizationを俯瞰しようRとJavaScript Visualizationを俯瞰しよう
RとJavaScript Visualizationを俯瞰しよう
 

Kürzlich hochgeladen

Kürzlich hochgeladen (12)

Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 

Hack For Japan 気象データ勉強会

  • 2. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2 Windows コンソーシアム 日本経営協会 XMLフェスタ Java コンソーシアム XML部会 2000/07 設立宣言 2001/06~2010/03実活動 2010/03~2010/09 2010/09/08設立 先端IT活用推進コンソーシアム Advanced IT Consortium to Evaluate, Apply and Drive
  • 3. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3 AITCと気象庁XMLの関係① http://xmlconsortium.org/seminar09/090512-13+19-20/data/090512/Web-Service/WS_2_1.pdf#page=3
  • 4. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4 AITCと気象庁XMLの関係② • 気象庁XML利活用セミナーの共催 – 第1回気象情報を知る・取る・使うための実践 (2013年3月12日開催) • 公開資料:http://xml.kishou.go.jp/seminar/seminarInfo.html – 気象情報を知る・取る・使うための実践(大阪開催) (2013年7月11日開催) – 第2回気象情報を知る・取る・使うための実践 (2014年3月20日開催) • 公開資料:http://xml.kishou.go.jp/seminar.html • イベント協力 – YahooOpenHackDayJapan2 (2014年2月15日~16日開催) • イベント用サイトの構築、APIの提供
  • 5. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5 本日の主題 • 気象庁XMLはFeedの配信後、一定時間経過する とXML本体がサーバから削除される • これから気象庁XMLを扱おうとした際に、過去 のXMLをサンプルとして参照したい – 季節の特色的な気象情報 – 記録的な○○のあった、○月○日の気象情報 過去の気象庁XMLを参照出来るAPIを公開
  • 6. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 6 気象庁XML API • 2013年1月1日以降のデータが参照可能 – 2013年は一年を通じたデータ • URL: http://api.aitc.jp/
  • 7. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 7 気象庁XML API • APIは3種類 (作成当初は内部での技術検証として利用) – REST API • APIの中で一般的に使われているもの • 様々な条件を指定して気象庁XMLを取得可能 – SPARQL • 配信されるFeedをRDF化+気象台の緯度経度情報 • SPARQLのクエリによりフィルタリングや集計な ども可能 – WebSocket • WebSocket+Kafka • リアルタイムに気象庁XMLを取得可能
  • 8. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 8 蓄積状況 (2013年1月1日~2014年4月16日) ================================================= | "府県天気概況" | 102831 | | "府県天気予報" | 92288 | | "気象警報・注意報" | 59095 | | "府県週間天気予報" | 52590 | | "気象特別警報・警報・注意報" | 29105 | | "地方海上警報" | 15383 | | "地方海上予報" | 11345 | | "地方週間天気予報" | 10453 | | "府県気象情報" | 8850 | | "紫外線観測データ" | 7990 | | "震源・震度に関する情報" | 2910 | | "特殊気象報" | 2530 | | "噴火に関する火山観測報" | 2317 | | "地方気象情報" | 2268 | | "生物季節観測" | 2059 | | "全般海上警報(定時)" | 1895 | | "台風解析・予報情報(3日予報)" | 1862 | | "竜巻注意情報" | 1591 | | "府県高温注意情報" | 1412 | | "土砂災害警戒情報" | 1006 | | "指定河川洪水予報" | 846 | | "地方1か月予報" | 759 | | "全般台風情報(定型)" | 600 | | "全般週間天気予報" | 555 | | "府県海氷予報" | 510 | | "異常天候早期警戒情報" | 444 | | "震度速報" | 404 | | "台風解析・予報情報(5日予報)" | 337 | | "全般海上警報(臨時)" | 302 | | "震源に関する情報" | 286 | | "地方高温注意情報" | 259 | | "火山の状況に関する解説情報" | 253 | | "府県潮位情報" | 236 | | "全般気象情報" | 235 | | "季節観測" | 211 | | "スモッグ気象情報" | 195 | | "府県天候情報" | 186 | | "地方3か月予報" | 154 | | "全般台風情報" | 122 | | "全般台風情報(詳細)" | 98 | | "記録的短時間大雨情報" | 77 | | "地方潮位情報" | 72 | | "地方天候情報" | 71 | | "全般1か月予報" | 69 | | "地方暖・寒候期予報" | 33 | | "全般潮位情報" | 32 | | "津波情報" | 28 | | "津波情報a" | 19 | | "地震の活動状況等に関する情報" | 16 | | "東海地震観測情報" | 15 | | "全般天候情報" | 14 | | "全般3か月予報" | 14 | | "津波警報・注意報・予報" | 11 | | "噴火警報・予報" | 9 | | "津波警報・注意報・予報a" | 9 | | "気象特別警報報知" | 7 | | "顕著な地震の震源要素更新のお知らせ" | 6 | | "全般スモッグ気象情報" | 5 | | "JMAXML publishing feed"@ja | 4 | | "全般暖・寒候期予報" | 3 | | "火山現象に関する海上警報・海上予報" | 3 | ---------------------------------------- SPARQLの画面から参照可能
  • 9. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 9 配信されるデータ量 • 2013年1月1日~2013年12月31日 (1年間) – feed • 572,595回(平均1,568回/日)、重複含む • 2,444MByte/年(平均6.69MByte/日) – 気象庁防災情報XML • 323,212件(平均885件/日) • 6,399MByte/年(平均17.53MByte/日)
  • 10. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 10 注意事項 • サイトは、AITCの会費で運用しています – そのため、商用利用は遠慮してもらっています – 2台のサーバで頑張ってます • RESTとSPARQLのデータは、受信モレがありま す • 時々、高負荷になり、応答に時間がかかります • 時々、止まるかも知れません • 何かあれば、 staff@aitc.jp まで
  • 11. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11 終わり