Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Ähnlich wie GCPUG-FUKUOKA データ加工＆可視化ハンズオン
Ähnlich wie GCPUG-FUKUOKA データ加工＆可視化ハンズオン (20)
GCPUG-FUKUOKA データ加工＆可視化ハンズオン
- 1. Google Cloud Dataprep Google Data Studio 2017/11/11 Wasaburo Miyata データ加工＆可視化ハンズオン
- 3. 3 ■Agenda 1. ハンズオン説明 ○ 使用データ/作成ダッシュボード ○ アーキテクチャ 2. Google Cloud Dataprep(ベータ版) ○ 概要/初期設定 ○ ハンズオン①（基本操作） ○ ハンズオン②（データ編集） ○ ハンズオン③（データ出力） 3. Google Data Studio(ベータ版) ○ 概要 ○ ハンズオン ※11/11時点で公開ベータ版のサービスです。GAの際には操作方 法など変更となっている可能性があります。
- 4. 4 ハンズオン説明
- 5. 5 福岡市の大気環境測定結果（直近48時間） ＃ 項目 １ 年月日 ２ 測定局名称 ３ 測定項目 ４ 緯度 ５ 経度 ６ 単位 ７ 測定値（１時） ～ ～ ３０ 測定値（２４時） 福岡市内16箇所の直近48時間の大気環境測定データ（1時間毎に更新）です。 なお、値は未確定なので後日修正されることがあります。 https://ckan.open-governmentdata.org/dataset/atmospheric48 使用データ
- 6. 6 作成ダッシュボード
- 10. 10 ● エディタの機能で置換、コピペ、マクロ ● Excelでピボットテーブル、関数 ● プログラムで一行ずつ処理 ● sed,awk,grepを駆使 ● RやPythonでデータフレームに突っ込んで処理 ● 分散DB(DWH)に突っ込んでSQL ● Hadoop 定型化したい スケールしたい エンジニア必要 Cloud Dataprep データ編集いろいろ
- 11. 11 Dataprep概要 1. コード不要でデータ準備、クレンジングが可能 2. 自動でデータ型を予測、欠損値、外れ値を検出 3. Trifacta(https://www.trifacta.com/)をGCP上で実装 4. サーバーレス&自動スケール（裏でCloud Dataflowが起動） 5. 現時点でShift_JIS未対応(UTF-8が無難) https://www.trifacta.com/support/articles/topics/139873-transforms https://cloud.google.com/dataprep/docs/ ※11/11時点（公開ベータ版）GAの際には変更となっている可能性 があります。
- 12. 12 料金 Dataprep自体の使用は課金されないが、Dataprep内 で使用される下記に課金される。 ● Google Cloud Dataflow: Cloud Dataprep ジョブは Cloud Dataflow ジョブとして実行され、Cloud Dataflow の料金体系に従って課金 ● ストレージ リソース: Google Cloud Storage に保存されたデータ は、Cloud Storage の料金体系に従って課金
- 13. 13 処理イメージ 1. 入力データ準備 2. 編集処理（フロー）作成 3. ファイル出力（ジョブ実行）
- 14. 14 入力と出力 1. BigQuery 2. Excel 3. CSV 4. JSON 5. PLAIN TEXT 6. LOG 7. TSV 8. Avro https://cloud.google.com/dataprep/docs/html/Supported-File-Formats_57344528 Input Output 1. BigQuery 2. CSV 3. JSON 4. Avro
- 15. 15 Dataprepハンズオン
- 16. 16 https://cloud.google.com/dataprep/docs/quickstarts/quickstart-dataprep 1. アカウント作成 2. GCPプロジェクトを作成 3. プロジェクト課金設定 4. API有効化 a. Cloud Dataflow b. BigQuery c. Cloud Storage プロジェクト設定
- 17. 17 1. Google Cloud Shell 起動 2. ファイル準備 a. データダウンロード b. UTF-8変換 c. GCSへアップロード https://github.com/wamiya/dataprep-handson/blob/master/uplaodgcs.txt クリック Shellのが画面が起動 される データ設置
- 18. 初回設定 18 ① ② ③
- 19. 19 ハンズオン①（基本操作） 1. 入力データ設定 2. データ参照（サンプリングデータ設定） 3. データ編集（Suggestionを利用） 4. レシピ操作 5. ジョブ実行（データ出力） 6. データソースプロファイル
- 27. 27 ハンズオン②（データ編集） 1. 時間列データ縦持ち 2. 欠損値置換 3. 時間列設定 3.1. 置換（column_ ⇒ “”) 3.2. 置換（24 ⇒ 0） 4. 日付時刻列作成 4.1. 翌日列作成 4.2. 日付置換(24時は翌日へ) 4.3. 日付時刻列作成 4.4. 日付時刻列書式設定 5. 不要列の削除 6. 列名変換
- 28. 28 ハンズオン②（データ編集） 年月日 測定局 測定項目 緯度 経度 単位 値(1時) ～ 値(24時) 20171101 香椎 一酸化窒素 33.6723 130.437 ppd 8 ー 12 [編集前] 年月日-時間 測定局 測定項目 単位 値 2017-11-01 01:00:00 香椎 一酸化窒素 ppd 8 2017-11-01 02:00:00 香椎 一酸化窒素 ppd 10 ・・・・・ ・・ ・・ ・・・ ・・・・ 2017-11-01 23:00:00 香椎 一酸化窒素 ppd 7 2017-11-02 00:00:00 香椎 一酸化窒素 ppd 12 [編集後]
- 31. 31 欠損値置換 ①赤い部分(mismatched)をクリッ ク ②「mismatched values to NULL」をクリッ ク ③Add
- 32. 32 時間列設定(文字列”column_”を削除) ①”column_”と いう文字列を 選択 ②「’column’ with ‘’ in key」を選 択 ③Add
- 33. 33 時間列設定(24を0に置換) ①”column_”と いう文字列を 選択 ②「’24’ with ‘’ in key」を選 択 ③edit
- 38. 38 日付時刻列の書式設定 ①column横のメニューより Format⇒Change format ② dateformat( $col, 'yyyy-MM-dd HH:mm:ss' ) ③Add
- 40. 40 列名変更 ①列横のメニューより rename ②新しい名前を入れる ③Add 下記の通り名前を設定する。 列名 新しい列名 column date_time column1 kyoku column2 koumoku column5 tani value value
- 42. 42 ジョブ設定 ①edit
- 49. 49 ■概要 1. 無料のダッシュボード/レポート作成ツール 2. 様々なデータソースを使用する事が可能 a. BigQuery/Cloud SQL b. Goolge アナリティクス c. Google スプレッドシート・・・・などなど 3. データの変換・計算式が可能 4. リアルタイムでの共有、共同編集が可能 https://cloud.google.com/data-studio/?hl=ja
- 50. 50 ハンズオン 1. データソース 1.1. データソース接続 1.2. データソース編集 2. レポート作成 2.1. タイトル 2.2. フィルタ 2.3. 円グラフ 2.4. 期間 2.5. ピボットテーブル 2.6. レイアウト/テーマ 3. 実行と共有 3.1. レポート名変更と実行 3.2. レポート共有
- 52. 52 データソース接続
- 60. 60 日付フィールド作成 ①複製
- 62. 62 値フィールド設定 ①数値
- 63. 63 値フィールド設定 ①平均値
- 64. 64 名称の変更 ①kankyodata ② date_time ⇒ 日付時刻 date_timeのコピー ⇒ 日付 tani ⇒ 単位 value ⇒ 値 kyoku ⇒ 測定局 koumoku ⇒ 測定項目 ③レポート の作成