Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Amazon Athena 初心者向けハンズオン

13.292 Aufrufe

Veröffentlicht am

2017/10/25 に開催した,Amazon Athena のハンズオンの資料です.
ハンズオンで使用するスクリプト群は,http://bit.ly/2A1Bbed からダウンロードすることが可能です.

Veröffentlicht in: Technologie
  • If you want to download or read this book, Copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

Amazon Athena 初心者向けハンズオン

  1. 1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Makoto Shimura, Data Science Solution Architect Amazon Web Services Japan, K. K. 2017.10.25 Amazon Athena 初⼼者向けハンズオン
  2. 2. ⾃⼰紹介 所属: アマゾンウェブサービスジャパン株式会社 業務: ソリューションアーキテクト (データサイエンス領域) 経歴: Hadoopログ解析基盤の開発 データ分析 データマネジメントや組織のデータ活⽤ 志村 誠 (Makoto Shimura)
  3. 3. ハンズオンの最中に質問を投げることができます • Adobe Connect の Q&A ウィンドウから、質問を書き込んでください。 (書き込んだ質問は、主催者にしか⾒えません) • 今後のロードマップに関するご質問はお答えできませんのでご了承くださ い。 • Twitter へツイートする際はハッシュタグ #awsblackbelt をご利⽤くだ さい。 Q&A ウインドウの 右下のフォームに 質問を書いてください 質問を書き終わったら 吹き出しマークを押して 送信してください
  4. 4. ハンズオン資料のダウンロード 画⾯右上のリンクからダウンロードできます 1. ダウンロードしたい 資料を選択 2. 「参照先」をクリック
  5. 5. このハンズオンの⽬的 1. Amazon Athena がどのようなものかを理解する 2. 実際に Amazon Athena を使ってみて,AWS のマネ ジメントコンソールからクエリを投げたり,データの 持ち⽅によるクエリ速度の違いを体感たりする
  6. 6. 注意点 このハンズオンでは,ごくわずかですが,Amazon Athena の利⽤料⾦が発⽣します Amazon Athena の料⾦は,スキャンしたデータ 1 TB に つき 5 ドル(課⾦単位は MB で,最低 10 MB から) 詳細は以下の AWS の公式サイトをご確認ください https://aws.amazon.com/jp/athena/pricing/
  7. 7. 事前に準備すべきもの AWS アカウント • AWS アカウント作成の流れとポイント https://aws.amazon.com/jp/register-flow/ Web ブラウザ • Firefox または Chrome を推奨
  8. 8. 注意事項 • お客様の環境により、本ラボが実施できない場合がございます • すべてのサポートは難しい点についてご了承ください • 本資料からコピーアンドペーストしないでください • 不必要なスペース等が⼊る可能性があります • 複数の画⾯を表⽰するため、ディスプレイ表⽰を⼯夫してください オンラインセミナー 配信画⾯ ブラウザ(Chrome, Firefox) ・資料(PDF)閲覧 ・AWS マネジメントコンソール ・簡易アプリケーション ・⼊⼒⽤テキスト など 任意のテキストエディタ ・コピーアンドペースト⽤に使⽤
  9. 9. Agenda Amazon Athena 概要 • Amazon Athena とは • Amazon Athena のデータ形式とパフォーマンス ハンズオン • 前準備とデータの確認 • サンプルデータを S3 にアップロードしてクエリ • ファイルフォーマットによるクエリ速度の違いを確認
  10. 10. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Athena 概要
  11. 11. Amazon Athena とは S3上のデータに対して,標準 SQL による インタラクティブなクエリを投げて データの分析を⾏うことができるサービス
  12. 12. Amazon Athena とは • re:Invent 2016 のキーノートにて発表された新サービス • バージニア北部,オレゴン,オハイオ,アイルランド,シンガポール, 東京の計 6 リージョンで展開 • クエリエンジンとして Presto を使⽤ https://aws.amazon.com/jp/blogs/news/amazon-athena-interactive-sql-queries-for-data-in-amazon-s3/
  13. 13. Presto : ⾼速な分散クエリエンジン • Athenaで使⽤しているクエリエンジン • データをディスクに書き出さず,すべてメモリ上で処理 • ノード故障やメモリ溢れの場合にはクエリ⾃体が失敗 • インタラクティブクエリ向け https://prestodb.io/overview.html 参考: Presto のアーキテクチャ
  14. 14. Athena のデータ形式 / 圧縮形式 データ形式 圧縮形式 • CSV • TSV • Parquet • ORC • JSON • Regex • Avro • Cloudtrail • Grok • Snappy • Zlib • GZIP • LZO * https://aws.amazon.com/jp/blogs/big-data/aws-cloudtrail-and-amazon-athena-dive-deep-to-analyze-security-compliance-and-operational-activity/ ** https://aws.amazon.com/about-aws/whats-new/2017/08/amazon-athena-adds-support-for-querying-data-using-logstash-grok-filters/
  15. 15. データ設計に影響する Athena の特性 • Athena は読み込むデータ量を絞って,すべての処理を メモリ状で⾏うことで,⾼速に結果を返すことができる • いかにして読み込むデータ量を減らすかが重要 • パーティション • 列指向フォーマット • 圧縮 * Online Transactional Processing ** Online Analytical Processing
  16. 16. パーティション • S3のオブジェクトキーの構成をテーブルに反映して, 読み込むファイル数を減らす • WHERE で読み込み範囲を絞るときに頻繁に使われ るカラムを,キーに指定する • 絞り込みの効果が⾼いものが向いている • ログデータの場合,⽇付が定番 • “year/month/day” と階層で指定する SELECT month , action_category , action_detail , COUNT(user_id) FROM action_log WHERE year = 2016 AND month >= 4 AND month < 7 GROUP BY month , action_category , action_detail 以下のS3パスだけが読み込まれる s3://athena-examples/action-log/year=2016/month=04/day=01/ ... s3://athena-examples/action-log/year=2016/month=07/day=31/
  17. 17. 列指向フォーマット 指向 特徴 ⾏指向 • レコード単位でデータを保存 • 1カラムのみ必要でも,レコード全 体を読み込む必要がある • TEXTFILE(CSV, TSV) など 列指向 • カラムごとにデータをまとめて保存 • 特定の列だけを扱う処理では,ファ イル全体を読む必要がない • ORC, Parquet など https://orc.apache.org/docs/spec-intro.html 1 2 3 4 5 6 1 2 3 4 5 6 列指向 ⾏指向
  18. 18. 1 2 3 4 5 6 列指向フォーマット & 圧縮 分析クエリを効率的に実⾏できる たいていの分析クエリは,⼀度のクエリで⼀ 部のカラムしか使⽤しない 単純な統計データなら,メタデータで完結す る 1 2 3 4 5 6 1 2 3 4 5 6 列指向⾏指向 データ読み込みの効率があがる • 圧縮と同時に使うことで読み込み効率が向上 • カラムごとに分けられてデータが並んでいる • 同じカラムは,似たような中⾝のデータが続く ため,圧縮効率がよくなる 1 2 3 4 5 61 2 3 4 5 6 列指向⾏指向
  19. 19. 料⾦体系 • クエリ単位の従量課⾦ • S3 のデータスキャンに対して,$5 / 1TB の料⾦ • バイト数はメガバイト単位で切り上げられ,10MB 未満のク エリは 10MB と計算される(0.0055円/10MB; 1$=110円) • スキャンデータ量は,圧縮状態のデータサイズで計算される • 別リージョンからデータを読み込む場合には,別途S3 のデータ転送料⾦がかかる • DDL のクエリや,実⾏に失敗したクエリの料⾦は無料 • キャンセルしたクエリは料⾦がかかる
  20. 20. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ハンズオン
  21. 21. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 前準備
  22. 22. AWS マネジメントコンソールへサインイン アカウントユーザー名,パスワードを⼊⼒してサインイン
  23. 23. ⾔語設定を⽇本語にする 画⾯左下をクリック
  24. 24. 使⽤リージョンをバージニア北部にする 「⽶国東部(バージニア北部)」を 画⾯右上から選択
  25. 25. 進捗確認 ログインと環境設定まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  26. 26. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ハンズオン(1) サンプルデータを S3 にアップロードしてクエリ
  27. 27. ハンズオン(1) の全体像 1. 新しいバケットを作成 2. 新しいフォルダを作成 3. データをアップロード S3 Athena 4. データベースを作成 5. テーブルを作成 6. クエリを投げる
  28. 28. ダウンロードしたデータの確認 • ダウンロードデータ内の titanic.csv を開く • たとえば Excel であれば,以下のような表⽰になるはず
  29. 29. S3 のページを開く 画⾯左上の「サービス」をクリックして,サービス⼀覧か ら S3 を選択 1. 「サービス」をクリック 2. ⼀覧から S3 を選択
  30. 30. AWS アカウント ID を確認しておく • 画⾯右上をクリックして,AWS アカウント ID をメモ • ハイフンは除いた 12 桁の数字でメモしてください 1. 画⾯右上の ユーザー名をクリック 2. アカウントID をメモ ハイフンは無視
  31. 31. 新しいバケットを作成する 画⾯左上の「バケットを作成する」をクリック 「バケットを作成する」を クリック
  32. 32. 必要事項を⼊⼒してバケットを作成 1. バケット名を⼊⼒ 「アカウントID-20171025-titanic」 2. リージョンが 「⽶国東部(バージニア北部)」で あることを確認 3. 「作成」をクリック
  33. 33. 作成したバケットに移動 作成したバケット名をクリックして, バケットの中に移動
  34. 34. 作成したバケットにフォルダを作成 作成したバケットを選択して,フォルダを作成 1. 「+ フォルダの作成」を クリック 2. 「titanic」と⼊⼒して 「保存」をクリック
  35. 35. 作成したフォルダにファイルをアップロード 1. 「titanic」を クリック 2. アップロード ボタンを押す 3. titanic.csv の ファイルを追加 4. アップロード
  36. 36. ダウンロードしたクエリファイルの確認 • テキストエディタで,titanic.sql を開く • 16 ⾏⽬の S3 バケットを,先ほど作成したものに変更 バケット名を,先ほど作成した 「アカウントID-20171025-titanic」に 変更する
  37. 37. 進捗確認 クエリファイルの修正まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  38. 38. Athena のページを開く 1. 「サービス」をクリック 2. ⼀覧から Athena を選択
  39. 39. 使⽤リージョンがバージニア北部なのを確認 「⽶国東部(バージニア北部)」を 画⾯右上から選択
  40. 40. Athena の開始画⾯ Athena を初めて使う場合には, この画⾯が表⽰されるので, 「Get Started」を押して先に進む チュートリアルがハイライト される場合には,× ボタンを 押して,元の画⾯に戻る
  41. 41. Athena のマネジメントコンソール DB テーブル ⼀覧 クエリの結果表⽰欄 クエリエディタ クエリ操作 この画⾯にならない 場合は,画⾯左上の 「Query Editor」を 押して移動する
  42. 42. データベースの作成 1. 「タイタニックデータベースの 作成」のクエリをコピーして貼付 2. クエリの実⾏ 3. 作成された DBの確認
  43. 43. テーブルの作成 1. 「タイタニックテーブルの作成」 のクエリをコピーして貼付 2. クエリの実⾏ 3. 作成された テーブルの確認
  44. 44. 作成したテーブルのデータを確認 1. テーブルの右の をクリック 「Preview table」を選択 … 2. SELECT クエリが実⾏され 10 件のデータが表⽰される
  45. 45. 進捗確認 テーブルデータの確認まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  46. 46. クエリの内容を確認 select class , sex , count(survived) as total_cnt , sum(survived) as survived_cnt from titanic_db.titanic group by class , sex order by class , sex;
  47. 47. クエリの内容を確認 select class , sex , count(survived) as total_cnt , sum(survived) as survived_cnt from titanic_db.titanic group by class , sex order by class , sex; 以下の 4 カラムを返す - 客室ランク, - 性別, - 全乗客数, - ⽣存者数(値が 1 のもの) 客室ランクと性別ごとに 値を集約する 客室ランクと性別で, アルファベット順に並べる
  48. 48. テーブルに対してクエリを実⾏ (1) 1. 「データの集計 1」の クエリをコピーして貼付 2. クエリの実⾏ 3. 集計結果を確認 客室ランクと性別ごとの 乗客数と⽣存者数が算出
  49. 49. クエリの内容を確認 select class , sex , total_cnt , survived_cnt , round(cast(survived_cnt as double)/cast(total_cnt as double), 2) as survival_rate from ( select class , sex , count(survived) as total_cnt , sum(survived) as survived_cnt from titanic_db.titanic where class != '*ʼ group by class , sex ) order by survival_rate desc;
  50. 50. クエリの内容を確認 select class , sex , total_cnt , survived_cnt , round(cast(survived_cnt as double)/cast(total_cnt as double), 2) as survival_rate from ( select class , sex , count(survived) as total_cnt , sum(survived) as survived_cnt from titanic_db.titanic where class != '*ʼ group by class , sex ) order by survival_rate desc; ⽣存者数を⼈数で割って⽣存率を算出 先ほどのクエリをサブクエリとして 実⾏して,その結果に対してさらに 処理を⾏う
  51. 51. テーブルに対してクエリを実⾏ (2) 1. 「データの集計 2」の クエリをコピーして貼付 2. クエリの実⾏ 3. 集計結果を確認 先ほどの結果に加えて ⽣存率が集計されている
  52. 52. クエリ結果のダウンロード 結果画⾯右上のアイコンをクリック csvファイルがダウンロードされる
  53. 53. 過去のクエリ結果の確認とダウンロード 1. History をクリック 2. クリックしてダウンロード 3. 実⾏時間やスキャンデータ 量も確認可能
  54. 54. S3 上の結果を格納するバケットの確認 (1) 1. Settings をクリック 2. クエリ結果の配置 場所を確認
  55. 55. S3 上の結果を格納するバケットの確認 (2) 画⾯左上の「サービス」をクリックして,サービス⼀覧か ら S3 を選択 1. 「サービス」をクリック 2. ⼀覧から S3 を選択
  56. 56. S3 上の結果を格納するバケットの確認 (3) 1. 先ほどのバケットを 順に辿っていく 2. 結果ファイルの 存在を確認
  57. 57. 進捗確認 クエリ結果の確認まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  58. 58. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ハンズオン (2) ファイルフォーマットによる クエリ速度の違いを確認
  59. 59. ハンズオン(2) の全体像 別アカウントの S3 Athena 1. データベースを作成 2. テーブルを作成 3. パーティション認識 4. クエリを投げる
  60. 60. 対象データ: Swingbench • ベンチマーク⽤のサンプルデータベース • その中の Sales テーブルを使⽤ データサイズ 約 90 GB データサイズ (gzip 圧縮時) 約 40 GB 行数 1,472,876,032 行 期間 1995/01 – 2013/12
  61. 61. 同⼀テーブルを 2 種類のデータ形式で読込 データ形式 圧縮形式 パーティション クエリ実⾏速度 tsv gzip なし • 遅い • すべてのカラムを読み込む 必要あり parquet snappy 年,⽉で パーティション作成 • 速い • クエリで必要なカラムのみ 読み込む • クエリで必要なパーティ ションのみ読み込む
  62. 62. データの確認
  63. 63. データベースの作成 swingbench.sql のクエリを順に実⾏する 1. 「Swingbench データベースの作成」の クエリをコピーして貼付 2. クエリの実⾏ 3. 作成された DBの確認
  64. 64. テーブルの作成 (1) 1. 「 tsv + gzip 圧縮データに 対するテーブルの作成 」 のクエリをコピーして貼付 2. クエリの実⾏3. 作成された テーブルの確認
  65. 65. テーブルの作成 (2) 1. 「 parquet + snappy 圧縮データに 対するテーブルの作成 」 のクエリをコピーして貼付 2. クエリの実⾏3. 作成された テーブルの確認
  66. 66. 作成したテーブルのパーティションを認識 1.「 parquet + snappy テーブルの パーティションを認識 」の クエリをコピーして貼付 2. クエリの実⾏ 3. しばらく待つと,Results に認識された パーティションの⼀覧が表⽰される
  67. 67. 作成したテーブルのパーティションを確認 1.「 作成したパーティションの確認」の クエリをコピーして貼付 2. クエリの実⾏ 3. しばらく待つと,Results に認識された パーティションの⼀覧が表⽰される
  68. 68. 進捗確認 パーティションの確認まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  69. 69. tsv + gzip テーブルに対するクエリの実⾏ (1) select prod_id , count(1) as deal_conut , avg(quantity_sold) as average_sold_num , sum(quantity_sold*amount_sold) as total_sales from swingbench_db.sales_gz where year(time_id) = 2013 and month(time_id) = 4 group by prod_id order by total_sales desc limit 20;
  70. 70. tsv + gzip テーブルに対するクエリの実⾏ (2) select prod_id , count(1) as deal_conut , avg(quantity_sold) as average_sold_num , sum(quantity_sold*amount_sold) as total_sales from swingbench_db.sales_gz where year(time_id) = 2013 and month(time_id) = 4 group by prod_id order by total_sales desc limit 20; gz テーブルに対するクエリ timestamp を年⽉に変換
  71. 71. tsv + gzip テーブルに対するクエリの実⾏ (3) 1.「 tsv テーブルに対してクエリ」の クエリをコピーして貼付 2. クエリの実⾏ 3. 実⾏時間とスキャンデータ量を 確認する 4. 結果を確認
  72. 72. parquet + snappy テーブルに対するクエリの実⾏ (1) select prod_id , count(1) as deal_conut , avg(quantity_sold) as average_sold_num , sum(quantity_sold*amount_sold) as total_sales from swingbench_db.sales_parquet where year = 2013 and month = 4 group by prod_id order by total_sales desc limit 20;
  73. 73. parquet + snappy テーブルに対するクエリの実⾏ (2) select prod_id , count(1) as deal_conut , avg(quantity_sold) as average_sold_num , sum(quantity_sold*amount_sold) as total_sales from swingbench_db.sales_parquet where year = 2013 and month = 4 group by prod_id order by total_sales desc limit 20; parquet テーブルに対するクエリ パーティション情報を利⽤
  74. 74. parquet + snappy テーブルに対するクエリの実⾏ (3) 1.「 parquet テーブルに対して クエリ 」のクエリをコピーして 貼付 2. クエリの実⾏ 3. 実⾏時間とスキャンデータ量を 確認する 4. 結果が先ほどと同じなのを確認
  75. 75. 進捗確認 クエリの実⾏まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  76. 76. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ハンズオン (3) 複数のユーザで Athena を利⽤
  77. 77. ハンズオン(3) の全体像 2. 権限がないのでバケットを 作成できないことを確認 S3 Athena 3. クエリを実⾏できる ことを確認 1. 新しいユーザーの作成 IAM
  78. 78. Amazon Athena ⽤の IAM ロールの作成 • IAM は,Identity and Access Management という, AWS 上での権限管理を⾏うためのサービスです • Athena を使⽤するためには,以下の権限が必要です • Amazon Athena へのフルアクセス権限 • Amazon S3 オブジェクトへの Read/Write/List 権限 • AWS Glue のデータカタログの主要 API へのアクセス権限
  79. 79. IAM のページを開く 画⾯左上の「サービス」をクリックして,サービス⼀覧か ら IAM を選択 1. 「サービス」をクリック 2. ⼀覧から IAM を選択
  80. 80. IAM ユーザーを追加 IAM ユーザーから「ユーザーの追加」を選択 1.「ユーザー」をクリック 2. 「ユーザーを追加」をクリック
  81. 81. IAM ユーザーを新規に作成 1. ユーザー名に「athena_user」と ⼊⼒する 2. 「awsマネジメントコンソール へのアクセス」にチェック 3. パスワードのリセットが必要の チェックを外す 4. 「次のステップ」を押す
  82. 82. アクセス権限の追加 「既存のポリシーを直接アタッチ」を選択
  83. 83. ポリシーのアタッチ (1) 検索窓に「athena」と⼊⼒して 「AmazonAthenaFullAccess」と 「AWSQuickSightAthenaAccess」に チェックを⼊れる
  84. 84. ポリシーのアタッチ (2) 1. 検索窓に「s3」と⼊⼒して 「AmazonS3ReadOnlyAccess」に チェックを⼊れる 2.「次のステップ: 確認」を クリック
  85. 85. ユーザーの作成 「ユーザーの作成」を クリック
  86. 86. ユーザー追加の成功を確認 この画⾯が表⽰されたところで,いったんストップ
  87. 87. 進捗確認 ユーザーの作成まで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  88. 88. 作成したユーザでサインイン 1. パスワードを 表⽰してコピー 2. サインインリンクをクリック (⾃動でログアウトします)
  89. 89. AWS マネジメントコンソールへサインイン 先ほど作成したユーザであらためてログインし直す
  90. 90. S3 のページを開く 画⾯左上の「サービス」をクリックして,サービス⼀覧か ら S3 を選択 1. 「サービス」をクリック 2. ⼀覧から S3 を選択
  91. 91. 新しいバケットを作成する 画⾯左上の「バケットを作成する」をクリック 「バケットを作成する」を クリック
  92. 92. バケットが作成できないことを確認 1. バケット名を⼊⼒ 「アカウントID-20171025-titanic」 2. リージョンが 「⽶国東部(バージニア北部)」で あることを確認 3. 「作成」をクリック
  93. 93. バケット作成に失敗 エラーが出て バケット作成に失敗
  94. 94. Athena のページを開く 1. 「サービス」をクリック 2. ⼀覧から Athena を選択
  95. 95. クエリが実⾏できることを確認 1. テーブルの右の をクリック 「Preview table」を選択 … 2. SELECT クエリが実⾏され 10 件のデータが表⽰される
  96. 96. 管理者ユーザーで改めてサインイン 1. 画⾯右上のユーザ名を クリック 2. サインアウトを クリック 3. 管理者ユーザで サインイン
  97. 97. 進捗確認 管理者ユーザーでのサインインまで終わりましたか? 1. ⼈型アイコン右の ▽ ボタンを クリックしてプルダウンを開く 2. 「賛成」をクリック (ボタンが「賛成の消去」に 変わるので,そのまま待つ) 3. 確認が終わったら, 「賛成を消去」をクリック
  98. 98. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 後⽚付け
  99. 99. S3 のページを開く 画⾯左上の「サービス」をクリックして,サービス⼀覧か ら S3 を選択 1. 「サービス」をクリック 2. ⼀覧から S3 を選択
  100. 100. S3 のバケットを削除 (1) 1. 先ほど作成したバケットの ⾏をクリック 2. 「Delete bucket」を押す
  101. 101. S3 のバケットを削除 (2) 1. 削除するバケット名を⼊⼒ 2. 「Confirm」を押す
  102. 102. Athena のページを開く 1. 「サービス」をクリック 2. ⼀覧から Athena を選択
  103. 103. Athena のテーブルとデータベースを削除 1. athena_cleanup.sql の中の クエリをについて, 最初の 1 ⾏を貼り付ける 2. クエリを実⾏ 3. 上記の 1-2 を,残りの クエリのぶんだけ繰り返す
  104. 104. IAM のページを開く 画⾯左上の「サービス」をクリックして,サービス⼀覧か ら IAM を選択 1. 「サービス」をクリック 2. ⼀覧から IAM を選択
  105. 105. IAM ユーザの削除 1.「ユーザー」をクリック 2.「athena_user」を チェック 3.「ユーザーの削除」を 押して,ポップアップから 削除を実⾏
  106. 106. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Appendix
  107. 107. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ハンズオン (4) AWS QuickSight から Athena に接続
  108. 108. ハンズオン(4) の全体像 別アカウントの S3 Athena 1. セットアップを実施 2. データセットを作成 3. 分析を作成 QuickSight
  109. 109. QuickSight のページを開く 1. 「サービス」をクリック 2. ⼀覧から QuickSight を選択 (別ウインドウが開きます)
  110. 110. QuickSight のエディション選択 1.「Standard edition」を選択 2.「Continue」をクリック
  111. 111. QuickSight の初期設定 1. 「Quicksight account name」 に適当な名前を⼊⼒ 2. 「Notification email address」に ⾃分の AWS アカウントで使⽤して いるメールアドレスを⼊⼒ 3. 「region」は US East (N. Virginia) を選択 4. チェックボックスはすべて選択 5. 「Finish」を押す
  112. 112. リージョンの変更 右上メニューから,リージョンを US East (N. Virginia) に変更
  113. 113. 新しいデータセットの作成 1. 「Manage data」を押す 2. 「New data set」を押す
  114. 114. データソースとして Athena を選択 1.「Athena」を選択 2.「Data source name」に 適当な名前を⼊⼒ 3.「Create data source」を 押す
  115. 115. データベースとテーブルを選択 1.「titanic_db」を選択 2.「titanic」を選択 3.「Select」を選択
  116. 116. データの格納場所を選択 1.「Import to SPICE」を 選択 2.「Visualize」を選択
  117. 117. ダッシュボード作成画⾯ グラフ編集タブ フィルタタブ グラフ詳細 ディメンジョン カラム ファクトカラム グラフ種類⼀覧 グラフ名
  118. 118. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 後⽚付け
  119. 119. QuickSight のページを開く 1. 「サービス」をクリック 2. ⼀覧から QuickSight を選択 (別ウインドウが開きます)
  120. 120. 分析を削除 1. 削除したい分析の右下の をクリック … 2. 「Delete」をクリック 3. 再度「Delete」をクリック
  121. 121. データセットの削除 1. 「Manage data」を押す 2. 削除したいデータを選択 ポップアップから「Delete data set」を選んで削除

×