Suche senden
Hochladen
データ分析基盤について
•
5 gefällt mir
•
2,288 views
Yuta Inamura
Folgen
企業におけるデータ分析基盤のための基礎情報をまとめました
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 18
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
Shinsuke Sugaya
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Hiroshi Ito
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
Empfohlen
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
Shinsuke Sugaya
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Hiroshi Ito
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
組織にテストを書く文化を根付かせる戦略と戦術
組織にテストを書く文化を根付かせる戦略と戦術
Takuto Wada
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
Takahiko Ito
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
@yuzutas0 Yokoyama
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
「いい検索」を考える
「いい検索」を考える
Shuryo Uchida
2. BigQuery ML を用いた時系列データの解析 (ARIMA model)
2. BigQuery ML を用いた時系列データの解析 (ARIMA model)
幸太朗 岩澤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
NTT DATA Technology & Innovation
Amazon SageMaker ML Governance 3つの機能紹介
Amazon SageMaker ML Governance 3つの機能紹介
西岡 賢一郎
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
NTT DATA Technology & Innovation
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
Precisely
Weitere ähnliche Inhalte
Was ist angesagt?
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
組織にテストを書く文化を根付かせる戦略と戦術
組織にテストを書く文化を根付かせる戦略と戦術
Takuto Wada
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
Takahiko Ito
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
@yuzutas0 Yokoyama
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
「いい検索」を考える
「いい検索」を考える
Shuryo Uchida
2. BigQuery ML を用いた時系列データの解析 (ARIMA model)
2. BigQuery ML を用いた時系列データの解析 (ARIMA model)
幸太朗 岩澤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
NTT DATA Technology & Innovation
Amazon SageMaker ML Governance 3つの機能紹介
Amazon SageMaker ML Governance 3つの機能紹介
西岡 賢一郎
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
NTT DATA Technology & Innovation
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
Was ist angesagt?
(20)
MLOpsはバズワード
MLOpsはバズワード
組織にテストを書く文化を根付かせる戦略と戦術
組織にテストを書く文化を根付かせる戦略と戦術
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
AWSで作る分析基盤
AWSで作る分析基盤
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
「いい検索」を考える
「いい検索」を考える
2. BigQuery ML を用いた時系列データの解析 (ARIMA model)
2. BigQuery ML を用いた時系列データの解析 (ARIMA model)
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Amazon SageMaker ML Governance 3つの機能紹介
Amazon SageMaker ML Governance 3つの機能紹介
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Ähnlich wie データ分析基盤について
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
Precisely
データ視点のit資産価値評価の検討(経営情報学会2014)
データ視点のit資産価値評価の検討(経営情報学会2014)
Tetsu Kawata
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
Jun Kawahara
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
de:code 2017
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
aiichiro
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
ビッグデータビジネスの捉え方
ビッグデータビジネスの捉え方
Takatsugu Kobayashi
データファブリックによるトランザクションの速度でアナリティクスを提供
データファブリックによるトランザクションの速度でアナリティクスを提供
Denodo
ビッグデータ
ビッグデータ
Shigeru Kishikawa
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
Dennis Sugahara
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
NTT Software Innovation Center
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
Insight Technology, Inc.
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
基調講演:「多様化する情報を支える技術」/西川徹
基調講演:「多様化する情報を支える技術」/西川徹
Preferred Networks
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
Ähnlich wie データ分析基盤について
(20)
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
データ視点のit資産価値評価の検討(経営情報学会2014)
データ視点のit資産価値評価の検討(経営情報学会2014)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
ビッグデータビジネスの捉え方
ビッグデータビジネスの捉え方
データファブリックによるトランザクションの速度でアナリティクスを提供
データファブリックによるトランザクションの速度でアナリティクスを提供
ビッグデータ
ビッグデータ
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
基調講演:「多様化する情報を支える技術」/西川徹
基調講演:「多様化する情報を支える技術」/西川徹
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Kürzlich hochgeladen
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Kürzlich hochgeladen
(10)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
データ分析基盤について
1.
2018/07/19 稲村 勇太 データ分析基盤についての 基礎知識
2.
目次 2 1.基礎情報 2.データ分析基盤の構築事例
3.
基礎情報 3
4.
データ分析基盤とは 4 ビジネスを有利に進めるために 大量のデータを保管・分析する基盤 データ分析基盤 分析 売上 画像・動画データ 外部データ (天気、SNSなど) 分析 経営企画ユーザ部門
5.
データ分析基盤が必要になっている背景 5 データ分析基盤を構築する主な理由 ビッグデータ処理 データの価値化 PDCA サイクルの高速化 インターネットの発展や、スマート デバイス・IoTの普及に伴い、解析 対象となるデータが膨大に増加し ており、それに耐えうる処理基盤 が必要になっている。 企業内で活用できずに眠っている データや外部データを組み合わ せ、ビジネスに役立てるよう「価値 化」するため、各部門のデータを横 通しで解析できる基盤が必要に なっている。 市場の変化が激しい今、これまで 以上に高速にPDCAサイクルを回 し、業務改善・方針転換をする必 要があり、その意思決定をするた めの情報分析基盤が求められて いる。
6.
データ分析基盤の構成要素 6 データ分析基盤は 主に下記のような構成で構築されます Strage (データ収集) DWH (アドホック分析用) DataMart (用途別データ) ETL (データ抽出・変換) アドホッククエリ BI
7.
構築の流れ 7 ①現状データの調査 ②方針策定 ③データ構築 ④運用 既存のデータを調査し、 データの欠陥・重複状況を把握する 調査を踏まえ、データ状態の改善計画の立案/データ整備・ 業務改善方法/アプリ改修などの必要な対策を検討する 活用しやすい形にデータを整形(クレンジング) しながら、分析基盤を構築する 通常業務の中で、 汚れたデータを適宜クレンジングする コンサルティング SI
8.
構成例 8 AWSとGCPそれぞれの特性を活かした ハイブリッド構成 Strage (データ収集) DWH (アドホック分析用) DataMart (用途別データ) ETL (データ抽出・変換) アドホッククエリ BI AWS S3 AWS Redshift AWS
EMR AWS RDS ※上記構成はあくまで一例です。
9.
(参考)DataLake/DWH/DataMart 9 DataLake rawデータを蓄積・保存するストレージ。 将来どんな活用が出来るかは未知数だが、データ の形式や内容は問わず集積する。 各種ログ DWH (DataWareHouse) データレイクから必要な情報のみを抽出・集約した データの集まり。アドホック分析の際に用いる。 最終的なデータ利用者のためのデータの集まり。 DWHは大量データを分析には特化しているが、1度 に多くのリクエストに対して同時に処理することには 不向きなので、それぞれの利用者にあわせたデー タウェアハウスデータの集出・集約結果を登録する 必要がある。 DataMart
10.
(参考)各種パブリッククラウドの機能比較一覧 10 AWS GCP Azure
Alibaba Cloud IBM Cloud Object Strage Amazon S3 Cloud Storage ・Azure Strage ・Data Lake Store OSS IBM Cloud Object Storage - - - - - ETL ・Amazon Glue ・AWS DataPipeline ・DataFlow ・CloudDataPREP DataFactory DataWorks (DataIntegration) IBM Data Connect ETL処理を支援する フレームワークサービス ストリーミング処理に強み - 帯域幅の設定まで可能 - DWH Amazon Redshift BigQuery Azure SQL Data Warehouse ・HybridDB ・MaxCompute Db2 Warehouse on Cloud 導入事例が豊富 データを保存するだけなら ほぼ無料で使える インスタンスの一時停止が可 能 下記DataWorksとセットで 利用することを想定 超並列処理(MPP)により スケーラビリティを実現 アドホッククエリ Amazon Athena BigQuery Azure Data Lake Analytics DataWorks ・Knowledge Catalog S3に対するクエリも可能 RedShiftより高速に実行可能 - 使いやすいUIもセットで 提供可能な点が強み 厳密な意味でのアドホックサー ビスではない(BI機能一部) DataMart ・Amazon RDS ・DynamoDB ・Cloud SQL ・Cloud DataStore ・Azure SQL Database ・DocumentDB ・RDS ・OTS ・Cloudant NoSQL DB ・Compose系 MySQL PostgreSQL RabbitMQ 他と大差なし 他と大差なし 他と大差なし 他と大差なし OSS系DBのクラウド版 BI Amazon QuickSight DataStudio Azure PowerBI ・DataV ・QuickBI Knowledge Catalog モバイルでも利用可能 リアルタイム分析には不向き モバイルでも利用可能 QuickBIは主に アドホック分析に用いる データストア、 解析の統合環境 IaaSだけでなくPaaSとしての機能比較もした上で それぞれの特性を活かした基盤構築が必要
11.
データ分析基盤の構築事例 11
12.
無印良品さん-AWS,TreasureData 12 出典は下記URL。2014年の記事なので少し古いです。 http://ascii.jp/elem/000/000/890/890206/index-2.html https://www.treasuredata.co.jp/customers/muji/
13.
あきんどスシローさん-AWS,TreasureData 13 出典は下記URL。 https://aws.amazon.com/jp/solutions/case-studies/akindo-sushiro/
14.
Rettyさん-AWS,GCP,TreasureData 14 出典は下記URL。 https://speakerdeck.com/chie8842/karamunahuomatutofalsekihon-2 AWS EC2 TreasureDate AWS RDS AWS
DataPipeline AWS Kinesis AWS DataPipeline AWS RDS GCP Big Query GCP Cloud Strage GCP Cloud Strage fluented
15.
リクルートライフスタイルさん-AWS,GCP 15 出典は下記URL。設計思想も明かしてくれており、参考になります。 https://www.slideshare.net/RecruitLifestyle/ss-84149204 https://engineer.recruit-lifestyle.co.jp/techblog/2017-08-07-how-to-load-data-into-bigquer/ GCP DataFlow
16.
ドリコムさん-AWS,TreasureData 16 出典は下記URL。TD,GCP,AWSの比較もあります。 https://tech.drecom.co.jp/migrate-to-treasure-data-and-aws/
17.
参考URL 17 1)基礎から始めるDB入門セミナー(基礎の基礎) http://www.oracle.com/technetwork/jp/articles/index-155234-ja.html 2)AWSのデータ分析入門 https://d0.awsstatic.com/events/jp/2017/summit/slide/D4T3-2.pdf 3)分析基盤の導入に不可欠なデータ統合の進め方 https://enterprisezine.jp/dbonline/detail/10085
18.
EOF 18
Jetzt herunterladen