Suche senden
Hochladen
Glueの開発環境(zeppelin)をrancherで作ってみる
•
Als PPTX, PDF herunterladen
•
1 gefällt mir
•
672 views
C
cloudfish
Folgen
AWS Glueの開発環境をRancher使ってコンテナで作ったお話です
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 19
Jetzt herunterladen
Empfohlen
Apache Cassandra最新情報まとめ
Apache Cassandra最新情報まとめ
Yuki Morishita
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
Yuki Morishita
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
Elasticsearch at Makuake
Elasticsearch at Makuake
Yoshiaki Yoshida
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Empfohlen
Apache Cassandra最新情報まとめ
Apache Cassandra最新情報まとめ
Yuki Morishita
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
Yuki Morishita
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
Elasticsearch at Makuake
Elasticsearch at Makuake
Yoshiaki Yoshida
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWS
ShoichiYashiro
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Masahiro Satake
NoSQLに関するまとめ
NoSQLに関するまとめ
Gosuke Miyashita
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Apache Usergridについて(公開用)
Apache Usergridについて(公開用)
Nobuaki Aoki
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
ktaro_w
Power Query Online
Power Query Online
Ryoma Nagata
Reading drill
Reading drill
Kai Sasaki
[Cassandra summit Tokyo, 2015] Apache Cassandra日本人コミッターが伝える、"Apache Cassandra...
[Cassandra summit Tokyo, 2015] Apache Cassandra日本人コミッターが伝える、"Apache Cassandra...
datastaxjp
広告ログの解析システム
広告ログの解析システム
Katsuhiro Takata
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Cassandra Meetup Tokyo, 2016 Spring 2
Cassandra Meetup Tokyo, 2016 Spring 2
datastaxjp
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Sotaro Kimura
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
Akka stream
Akka stream
KasaiHaruki
ハンズのDynamoDBクラウドパターン
ハンズのDynamoDBクラウドパターン
Naoyuki Yamazaki
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Daisuke Masubuchi
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
Weitere ähnliche Inhalte
Was ist angesagt?
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWS
ShoichiYashiro
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Masahiro Satake
NoSQLに関するまとめ
NoSQLに関するまとめ
Gosuke Miyashita
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Apache Usergridについて(公開用)
Apache Usergridについて(公開用)
Nobuaki Aoki
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
ktaro_w
Power Query Online
Power Query Online
Ryoma Nagata
Reading drill
Reading drill
Kai Sasaki
[Cassandra summit Tokyo, 2015] Apache Cassandra日本人コミッターが伝える、"Apache Cassandra...
[Cassandra summit Tokyo, 2015] Apache Cassandra日本人コミッターが伝える、"Apache Cassandra...
datastaxjp
広告ログの解析システム
広告ログの解析システム
Katsuhiro Takata
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Cassandra Meetup Tokyo, 2016 Spring 2
Cassandra Meetup Tokyo, 2016 Spring 2
datastaxjp
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Sotaro Kimura
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
Akka stream
Akka stream
KasaiHaruki
ハンズのDynamoDBクラウドパターン
ハンズのDynamoDBクラウドパターン
Naoyuki Yamazaki
Was ist angesagt?
(20)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWS
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
NoSQLに関するまとめ
NoSQLに関するまとめ
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Apache Usergridについて(公開用)
Apache Usergridについて(公開用)
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
Power Query Online
Power Query Online
Reading drill
Reading drill
[Cassandra summit Tokyo, 2015] Apache Cassandra日本人コミッターが伝える、"Apache Cassandra...
[Cassandra summit Tokyo, 2015] Apache Cassandra日本人コミッターが伝える、"Apache Cassandra...
広告ログの解析システム
広告ログの解析システム
FukuokaCloud_Azure
FukuokaCloud_Azure
Cassandra Meetup Tokyo, 2016 Spring 2
Cassandra Meetup Tokyo, 2016 Spring 2
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Akka stream
Akka stream
ハンズのDynamoDBクラウドパターン
ハンズのDynamoDBクラウドパターン
Ähnlich wie Glueの開発環境(zeppelin)をrancherで作ってみる
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Daisuke Masubuchi
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Daisuke Masubuchi
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
Insight Technology, Inc.
経済学のための実践的データ分析 4.SQL ことはじめ
経済学のための実践的データ分析 4.SQL ことはじめ
Yasushi Hara
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
Takahiro Inoue
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン
Hiroyasu Suzuki
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Web Services Japan
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
Amazon Web Services Japan
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
tatsuya 264
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
Koichiro Sasaki
Web App for Containers + MySQLでコンテナ対応したRailsアプリを作ろう!
Web App for Containers + MySQLでコンテナ対応したRailsアプリを作ろう!
Yoichi Kawasaki
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [実践編]
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [実践編]
Hideo Takagi
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
Insight Technology, Inc.
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
OSSとクラウドによるコンピューティングモデルの変化
OSSとクラウドによるコンピューティングモデルの変化
Nobuyori Takahashi
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
日本ヒューレット・パッカード株式会社
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Sotaro Kimura
Ähnlich wie Glueの開発環境(zeppelin)をrancherで作ってみる
(20)
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
経済学のための実践的データ分析 4.SQL ことはじめ
経済学のための実践的データ分析 4.SQL ことはじめ
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
Snowflake Architecture and Performance
Snowflake Architecture and Performance
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
Web App for Containers + MySQLでコンテナ対応したRailsアプリを作ろう!
Web App for Containers + MySQLでコンテナ対応したRailsアプリを作ろう!
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [実践編]
【ウェブ セミナー】AI / アナリティクスを支えるビッグデータ基盤 Azure Data Lake [実践編]
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
OSSとクラウドによるコンピューティングモデルの変化
OSSとクラウドによるコンピューティングモデルの変化
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
Kürzlich hochgeladen
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Kürzlich hochgeladen
(9)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Glueの開発環境(zeppelin)をrancherで作ってみる
1.
2.
自己紹介 • 名前:河村 敏貴 •
所属:クラウドパック インフラチーム • 普段の仕事:AWSインフラの構築&開発 • バックグラウンド:元業務系開発エンジニア • Rancher歴:2週間 • 趣味:ショアジギング
3.
本日お話すること •ビッグデータ分析について •AWS Glueの開発環境をRancherで作ってみた
4.
データ分析のトレンド •あらゆる形式のデータを蓄積 •後から用途に応じて構造化(Schema on Read) •必要に応じて加工(ETL)
5.
可視化ツールデータレイク データ分析プロセス データ ソース ETL データ マート Amazon QuickSight SQL あらゆるデータ を保存 用途に応じて データを加工して 構造化
6.
データレイクとは •生のままのデータ、レポート、可視化、分析、機械学習 に使われた変換されたデータまで、全てのデータを1箇所 で管理します •構造化データ(RDB) •半構造化データ(CSV,XML,JSON ) •非構造化データ(EMAIL,文書,PDF) •バイナリデータ
7.
ETL • 外部の情報源からデータを抽出し、抽出したデータを変換・加工を行い、 データをロードすること • EXTRACT
–データソースからデータを抽出 • TRANSFORM – データを要件に応じて変換・加工 • LOAD – データマートに変換・加工済みのデータをロード
8.
AWS Glueとは •フルマネージドETLサービス •サーバーレス •ETLジョブの構築・管理 •分散処理
9.
ETLジョブの開発環境
10.
今回やってみたこと
11.
Apache Zeppelin •対話型実行環境 •結果をビジュアルに表示
12.
・AWSコンソールからポチポチ or CloudFormation
or AWS CLIで作成 開発エンドポイント作成 ・Rancher起動(インストール済みAMIから) ・スタックからdocker-compose.ymlをセットしてコンテナ起動 Apache Zeppelinの構築 ・コンテナの起動ホストへssh接続 ・ホストから開発エンドポイントへポートフォワード 開発エンドポイントへ接続 開発環境の構築手順
13.
開発エンドポイント作成 aws glue create-dev-endpoint
--endpoint-name TestDevEndpoint --role-arn arn:aws:iam::12341234124:role/AWSGlueServiceRoleDefaultCM --security-group-ids sg-123cdeff --subnet-id subnet-e81e1234 --public-key “ssh-rsa ・・・" --number-of-nodes 2
14.
Apache Zeppelinの構築 version: '2’ services: zeppelin: image:
apache/zeppelin:0.7.3 ports: - "18080:8080" Docker-compose.ymlをRancherに読み込ませる
15.
開発エンドポイントへ接続 Zeppelinから接続する先をローカルホストではなくホストのローカルIPを設定 コンテナから接続できるようにgオプションを付加する ssh –g -i
<private-key.pem> -NTL 9007:169.254.76.1:9007 glue@xxx.xxx.xxx.xxx
16.
実行してみる データソース(S3)から取得したデータのスキーマ情報を表示するテストプログラム
17.
結果 想定通りにスキーマ情報が表示できた
18.
手動でポートフォワードは嫌だ Zeppelin SSHポー トフォ ワード 開発エンドポ イント ポートフォワード用の コンテナを追加
19.
まとめ • とりあえず使えるが、実用に耐えうるかどうかはもうすこし検証が必要 • データを永続化するなどの対応は必要 •
Rancherを使ってみて • システムコンテナをどこまで気にしておく必要があるのかよくわからなかった • 複数環境を管理するのはすごく便利(だと思う) • LTを利用して使ったことのないプロダクトを無理やり使う状況にするのはよかった
Hinweis der Redaktion
この画像は、著作権フリーのサイトからダウンロードしています
この画像は、著作権フリーのサイトからダウンロードしています
この画像は、著作権フリーのサイトからダウンロードしています
この画像は、著作権フリーのサイトからダウンロードしています
超約してみました間違えているかもしれませんが、だいたい合っていると思います
超約してみました間違えているかもしれませんが、だいたい合っていると思います
Jetzt herunterladen