Submit Search
Upload
Jawsug神戸2 jenkinsとfabricでamiの自動作成とオートスケール
•
11 likes
•
4,391 views
Ryuji Tamagawa
Follow
JAWSUG神戸第2回で発表したスライドです。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 16
Download now
Download to read offline
Recommended
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
Ryuji Tamagawa
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
Ryuji Tamagawa
20171012 found IT #9 PySparkの勘所
20171012 found IT #9 PySparkの勘所
Ryuji Tamagawa
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
PySparkの勘所(20170630 sapporo db analytics showcase)
PySparkの勘所(20170630 sapporo db analytics showcase)
Ryuji Tamagawa
20170210 sapporotechbar7
20170210 sapporotechbar7
Ryuji Tamagawa
Recommended
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
Ryuji Tamagawa
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
Ryuji Tamagawa
20171012 found IT #9 PySparkの勘所
20171012 found IT #9 PySparkの勘所
Ryuji Tamagawa
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
PySparkの勘所(20170630 sapporo db analytics showcase)
PySparkの勘所(20170630 sapporo db analytics showcase)
Ryuji Tamagawa
20170210 sapporotechbar7
20170210 sapporotechbar7
Ryuji Tamagawa
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
Ryuji Tamagawa
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
Ryuji Tamagawa
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
Ryuji Tamagawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Ryuji Tamagawa
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Ryuji Tamagawa
Google Big Query
Google Big Query
Ryuji Tamagawa
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
Ryuji Tamagawa
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Ryuji Tamagawa
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
Ryuji Tamagawa
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Ryuji Tamagawa
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Ryuji Tamagawa
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
Ryuji Tamagawa
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Ryuji Tamagawa
Invitation to mongo db @ Rakuten TechTalk
Invitation to mongo db @ Rakuten TechTalk
Ryuji Tamagawa
MongoDB tuning on AWS
MongoDB tuning on AWS
Ryuji Tamagawa
初めてのMongo db
初めてのMongo db
Ryuji Tamagawa
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
Ryuji Tamagawa
初めてのAws elastic map reduce
初めてのAws elastic map reduce
Ryuji Tamagawa
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
More Related Content
More from Ryuji Tamagawa
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
Ryuji Tamagawa
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
Ryuji Tamagawa
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
Ryuji Tamagawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Ryuji Tamagawa
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Ryuji Tamagawa
Google Big Query
Google Big Query
Ryuji Tamagawa
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
Ryuji Tamagawa
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Ryuji Tamagawa
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
Ryuji Tamagawa
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Ryuji Tamagawa
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Ryuji Tamagawa
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
Ryuji Tamagawa
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Ryuji Tamagawa
Invitation to mongo db @ Rakuten TechTalk
Invitation to mongo db @ Rakuten TechTalk
Ryuji Tamagawa
MongoDB tuning on AWS
MongoDB tuning on AWS
Ryuji Tamagawa
初めてのMongo db
初めてのMongo db
Ryuji Tamagawa
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
Ryuji Tamagawa
初めてのAws elastic map reduce
初めてのAws elastic map reduce
Ryuji Tamagawa
More from Ryuji Tamagawa
(20)
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Google Big Query
Google Big Query
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
You might be paying too much for BigQuery
You might be paying too much for BigQuery
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Invitation to mongo db @ Rakuten TechTalk
Invitation to mongo db @ Rakuten TechTalk
MongoDB tuning on AWS
MongoDB tuning on AWS
初めてのMongo db
初めてのMongo db
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
初めてのAws elastic map reduce
初めてのAws elastic map reduce
Recently uploaded
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Recently uploaded
(12)
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Jawsug神戸2 jenkinsとfabricでamiの自動作成とオートスケール
1.
2013/7/6 JAWSUG-Kobe #2 OpsWorks
(Chef) 特集 & fabric & boto & awscliで AMIの自動作成 & AutoScale 玉川竜司 13年7月6日土曜日
2.
軽く自己紹介 Sky株式会社でいろいろやってます。 兼業翻訳やってます。 tamagawa_ryuji@twitter / RyujiTamagawa@FB 13年7月6日土曜日
3.
今日のお話 ✤ コードをコミットしたら ✤ ビルドして ✤
AMIを作成して ✤ AutoScaleのLaunchConfig書き換えて ✤ インスタンスを入れ替えます ここを完全に 自動化します 13年7月6日土曜日
4.
今回のシステム構成と動作 GitHub ソース コード ソース コード ソース コード fabric boto awscli AutomaticDeployer (t1.micro with IAM
Role) build workspace Launch Config ①監視 ②取得して ビルド ③インスタンスを 作成してsshで 中身を設定 ④カスタムAMIを作成し、 そのAMIを使う LaunchConfigを作成 ⑤インスタンスを 入れ替え Amazon Linux AMI 13年7月6日土曜日
5.
デモ 13年7月6日土曜日
6.
それでは順番に説明します 13年7月6日土曜日
7.
✤ ご存じ万能執事さん ✤ gitプラグインを入れれば、ちょっとした設定でGitHubのポーリング が可能 ✤
GitHubのリポジトリが更新されていたら、中身をとってきてビルド 実行 ✤ 今回は、fabricを呼び出して処理を行っている 13年7月6日土曜日
8.
今回使った道具 ✤ fabric(http://docs.fabfile.org/en/1.6/) ✤ PythonベースのSSH自動化ツールみたいなもの ✤
Pythonっぽくて便利! ✤ boto(http://aws.amazon.com/jp/sdkforpython/) ✤ 別名AWS SDK for Python ✤ 中の人がAWSに入って公式化(AWS CLIの基盤にもなりました) ✤ AWSCLI(http://aws.amazon.com/jp/cli/) ✤ jqと併せて使うと超便利 13年7月6日土曜日
9.
fabricのいいところ ✤ fabfile.pyを書いていって、カスタムのコマンドを増やしていく感じ ✤ コマンドを個別に実行できるので、試しながらのスクリプティングが 非常に楽ちん ✤
sshやscp、複数サーバーの扱いなど、低レベルのビルディングブロ ックが提供されている ✤ 要するに「スーパーssh」な感じなので、敷居が低い 13年7月6日土曜日
10.
botoについて ✤ Pythonの人には楽ちん ✤ ドキュメントはちょっとわかりにくい ✤
薄い本出てます(電子書籍 ) ✤ IAM Rolesに対応しているところは高ポ イント 13年7月6日土曜日
11.
IAM Rolesについてちょっと説明 ✤ IAM
Roles以前はconn = EC2Connection('<aws access key>', '<aws secret key>') ✤ AWS内のインスタンスからAWSのAPIを呼ぶ際に、クレデンシャルの扱いが面倒だっ た ✤ IAM Roles以降は、ロールが割り当たっていれば conn = EC2Connection()だけでOK。クレデンシャルをEC2インスタンスに持たせる 必要がない ✤ ライブラリやツールが、http://169.254.169.254/latest/meta-dataあたりを見て、 よろしくやってくれる ✤ botoやawscliはばっちり。Javaはまだ? 13年7月6日土曜日
12.
awscliと.jq ✤ 軽量な公式コマンドラインツール。ただし、すべてのサービスがカバ ーされているわけでは(まだ)ない ✤ コマンドのレスポンスがJSONで返される ✤
JSONフィルタのjqを使えば、レスポンスの扱いが楽 13年7月6日土曜日
13.
ローカルでPythonの環境構築するなら ✤ virtualenvを使うと、ホストマシン内に独立したPython環境を作れます。いろいろイ ンストールしても、ホストマシンは「汚染」されないので便利 ✤ easy_install
pipでpip(Pythonのライブラリマネージャ)を入れて、pip install virtualenvでvirtualenvをインストール。 ✤ virtualenv devenvとして、cd devenv; source bin/activateでdevenvという環境を 使ったセッションに切り替わる。以降、いろいろインストールしても、それはdevenv にローカルな変更になり、ホストそのものには影響しない 13年7月6日土曜日
14.
ここで小市民には大きな問題 デバッグのたびに 「ちゃりーん」 という音が聞こえる・・・ 13年7月6日土曜日
15.
そこでVagrant 新原さんの話に注目! ・・・あと本も出るかも? 13年7月6日土曜日
16.
Questions? 13年7月6日土曜日
Download now