Suche senden
Hochladen
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
•
41 gefällt mir
•
16,044 views
Akihiro Kuwano
Folgen
Technologie
Melden
Teilen
Melden
Teilen
1 von 44
Empfohlen
Japan Developer Summit (jp) - Cloud Foundry, the Open Platform As A Service
Japan Developer Summit (jp) - Cloud Foundry, the Open Platform As A Service
Patrick Chanezon
17 E-5 震災とHackとクラウドと ━ URIベースのCSLB
17 E-5 震災とHackとクラウドと ━ URIベースのCSLB
Yuki KAN
17 E-5 震災とHackとクラウドと 亀渕分
17 E-5 震災とHackとクラウドと 亀渕分
Keiji Kamebuchi
クラウドデザイン パターンに見るクラウドファーストなアプリケーション設計 Data Management編
クラウドデザイン パターンに見るクラウドファーストなアプリケーション設計 Data Management編
Takekazu Omi
Azure Service Fabric Cluster の作成
Azure Service Fabric Cluster の作成
Takekazu Omi
Global Azure Bootcamp 2017 DocumentDB Deep Dive
Global Azure Bootcamp 2017 DocumentDB Deep Dive
Takekazu Omi
Awsのクラウドデザインパターンをwindows azureに持ってきてみた
Awsのクラウドデザインパターンをwindows azureに持ってきてみた
Sunao Tomita
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
Trainocate Japan, Ltd.
Empfohlen
Japan Developer Summit (jp) - Cloud Foundry, the Open Platform As A Service
Japan Developer Summit (jp) - Cloud Foundry, the Open Platform As A Service
Patrick Chanezon
17 E-5 震災とHackとクラウドと ━ URIベースのCSLB
17 E-5 震災とHackとクラウドと ━ URIベースのCSLB
Yuki KAN
17 E-5 震災とHackとクラウドと 亀渕分
17 E-5 震災とHackとクラウドと 亀渕分
Keiji Kamebuchi
クラウドデザイン パターンに見るクラウドファーストなアプリケーション設計 Data Management編
クラウドデザイン パターンに見るクラウドファーストなアプリケーション設計 Data Management編
Takekazu Omi
Azure Service Fabric Cluster の作成
Azure Service Fabric Cluster の作成
Takekazu Omi
Global Azure Bootcamp 2017 DocumentDB Deep Dive
Global Azure Bootcamp 2017 DocumentDB Deep Dive
Takekazu Omi
Awsのクラウドデザインパターンをwindows azureに持ってきてみた
Awsのクラウドデザインパターンをwindows azureに持ってきてみた
Sunao Tomita
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
Trainocate Japan, Ltd.
JAZUG クラウドデザインパターンのコードを覗く
JAZUG クラウドデザインパターンのコードを覗く
Takekazu Omi
Hyper-V仮想マシンをAzureへV2C移行
Hyper-V仮想マシンをAzureへV2C移行
wintechq
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
wintechq
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Hiroshi Matsumoto
G tech2016 デジタルトランスフォーメーションを牽引するAzure+OSSのスキル習得ポイント
G tech2016 デジタルトランスフォーメーションを牽引するAzure+OSSのスキル習得ポイント
Trainocate Japan, Ltd.
Azure IaaS 解説
Azure IaaS 解説
wintechq
オンプレのDbaがazureのデータベースを使ってみた
オンプレのDbaがazureのデータベースを使ってみた
Masayuki Ozawa
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Suguru Ito
Windows Azure で 2/29 に起こった問題のまとめ
Windows Azure で 2/29 に起こった問題のまとめ
Sunao Tomita
[Azure Deep Dive] クラウド デザイン パターン ~優れたシステム構築のためのガイダンス~
[Azure Deep Dive] クラウド デザイン パターン ~優れたシステム構築のためのガイダンス~
Naoki (Neo) SATO
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
Daiyu Hatakeyama
20170721 初めてのPowerShell
20170721 初めてのPowerShell
Trainocate Japan, Ltd.
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
Suguru Ito
20170902 kixs azure&azure stack
20170902 kixs azure&azure stack
Osamu Takazoe
Springの今
Springの今
Kazuyuki Kawamura
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Miho Yamamoto
クラウド時代の Web サイト構築 ~ Windows Azure Web サイト概要 ~
クラウド時代の Web サイト構築 ~ Windows Azure Web サイト概要 ~
Akira Inoue
PHP on Windows Azure in Open Source Conference
PHP on Windows Azure in Open Source Conference
Microsoft
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
Takanori Sejima
Azure Data Platform
Azure Data Platform
Daiyu Hatakeyama
ngGoBuilder and collaborative development between San Francisco and Tokyo
ngGoBuilder and collaborative development between San Francisco and Tokyo
notolab
ngServer and-collaboratived-development-between-san-francisco-and-tokyo
ngServer and-collaboratived-development-between-san-francisco-and-tokyo
Satoshi Tanaka
Weitere ähnliche Inhalte
Was ist angesagt?
JAZUG クラウドデザインパターンのコードを覗く
JAZUG クラウドデザインパターンのコードを覗く
Takekazu Omi
Hyper-V仮想マシンをAzureへV2C移行
Hyper-V仮想マシンをAzureへV2C移行
wintechq
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
wintechq
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Hiroshi Matsumoto
G tech2016 デジタルトランスフォーメーションを牽引するAzure+OSSのスキル習得ポイント
G tech2016 デジタルトランスフォーメーションを牽引するAzure+OSSのスキル習得ポイント
Trainocate Japan, Ltd.
Azure IaaS 解説
Azure IaaS 解説
wintechq
オンプレのDbaがazureのデータベースを使ってみた
オンプレのDbaがazureのデータベースを使ってみた
Masayuki Ozawa
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Suguru Ito
Windows Azure で 2/29 に起こった問題のまとめ
Windows Azure で 2/29 に起こった問題のまとめ
Sunao Tomita
[Azure Deep Dive] クラウド デザイン パターン ~優れたシステム構築のためのガイダンス~
[Azure Deep Dive] クラウド デザイン パターン ~優れたシステム構築のためのガイダンス~
Naoki (Neo) SATO
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
Daiyu Hatakeyama
20170721 初めてのPowerShell
20170721 初めてのPowerShell
Trainocate Japan, Ltd.
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
Suguru Ito
20170902 kixs azure&azure stack
20170902 kixs azure&azure stack
Osamu Takazoe
Springの今
Springの今
Kazuyuki Kawamura
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Miho Yamamoto
クラウド時代の Web サイト構築 ~ Windows Azure Web サイト概要 ~
クラウド時代の Web サイト構築 ~ Windows Azure Web サイト概要 ~
Akira Inoue
PHP on Windows Azure in Open Source Conference
PHP on Windows Azure in Open Source Conference
Microsoft
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
Takanori Sejima
Azure Data Platform
Azure Data Platform
Daiyu Hatakeyama
Was ist angesagt?
(20)
JAZUG クラウドデザインパターンのコードを覗く
JAZUG クラウドデザインパターンのコードを覗く
Hyper-V仮想マシンをAzureへV2C移行
Hyper-V仮想マシンをAzureへV2C移行
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
G tech2016 デジタルトランスフォーメーションを牽引するAzure+OSSのスキル習得ポイント
G tech2016 デジタルトランスフォーメーションを牽引するAzure+OSSのスキル習得ポイント
Azure IaaS 解説
Azure IaaS 解説
オンプレのDbaがazureのデータベースを使ってみた
オンプレのDbaがazureのデータベースを使ってみた
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Azure Database for MySQL PostgreSQLを使って運用の手間を省きませんか?
Windows Azure で 2/29 に起こった問題のまとめ
Windows Azure で 2/29 に起こった問題のまとめ
[Azure Deep Dive] クラウド デザイン パターン ~優れたシステム構築のためのガイダンス~
[Azure Deep Dive] クラウド デザイン パターン ~優れたシステム構築のためのガイダンス~
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
20170721 初めてのPowerShell
20170721 初めてのPowerShell
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
20170902 kixs azure&azure stack
20170902 kixs azure&azure stack
Springの今
Springの今
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
クラウド時代の Web サイト構築 ~ Windows Azure Web サイト概要 ~
クラウド時代の Web サイト構築 ~ Windows Azure Web サイト概要 ~
PHP on Windows Azure in Open Source Conference
PHP on Windows Azure in Open Source Conference
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
Azure Data Platform
Azure Data Platform
Andere mochten auch
ngGoBuilder and collaborative development between San Francisco and Tokyo
ngGoBuilder and collaborative development between San Francisco and Tokyo
notolab
ngServer and-collaboratived-development-between-san-francisco-and-tokyo
ngServer and-collaboratived-development-between-san-francisco-and-tokyo
Satoshi Tanaka
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
Yuuki Namikawa
Building scalablewebapps
Building scalablewebapps
Ayumu Aizawa
ソフトウェアパッケージベンダーのためのクラウドソリューション「SQL Anywhere OnDemand Edition」
ソフトウェアパッケージベンダーのためのクラウドソリューション「SQL Anywhere OnDemand Edition」
nisobe58
【17-E-3】 オンライン機械学習で実現する大規模データ処理
【17-E-3】 オンライン機械学習で実現する大規模データ処理
Developers Summit
[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている
Akihiro Kuwano
qpstudy 〜初心者にやさしいインフラ勉強会〜 の紹介
qpstudy 〜初心者にやさしいインフラ勉強会〜 の紹介
Akihiro Kuwano
アメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなった
Akihiro Kuwano
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Akihiro Kuwano
Layout analyzerでのgroovyの利用について
Layout analyzerでのgroovyの利用について
kimukou_26 Kimukou
アイデアを塩漬けにしない-世界中の人に手伝ってもらう方法-
アイデアを塩漬けにしない-世界中の人に手伝ってもらう方法-
nishio
Developer summit continuous deliveryとjenkins
Developer summit continuous deliveryとjenkins
Kohsuke Kawaguchi
教科書と現場のあいだ
教科書と現場のあいだ
Yukei Wachi
10th Anniversary
10th Anniversary
dynamis
【17-A-2】 10年後も通用する開発環境の秘訣 <デブサミ2012>
【17-A-2】 10年後も通用する開発環境の秘訣 <デブサミ2012>
智治 長沢
Devsumi2012 攻めの運用の極意
Devsumi2012 攻めの運用の極意
Ryosuke IWANAGA
Dev@cloudの実装
Dev@cloudの実装
Kohsuke Kawaguchi
CouchDB JP Developers Dummit LT
CouchDB JP Developers Dummit LT
Koji Kawamura
デブサミ2012 appinventorユーザー会
デブサミ2012 appinventorユーザー会
Takeaki Tada
Andere mochten auch
(20)
ngGoBuilder and collaborative development between San Francisco and Tokyo
ngGoBuilder and collaborative development between San Francisco and Tokyo
ngServer and-collaboratived-development-between-san-francisco-and-tokyo
ngServer and-collaboratived-development-between-san-francisco-and-tokyo
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (後編)
Building scalablewebapps
Building scalablewebapps
ソフトウェアパッケージベンダーのためのクラウドソリューション「SQL Anywhere OnDemand Edition」
ソフトウェアパッケージベンダーのためのクラウドソリューション「SQL Anywhere OnDemand Edition」
【17-E-3】 オンライン機械学習で実現する大規模データ処理
【17-E-3】 オンライン機械学習で実現する大規模データ処理
[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている
qpstudy 〜初心者にやさしいインフラ勉強会〜 の紹介
qpstudy 〜初心者にやさしいインフラ勉強会〜 の紹介
アメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなった
ログ管理のベストプラクティス
ログ管理のベストプラクティス
Layout analyzerでのgroovyの利用について
Layout analyzerでのgroovyの利用について
アイデアを塩漬けにしない-世界中の人に手伝ってもらう方法-
アイデアを塩漬けにしない-世界中の人に手伝ってもらう方法-
Developer summit continuous deliveryとjenkins
Developer summit continuous deliveryとjenkins
教科書と現場のあいだ
教科書と現場のあいだ
10th Anniversary
10th Anniversary
【17-A-2】 10年後も通用する開発環境の秘訣 <デブサミ2012>
【17-A-2】 10年後も通用する開発環境の秘訣 <デブサミ2012>
Devsumi2012 攻めの運用の極意
Devsumi2012 攻めの運用の極意
Dev@cloudの実装
Dev@cloudの実装
CouchDB JP Developers Dummit LT
CouchDB JP Developers Dummit LT
デブサミ2012 appinventorユーザー会
デブサミ2012 appinventorユーザー会
Ähnlich wie 大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
MongoDB勉強会資料
MongoDB勉強会資料
Hiromune Shishido
ソーシャルゲームにおけるMongoDB適用事例 - Animal Land
ソーシャルゲームにおけるMongoDB適用事例 - Animal Land
Masakazu Matsushita
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
Akihiro Kuwano
MongoDBのアレをアレする
MongoDBのアレをアレする
Akihiro Kuwano
A 1-3 awsのクラウドデザインパターンをwindows-azureに持ってきてみた
A 1-3 awsのクラウドデザインパターンをwindows-azureに持ってきてみた
GoAzure
PHP開発者のためのNoSQL入門
PHP開発者のためのNoSQL入門
じゅん なかざ
AmebaのMongoDB活用事例
AmebaのMongoDB活用事例
Akihiro Kuwano
ソーシャルゲームにおけるAWS/MongoDB利用事例
ソーシャルゲームにおけるAWS/MongoDB利用事例
Masakazu Matsushita
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
Kazuho Oku
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
知教 本間
Moot2013 moca ver0.3
Moot2013 moca ver0.3
科 黄
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Masahiro Nagano
Node.jsでブラウザメッセンジャー
Node.jsでブラウザメッセンジャー
Yahoo!デベロッパーネットワーク
既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~
じゅん なかざ
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
infinite_loop
コンテナ環境でJavaイメージを小さくする方法!
コンテナ環境でJavaイメージを小さくする方法!
オラクルエンジニア通信
AWSクラウドデザインパターン(CDP) - Eコマース編 -
AWSクラウドデザインパターン(CDP) - Eコマース編 -
SORACOM, INC
Javaはどのように動くのか~スライドでわかるJVMの仕組み
Javaはどのように動くのか~スライドでわかるJVMの仕組み
Chihiro Ito
DB tech showcase: 噂のMongoDBその用途は?
DB tech showcase: 噂のMongoDBその用途は?
Hiroaki Kubota
Ähnlich wie 大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
(20)
MongoDB勉強会資料
MongoDB勉強会資料
ソーシャルゲームにおけるMongoDB適用事例 - Animal Land
ソーシャルゲームにおけるMongoDB適用事例 - Animal Land
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
MongoDBのアレをアレする
MongoDBのアレをアレする
A 1-3 awsのクラウドデザインパターンをwindows-azureに持ってきてみた
A 1-3 awsのクラウドデザインパターンをwindows-azureに持ってきてみた
PHP開発者のためのNoSQL入門
PHP開発者のためのNoSQL入門
AmebaのMongoDB活用事例
AmebaのMongoDB活用事例
ソーシャルゲームにおけるAWS/MongoDB利用事例
ソーシャルゲームにおけるAWS/MongoDB利用事例
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
Moot2013 moca ver0.3
Moot2013 moca ver0.3
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Node.jsでブラウザメッセンジャー
Node.jsでブラウザメッセンジャー
既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
コンテナ環境でJavaイメージを小さくする方法!
コンテナ環境でJavaイメージを小さくする方法!
AWSクラウドデザインパターン(CDP) - Eコマース編 -
AWSクラウドデザインパターン(CDP) - Eコマース編 -
Javaはどのように動くのか~スライドでわかるJVMの仕組み
Javaはどのように動くのか~スライドでわかるJVMの仕組み
DB tech showcase: 噂のMongoDBその用途は?
DB tech showcase: 噂のMongoDBその用途は?
Mehr von Akihiro Kuwano
今日はMongoDBの話はしない
今日はMongoDBの話はしない
Akihiro Kuwano
銀河レベルのLT(とは)
銀河レベルのLT(とは)
Akihiro Kuwano
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
AWSのNoSQL入門
AWSのNoSQL入門
Akihiro Kuwano
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
Akihiro Kuwano
MongoDBの可能性の話
MongoDBの可能性の話
Akihiro Kuwano
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
Akihiro Kuwano
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
Akihiro Kuwano
WiredTigerストレージエンジン楽しい
WiredTigerストレージエンジン楽しい
Akihiro Kuwano
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
Akihiro Kuwano
Chef環境の闇
Chef環境の闇
Akihiro Kuwano
CyberAgentにおけるMongoDB
CyberAgentにおけるMongoDB
Akihiro Kuwano
後悔しないもんごもんごの使い方 〜サーバ編〜
後悔しないもんごもんごの使い方 〜サーバ編〜
Akihiro Kuwano
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
Akihiro Kuwano
MongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキスト
Akihiro Kuwano
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
Akihiro Kuwano
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
Akihiro Kuwano
DevOpsのはじめの一歩 〜監視の変遷〜
DevOpsのはじめの一歩 〜監視の変遷〜
Akihiro Kuwano
ザ・ドキュメント~うまくいかないNoSQL~
ザ・ドキュメント~うまくいかないNoSQL~
Akihiro Kuwano
18 a-6 ameba pigg backend practice 20110217
18 a-6 ameba pigg backend practice 20110217
Akihiro Kuwano
Mehr von Akihiro Kuwano
(20)
今日はMongoDBの話はしない
今日はMongoDBの話はしない
銀河レベルのLT(とは)
銀河レベルのLT(とは)
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
AWSのNoSQL入門
AWSのNoSQL入門
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
MongoDBの可能性の話
MongoDBの可能性の話
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
WiredTigerストレージエンジン楽しい
WiredTigerストレージエンジン楽しい
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
Chef環境の闇
Chef環境の闇
CyberAgentにおけるMongoDB
CyberAgentにおけるMongoDB
後悔しないもんごもんごの使い方 〜サーバ編〜
後悔しないもんごもんごの使い方 〜サーバ編〜
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
MongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキスト
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
DevOpsのはじめの一歩 〜監視の変遷〜
DevOpsのはじめの一歩 〜監視の変遷〜
ザ・ドキュメント~うまくいかないNoSQL~
ザ・ドキュメント~うまくいかないNoSQL~
18 a-6 ameba pigg backend practice 20110217
18 a-6 ameba pigg backend practice 20110217
Kürzlich hochgeladen
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Kürzlich hochgeladen
(9)
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
1.
大規模化するピグライフを支 えるインフラ 〜MongoDBと Chefについて〜(前編)
株式会社サイバーエージェント アメーバ事業本部プラットフォームディビジョン サービスディベロップメントグループ CA Developers Connect 桑野 章弘
2.
自己紹介 桑野章弘 サイバーエージェント
Ameba を運営しています。 - Blogを中心として様々なサービスがあります。 ピグライフの運用/構築を担当 Twitter @kuwa_tw Blog http://d.hatena.ne.jp/akuwano/ 著書/活動 「MySQLによるタフなサイトの作り方」 勉強会(hbstudy, qpstudyほか)などでの発表など 2
3.
Ameba
3
4.
アジェンダ ピグライフ なぜMongoDBを採用したか? サービスアーキテクチャの課題 システムアーキテクチャの課題 運用上での課題
キャパプラ 運用 まとめ 4
5.
ピグライフ
5
6.
ピグライフ ピグのキャラクターを利用したガーデニングゲーム こんなことができます ガーデニング 裁縫
料理 ティーパーティー 羊を飼ったり 6
7.
ピグライフ
7
8.
ピグライフ サービス情報 2011/05/31オープン 会員数360万人(2012/01現在)
サービス開始3週間で100万人突破 接続数:20万接続 8
9.
アーキテクチャ:ピグとの比較 アメーバピグのシステムを踏襲していますが使用 しているアーキテクチャが異なります システム概要
Adobe Flashを使用したリアルタイム処理 Flashから直接TCP通信を⾏う事によって実現 9
10.
アーキテクチャ:ピグとの比較 アメーバピグのシステムを踏襲していますが使用してい るアーキテクチャが異なります
アメーバピグ ピグライフ アプリケーションサー フルスクラッチ Node.js バ Javaサーバ サーバ データベースサーバ MySQL MongoDB 10
11.
ピグライフのアーキテクチャ:全体構成
BackEnd FrontEnd ユーザ/エリ ア等の状態 staticサーバ Node.jsサーバ Socketサーバ データ mongodbサーバ Flashデータ 必要なデータ →リクエスト の取得 /取得 HTTP WebSocket接続 ・ユーザ情報 ・チャット データ →リクエスト /取得 ユーザ (ブラウザ) 11
12.
なぜMongoDBを採用
したか? 12
13.
アーキテクチャの課題 サービスアーキテクチャの課題 開発スピード システムアーキテクチャの課題 冗⻑化
ReplicaSets スケーラビリティ Sharding 13
14.
アーキテクチャの課題 サービスアーキテクチャの課題 開発スピード システムアーキテクチャの課題 冗⻑化
ReplicaSets スケーラビリティ Sharding これらの課題を解決できる ソリューションだったため 14
15.
MongoDBの構成 アプリケーションサーバ mongos
Mongod[ShardA] Mongod[ShardB] mongoc Mongod[ShardC] 15
16.
アーキテクチャの課題 開発スピードの構造 Node.jsとの相性の良さ
データのやりとりがJSONで統一される スキーマレスなデータ構造による柔軟なデータ管理 機能追加時 ユーザ情報なども柔軟に持つことができる(次ページ例) 16
17.
アーキテクチャの課題 開発スピードの構造
ユーザーコレクションに最終ログインタイムを追加し たい場合 { "_id" : "1234567889", "userid" : "akuwano", "username" : "Akihiro Kuwano" } 17
18.
アーキテクチャの課題 開発スピードの構造
ユーザーコレクションに最終ログインタイムを追加し たい場合 { "_id" : "1234567889", "userid" : "akuwano", "lastLoginTime" : ISODate("2011-12-25T14:22:46.777Z"), "username" : "Akihiro Kuwano" } 18
19.
アーキテクチャの課題 スケーラビリティの問題 Sharding
データをChunkの細かい粒度に分割し、各mongodに分散し て渡すことで各サーバの負荷を分散します 19
20.
MongoDBの構成
Sharding アプリケーションサーバ データをChunk ReplicaSetsに の単位に分ける よりサーバの冗 ⻑性を確保 DATA mongos Mongod[ShardA] Mongod[ShardB] mongoc Mongod[ShardC] 20
21.
MongoDBの構成
Sharding アプリケーションサーバ データをChunk ReplicaSetsに の単位に分ける よりサーバの冗 ⻑性を確保 ChunkA ChunkB ChunkC mongos mongocは Mongod[ShardA] シャーディング 情報を持つ Mongod[ShardB] mongoc ChunkA -> ShardA ChunkB -> ShardB Mongod[ShardC] ChunkC -> ShardC 21
22.
MongoDBの構成 アプリケーションサーバ
ReplicaSetsに Sharding よりサーバの冗 データをChunk ⻑性を確保 の単位に分ける mongos mongocは ChunkA Mongod[ShardA] シャーディング 情報を持つ ChunkB Mongod[ShardB] mongoc ChunkA -> ShardA ChunkB -> ShardB ChunkC Mongod[ShardC] ChunkC -> ShardC 22
23.
アーキテクチャの課題 冗⻑性の問題 ReplicaSets
相互死活監視&投票により冗⻑性を保つ。最⼩単位は3台。 プライマリ セカンダリ セカンダリ 23
24.
アーキテクチャの課題 冗⻑性の問題 ReplicaSets
相互死活監視&投票により冗⻑性を保つ。最⼩単位は3台。 生きているサー プライマリ バで投票が⾏わ れ新しいプライ マリが選ばれる セカンダリ セカンダリ → プライマリ 24
25.
アーキテクチャの課題 MongoDBのこれら機能により、アプリ側の実装 コストは軽く、スケーラビリティを保ったシステ ム構築を⾏うことが出来ました。 実際の運用ではそこまで
上⼿く⾏ったのでしょうか? 25
26.
実運用上での課題
26
27.
実運用での課題 MongoDBの機能は自動でスケーラビリティや、 冗⻑性の確保が⾏えます。 現在の台数は140台となっており、おそらくこの 規模の台数で使っているMongoDBのクラスタは あまり無いのでは無いでしょうか。 その際に生まれたノウハウについて説明します。
27
28.
実運用での課題:サーバキャパプラ サーバキャパプラ まずは各サーバプロセスのキャパプラについて説明し ていきます
28
29.
実運用での課題:サーバキャパプラ サーバキャパプラ mongos
スケーラビリティはありません アプリケーションサーバに同居する形にしている サーバへの負荷は少ないです 29
30.
実運用での課題:サーバキャパプラ サーバキャパプラ mongoc
スケーラビリティはない 通常時に負荷はかからないが、潤沢なリソースを使える状態 にしておくほうがよい(上記理由) 冗⻑性は同期書き込み( 2フェーズコミット)という形で確 保されています 30
31.
実運用での課題:サーバキャパプラ サーバキャパプラ mongod
DISK I/O:定期的に書きだすのである程度の性能が必要 - ioDriveで⾼速に処理することも可能だが、レプリケーションが 停止する可能性があるのでサーバ単体で使った方がioDriveの性 能を使い切ることができます CPU:書き込みはグローバルロックが存在しているために、 複数コアを効率良く使えません メモリ:Index、データをメモリにキャッシュするため多け れば多いほどよいです アクセスが多岐に渡る場合にはIndexがメモリから溢れてし まうので、パフォーマンスが落ちる。その場合ページフォル トが⼤量に発生し始めるのでそれが目安 31
32.
実運用での課題:運用面 index
特定のカラムで検索を⾏う場合にはindexを貼る事で⾼速化を 図ります 2.0系でIndexが⾼速化 & コンパクト化されているので Indexを多用する場合はバージョンアップする 32
33.
実運用での課題:運用面 Index
Indexの確認->explain() Indexなし replSetTest1001:PRIMARY> db.User.find({'Field02': 'test'}).explain() { {"_id" : "1234567889", "cursor" : "BasicCursor", "userid" : "akuwano", "nscanned" : 706456, "username" : "Akihiro Kuwano" } "nscannedObjects" : 706456, "n" : 1, "millis" : 749, "nYields" : 0, "nChunkSkips" : 0, "isMultiKey" : false, "indexOnly" : false, "indexBounds" : { } } 33
34.
実運用での課題:運用面 Index
Indexの確認->explain() Indexあり replSetTest1001:PRIMARY> db.User.find({'Field01': 'test'}).explain() { "cursor" : "BtreeCursor testIndex_1", { "nscanned" : 1, "_id" : "1234567889", : 1, "nscannedObjects" "userid" : "akuwano", "n" : 1, "username": :7, "millis" "Akihiro Kuwano" } "nYields" : 0, "nChunkSkips" : 0, "isMultiKey" : false, "indexOnly" : false, "indexBounds" : { "Field01" : [ [ "test", "test" ] ] } } 34
35.
実運用での課題:運用面 バックアップ fsyncコマンドでレプリケーションを停止して、dumpを取得
する 1. Replication 2. Dump取得 をとめる DUMP 35
36.
実運用での課題:運用面 グローバルロック 同じサーバ上に異常に書き込みの多いコレクションが あった場合には(結果的に)クラスタ全体のアクセス
に影響します 現状は別クラスタに分ける事で影響を局所化 今後コレクションレベルロックが実装されるとこのよ うな⼿間はなくなる予定です 36
37.
実運用での課題:運用面 グローバルロック Collection
A Collection B Collection C 37
38.
実運用での課題:運用面 グローバルロック Collection
A Collection C Collection B 38
39.
実運用での課題:運用面 Chunkの偏り AutoBalanceがOnの場合Chunkは「データ量」もし くは「オブジェクト数」によって分割されます
-> Not「データアクセス頻度」 「データアクセス頻度」によるShard分割をしたい場 合にはManualBalanceにする必要がある ->⼿動Chunk移動を⾏った場合には現状全mongos の再起動が必要となるため厳しい 今後の課題 ただし、2.0系のAutoBalanceはかなり頭が良くなっている 39
40.
実運用での課題:運用面 バグとの戦い(今まで踏んだバグ) mongodumpをmongos経由で実⾏すると落ちる
各シャードへのdump実⾏ mongos->mongocの接続断が起こった場合の再接 続でmongocが負荷が上がる 主にmongos経由の接続を同時に⼤量に⾏った場合 mongocのスペックアップ(mongoc > mongod) バージョンアップ mongod replicasetsのPRIMARYが切り替わった時 にmongosがdown バージョンアップ待ち 40
41.
実運用での課題:運用面 サーバの台数増 定常的なサーバ追加が必要
Chef,Puppet等を使用し構築をプログラマブルにする ->この後Chefに関しては並河よりお話しします 41
42.
まとめ
42
43.
実運用での課題:運用面 MongoDBは、仕様など改善の余地はある物の、 スケーラビリティを確保するための要素としての 「Sharding」「ReplicaSets」と、同時に柔軟 なデータ構造などサービス開発を加速するために 必要な要素を兼ね揃えたプロダクトです。 弊社の使用サービスも増え、ノウハウも蓄積でき て来ているのでそれが固まり、バージョンが上が る頃には安定して成⻑できる運用の一要素として ⼤事な役割を持つことになると考えています。
43
44.
この後は といった所で弊社並河へ Chefに関して語ってもらいます
さあどーぞ! 44