1. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ヤフー株式会社
データ&サイエンスソリューション統括本部
データプラットフォーム本部 開発2部グリッド 深澤 開
2016年年04⽉月28⽇日
Yahoo!
JAPAN
の Ambari 活⽤用事例例
2. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
⾃自⼰己紹介
⽒氏名
深澤 開 (2013年年度度新卒)
業務
Hadoopクラスタの設計・構築・運⽤用
データセンター内ネットワークの構築
趣味・興味
テニス・ボルダリング・ダーツ(最近はじめた)
Splatoon
(妻の⽅方が上⼿手)
3. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
私の Ambari 歴
2015/03
•v1.7.0
2015/05
•v2.0.0
2015/07
•v2.1.0
2015/10
•v2.1.1
2015/11
•v2.1.2
2016/02
•v2.2.0.0
2016/05
•v2.2.2.0
4. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
アジェンダ
• Yahoo!
JAPAN
での Ambari 活⽤用
• Ambari 概要
(Yahoo!
JAPAN
の事例例を添えて)
• 最近の出来事
• MoveNameNode で⼤大苦戦
5. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Yahoo!
JAPAN
での Ambari 活⽤用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用
Cluster5
90PB
(2016/06)
※ 構築中
6. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Yahoo!
JAPAN
での Ambari 活⽤用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用
Cluster5
90PB
(2016/06)
※ 構築中
• 2クラスタで
Ambari を⽤用いて
構築・運⽤用
7. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Yahoo!
JAPAN
での Ambari 活⽤用
本番
Cluster1
3PB
(2011/06)
Cluster2
20PB
(2013/01)
Cluster4
58PB
(2015/12)
Cluster3
30PB
(2014/4)
このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用
Cluster5
90PB
(2016/06)
※ 構築中
800台 800台
8. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Ambari 概要
https://ambari.apache.org/
Hadoopの構築・管理理・運⽤用を
簡単にする100%オープンソースのツール
9. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
10. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
11. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
12. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
• Ambari ⾃自体のHAが
できていない
• 台数が多いため負荷が⾼高い
• カスタマイズ性が物⾜足りない
13. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari 概要
ホスト管理理
設定管理理
監視・通知
View
• 開発者向けの機能のため
使⽤用は⾒見見送り
14. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
ダッシュボード
15. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
初期構築
Agent
を⼊入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけ
16. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
初期構築
Agent
を⼊入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけコンポーネントごとの
パッケージ管理理/インストール
をしなくていいので楽
17. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
初期構築
Agent
を⼊入れたサーバからコンポーネントを
アサインしたいサーバをポチポチ選ぶだけ
Agent
の管理理が必要
18. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari Server
クラスタ
Ambari Agent
19. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
20. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
21. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
22. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単!
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
23. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単!
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
800
Node
24. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単!
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
800
Node
800台の Ambari Agent
の操作が必要
25. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
クラスタ管理理
Master Node /
Application
Data Node
Agentの⾃自動インストール
コンポーネントの追加
通常構築は簡単!
Ambari Server
クラスタ
オペレーション指⽰示
Ambari Agent
実⾏行行
800
Node
管理理するコンポーネントが増えた
26. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセス Start/Stop
Node
Decommission/Recommission
が可能
27. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセス Start/Stop
Node
Decommission/Recommission
が可能
WebUI から複数Node選択して
同時にオペレーションすることが可能
28. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセス Start/Stop
Node
Decommission/Recommission
が可能Nodeを選択するために
正規表現などが使えない
処理理したいノードリストを読み込めない
29. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
30. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
プロセスの操作や必要なファイル操作
をすべてやってくれる
31. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
本当に必要なのか?
と思うオペレーションをしたりする
32. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
33. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
なぜか起動に1000秒近くかかっている
34. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
なぜか起動に1000秒近くかかっている
特定のhdfsディレクトリに
chmod –r
をしていた
35. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ホスト管理理
なぜか起動に1000秒近くかかっている
ソースコードいじってコメントアウト
36. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
設定管理理
各Service単位での設定管理理
各設定の推奨設定
37. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
設定管理理
各Service単位での設定管理理
各設定の推奨設定
設定バージョン間の⽐比較することが可能
複数のConfigの管理理が可能
38. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
設定管理理
各Service単位での設定管理理
各設定の推奨設定
Ambari 上でのConfigのレビューができない
バージョンアップ時に設定が増えたりする
39. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
最近起きた出来事
MoveNameNode で⼤大苦戦
40. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
• クラスタの構築の中でNameNode
の筐体を変える必要があった
• Ambari の MoveNameNode
というオペレーションを使⽤用
• 過去にもやったことがあったので
2台で3-‐4時間くらいで⾒見見積もってた
41. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
最初はそこそこ順調だった
42. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
こいつをサーバログインして実⾏行行
sudo su hdfs –l
–c
hdfs namenode -‐bootstrapStandby
43. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
あれ?
44. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
調べてみると確かに⼊入ってない
45. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
46. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
これが嘘
47. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
これが嘘
ひとまずコマンドが実⾏行行できなくても
先には進めるので試しに進めてみる
48. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
案の定ダメ
49. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
オペレーションウィザードをそっとじ
50. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
オペレーションウィザードをそっとじ
NameNode が3台になる
51. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
オペレーションウィザードをそっとじ
NameNode が3台になる
52. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
切切り替え先のNameNodeがinstallしなおして
Bootstrapコマンドを実⾏行行しなおす。
53. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
54. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
55. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
NameNode が4台という素敵なクラスタに!
56. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
NameNode が4台という素敵なクラスタに!
1回⽬目と同じ対応 +
APIでNameNodeを削除
57. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
MoveNameNode で⼤大苦戦
再現性あるか確かめたいからもう⼀一回
やっぱりだめ
NameNode が4台という素敵なクラスタに!
1回⽬目と同じ対応 +
APIでNameNodeを削除
過去にできたオペレーションが
Bugによってできなくなる可能性
58. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
最後に
WebUI で⾊色々なオペレーションできるのは楽
ツールを使うからこそのデメリットもある
合⾔言葉葉は 「 I ♥ Ambari 」
59. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
Appendix
Ambariと⼤大規模クラスタと私#yjdsw3
http://www.slideshare.net/techblogyahoo/ambariyjdsw3
Yahoo! JAPAN の Ambari 活⽤用事例例 #ambarimeetup
http://www.slideshare.net/techblogyahoo/yahoo-‐‑‒japan-‐‑‒
ambari-‐‑‒ambarimeetup
60. Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止
ご清聴ありがとう
ございました
ご清聴ありがとう
ございました
Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止