Weitere ähnliche Inhalte
Ähnlich wie Hadoopのメンテナンスリリースバージョンをリリースしてみた (日本Hadoopユーザー会 ライトニングトーク@Cloudera World Tokyo 2015 講演資料) (20)
Mehr von NTT DATA OSS Professional Services (10)
Kürzlich hochgeladen (12)
Hadoopのメンテナンスリリースバージョンをリリースしてみた (日本Hadoopユーザー会 ライトニングトーク@Cloudera World Tokyo 2015 講演資料)
- 1. Copyright © 2015 NTT DATA Corporation
2015/11/10
NTTデータ
鯵坂 明
Hadoopのメンテナンスリリース
バージョンをリリースしてみた
Cloudera World Tokyo 2015
ライトニングトーク
- 2. 2Copyright © 2015 NTT DATA Corporation
Hadoopのメンテナンスリリースは少ない
直近のHadoopリリース (2015/7時点)
20152014201320122011
9.1.0
9.1.18
9.2.0
9.2.13
9.3.0
9.3.9
9.4.0
9.4.4
PostgreSQL
20152014
2.4.0
2.5.2
2.7.0 2.7.1
2.6.0
2.5.1
2.5.0
2.4.1
Hadoop
- 3. 3Copyright © 2015 NTT DATA Corporation
特に、放置されているbranch-2.6をなんとかしたい
だけど、コミュニティ全体の同意が必要
敷居が高い
メンテナンスリリースを増やしたい
- 4. 4Copyright © 2015 NTT DATA Corporation
嬉しい追い風
Hadoop SummitのBoFで、Yahoo!、Twitterなどのユーザ企
業から、もっとコミュニティでメンテナンスリリースを出せ
ないの? という議論があった
HBaseコミュニティから、2.6.1を出してくれるよう要請が
あった
メンテナンスリリースを増やしたい
- 5. 5Copyright © 2015 NTT DATA Corporation
MLにメールを投げた
協力者が募れたので、Hortonworks、Twitterのメンバと分担し
て2.6.1リリースの作業をした
メンテナンスリリースを増やしたい
In Hadoop Summit, I joined HDFS BoF and heard from Jason Lowe that
Apache Hadoop developers at Yahoo!, Twitter, and other non-distributors
work very hard to maintenance Hadoop by cherry-picking patches to their
own branches.
I want to share the work with the community. If we can cherry-pick bug fix
patches and have more maintenance releases, it'd be very happy not only
for users but also for developers who work very hard for stabilizing their
own branches.
(snip)
I would like to start the work from branch-2.6. If the change will be
accepted by the community, I'm willing to work for the maintenance, as a
release manager.
- 6. 6Copyright © 2015 NTT DATA Corporation
リリース作業
https://wiki.apache.org/hadoop/HowToRelease
- 7. 7Copyright © 2015 NTT DATA Corporation
メーリングリストで、どのパッチを2.6.1に入れたいか確認
全てのJIRAに"2.6.1-candidate"とラベリング (158件!)
作業方針 & 分担どうするか決める by hangout
自分がCommonのcherry-pickを担当する、ということは聞き取れた
ただひたすらcherry-pick
進捗管理: https://wiki.apache.org/hadoop/Release-2.6.1-Working-Notes
リリース作業
- 8. 8Copyright © 2015 NTT DATA Corporation
JDK6対応 (2.6まではJDK6をサポート)
try-with-resources statement が使えない -> 書き直す
例外のmulti catch が使えない -> 書き直す
java.nio.Files (NIO2) も使えない -> ...諦める
- Vinodさんが書き直した。すごすぎる (HADOOP-11934)
手でrebaseしたパッチは必ずJIRAに添付
後でtrackできるように
依存関係に注意
あるパッチを当てるために、別のパッチが必要
あるパッチはあるバグを直すが、別のバグが出るので、それに対応する
パッチが必要
依存関係がJIRAに書かれていないこともある
- 注意深くソースコードを追いかける
困ったら、相談!
cherry-pickで気をつけること
- 9. 9Copyright © 2015 NTT DATA Corporation
Release Candidateの作成
Versionを"2.6.1-RC0"に設定
Release dateを記入
git tagを登録
Maven artifactの登録
GPG署名
Vote
期間(5日)内にPMCが「3人以上"+1"」かつ 「"-1"より"+1"が多い」
初回は、NG (当てるパッチを間違えていた)
RC1の作り直し
Release
Release dateを更新
git tagを登録
Distribution directoryにファイルを登録
リリース告知!
RCの作成、投票
- 10. 10Copyright © 2015 NTT DATA Corporation
2.6.1リリースで作業分担したTwitterの開発者が、2.6.2のrelease manager
をやりたいと申し出
彼の尽力により、すでに2.6.2がリリース済 (2015/10/28)
2.7.2も、もうすぐリリース!
2.6.1 リリース後
- 11. 11Copyright © 2015 NTT DATA Corporation
Thanks Vinod Kumar Vavilavalli and Sangjin Lee, and all the
PMCs/committers/contributors who helped for the maintenance
release.
最後に
20152014
2.4.0
2.5.2
2.7.0 2.7.1
2.6.0
2.5.1
2.5.0
2.4.1
2.6.1
2.6.2
2.7.2