1. Hadoop勉強会：インストール
N. Shimizu
chikoski@gmail.com

2. Hadoopと関連物
• hadoop
– map-reduceの実行基盤
– hdfs：分散ファイルシステム
• Pig: データ操作のDSL
• Hive: hadoop上に作られる分散DB
• ZooKeeper：?

3. 動かすのに必要なもの
• Java 1.6.x
• ssh と sshd
• あとrsyncも必要っぽい

4. sshdのスタート
共有

5. sshdのスタート
リモートログインにチェックを入れる

6. 公開鍵の登録
• ssh-keygen
• cd ~/.ssh
• cat idrsa.pub >>
authorized_keys

7. stableをダウンロード
http://hadoop.apache.org/common/releases.html

8. 展開と設定
• tgzを任意の場所に展開
• conf/hadoop-env.shを設定

9. conf/hadoop-env.shを設定
• JAVA_HOMEを設定する
• Mac OSXの場合だと
/System/Library/Frameworks/Ja
vaVM.framework/Versions/Curre
ntJDK/Home
に設定すれば良い。

10. インストール終了

11. hadoopの動作モード
• ローカルモード
• 仮想分散モード
– ローカルで複数のVMを使用
– 利用側は仮想か完全かを気にしなくて
よい
• 完全分散モード

12. ローカルモードのでの動作チェック
% mkdir input
% cp conf/*.xml input
% bin/hadoop jar hadoop-0.20.2-
examples.jar grep input output
‘dfs[a-z.]+’
% cat output/*

13. 仮想分散モードでの動作チェック
1. 設定ファイルを書く
– conf/core-site.xml
– conf/hdfs-site.xml
– conf/mapred-site.xml
2. デーモンの起動
3. grepプログラムを動かす

14. conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value
>
</property>
</configuration>

15. conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

16. conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

17. デーモンの起動
% bin/hadoop namenode –format
% bin/start-all.sh

18. 動作テスト
% bin/hadoop fs –put conf input
% bin/hadoop jar hadoop-0.20.2-
examples.jar grep input output
'dfs[a-z.]+'
％