1. Hadoopによる分散並列データ処理 2010/07/02 三上俊輔（筑波大）

2. Hadoop-Gfarmプラグインの概要 HadoopからGfarm上のファイルへのアクセスを可能にするプラグイン GfarmをHDFSの代わりとして使用可能 HDFSとGfarmを両方起動して使用することも可能 HadoopではURIを使ってどのファイルシステムを使用するか判断 HDFSなら hfds://hostname:port S3なら s3://ID:SECRET@BUCKET 本プラグインによって gfarm:/// でGfarmへアクセス可能になる

3. Hadoop-Gfarm software stack HadoopMapReduce applications Hadoop File System Shell File System API HDFS client library Gfarm JNI shim layer Gfarm client library HDFS servers Gfarm servers

4. Hadoopのインストール GNU/Linux JDK 1.6.x のインストール http://hadoop.apache.org/ Apacheのディストリビューションをサポート hadoop-0.20.2/conf以下の設定ファイルを編集 $ wget [url] $ tar zxf hadoop-0.20.2.tar.gz $ cd hadoop-0.20.2

5. Hadoop-Gfarmセットアップ方法 Sourceforgeのレポジトリからチェックアウト build.shを編集 build.shを実行するとhadoopのライブラリディレクトリへ自動的にコピーされる 実際には hadoop-gfarm.jar と libGfarmFSNative.soが生成され，Hadoop-gfarm.jarは{HADOOP_HOME}/libへlibGfarmFSNative.soは{HADOP_HOME}/lib/native/Linux-amd-64 or Linux-i386-32 svn co https://gfarm.svn.sourceforge.net/svnroot/gfarm/gfarm_hadoop/trunkgfarm_hadoop export JAVA_HOME=/usr/java/default export HADOOP_HOME=/home/mikami/hadoop-0.20.2 export GFARM_HOME=/usr/local/gfarm_v2 ./build.sh

6. Hadoop側の設定 hadoop-0.20/conf/core-site.xml

7. Hadoopの設定 conf/hadoop-env.sh conf/masters conf/slaves export JAVA_HOME=/usr/java/default les00 les02 les03 … $ ./bin/start-all.sh

8. 設定 .bashrcに追記 export GFARM_HOME=/usr/local/gfarm_v2 export LD_LIBRARY_PATH=$GFARM_HOME/lib

9. 使い方(Hadoop file system shell) gfarm:///path/nameでアクセス可能 % hadoopfs -lsgfarm:///home/mikami/ Found 1 items drwxrwxrwx - 0 2010-06-30 15:09 /home/mikami/system % hadoopfs -mkdirgfarm:///home/mikami/dir % hadoopfs -lsgfarm:///home/mikami/ Found 2 items drwxrwxrwx - 0 2010-06-30 16:05 /home/mikami/dir drwxrwxrwx - 0 2010-06-30 15:09 /home/mikami/system fs.default.nameがgfarm:///ならグレー部分は省略可能

10. 使い方(サンプルプログラムの実行) % hadoop jar hadoop-0.20.2-examples.jar teragen 10000gfarm:///home/mikami/input … % hadoop jar hadoop-0.20.2-examples.jar grepgfarm:///home/mikami/input gfarm:///home/mikami/output AAA … % hadoopfs -lsgfarm:///home/mikami/ Found 2 items drwxrwxrwx - 0 2010-06-30 16:11 /home/mikami/input drwxrwxrwx - 0 2010-06-30 16:11 /home/mikami/output

11. おわりに https://gfarm.svn.sourceforge.net/svnroot/gfarm/gfarm_hadoop/trunk/README [#HADOOP-5635]distributed cache doesn't work with other distributed file systems https://issues.apache.org/jira/browse/HADOOP-5635 mikami@hpcs.cs.tsukuba.ac.jp