Weitere ähnliche Inhalte
Ähnlich wie Hadoop gfarm使い方
Ähnlich wie Hadoop gfarm使い方 (15)
Hadoop gfarm使い方
- 3. Hadoop-Gfarm software stack HadoopMapReduce applications Hadoop File System Shell File System API HDFS client library Gfarm JNI shim layer Gfarm client library HDFS servers Gfarm servers
- 4. Hadoopのインストール GNU/Linux JDK 1.6.x のインストール http://hadoop.apache.org/ Apacheのディストリビューションをサポート hadoop-0.20.2/conf以下の設定ファイルを編集 $ wget [url] $ tar zxf hadoop-0.20.2.tar.gz $ cd hadoop-0.20.2
- 5. Hadoop-Gfarmセットアップ方法 Sourceforgeのレポジトリからチェックアウト build.shを編集 build.shを実行するとhadoopのライブラリディレクトリへ自動的にコピーされる 実際には hadoop-gfarm.jar と libGfarmFSNative.soが生成され,Hadoop-gfarm.jarは{HADOOP_HOME}/libへlibGfarmFSNative.soは{HADOP_HOME}/lib/native/Linux-amd-64 or Linux-i386-32 svn co https://gfarm.svn.sourceforge.net/svnroot/gfarm/gfarm_hadoop/trunkgfarm_hadoop export JAVA_HOME=/usr/java/default export HADOOP_HOME=/home/mikami/hadoop-0.20.2 export GFARM_HOME=/usr/local/gfarm_v2 ./build.sh
- 9. 使い方(Hadoop file system shell) gfarm:///path/nameでアクセス可能 % hadoopfs -lsgfarm:///home/mikami/ Found 1 items drwxrwxrwx - 0 2010-06-30 15:09 /home/mikami/system % hadoopfs -mkdirgfarm:///home/mikami/dir % hadoopfs -lsgfarm:///home/mikami/ Found 2 items drwxrwxrwx - 0 2010-06-30 16:05 /home/mikami/dir drwxrwxrwx - 0 2010-06-30 15:09 /home/mikami/system fs.default.nameがgfarm:///ならグレー部分は省略可能
- 10. 使い方(サンプルプログラムの実行) % hadoop jar hadoop-0.20.2-examples.jar teragen 10000gfarm:///home/mikami/input … % hadoop jar hadoop-0.20.2-examples.jar grepgfarm:///home/mikami/input gfarm:///home/mikami/output AAA … % hadoopfs -lsgfarm:///home/mikami/ Found 2 items drwxrwxrwx - 0 2010-06-30 16:11 /home/mikami/input drwxrwxrwx - 0 2010-06-30 16:11 /home/mikami/output