分散処理技術 Hadoop

日経Linux 2011-05で短期連載で
Hadoop の特集があるので、これを実験

hadoop に関しては、Wikipedia の記事
Hadoop
を見ました

なにごとも手をつけて実験してみると
なにか得るものがあるかも

まずは、Hadoop をインストール
実験環境は VMで作成した ubuntu 10.10 32bit

まずは、sun-java の jdk をインストール
http://java.sun.com/javase/ja/6/download.html
へリンクし
jdk-6u24-linux-i586.bin
をダウンロードします

きりんさん日記の
1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)
には、apt-get を使った方法が載っていました

とりあえず、今回は雑誌記事の内容をもとにインストールしてみます

ダウンロード完了後
cd ダウンロード
chmod 755 jdk-6u24-linux-i586.bin
これで、実行権限をつけます

./jdk-6u24-linux-i586.bin
を実行すると、
jdk1.6.0_24/
ができているので

sudo mv jdk1.6.0_24/ /opt
でディレクトリ移動

続いて、付録DVDに収録されている Hadoop をHDDにコピーします
cp /media/LIN201105/article/rensai_pighive/hadoop-0.21.0.tar.gz $HOME

cd
で　一旦　ホームディレクトリに移動し、
tar zxvf hadoop-0.21.0.tar.gz
で解凍してから
sudo mkdir -p /opt/hadoop
でディレクトリ作成
sudo をつけないと権限がないので、作成できません
また -p をつけると、パスが存在しなくても新規にディレクトリ作成できます

sudo mv hadoop-0.21.0 /opt/hadoop
でディレクトリごと移動します

ただ、これをみると
sudo mkdir -p /opt/haddop
sudo tar zxvf hadoop-0.21.0.tar.gz -C /opt/hadoop
でもよさそうですが

それはさておき、
次に JDKのディレクトリ指定です

sudo apt-get -y install vim
で vim をインストールし
vi .bashrc
でファイルを開き、最終行へ
export JAVA_HOME=/opt/jdk1.6.0_24/
export HADOOP_INSTALL=/opt/hadoop/hadoop-0.21.0
export PATH=$HADOOP_INSTALL/bin:$JAVA_HOME/bin:$PATH
を追記

source .bashrc
で設定内容を反映します

また、Hadoop に必要なものとして
ssh の公開鍵認証が必要らしいので、
ubuntu にはデフォルトで入っていない ssh を
sudo apt-get -y install ssh
でインストールします

これで、公開鍵認証を行うまでの準備が整いました