それマグで!

知識はカップより、マグでゆっくり頂きます。 takuya_1stのブログ

習慣に早くから配慮した者は、 おそらく人生の実りも大きい。

Hadoop インストール

Hadoo インストールした。あはは。疲れたよ。どんなデータでもどんとい。
Hadoopは色々入れ方がある。今回は正攻法で。


前提として

Debian lennyにインストール
HadoopはJava6を要求する。
Cloudeaのパッケージを使う。

#正直Javaとか入れたくないなぁ。

aptからHadoopを入れる方法は

主にパッケージ提供元を参照して。
1.2.3. Installing Hadoop on Debian Systems

http://d.hatena.ne.jp/jitsu102/20100114/1263471458

Java6が入る環境にする。

sources.list の main を non-free に変更したい。

java6が無い環境にHadoopをAPTで入れようとすると
sudo aptitude install openjdk-6-jdk #sun-javaは嫌だからこっちで
sudo aptitude install hadoop

 sun-java6-bin: 依存: unixodbc[仮想パッケージです]
依存関係を解決できません! 諦めています...

依存関係で入らないとは。。。

OpenJDKでHadoopは無理ではないだろうが。APT管理できないのは辛い。

dpkgから入れたり、ソースから入れると絶対インストール可能だと思うんだけど、20台もサーバーマシンあるのに、20台ビルドとか気が狂いそうだからパッケージを素直に使うことにしました。

Apt-lineを変更する。

apt-lineを修正します。
/etc/apt/sources.list
変更前

 10 deb http://cdn.debian.or.jp/debian/ lenny main #オリジナル

変更後

 10 deb http://cdn.debian.or.jp/debian/ lenny main non-free #non-freeを追記
 11 deb-src http://cdn.debian.or.jp/debian/ lenny main non-free
 12
 13 deb http://security.debian.org/ lenny/updates main non-free
 14 deb-src http://security.debian.org/ lenny/updates main non-free
 15
 16 deb http://volatile.debian.org/debian-volatile lenny/volatile main non-free
 17 deb-src http://volatile.debian.org/debian-volatile lenny/volatile main non-free
 18
 19
 20 #for hadoop by takuya
 21 deb http://archive.cloudera.com/debian lenny-cdh3 contrib
 22 deb-src http://archive.cloudera.com/debian lenny-cdh3 contrib
 23
Aptを更新する。
curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -sudo aptitude update
sudo aptitude upgrade
インストール開始
sudo aptitude install  sun-java6-jdk \
                       sun-java6-bin \
                       sun-java6-plugin \
                       sun-java6-doc \
                       sun-java6-source
sudo aptitude install hadoop

はいはい。インストール終わり。

apt lineを沢山変更するのは嬉しくないので、分割した

apt/sources.listの指定の仕方。これは分割して管理できる。

分割ファイル保存フォルダを作る。
sudo mkdir /etc/apt/sources.list.d
sudo echo "deb http://download.virtualbox.org/virtualbox/debian lenny non-free" \
> /etc/apt/sources.list.d/virtualBox.list

参考。/etc/apt/sources.list は分割して管理できるよ!



しかし、ここからが地獄。20台Hadoopなんて大変なんだ。