2015年08月31日

hadoop hiveのインストールと実行方法

このエントリーをはてなブックマークに追加
follow us in feedly

インストールは簡単なようで結構たくさんエラーが出るかもしれません。








hadoopではまずstart-all.shを実行した時
localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
となるのは、
ssh localhost でログイン出来ない状態と同じです。
ユーザのアカウントと鍵の設定が必要です。

start-all.sh
実行して
jobtracker running as process 00000.
localhost: starting tasktracker, logging to /var/log/hadoop/.....
などの出力になればhadoopは起動できていると思います。

ps -aux | grep java
..........
..... org.apache.hadoop.hdfs.server.namenode.NameNode
..... org.apache.hadoop.mapred.JobTracker
..... org.apache.hadoop.hdfs.server.datanode.DataNode
..... org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
..... org.apache.hadoop.mapred.TaskTracker
のような名前のプロセスが動いているんじゃないでしょうか






hiveをインストールするためにダウンロードするのはsrc.tar.gzよりも bin.tar.gz の方が多分早いです。

wget http://ftp.riken.jp/net/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz
これを開いて
hive/bin にパスを通す
hive/conf 中の設定ファイル名から .template を取る
hive-env.sh を実行可能にする
などなど

実行はhiveとコマンドラインから実行できるはずですが
この時
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx--x--x

というエラーは、

/tmp/hive なんてディレクトリ無いのに何でなのかというと
これはhadoopのDFSに有るらしいです。
hadoop fs -chmod 777 /tmp;
hadoop fs -mkdir /tmp/hive;
hadoop fs -chmod -R 777 /tmp/hive;

こうするようです。



Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException:Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
このエラーは、
hive-site.xml の中で${system:java.io.tmpdir}などの値が変換されてないらしいです。
エラーが出てる箇所をhive-site.xmlで直接書き換えても修正できます。



エラーなしで
hive>
となってるなら正しく使えてると思います。
ところでこのhiveはエラーメッセージなどがjavaの出力として出てくるのがちょっと気になりますが

SQL構文はmysqlと対応してない所が結構ありますので注意が必要です。


hiveでは count(*) みたいなことをするとMap Reduceが自動的に呼び出されるみたいでそのログが出力されます。
これは、少量データ、簡単な処理だと効率悪そうです。

hiveはデータの参照入出力はあんまり早くもないし効率的でもないようなので、多分今のところSQL文を大規模データに対して適応するためだけに使うと良いのだと思います。

トラックバックURL

コメントする

名前:
URL:
  情報を記憶: 評価:  顔   星
 
 
 
サイト内検索
にほんブログ村 科学ブログへ
にほんブログ村
adsense
Archives
amazon
blogchart
QRコード
QRコード
Recent Comments
「最新トラックバック」は提供を終了しました。