Hadoop サンプル実行失敗
下記のようなメッセージが表示され一向に処理が進まないipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0
/etc/hosts の 127.0.0.1 の行にec2のホスト名を追加することで解決した
Hive関連
基本はドキュメント通りに。
http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_hive_installation.html
metastoreの設定には注意
デフォルトのderbyではうまく動作しなかったため、metastoreにはMySQLを使用した。またmetastoreのスキーマはドキュメントでは hive-schema-0.12.0.mysql.sql だが hive-schema-0.13.0.mysql.sql を使用する。(0.12.0だと動かなかった)
SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.13.0.mysql.sql;
Hive-JSON-Serdeを使う場合の注意
rcongiu/Hive-JSON-Serde を使うと最新のHiveに対応していなかった。最新版に対応してくれている sheetaldolas/Hive-JSON-Serde の json-serde-1.1.9.8 を使うことで解決した。
https://github.com/sheetaldolas/Hive-JSON-Serde
DDL実行時エラーへの対処
create tableを実行すると下記のようなエラーが発生した。Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=hive, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
下記コマンドで /user の書き込みを可能にして対処
sudo su hdfs -c 'hadoop fs -chmod 777 /user'
0 件のコメント:
コメントを投稿