Hive在hadoop2.50-cdh5.3.6的安装部署
Hive在hadoop2.50-cdh5.3.6的安装部署
1、安装环境
JDK1.7.0centOS6.4hive0.13.1cdh5.3.6hadoop2.5.0mysql
2、Hive的功能架构介绍
Hive是一种以SQL风格进行任何大小数据分析的工具，其特点是采取类似关系数据库的SQL命令。其特点是通过 SQL处理Hadoop的大数据，数据规模可以伸缩扩展到100PB+，数据形式可以是结构或非结构数据。
Hive与传统关系数据库比较有如下几个特点：
&侧重于分析，而非实时在线交易无事务机制；
&不像关系数据库那样可以随机进行 insert或update；
&通过Hadoop的map/reduce进行分布式处理，传统数据库则没有；
&传统关系数据库只能拓展最多20个服务器，而Hive可以拓展到上百个服务器。
Hive与mapreduce比较
Hive只需要通过写几条SQL语句就可以实现用java开发mapreduce的功能，简化了代码量，减少了开发效率，对于不熟悉java而又要开发mapreduce的有极大好处。
Hive的架构图如下：
3、Hive安装部署
3.1、配置与Hadoop关联以及Hive的配置文件目录
HIVE_HOME/conf/hive-env.sh文件
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/xusy/share/cdh5.3.6/hadoop-2.5.0-cdh5.3.6
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/xusy/share/cdh5.3.6/hive-0.13.1-cdh5.3.6/conf
3.2、启动hadoop进程
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
$ sbin/mr-jobhistory-daemon.sh start historyserver&/span&
3.3、创建表之前的必要操作
$bin/hadoop fs -mkdir
$bin/hadoop fs -mkdir
/user/hive/warehouse
$bin/hadoop fs -chmod g+w
$bin/hadoop fs -chmod g+w
/user/hive/warehouse
4、DML/DDL语句测试
4.1、创建表
hive&drop tabl
hive&CREATE TABLE student(
hive&id int,
hive&name string)
hive&ROW FORMAT DELIMITED
hive&FIELDS TERMINATED BY ',';
4.2、准备数据
//通过hue上传到hdfs的/user/xusy/data下，如果没装hue的话，就用命令上传;
数据源存储在hdgs的路径如下：
4.3、加载数据
hive&load data inpath '/user/xusy/data/stu.txt' overwrite
hive&select *
hive&select count(1)
5、linux下安装mysql
5.1、yum安装
$sudo yum -y install mysql-server
5.2、临时启动mysqld
切换到root用户
# service mysqld start
5.3、设置开机启动mysqld
# chkconfig mysqld on
# chkconfig --list|grep mysqld
5.4、创建mysql用户和密码
$mysqladmin -uroot password root
5.5、启动mysql
5.6、修改mysql密码（可选）
mysql& SET PASSWORD = PASSWORD(';);
5.7、修改mysql数据库下user表中的存储的用户信息
5.7.1、查询用户信息
mysql& select Password,Host,U
5.7.2、修改用户信息，修改为任务用户共享一个密码
mysql& update user set Host='%' where User='root'and Host='localhost';
mysql& select Password,Host,U
5.7.3、删除用户信息1
mysql& delete from user where User='root' and Host='127.0.0.1';
mysql& select Password,Host,U
5.7.4、删除用户信息2
mysql& delete from user where User='root' and Host=&#';
mysql&select Password,Host,U
5.7.5、删除用户信息3
mysql& delete from user where Host=&#';
mysql& select Password,Host,U
5.7.6、删除用户信息4
mysql& delete from user where Host='localhost';
mysql& select Password,Host,U
5.7.7、刷新
6、配置Hive元数据存储在mysql中
6.1、hive-site.xml配置文件
注意：如果HIVE_HOME/conf下的hive-site.xml不存在，则自己创建。
配置如下：
&property&
&name&javax.jdo.option.ConnectionURL&/name&
&value&jdbc:mysql:///metadata?createDatabaseIfNotExist=true&/value&
&/property&
&property&
&name&javax.jdo.option.ConnectionDriverName&/name&
&value&com.mysql.jdbc.Driver&/value&
&/property&&/span&&property&
&name&javax.jdo.option.ConnectionUserName&/name&
&value&root&/value&
&/property&&/span& &property&
&name&javax.jdo.option.ConnectionPassword&/name&
&value&holystar&/value&
&/property&&/span&
6.2、添加mysql驱动
6.2.1、解压mysql的驱动包，拷贝mysql中的jar包到hive根目录的lib目录下
$tar -zxvf mysql-connecto-java-5.1.27.tar.gz
$ cp mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /hive-0.13.1-cdh5.3.6/lib/
7、重新启动hive，并进行相应验证测试
7.1、重新启动hive
7.2、查看mysql中存储的元数据信息
mysql& select * from TBLS ;
mysql& use TBLS ;
至此，已成功安装Hive及配置了mysql存储hive的元数据！
我的热门文章
即使是一小步也想与你分享一、前提条件
　　安装了Zookeeper、Hadoop&HDFS&HA &安装方法：&
二、安装Mysql
　　因为使用量多的是单用户数据库模式，并且数据库使用最多的是mysql 所以在这里选择mysql数据库；
$ yum install mysql-server
$ service mysqld start#连接mysql&$ mysql&-uroot&-p &#首次密码是空的（直接敲空格）
select host,user,password from user;
--要删除 user为空的用户
delete from user where user='';
--为root用户设置密码，这里用到了一个函数 PASSWORD()他可以将输入的明文密码转换为加密码格式
update user set password=PASSWORD('123456') where user='root';
--刷新权限
flush privileges;
--为其他客户端开启连接权限
如果是hive和mysql在同一台服务器上则不需要授权
grant all privileges on *.* to 'root'@'%' identified by '123456';
-- 可以把 %改成IP,则授权固定IP
三、Hive安装
#启动Zookeeper
$ zkServer.sh start
#启动Hadoop
$ start-all.sh
Hive安装包下载地址：
#解压安装包 并移动到local目录下
$ tar -zxvf apache-hive-1.2.1-bin.tar.gz
$ mv apache-hive-1.2.1-bin /usr/local/apache-hive-1.2.1
#配置环境变量，将HIVE_HOME写入：
$ vim /root/.bash_profile
PATH=$PATH:$HOME/bin
JAVA_HOME=/usr/java/jdk1.7.0_79
HADOOP_HOME=/usr/local/hadoop-2.5.1
ZK_HOME=/usr/local/zookeeper-3.4.6
HIVE_HOME=/usr/local/apache-hive-1.2.1
export JAVA_HOME
export HADOOP_HOME
export ZK_HOME
PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/:$JAVA_HOME/bin/:$ZK_HOME/bin/:$HIVE_HOME/bin
export PATH
#重新加载配置文件
$ source /root/.bash_profile
#修改Hive的配置文件
$ cd /usr/local/apache-hive-1.2.1/conf
$ cp hive-default.xml.template hive-site.xml
$ vim hive-site.xml
#删除里面内容，只留&configuration&&/configuration& 节点
#将光标放在&configuration&的下一行在:模式下输入.,$-1d 按回车 例
#从当前行删除到倒数第二行
&!-- 在configuration中加入配置 --&
&property&
&name&hive.metastore.warehouse.dir&/name&
&value&/opt/hive/warehouse&/value&
&/property&
&property&
&name&hive.metastore.local&/name&
&value&true&/value&
&/property&
&!-- 如果是远程mysql数据库的话需要在这里写入远程的IP或hosts --&
&property&
&name&javax.jdo.option.ConnectionURL&/name&
&value&jdbc:mysql://node5:3306/hive?createDatabaseIfNotExist=true&/value&
&/property&
&property&
&name&javax.jdo.option.ConnectionDriverName&/name&
&value&com.mysql.jdbc.Driver&/value&
&/property&
&property&
&name&javax.jdo.option.ConnectionUserName&/name&
&value&root&/value&
&/property&
&property&
&name&javax.jdo.option.ConnectionPassword&/name&
&value&123456&/value&
&/property&
　　更新jline.jar 在早期Hadoop版本中 jline.jar的版本是0.9+ 使用这个版本会报错，所以要替换成新版本的Jar包；
　　jline.jar包下载地址：
$ cd /usr/local/hadoop-2.5.1/share/hadoop/yarn/lib
jline-0.9.94.jar
$ cp /root/jline-2.12.1.jar ./
　　下载mysql 的 jdbc连接驱动jar包，放到hive的lib目录下&&& ：JDBC Driver for MySQL (Connector/J)
$ cp /root/mysql-connector-java-5.1.32-bin.jar ./
　　启动hive&
　　 如果能正常的显示登录到hive的命令行下，就表示安装成功了；
阅读(...) 评论()_诺千金 的BLOG
用户名：_诺千金
文章数：86
评论数：12
访问量：38099
注册日期：
阅读量：5863
阅读量：12276
阅读量：424258
阅读量：1112708
51CTO推荐博文
-------------------------------------------一、前言二、环境三、配置1.内嵌模式2.本地模式3.远程模式四、测试-------------------------------------------一、前言& & Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。& & Hive是由Facebook贡献给Apache的开源项目，这个工具可以说是完全为DBA而生，它的的目标，是希望能让精通SQL但不熟悉JAVA编程的工程师，在HADOOP的大潮中不至于下岗待业，即使完全不懂JAVA，也能在HDFS数据分析中继续发挥光和热。Hive是做什么呢，个人理解可以将其视为一个SQL语言的解释器，它能将DBA提交的SQL语句，转换成能够在HADOOP上执行的M-R作业,对于DBA或前端用户来说，不必再将精力花在编写M-R应用上，直接借助SQL的易用性来实现大规模数据的查询和分析。&与Hadoop类似，Hive也有三种运行模式：1.内嵌模式：将元数据保存在本地内嵌的Derby数据库中，这得使用Hive最简单的方式，不过使用内嵌模式的话，缺点也比较明显，因为一个内嵌的Derby数据库每次只能访问一个数据文件，这也就意味着不支持多会话连接。这种情况应对本地测试可能都有所不足，仅供初学者熟悉应用Hive；2.本地模式：这种模式是将元数据库保存在本地的独立数据库中(比如说MySQL)，这样就能够支持多会话和多用户连接。3.远程模式：如果我们的Hive客户端比较多，在每个客户端都安装MySQL服务还是会造成一定的冗余和浪费，这种情况下，就可以更进一步，将MySQL也独立出来，将元数据保存在远端独立的MySQL服务中。二、环境系统：CentOS6.4 32位&软件包：hive-0.8.1.tar.gzmysql-connector-java-5.1.18-bin.jar本实验均在上hadoop基础上做。3种模式均在master主机（192.168.2.101）上配置，master主机已安装hadoop集群。&三、配置1.内嵌模式#&tar&-zxvf&hive-0.8.1.tar.gz&-C&/usr/
#&mv&/usr/hive-0.8.1/&/usr/hive
#&chown&-R&hadoop:hadoop&/usr/hive/&&&&&&//修改所属关系，hadoop用户已在hadoop集群中添加
#&vim&/etc/profile&&&&&&&&&&&&&&&&&&&&&&&//添加环境变量
HIVE_HOME=/usr/hive
PATH=$PATH:$HIVE_HOME/bin
export&HIVE_HOME
#&.&&/etc/profile&&&&&&&&&&&&&&&&&&&&&&&&//使之立即生效，而不必注销并重新登录。#&vim&/usr/hive/bin/hive-config.sh&&&&&&&&//修改hive配置脚本
export&JAVA_HOME=/usr/java/jdk1.7.0_45
export&HIVE_HOME=/usr/hive
export&HADOOP_HOME=/usr/hadoop配置hive-default.xml和hive-site.xml，hive-default.xml用于保留默认配置，hive-site.xml用于个性化配置，可覆盖默认配置，本模式使用默认配置无需修改。#&cd&/usr/hive/conf/
-rw-rw-r--.&1&hadoop&hadoop&46817&Jan&25&&2012&hive-default.xml.template
-rw-rw-r--.&1&hadoop&hadoop&&1593&Jan&25&&2012&hive-env.sh.template
-rw-rw-r--.&1&hadoop&hadoop&&1637&Jan&25&&2012&hive-exec-log4j.properties.template
-rw-rw-r--.&1&hadoop&hadoop&&2043&Jan&25&&2012&hive-log4j.properties.template
#&cp&-p&hive-default.xml.template&hive-default.xml
#&cp&-p&hive-default.xml.template&hive-site.xml在HDFS上建立/tmp和/user/hive/warehouse目录，并赋予组用户写权限。这是Hive默认的数据文件存放目录，在hive-site.xml文件中为默认配置。#&su&-&hadoop
$&hadoop&dfs&-mkdir&/tmp
$&hadoop&dfs&-mkdir&/user/hive/warehouse
$&hadoop&dfs&-chmod&g+w&/tmp
$&hadoop&dfs&-chmod&g+w&/user/hive/warehouse$&hadoop&dfs&-ls&/
drwxrwxr-x&&&-&hadoop&supergroup&&&&&&&&&&0&&18:57&/tmp
drwxr-xr-x&&&-&hadoop&supergroup&&&&&&&&&&0&&19:02&/user
drwxr-xr-x&&&-&hadoop&supergroup&&&&&&&&&&0&&19:31&/usr
$&hadoop&dfs&-ls&/user/hive/
drwxrwxr-x&&&-&hadoop&supergroup&&&&&&&&&&0&&19:02&/user/hive/warehouse$&hive&&&&&&&&&&&&&&&&//启动
Logging&initialized&using&configuration&in&file:/usr/hive/conf/hive-log4j.properties
Hive&history&file=/tmp/hadoop/hive_job_log_hadoop__.txt
hive&&show&
Time&taken:&7.157&seconds
hive&&2.本地独立模式(在内嵌模式上配置)#&yum&install&mysql&mysql-server&&&&&&&&&&//安装mysql
#&service&mysqld&start
#&mysql&-u&root&&&&&&&&&&&&&&&&&&&&&&&&&&&//添加数据库及用户
mysql&&create&database&&&&&&&
Query&OK,&1&row&affected&(0.00&sec)
mysql&&grant&all&on&hive.*&to&'hive'@'localhost'&identified&by&'hive';
Query&OK,&0&rows&affected&(0.00&sec)
mysql&&flush&
Query&OK,&0&rows&affected&(0.00&sec)
Bye#&mysql&-u&hive&-p&&&&&&&&&&&&&&&&&&&&&&&//本地测试，正常
Enter&password:&
Bye#&mv&mysql-connector-java-5.1.18-bin.jar&/usr/hive/lib/&&&&&&//上传JDBC，用于java程序与mysql的连接
#&chown&hadoop:hadoop&mysql-connector-java-5.1.18-bin.jar#&su&-&hadoop&&&&&&&&&&&&&&&&&&&&&&&&&&&&
$&cp&/usr/hive/conf/hive-site.xml&/usr/hadoop/conf/&&&&//将hive目录下的hive-site.xml拷贝到hadoop下配置hive-site.xml文件，用于连接mysql$&vim&/usr/hadoop/conf/hive-site.xml&
&property&
&&&name&javax.jdo.option.ConnectionURL&/name&&&&&&&&&&//所连接的MySQL数据库实例
&&&value&jdbc:mysql://localhost:3306/hive&/value&
&&&description&JDBC&connect&string&for&a&JDBC&metastore&/description&
&/property&
&property&
&&&name&javax.jdo.option.ConnectionDriverName&/name&&&//连接的MySQL数据库驱动
&&&value&com.mysql.jdbc.Driver&/value&
&&&description&Driver&class&name&for&a&JDBC&metastore&/description&
&/property&
&property&
&&&name&javax.jdo.option.ConnectionUserName&/name&&&&//连接的MySQL数据库用户名
&&&value&hive&/value&
&&&description&username&to&use&against&metastore&database&/description&
&/property&
&property&
&&&name&javax.jdo.option.ConnectionPassword&/name&&&&&//连接的MySQL数据库密码
&&&value&hive&/value&
&&&description&password&to&use&against&metastore&database&/description&
&/property&$&hive&&&&&&&&&//启动
Logging&initialized&using&configuration&in&jar:file:/usr/hive/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive&history&file=/tmp/hadoop/hive_job_log_hadoop__.txt
hive&&show&
Time&taken:&5.527&seconds
hive&&3.远程模式(使用一台独立的centos6.4系统并安装mysql，IP为192.168.2.10/24)#&yum&install&mysql&mysql-server&&&&&&&&&//在独立的系统上安装mysql
#&service&mysqld&start
#&mysql&-u&root&&&&&&&&&&&&&&&&&&&&&&&&&&//添加数据库及用户
mysql&&create&database&&&&&&&
Query&OK,&1&row&affected&(0.00&sec)
mysql&&grant&all&on&hive.*&to&'hive'@'localhost'&identified&by&'hive';
Query&OK,&0&rows&affected&(0.00&sec)
mysql&&flush&
Query&OK,&0&rows&affected&(0.00&sec)
Bye#&yum&install&mysql&&&&&&&&&&&&&&&&&&&&//在hadoop集群的master主机上测试，正常
#&mysql&-h&192.168.2.10&-u&hive&-p&&&&&&&
Enter&password:&&
mysql&&show&
+--------------------+
|&Database&&&&&&&&&&&|
+--------------------+
|&information_schema&|
|&hive&&&&&&&&&&&&&&&|
|&test&&&&&&&&&&&&&&&|
+--------------------+
3&rows&in&set&(0.08&sec)
Bye#&tar&-zxvf&hive-0.8.1.tar.gz&-C&/usr/&&&//在master主机上安装hive
#&mv&/usr/hive-0.8.1/&/usr/hive
#&chown&-R&hadoop:hadoop&/usr/hive/
#&vim&/etc/profile&&&&&&&&&&&&&&&&&&&&&&&//添加hive的环境变量
HIVE_HOME=/usr/hive
PATH=$PATH:$HIVE_HOME/bin
export&HIVE_HOME
#&.&&/etc/profile#&mv&mysql-connector-java-5.1.18-bin.jar&/usr/hive/lib/&&&&//上传JDBC
#&chown&hadoop:hadoop&mysql-connector-java-5.1.18-bin.jar#&cd&/usr/hive/conf/
#&cp&-p&hive-default.xml.template&hive-site.xml
#&vim&/usr/hive/conf/hive-site.xml&&&&&&&&&&&&&&&&&//请按照以下配置
hive.metastore.warehouse.dir：指定数据目录，默认值是/user/hive/warehouse；
hive.exec.scratchdir：指定临时文件目录，默认值是/tmp/hive-${user.name}；
hive.metastore.local：指定是否使用本地元数据，此处改为false，使用远端的MySQL数据库存储元数据；&&
javax.jdo.option.ConnectionURL：指定数据库的连接串，此处修改为：jdbc:mysql://192.168.2.10:3306/hive?useUnicode=true&characterEncoding=utf8&amp；&
javax.jdo.option.ConnectionDriverName：指定数据库连接驱动，此处修改为com.mysql.jdbc.Driver；&&
javax.jdo.option.ConnectionUserName：指定连接MySQL的用户名，根据实际情况设定；&&
javax.jdo.option.ConnectionPassword：指定连接MySQL的密码，根据实际情况设定；&&
hive.stats.dbclass：指定数据库类型，此处修改为jdbc:mysql；
hive.stats.jdbcdriver：指定数据库连接驱动，此处指定为com.mysql.jdbc.Driver；
hive.stats.dbconnectionstring：指定hive临时统计信息的数据库连接方式，此处指定为jdbc:mysql://192.168.2.10:3306/hivestat?useUnicode=true&characterEncoding=utf8$user=hive&password=hive$createDatabaseIfNotExist=true；通过模板创建hive的日志输出配置文件#&cp&-p&/usr/hive/conf/hive-log4j.properties.template&/usr/hive/conf/hive-log4j.properties$&su&-&hadoop&
$&hive&&&&&&&&&&&&&//启动正常，但查询出现错误，未解决
Logging&initialized&using&configuration&in&file:/usr/hive/conf/hive-log4j.properties
Hive&history&file=/tmp/hadoop/hive_job_log_hadoop__.txt
hive&&show&
FAILED:&Error&in&metadata:&javax.jdo.JDOFatalDataStoreException:&Communications&link&failure
The&last&packet&sent&successfully&to&the&server&was&0&milliseconds&ago.&The&driver&has&not&received&any&packets&from&the&server.
NestedThrowables:
com.mysql.jdbc.municationsException:&Communications&link&failure
The&last&packet&sent&successfully&to&the&server&was&0&milliseconds&ago.&The&driver&has&not&received&any&packets&from&the&server.
FAILED:&Execution&Error,&return&code&1&from&org.apache.hadoop.hive.ql.exec.DDLTask
hive&四、测试（本地独立模式）1.启动hadoop[hadoop@master&~]$&jps&&&&&&&&&&&&//master主机
3749&NameNode
3962&JobTracker
3898&SecondaryNameNode
[hadoop@slave1&~]$&jps&&&&&&&&&&&&//slave1主机，其余两个一样
2755&DataNode
2844&TaskTracker2.启动hive$&hive&&&&&&&&&&&&&&&&&&&&&&&&&&&&//master主机执行3.创建表hive&&create&table&test(id&INT,str&STRING)
&&&&&&row&format&delimited&
&&&&&&fields&terminated&by&','
&&&&&&stored&as&
Time&taken:&0.15&seconds4.查看新建的表hive&&show&
Time&taken:&1.15&seconds5.加载本地测试数据 &hive&&load&data&local&inpath&'/home/hadoop/data_test.txt'
&&&&&&overwrite&into&table&&&&&&&&&&&&&&&&&&&&&&&&&&
Copying&data&from&file:/home/hadoop/data_test.txt
Copying&file:&file:/home/hadoop/data_test.txt
Loading&data&to&table&default.test
Time&taken:&4.322&seconds6.查询前10行信息hive&&select&*&from&test&limit&10;
Time&taken:&0.869&seconds7.查询该文件中存在多少条数据，这时hive将执行一个map-reduce的过程来计算该值hive&&select&count(1)&from&&&
Total&MapReduce&jobs&=&1
Launching&Job&1&out&of&1
Number&of&reduce&tasks&determined&at&compile&time:&1
In&order&to&change&the&average&load&for&a&reducer&(in&bytes):
&&set&hive.exec.reducers.bytes.per.reducer=&number&
In&order&to&limit&the&maximum&number&of&reducers:
&&set&hive.exec.reducers.max=&number&
In&order&to&set&a&constant&number&of&reducers:
&&set&mapred.reduce.tasks=&number&
Starting&Job&=&job__0001,&Tracking&URL&=&http://master:50030/jobdetails.jsp?jobid=job__0001
Kill&Command&=&/usr/hadoop/bin/../bin/hadoop&job&&-Dmapred.job.tracker=http://192.168.2.101:9001&-kill&job__0001
Hadoop&job&information&for&Stage-1:&number&of&mappers:&1;&number&of&reducers:&1
&02:39:43,858&Stage-1&map&=&0%,&&reduce&=&0%
&02:39:54,964&Stage-1&map&=&100%,&&reduce&=&0%
&02:40:04,078&Stage-1&map&=&100%,&&reduce&=&100%
Ended&Job&=&job__0001
MapReduce&Jobs&Launched:&
Job&0:&Map:&1&&Reduce:&1&&&HDFS&Read:&&HDFS&Write:&8&SUCESS
Total&MapReduce&CPU&Time&Spent:&0&msec
Time&taken:&35.687&seconds错误信息：hive&&select&*&from&test&limit&10;
FAILED:&Hive&Internal&Error:&java.lang.RuntimeException(Error&while&making&MR&scratch&directory&-&check&filesystem&config&(null))
java.lang.RuntimeException:&Error&while&making&MR&scratch&directory&-&check&filesystem&config&(null)
at&org.apache.hadoop.hive.ql.Context.getMRScratchDir(Context.java:216)
at&org.apache.hadoop.hive.ql.Context.getMRTmpFileURI(Context.java:267)
at&org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:1063)
at&org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal(SemanticAnalyzer.java:7275)
at&org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:243)
at&org.apache.hadoop.hive.pile(Driver.java:430)
at&org.apache.hadoop.hive.pile(Driver.java:337)
at&org.apache.hadoop.hive.ql.Driver.run(Driver.java:889)
at&org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:255)
at&org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:212)
at&org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:403)
at&org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:671)
at&org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:554)
at&sun.reflect.NativeMethodAccessorImpl.invoke0(Native&Method)
at&sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at&sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at&java.lang.reflect.Method.invoke(Method.java:606)
at&org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused&by:&java.lang.IllegalArgumentException:&Wrong&FS:&hdfs://192.168.2.101:9000/tmp/hive-hadoop/hive__02-31-49_300_0866780,&expected:&
hdfs://master:9000
at&org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310)
at&org.apache.hadoop.hdfs.DistributedFileSystem.checkPath(DistributedFileSystem.java:99)
at&org.apache.hadoop.fs.FileSystem.makeQualified(FileSystem.java:222)
at&org.apache.hadoop.hdfs.DistributedFileSystem.makeQualified(DistributedFileSystem.java:116)
at&org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:164)
at&org.apache.hadoop.hive.ql.Context.getMRScratchDir(Context.java:210)
...&17&more解决办法（集群内所有节点都要修改）： &$&vim&/usr/hadoop/conf/core-site.xml&
&property&
&name&fs.default.name&/name&
&value&hdfs://192.168.2.101:9000&/value&&&&&//将IP地址修改为主机名即可！
&/property&查询主机名：$&vim&/etc/hosts
192.168.2.101&master
192.168.2.102&slave1
192.168.2.103&slave2
192.168.2.104&slave3修改后：&property&
&name&fs.default.name&/name&
&value&hdfs://master:9000&/value&&&&&//将IP地址修改为主机名
&/property&本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)