1.查看CDH和Spark的对应版本列表(点击仩述图片2中的地址即可跳转)在这里选择安装Spark的2.2和cloudera1版本,请注意当前面选择cloudera1.jar时,后面对应的Parcel包也要选择cloudera1不然会出错,特别是在版本升级方面要格外注意,不要后面的Parcel包升级了前面的cloudera.jar包就没升,会出问题:
1、Spark2服务对其他服务有版本依赖要求:
2、给集群上所有节点的機器安装Scala2.11版本:
a) 执行如下命令在所有机器上创建目录:
c) 执行如下命令,解压所有机器上的scala包:
d) 执行如下命令配置好Scala的环境变量,当能查看到版本时即可:
3、将下载好的jar包和Parcel包上传到一台机器上并配置好https:
4、使用下载好的jar包,给CDH上添加服务中加入一个添加Spark2的按钮:
a) 将下載好的jar包复制到CDH默认的csd目录下并赋予好权限:
c) 进入到CDH的web界面,刷新界面重新更新配置文件,重启CMS:
d) 此时点击cluster的添加服务能看到Spark2的服務了:
a) 因为重启CDH的server服务,所以有很多默认的URL将这些删除:
b) 将Spark2的离线地址添加进入:
6、对Spark2进行下载,分配解压,激活:
b) 因为安装了其他垺务Spark是一个内存计算服务,所以可以依赖其他服务可以选择多服务的那一组,如下图:
c) 给Spark中的服务选择主机(history选一台Gateway所有主机都要選):
d) 对Spark2服务进行审核更改,清空配置即可:
运用了:加法交换律和加法结合律
你对这个回答的评价是?
你对这个回答的评价是