可选中1个或多个下面的关键词搜索相关资料。也可直接点“搜索资料”搜索整个问题
可选中1个或多个下面的关键词搜索相关资料。也可直接点“搜索资料”搜索整个问题
你对这个回答的评价是?
2010年毕業于北京化工大学北方学院计算机科学与技术专业毕业学士学位,工程电子技术行业4年从业经验
前面已经有篇文章介绍如何编译包含hive的spark-assembly.jar了,不清楚的可以翻看一下前面的文章。
你会发现没法执行hql查询的步骤通过因为cm装的原生的spark是不支持spark hql的,我们需要手动进行一些调整:
这个应该大家都懂的总要让spark找到hive的元数据在哪吧,于是就有了上面一些配置
以上完事之后,运行spark-shell,再输入:
应该就没问題了我们再执行hql查询的步骤一个语句验证一下是不是连接的我们指定的hive元数据库:
最后要重点说明一下这里的第二步第三步和第四步,如果是yarn-cluster模式的话应该替换掉集群所有节点的spark-assembly.jar集群所有节点的spark
本回答由电脑网络分类达人 李孝忠推荐