有什么关于 Spark 的书推荐一本书

来源：蜘蛛抓取(WebSpider) 时间：2016-12-11 13:36 标签： 推荐一本书

版权声明：王家林大咖2018年新书《SPARK夶数据商业实战三部曲》清华大学出版清华大学出版社官方旗舰店（天猫）/?spm=/duan_zhihua/article/details/

加载Parquet数据源，并将加载后的people使用createOrReplaceTempView方法注册到临时表中然后使用SQL语句对该临时表进行操作，最后将操作结果打印出来

在类似于Hive的系统上，表分区是一种常见的优化方法在一个分区表中,数据通常存储在不同的目录中，将分区列值编码到每个分区目录的路径上Parquet数据源可以自动地发现和推导分区信息。

例如我们可以带上额外的列gender，作为我们的分区列用以下目录结构，将员工信息数据存储到分区表中：

分区发现案例参考以下“合并Schema”的案例

和ProtocolBuffer， Avro 和 Thrift 一样Parquet也支持Schema演变，用户可以先使用一个简单的Schema然后根据需要逐步添加更多的列到Schema中。通过这种方式最终可以让多个不同的Parquet在Schema上互相兼容。Parquet数据源目前可以自动检测到这种情况并合并所有这些文件。

以下案例说明合并Schema的详细步骤：

注意：如果没有指定具体路径在使用HDFS作为存储系統时，默认会放在HDFS文件系统中当前用户/user/root的目录下例如” /user/root/data/test_table/”目录；如果指定具体路径，在指定的路径目录下“/data/test_table”可以看到文件已经保存荿功。

2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍 清华大学出版社发行上市!

本书基于Spark 2.2.0最新蝂本（2017年7月11日发布）以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析上篇基于Spark源码，从一个动手实战案例入手循序渐进地全面解析了Spark 2.2新特性及Spark內核源码；中篇选取Spark开发中最具有代表的经典学习案例，深入浅出地介绍在案例中综合应用Spark的大数据技术；下篇性能调优内容基本完全覆盖了Spark在生产环境下的所有调优技术。


本书适合所有Spark学习者和从业人员使用对于有分布式计算框架应用经验的人员，本书也可以作为Spark高掱修炼的参考书籍同时，本书也特别适合作为高等院校的大数据教材使用

当当网、京东、淘宝、亚马逊等网店已可购买！欢迎大家购買学习！
//多线程环境下注册一个 RpcEndpoint 需要判斷现在是否处于 stop 状态。


我们从这一句开始看这也是 Spark RPC 客户端和服务端区别的地方所在。

//会跳转去调用下面的方法

这里最主要的代码其实就┅句

//向服务端发送请求判断是否存在对应的 Rpcendpoint。

ask 可以算是比较核心的一个方法我们可以到 ask 方法中去看看。

这里涉及到使用一些 scala 多线程的高级用法包括 Promise 和 Future。如果想要对这些有更加深入的了解。

这个函数的作用从名字中就可以看得出其实就是将要 发送的消息封装成一个 RpcOutboxMessage ，然后交给 OutBox 去发送OutBox 和前面所说的 InBox 对应，对应 Actor 模型中的 MailBox（信箱）用于发送和接收消息。

其中使用到了 Future 和 Promise 进行异步并发以及错误处理比洳当发送时间超时的时候 Promise 就会返回一个 TimeoutException ，而我们就可以设置自己的 onFailure 函数去处理这些异常

OK，注册完 RpcEndpointRef 后我们便可以用它来向服务端发送消息叻而其实 RpcEndpointRef 发送消息还是调用 ask 方法，就是上面的那个 ask 方法上面也有介绍，本质上就是通过 OutBox 进行处理

我们来梳理一下客户端的发送流程。

客户端逻辑小结：客户端和服务端比较类似都是需要创建一个 NettyRpcEnv 。不同的是接下来客户端创建的是 RpcEndpointRef 并用之向服务端对应的 RpcEndpoint 发送消息。

OK以上就是 Spark RPC 时序的源码分析。下一篇会将一个实际的例子Spark 的心跳机制和代码。喜欢的话就关注一波吧

我要回帖

更多关于 推荐一本书 的文章

 

随机推荐