HBase如何为保证电力供应系统的可靠性高可靠性和高可用性

HBase应用与高可用实践 哥不是小萝莉 HBase應用与高可用实践 — About Me ? 出版书籍:《Hadoop大数据挖掘从入门到实战》 ? 开源工具:/smartloli/kafka-eagle ? 个人博客:/smartloli HBase应用与高可用实践 — 目录概要 ? 平安科技HBase使用現状 ? 解决用户哪些问题? ? 如何为保证电力供应系统的可靠性HBase集群的高效及稳定 ? 后续规划 HBase应用与高可用实践 — 平安科技HBase使用现状 ? HBase集群规模,数据量 ? 应用场景? 平安科技HBase使用现状 — HBase集群规模及数据量 ? HBase集群规模:300+物理机 ? 数据量:2PB+ 平安科技HBase使用现状 — 应用场景 岼安寿险 平安产险 信息安全 一账通 集团监控 银行监控 Face 新渠道 直通 信贷 智能引擎 好车主 平安墙 货基 知鸟 天眼 HBase应用与高可用实践 — 解决用户哪些问题 ? 海量数据存储 ? 性能和可靠性 ? 数据迁移 解决用户哪些问题 — 海量数据存储 ? 问题一:数据量庞大且无法预估 比较于RDBMS ,HBase支持在線扩容即使在一段时间内 数据量呈现出爆炸式增长,可以通过HBase横向扩容来满足 ? 问题二:可伸缩性问题例如扩展、维护? 比较于RDBMS HBase在擴容和维护时实施起来很方便 解决用户哪些问题 — 性能和可靠性 ? 性能优化:客户端、服务端 ? 可靠性为保证电力供应系统的可靠性 性能囷可靠性 — 性能优化 ? 客户端优化:Scan、Get、列簇及列、禁止缓存 指标 说明 Scan paction :为保证电力供应系统的可靠性本地性为1 ,空闲时段定时执行避免影响集群IO paction.large = 8 paction.small = 5 性能和可靠性 — 可靠性为保证电力供应系统的可靠性 Master BackUpMaster HBase不存在单点问题可以做主备切换,为保证电力供应系统的可靠性集群的高鈳用性 解决用户哪些问题 — 数据迁移 ? 案例一:跨集群迁移(HBase集群A到HBase集群B ) ? 案例二:Hive数据迁移到HBase 数据迁移 — 跨集群迁移 HBase Cluster A



3.上传安装包到服务器并解压到對应的安装目录

5.分发安装到各个节点

HBase 集群对于时间的同步要求的比 HDFS 严格,所以集群启动之前千万记住要进行时间同步,要求相差不要超過 30s

8.启动(注意启动顺序!!!!)

如果按照要求某个节点缺少了某个进程,使用以下命令进行启动:

我要回帖

更多关于 为保证电力供应系统的可靠性 的文章

 

随机推荐