欢迎来到优发表,发表咨询:400-888-9411 订阅咨询:400-888-1571股权代码(211862)

SCI投稿辅导 SCI发表咨询

电力大数据平台中HBase的实时性优化方案

作者:方威; 胡晓勤 四川大学计算机学院; 610065

摘要:近年来,随着大数据场景的兴起,RDBMS由于其自身的扩展性和可用性限制无法满足企业需求。No SQL数据库的出现弥补了传统关系型数据库在大数据领域的不足。No SQL数据库本身具有良好的扩展性、容错性以及实时访问、存储TB级别数据的特点。HBase就是以HDFS和MapReduce为基础的开源No SQL型分布式数据库,它不支持二级索引、事务和批量数据处理时延长等[1]。本文以HBase和Spark为基础,增加插件使HBase支持SQL语句和二级索引,通过修改Spark源码,提升对HBase数据的本地化计算级别。插件对HBase无侵入、低耦合,支持用户输入SQL语句,把输入字段转化为HBase的列族和列限定符,根据不同的场景选取不同的执行方案。MapReduce计算框架具有计算效率低,无法利用HBase的读写缓存的缺陷[1],原始Spark框架不能感知HBase数据分片。本文改进Spark能感知HBase数据分片,对HBase中数据进行高级别本地化计算。最终,将本文设计的系统与业内常用的Hive+HBase方案对比常用SQL消耗的时延[3]。通过实验得出,本文构建的优化方案在没有缺失HBase的优良特性的基础上加强了部分应用场景的实时性。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

数据通信

部级期刊 下单

国际刊号:1002-5057

国内刊号:11-2841/TP

杂志详情
相关热门期刊
  • 电力档案
    部级期刊 下单
  • 电力技术
    部级期刊 下单

    国际刊号:1674-4586

    国内刊号:11-5716/TM

  • 宁夏电力
    部级期刊 下单

    国际刊号:1672-3643

    国内刊号:64-1051/TK

  • 青海电力
    部级期刊 下单

    国际刊号:1006-8198

    国内刊号:63-1041/TM

服务介绍LITERATURE

正规发表流程 加急见刊

多年专注期刊服务,熟悉发表政策,投稿全程指导。因为专注所以专业。

保障正刊 双刊号

推荐期刊保障正刊,评职认可,企业资质合规可查。

用户信息严格保密

诚信服务,签订协议,严格保密用户信息,提供正规票据。

不成功可退款

如果发表不成功可退款或转刊。资金受第三方支付宝监管,安全放心。