欢迎来到优发表网,发表咨询:400-888-9411 订阅咨询:400-888-1571股权代码(211862)

购物车(0)

基于列存储的大数据采样查询处理

作者:齐文; 鲍玉斌; 宋杰 辽东学院信息工程学院; 辽宁丹东118000; 东北大学计算机科学与工程学院; 沈阳110819; 东北大学软件学院; 沈阳110819

摘要:大数据时代的到来给传统的数据查询带来了性能挑战,即使查询算法有着O(n)的线性复杂度,但当n极大时其时间开销也难以满足用户需求。在很多实际应用中,人们并不需要精确的查询结果,但要求在给定时间内完成查询,因此可适当牺牲查询精度以满足性能约束。采样查询通过约简查询范围来提高查询性能,现有的采样方法多针对特定的算法和特定的应用场景,缺乏大数据环境下一般性的采样查询方法以及保证性能和精度的研究。文中研究大数据环境下列存储的采样查询处理,从数据划分和数据采样两方面改进大数据的查询效率。提出了基于加速比和势分布的采样方法,其支持各类采样算法,实现了分布式环境下采样查询的随机性保证、性能保证和近似性评价,并兼容了精确查询。该方法可以快速应用到已有大量数据的列存储中,具备良好的扩展性和可维护性。以Top-K为查询用例的实验结果证明,在不同数据量、不同数据分布和不同采样算法下,实际采样率与给定采样率的误差低于2%,查询准确度(Accuracy)稳定,方差在0.10和0.12之间,因此提出的基于段势的数据划分的采样效率高于平均划分和线性划分。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机科学

北大期刊 下单

国际刊号:1002-137X

国内刊号:50-1075/TP

杂志详情
相关热门期刊

服务介绍LITERATURE

正规发表流程 加急见刊

多年专注期刊服务,熟悉发表政策,投稿全程指导。因为专注所以专业。

保障正刊 双刊号

推荐期刊保障正刊,评职认可,企业资质合规可查。

用户信息严格保密

诚信服务,签订协议,严格保密用户信息,提供正规票据。

不成功可退款

如果发表不成功可退款或转刊。资金受第三方支付宝监管,安全放心。