基于内存与文件共享机制的Spark I/O性能优化

关键词：分布式计算 spark平台 shuffle过程任务调度

通过对Spark采用的弹性分布式数据集及任务调度等关键技术进行分析,发现数据处理I/O时间是影响Spark计算性能的主要瓶颈。为此,研究Spark合并文件运行模式,该模式能够减少缓存文件数量,提高Spark的I/O效率,但存在内存开销较高的缺点。在此基础上,给出改进的Spark Shuffle过程,即通过设计一种使每个Mapper只生成一个缓存文件的运行模式,并且每个M...
基于冷热数据的MongoDB自动分片机制

关键词：自动分片机制冷热数据朴素贝叶斯热负载数据迁移

MongoDB数据库中的自动分片（Auto-Sharding）机制仅通过数据量来进行分片迁移,会导致负载不均衡的问题。为此,提出一种基于数据冷热访问特征的Auoto-Sharding优化机制。通过朴素贝叶斯算法对数据的访问特性进行冷热数据判定,将数据分片中热数据的所占比重作为热负载值以确定数据迁移时机,并根据数据片之间的热负载差异建立新的数据迁移策略。实...
桌面网格环境下虚拟化技术的应用研究

关键词：虚拟化桌面网格 virtualbox虚拟机镜像元数据作业文件系统缓存服务

桌面网格是典型的异构计算资源环境,而虚拟化技术具有良好的封装性及隔离性,能整合异构资源并屏蔽不同操作系统的差异。为此,基于VirtualBox虚拟机实现桌面网格系统。对虚拟机运行环境的配置参数进行测试,设计实现自适应内存配置模块。分析作业运行不同阶段硬盘I/O、带宽I/O等性能差异对作业运行效率的影响,并针对镜像多样性及虚拟机启动与带宽...
基于信息网模型的Web实体语义信息搜索平台

关键词：语义表示和建模信息网模型语义关系推理规则 inm查询语言语义信息搜索

Web上实体信息过于分散且缺乏语义,传统基于关键词匹配的搜索引擎往往因缺少上下文等语义信息,无法搜索到精确的结果。为了对Web数据进行精确查找,使用信息网模型（INM）对Web数据进行语义表示和建模,将实体的所有语义信息组织在一个对象中,快速获取实体完整的语义信息。基于INM构建复杂语义数据库,设计实现一个可对教育领域相关实体信息进行精...
基于蚁群平台的大规模分布式XML数据库

关键词：原生xml数据库蚁群软硬协同设计查询并发度

为解决现有原生XML数据库查询效率不高、查询并发度低、数据库规模小及可扩展性不足等问题,基于蚁群高效多用计算平台设计一个大规模分布式原生XML数据库原型系统。采用软硬协同设计思想,在硬件部分设计多并行、全流水、可配置的查询过滤结构,以实现高效查询。利用软件平台的通用性,实现数据库的灵活配置和查询结果排序、筛选等复杂处理,并针对...
面向Deep Web本地化数据集成的数据源两层选择模型

关键词：深层网页数据集成数据源选择数据源质量效用模型递归增量策略

针对基于数据源质量选择方法的数据源在数据爬取时存在代价大、重复率高的问题,提出一种结合两层选择模型的Deep Web数据源选择和集成方法。该方法根据数据源本身质量和数据源的效用构建数据源的两层选择模型。给出基于该模型的递归增量数据源选择和集成策略,采用基于数据源质量的选择器过滤大量低质量Deep Web数据源,仅选择若干个高质量的数据...
基于局部线性嵌入算法的流量矩阵流形结构分析

关键词：流量矩阵局部线性嵌入算法本征维度流形结构骨干网络

利用经典流形学习算法研究流量矩阵中的流形结构,能够获得流量矩阵的本征维度。然而局部线性嵌入（LLE）算法依赖于近邻点的选取,传统近邻选取个数往往通过实验试凑法得到最优解,不能完全揭示流量矩阵的流形结构。针对上述缺点,提出一种改进的局部线性嵌入算法,该算法利用改进的LLE算法探索流量矩阵的流形结构,并对实际骨干网络中的流量矩阵进行...
商用处理器上针对能耗优化的DVFS调节机制

关键词：动态电压频率调节功耗预测模型性能预测模型电压频率调节机制能耗优化

针对动态电压频率调节（DVFS）对应用程序运行时性能与功耗的影响,基于区间划分方法,使用现有商用处理器提供的性能监测单元,提出一种考虑访存延迟变化的DVFS性能预测模型,并利用该模型实现针对能耗优化的DVFS调节机制（eDVFS）。实验结果表明,与Linux内核提供的ondemand调节策略相比,该eDVFS调节机制能够获得最大23%、平均6.85%的能耗优化。
三维数字沙盘标准模块的设计与实现

关键词：三维数字沙盘硬件误差电擦除可编程只读存储器可靠控制数据保护

为完成对三维数字沙盘机械装置的控制,设计基于嵌入式的三维数字沙盘标准模块,并针对机械装置自身硬件误差导致的行程中断异常以及突发性断电后数据丢失等问题,提出从软件角度弥补硬件行程中断误差以及预防断电的数据保护方案。硬件行程中断误差的弥补方案通过模拟中断过滤层,设计消抖机制和中断合法性机制,过滤杂波并判断中断的合法性,保留正确...
一种高回报的最小空闲时间优先实时调度改进算法

关键词：最小空闲时间优先算法高回报最小空闲时间优先算法任务能耗任务价值动态调度

信号任务调度算法是提高信息物理系统执行效能的关键,而最小空闲时间优先算法（LSF）、最早截止时间优先算法（EDF）和最大价值优先算法（HVF）在系统满载的情况下无法很好地完成任务调度并且系统能耗很高。为此,提出一种改进型调度算法。将任务能耗、任务完成价值和任务紧迫程度相结合,通过引入任务调度优先级和任务实际调度优先级的形式,实现...
基于北斗卫星的可靠远程通信系统设计

关键词：北斗短报文通信丢包反馈重传机制粘包机制分包机制系统通信协议

为构建稳健的远程数据传输系统,设计并实现一种基于北斗短报文协议的可靠远程通信系统。针对北斗短报文通信不可靠和通信容量有限的局限性,采用丢包反馈重传机制完善数据传输的可靠性,运用粘包机制提高小数据传输效率,根据分包机制实现大数据的正确传输。将北斗短报文通信协议的电文内容进行扩充,自定义系统通信协议,设计开发一款嵌入式通信接口...
大规模MIMO系统中基于3D码本的多用户预编码方案

关键词：大规模多输入多输出系统预编码 3d码本垂直下倾角多用户干扰

针对大规模多输入多输出（MIMO）系统存在的共信道干扰问题,提出一种基于3D码本的多用户预编码方案。以均匀平面阵列天线为基础,利用垂直下倾角的分布特点设计垂直码本,并将现有的离散傅里叶变换码本作为水平码本,基于Kronecker积运算重新构造3D码本。结合码字选择和用户调度策略,最小化大规模MIMO系统中多用户的干扰。仿真结果表明,与基于3D离...
基于删边提高网络容量的方法

关键词：网络容量介数删边无标度网络节点转发能力模型

考虑到网络静态拓扑对网络动态流量的影响,提出一种提高网络容量的方法。通过删除高介数的边,使数据包绕开网络中的中枢节点,从而平衡网络负载。根据边介数排序,在保证网络连通的前提下循环删边,并在不同的节点转发能力模型下进行仿真实验,结果表明,该方法操作简单、高效,不仅能提高网络容量,而且节省了维护成本。
大规模多输入多输出下的容量优化算法

关键词：大规模多输入多输出 csi精准因子空间自由度遍历容量用户数

针对3D相关信道中大规模多输入多输出系统的遍历和速率最大化问题,将空间自由度、信道估计精准因子引入预编码的容量分析中,提出一种联合优化问题的容量优化算法。推导空间自由度、信道状态信息准确度下的系统容量表达式,将系统容量最大化时的联合优化问题转化为用户数优化问题的条件,并基于中点法求优化问题的最优解。仿真结果表明,当信道估计...
基于模代数预编码的MIMO室内可见光通信系统

关键词：可见光通信多输入多输出模代数预编码格基规约信噪比鲁棒性

针对基于模代数预编码（THP）的多用户多输入多输出（MIMO）室内可见光通信系统存在误码率高、功率利用率低的问题,提出一种基于格基规约THP的多用户MIMO（MU-MIMO）通信系统。通过改进的格基规约THP对信道矩阵进行优化使其满秩,在此基础上,设计多用户接收信号均衡分配方案。仿真结果表明,在信噪比较高且信道不稳定的情况下,MU-MIMO通信系统具有...
无线认知网络中的选择触发协作频谱感知

关键词：协作频谱感知无线认知网络能量消耗检测概率通信成本

在无线认知网络中,常规协作频谱感知算法用于增强频谱感知的准确性,但是该算法增加了通信成本以及认知用户的能量消耗。为此,提出一种选择触发协作频谱感知算法（STCSS）。该算法基于当前频谱感知能量阈值判定是否触发二次协作频谱感知,使得协作频谱感知仅在必要时被触发从而降低能量消耗与通信成本。仿真结果表明,对比协作频谱感知算法与精细快...
基于OpenWrt与ZigBee的智能家居路由器设计

关键词：zigbee协议 openwrt系统路由器智能家居嵌入式系统

为实现家居设备传感网与互联网的互联互通,设计智能家居路由器。采用Zstack协议栈和开源OpenWrt系统分别处理ZigBee和WiFi网络报文,使报文在应用层进行无障碍传输并提供相应数据服务,同时利用智能家居场景设计的服务软件为设备提供管理服务。将上述2种服务与WiFi路由器和ZigBee协调器相结合组成适用于智能家居系统的路由器。通过Packet Sniffer...
基于代数决策图的路由查找算法

关键词：路由表路由查找代数决策图符号算法最长前缀匹配伪布尔函数

为解决路由查找过程中路由表项数不断增加导致存储冗余大和查找效率低的问题,在代数决策图（ADD）的基础上,提出一种改进的路由查找算法。根据符号算法的特性对路由表项进行伪布尔函数表示,综合考虑路由表结构特征和符号算法的优势,基于ADD结构构建基于前缀的路由表,并给出路由表更新、删除、查找算法。通过国际项目管理协会提供的开源路由表进...
基于GDOP加权的TOA/AOA混合定位算法

关键词：无线传感器网络定位到达时间到达角度几何精度因子

现有基于无线传感器网络（WSN）的到达时间/到达角度（TOA/AOA）定位算法在锚节点位置存在误差的条件下定位精度不高。针对该问题,融合几何精度因子（GDOP）加权,提出一种改进的TOA/AOA混合定位算法。根据单个锚节点对定位参量的测量误差及其自身位置误差,得出基于单节点的TOA/AOA混合定位算法的GDOP计算公式。依据WSN中所有锚节点的测量误差及...
适用于高阶QAM的改进型Costas环研究

关键词：载波同步科斯塔斯环高阶正交幅度调制 system generator仿真环路滤波器

为提高高阶正交幅度调制（QAM）解调中载波恢复的收敛速度及跟踪稳定性,基于软件无线电设计思路和传统科斯塔斯（Costas）环基本原理,提出一种改进型Costas环的研究方法。该方法采用符号鉴相器代替传统的乘法器鉴相器,设计的环路滤波器运用多系数调整取代传统的一组系数调整。以1024QAM信号解调为例,通过使用Matlab/Simulink下的System Generato...
一种延迟偏移的二进制正交线性调频信号调制方法

关键词：线性调频信号互干扰旁瓣抑制时间带宽积延迟偏移

在低时间带宽积条件下,二进制正交键控（BOK）匹配检测存在正负调频斜率互干扰和自匹配旁瓣幅度大的问题。为此,提出一种新的延迟偏移Chirp-BOK调制方法。通过在正负调频斜率符号间加入延迟偏移量,减少正负调频斜率信号间的互干扰,从而抑制旁瓣,提高峰值旁瓣比。对该调制方法的最佳延迟偏移量进行工程求解和仿真分析,结果表明,与窗函数加权旁瓣...
基于天线覆盖模型的RFID室内定位算法

关键词：无线射频识别技术室内定位天线覆盖模型无源标签读写器定位精度

基于无线射频识别（RFID）技术密集无源标签定位系统的定位算法大多存在标签性能差异、天线方向性未定和外在环境噪声干扰等问题,导致系统定位精度大幅降低。为提高定位精度,提出一种被动式RFID二维室内定位算法IPABACM。该算法通过部署标签阵列使RFID阅读器读取信息,将读取到的标签赋予权值,利用改变标签权重并用神经网络进行训练的方法降低环...
分子序列压缩算法在卫星IP网络中的应用

关键词：冗余消除分子序列压缩历史同步卫星ip网络时延波动

以冗余消除技术中的分子序列压缩算法（MSR）为例,分析卫星链路高误码率和长时延对MSR算法压缩性能的影响,提出一种基于确认的历史同步机制（PAS）。将PAS机制与MSR算法相结合,把接收端确认收到的数据包作为收发两端的历史数据并使历史数据始终保持同步,从而确保接收端能对所有数据包进行解压,避免数据包丢失。实验结果表明,MSR-PAS在高误码率和...
基于应急融合网络应用的多路径Bandit优化算法

关键词：融合网络应急通信 bandit理论有限状态马尔科夫链多路径多网关

传统的无线通信网络由于结构单一,性能上诸多受限,难以保障应急通信的质量。为此,在认知无线自组织网络与移动蜂窝网络相融合的新背景下,提出一种多路径Bandit算法。将通信中的选路过程分为多时隙路径选择子阶段,通过对权衡网络时延和能效目标函数的计算进行路径优选,从而合理地分布网络中各节点的能耗。仿真结果表明,对比非应急业务应用和贪婪...
低空多无人机自组网数据可靠传输的跨层方法

关键词：低空多无人机跨层中断概率拥塞控制路由选择

低空多无人机自组织网络由于数据传输容易被地形或建筑物等遮挡,通信中断时有发生,同时传统拥塞处理体系已不能满足无人机间通信的质量要求。针对以上问题,提出一种数据可靠传输的跨层方法。运用该方法在物理层根据信道条件得出3种通信方式的中断概率,在MAC层根据数据包进入缓存队列时间,进行拥塞等级划分,在传输层根据拥塞情况控制滑动窗口大小...
针对SSL/TLS协议会话密钥的安全威胁与防御方法

关键词：安全套接层协议安全传输层协议会话密钥 netfilter机制会话劫持安全防御

分析安全套接层/安全传输层（SSL/TLS）协议在客户端的具体实现,利用浏览器处理SSL/TLS协议会话主密钥和协议握手过程中传递安全参数存在的漏洞与缺陷,结合Netfilter机制进行会话劫持,提出一种针对SSL/TLS协议的安全威胁方案（SKAS）并对其进行安全研究,给出随机数单向加密、双向加密及保护会话主密钥安全的3种防御方法。经过实验验证了SKAS威胁...
一种结合动态与静态分析的函数调用图提取方法

关键词：恶意程序函数调用图控制流图静态分析动态分析

完整准确地提取函数调用图是基于函数调用图进行恶意程序相似性分析的基础。为此,提出一种动静结合的恶意程序函数调用图提取方法。在对程序进行静态反汇编的基础上抽取恶意程序的可执行路径,使用隐藏信息主动发现策略找出恶意程序中隐藏的指令和函数调用,采用动态反馈机制完成动静结合分析过程中的信息同步。实验结果表明,该方法能够有效应对各...
一种保护私有信息的空间离群点检测方法

关键词：空间离群点检测空间邻域空间属性非空间属性安全多方计算

针对现有空间离群点检测方法难以同时保证数据安全性和检测结果有效性的问题,提出一种隐私保护的空间离群点检测方法。该方法基于空间邻域行为属性值的统计结果及马哈拉诺比斯距离进行空间离群点的检测,通过对基于半诚实模型的安全多方距离、合并向量的中位数及标准化等计算协议的定义和应用,实现私有信息的保护。实验结果表明,该方法在保护隐私...
通用可组合的群签名协议

关键词：群签名理想函数并发执行安全性不可伪造性

目前群签名协议大多只局限于单个协议执行的安全性,在多协议环境下安全性减弱。为此,研究通用可组合模型框架下的群签名在多个协议并发执行时的安全性。由于在通用可组合的模型框架下可以模块化地分析协议,因此利用此框架定义群签名协议的理想函数,提出可以实现此理想函数的群签名协议,并证明此协议的安全性和不可伪造性。基于离散对数问题给出...
基于特征匹配的IP软核硬件木马检测

关键词：ip软核硬件木马安全芯片匹配算法特征库

集成电路设计过程中引入的非受控第三方IP软核较容易被植入硬件木马,以往的功能测试方法较难实现全覆盖检测。为此,分析硬件木马结构及其在IP软核中的实现特征,提出一种基于硬件木马特征匹配的检测方法。给出特征识别流程,构建基于Trust-Hub硬件木马的特征库,在AES算法的RTL,级描述中设计3种不同功能类型的硬件木马电路进行分析。实例结果表明,...
基于字符级循环网络的查询意图识别模型

关键词：查询意图字符级循环神经网络记忆网络词向量

以特征模板为主的查询意图识别方法存在人工抽取特征繁琐,并且难以捕捉文本语义信息的问题。为此,基于字符级循环网络,提出一种新的查询意图识别模型。为能有效提取句子深层次语义特征,减少长距离信息依赖的限制,使用长短时记忆网络（LSTM）作为神经网络线性变换层,同时增加一层反向LSTM抽取字符的将来信息特征。使用原始汉字直接作为模型的输入...
基于多准则决策和相似度评价的Web服务推荐SOA系统

关键词：多准则决策相似度评价 web服务面向服务体系结构系统域名

为解决Web服务决策过程中新增信息多且信息不精确的问题,提出一种基于Web服务推荐的面向服务体系结构（SOA）系统。针对多准则决策分析过程特点,构建基于层次SOA结构的服务评估系统。给出权重时变多准则相似评估算法,根据相似评估提高Web服务推荐精度,并结合权重时变过程深入考虑各时段准则权重,增加Web服务的决策科学性。通过Yahoo域名Web服务...
基于文本加权KNN算法的中文垃圾短信过滤

关键词：垃圾过滤关联规则特征选择 k最近邻算法向量空间模型

针对K最近邻（KNN）算法在文本分类决策规则上由于样本重要性相同而导致分类效果不佳的问题,提出一种基于文本加权的KNN文本分类算法,并将其应用于垃圾短信的分类问题。在提取出特征词之后,考虑到特征词在文本中出现的频率对文本重要性的影响,引入第1个加权公式,同时针对垃圾短信数据集,采用关联规则算法挖掘出在垃圾短信中频繁出现的共现词组,...
一种可变长查找表的单基快速傅里叶变换倒序算法

关键词：快速傅里叶变换倒序查找表规模初始倒序对派生倒序对

为提高运算速度,降低查找表规模,在原有查找表算法的基础上,提出一种单基快速傅里叶变换原址倒序算法。设计新的查找表构造算法,优化原有查找表的计算方法,并得出在不同倒序计算规模下最优查找表规模选取的一般规律。仿真结果表明,该算法查找表规模可变,通过循环访问查找表平衡选取查找表规模,可减少循环次数,并提高计算速度。
一种数学表达式检索结果相关排序算法

关键词：数学表达式犹豫模糊集检索相似度相关排序

针对数学表达式符号种类繁多、结构复杂多变、语法语义丰富等特点,提出一种检索结果相关排序算法,利用犹豫模糊集在处理多特征、多隶属度模式方面的优势,计算数学表达式间的相似度,实现基于相似度的数学表达式检索结果的相关排序。通过归纳数学表达式的符号、结构、语法、语义方面的特征,建立数学表达式的相似度函数,对数学表达式检索系统中用户...
利用分析和外观模型的混合心电图人体识别方法

关键词：心电图人体识别心跳分析时域特征形态学特征等错误率

为提高心电图（ECG）生物识别对噪声和变化信号的敏感度,优化区分心跳特征,提出一种混合的ECG人体识别方法。联合心跳分析和外观属性,使用Fisher线性判别分析方法从这些属性中获取主要属性,在Fisher空间计算心跳特征,使用时域特征计算ECG特征。在一系列心跳推导时域特征后,通过标准化和缩放ECG信号获取形态学特征。采用最大化类间个体散列与类内...
基于噪声分类与补偿的车载语音识别

关键词：语音识别噪声鲁棒性噪声补偿支持向量机特征提取

针对现有车载语音识别系统在实际应用环境下噪声鲁棒性较差的问题,提出一种基于支持向量机（SVM）的噪声分类与补偿方法。采集各应用场景下的噪声构建SVM噪声分类器,利用SVM对待测语音静音段中的噪声进行分类,根据噪声类型选择相应的带噪训练模板进行噪声补偿,并将差分频谱倒谱系数作为特征参数进一步抑制语音段中的噪声,从而实现车载语音识别。...
基于中文知识图谱的人物实体识别

关键词：实体分类实体集拓展马尔科夫逻辑网络知识图谱机器学习联合推断

分类是知识图谱构建中的一个重要问题,但是目前多数中文百科都采用人工编辑的方式为词条添加分类,耗费人力并且存在漏标和标错等问题。为此,提出一种自动识别百度百科人物领域下全部实体并添加分类的方法。对百度百科词条已有的分类、属性和副标题进行实体集拓展,使用马尔科夫逻辑网络方法联合推断词条的分类。实验结果表明,与支持向量机和逻辑...
基于邻域和变异算子组合优化的MOEA/D算法

关键词：邻域范围变异算子类型候选池基于分解的多目标进化算法多目标优化

考虑到在基于分解的多目标进化算法（MOEA/D）中,邻域大小与变异算子类型对算法进化过程中的探索模式有不同的影响,提出优化的MOEA/D算法。4种不同大小的邻域范围和4个特性不同的变异策略两两组合构成候选池,利用负反馈原则,在进化过程中以较高概率从候选池中选择表现更优的组合。实验结果表明,该算法鲁棒性较强,在保证收敛性的同时具有较好的多...
基于上下文语境的微博情感分析

关键词：中文微博情感分析上下文语境文本表示标签序列学习

传统情感分析方法仅考虑单一文本，对长度短小且口语化严重的微博文本情感极性识别率较低。针对上述问题，提出一种结合上下文消息的情感分析方法。将微博情感分析问题看做标签序列学习任务，使用隐马尔可夫支持向量机把微博上下文语境融入微博情感分析问题中。实验结果表明，该方法较之于基于朴素贝叶斯或支持向量机的微博情感分析模型可以更好...

计算机工程杂志

计算机工程学术信息

期刊导航：

基于内存与文件共享机制的Spark I/O性能优化

基于冷热数据的MongoDB自动分片机制

桌面网格环境下虚拟化技术的应用研究

基于信息网模型的Web实体语义信息搜索平台

基于蚁群平台的大规模分布式XML数据库

面向Deep Web本地化数据集成的数据源两层选择模型

基于局部线性嵌入算法的流量矩阵流形结构分析

商用处理器上针对能耗优化的DVFS调节机制

三维数字沙盘标准模块的设计与实现

一种高回报的最小空闲时间优先实时调度改进算法

基于北斗卫星的可靠远程通信系统设计

大规模MIMO系统中基于3D码本的多用户预编码方案

基于删边提高网络容量的方法

大规模多输入多输出下的容量优化算法

基于模代数预编码的MIMO室内可见光通信系统

无线认知网络中的选择触发协作频谱感知

基于OpenWrt与ZigBee的智能家居路由器设计

基于代数决策图的路由查找算法

基于GDOP加权的TOA/AOA混合定位算法

适用于高阶QAM的改进型Costas环研究

一种延迟偏移的二进制正交线性调频信号调制方法

基于天线覆盖模型的RFID室内定位算法

分子序列压缩算法在卫星IP网络中的应用

基于应急融合网络应用的多路径Bandit优化算法

低空多无人机自组网数据可靠传输的跨层方法

针对SSL/TLS协议会话密钥的安全威胁与防御方法

一种结合动态与静态分析的函数调用图提取方法

一种保护私有信息的空间离群点检测方法

通用可组合的群签名协议

基于特征匹配的IP软核硬件木马检测

基于字符级循环网络的查询意图识别模型

基于多准则决策和相似度评价的Web服务推荐SOA系统

基于文本加权KNN算法的中文垃圾短信过滤

一种可变长查找表的单基快速傅里叶变换倒序算法

一种数学表达式检索结果相关排序算法

利用分析和外观模型的混合心电图人体识别方法

基于噪声分类与补偿的车载语音识别

基于中文知识图谱的人物实体识别

基于邻域和变异算子组合优化的MOEA/D算法

基于上下文语境的微博情感分析

相关论文