[关键词]数据挖掘数据挖掘方法
随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（DataMining）技术由此应运而生。
一、数据挖掘的定义
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
目前，数据挖掘技术虽然得到了一定程度的应用，并取得了显著成效，但仍存在着许多尚未解决的问题。随着人们对数据挖掘技术的深人研究，数据挖掘技术必将在更加广泛的领域得到应用，并取得更加显著的效果。
一、基础数据采集
网络产生巨大的数据量，例如2013年，每天平均产生两百多万TB的数据量而且信息来源多样，这些信息都是获取有效舆情的数据基础，我们首先要尽可能全面地收集到这些信息。网络数据获取可以采用网站提供的API或网络爬虫工具获取。使用API方式是通过网站提供商获取数据信息，为了避免频繁调用对网站服务产生影响，一般调用API次数都会有一定限制，同时网站对于获取数据权限有各种限制，由于种种限制，目前普遍研究和使用的网络爬虫都不使用API。网络爬虫指从一个或多个指定的网页开始，在全网范围搜索获取网络信息资源，通过简单设置目标网站、爬行间隔和存储位置等就能够自动批量获取网页内容，为数据获取提供极大便利。常见的网络爬虫有传统网络爬虫和聚焦网络爬虫。传统网络爬虫获取的数据有一定盲目性，获取的信息很大一部分都不符合要求，造成时间、资源的浪费。而传统网络爬虫的并行机制也带来数据重复抓取、页面质量下降等问题。但传统网络爬虫具有获取数据完整、速度较快的优点。聚焦网络爬虫增加了页面相关度评价和URL价值评价功能进行信息过滤和分析，利用主题相关度评价模型过滤掉与主题无关的网页，利用URL主题相关度控制爬虫爬行过程，不遍历和主题无关页面，提高爬行效率。聚焦网络爬虫数据相关性高，但速度较慢。在舆情采集过程中合理利用网络爬虫，可以在短时间获取大量网络数据，但这些数据存在大量冗余，数据针对性不高，需要后续提取分析。
二、冗余数据清洗
网络舆情分析的主体是与主题相关的数据信息，通过网络爬虫程序获取的是由HTML和各种脚本语言构成的web页面，web页面由与主题相关的网页正文和与主题无关的数据组成，与主题无关的数据也称为网页噪音。由于web页面的形式多样，正文与噪音之间没有明确的界限，而大量存在的网页噪音造成资源浪费，对正文分析也造成很大干扰。我们需要对页面进行处理，剔除网页噪音，比如页面中的广告、导航信息、说明文字等，提取正文、链接、作者、点击量等主题相关信息。通过去噪处理得到的文档一般包含大量重复信息，互联网信息频繁的转发、复制以及不同URL地址指向同一页面等情况都导致信息重复，重复信息成倍增加工作量，去除重复文档也是进行正文提取、分析的必要步骤。我们可以对文档进行向量化处理之后，计算各个特征词的权重，利用相似度算法计算词语与词语之间的相似度，通过计算文档相似度，去除重复信息。当前网页去重算法有很多,但大多数都是基于shingling和LsH的思想,比如对shingle生成策略的改进,对LsH指纹间海明距离计算的改进,以及对这些算法本身参数设置不同而带来性能变的研究等。
三、正文文本提取
通过去噪去重处理，修剪掉网页多余数据，如何快速有效地提取出需要的正文就需要正文提取技术。正文提取技术也是网络舆情发现的一项重要技术。当前常用的网页正文提取算法包括基于DOM树的网页正文提取技术、基于内容规则的网页正文提取技术、基于统计学特征的网页正文提取技术和基于神经网络的网页正文提取技术等。各种提取技术各有优劣，比如目前应用比较广泛的基于DOM树的网页正文提取技术，它利用HTML的各种标签信息，将网页内容转化成规范的树形结构，通过遍历DOM树的节点，裁剪与正文无关的节点而得到正文内容。这种算法依赖于HTML标签，对于HTML规范性要求很高，而且解析过程效率也较低。利用统计学特征的正文提取技术将HTML代码解析后以行或段为单位保存，统计单位文本和HTML代码的字节数，通过计算文本和字节数比例得到文本密度，如果密度大于事先设定好的文本阈值，则该部分内容判定为正文。这种算法不需要分析源码，判断准确度较高，但限制性也较大，对于正文集中的内容效率较高。实际应用中需要针对舆情来源及其特点，结合使用各种网页正文提取技术，以达到最佳提取效率和准确度。
四、信息分类与关联
网络信息数据多样，来源复杂，数据分布离散。通过文本处理抽取的正文数据往往是相互没有关联的数据，这些文本在使用时就面临无法分析、统计等诸多问题。利用数据挖掘技术可以将文本经过分类、聚类、关联规则发现等一系列处理，从海量数据中发现主题相关的信息，发现其中的模式、规律等，从而为舆情分析与预警提供依据。文本分类指按照预先定义好的类别集合，根据文本内容进行文本自动分类的过程。是一种有监督的机器学习问题。当前的文本分类技术，大多数是基于向量空间模型，用规则的向量来表示不规则的文本数据。文本分类一般分为训练和分类两个阶段，训练阶段需确定类别集合，并在类别集合选取代表性文档计算特征矢量。分类阶段则计算待分类文档特征矢量，通过与各集合特征矢量比较选取相似度最接近的集合。文本聚类在没有类别集合的情况下进行文本分类。主要依据文档相似度，通过计算将相似文档进行归类。不同的聚类算法采取不同的文本向量组织调度策略，以不同的方式进行相似或相异的比较，将大量无序的文本划归为若干类簇，使得不同类簇描述不同事件，得出不同的话题。文本聚类是一种无监督的机器学习问题，不需要预先定义集合，具有一定的灵活性和较高的自动化处理能力。网络获取的数据类型多样，比如对于一个舆情热点事件，我们可能从网页获取事件过程，从论坛、博客等获取关注度和转发量，从公安部门获取人员、关联信息等，这些数据我们需要通过关联规则发现关联关系，将数据整合为相关的数据网。关联规则挖掘过程主要包含两个阶段，第一阶段从获取的复杂数据聚合中找到出现频率高的数据组，第二阶段在这些高频数据组中产生关联规则。有效的关联规则对于舆情分析有重大意义，但目前我国对这一领域的研究应用尚不深入。
五、话题检测与追踪
话题不同于主题、事件等概念，话题是由某一个特定事件和与该事件相关的一系列事件共同构成的。在大量网络信息中，发现某一话题并按照该话题收集与其相关的信息，对信息重新组织，可以有效了解话题的发展与演变。信息的采集、处理、分类、关联等方法将网络中存在的大量无序数据整合为统一的、存在映射关系的数据网，这个过程以网络中已经存在的各类信息为主体进行简单检索和归类。随着网络规模的几何增长，网络信息多样化，网络舆情具有隐蔽性、突发性、自由性等特点。话题发现与跟踪技术的关注点不仅仅在网络已有信息的收集处理上，还要在大量信息基础上，自动分析判断，发现值得关注的深层次的、新的信息并进行追踪，更倾向于新信息的发现，话题跟踪依据与某话题相关的少量事件，判断出后续新闻报道流中与该话题相关的报道，并将相关报道收集起来实现跟踪。通过大规模文档自动聚类建立话题。话题检测与追踪对复杂无序的网络事件进行深入分析，总结事件中的特征规律。当某一网络事件特征符合其中规律时，就可以预测该事件的发展结果，并对于预测可能导致重大后果的事件进行舆情预警。网络监控人员可以根据预警提前对网络事件进行预防疏导，避免产生严重后果。
六、信息定量评估
将医院、医疗保健组织等数字化的医疗数据以特定的格式、协议发送到医疗数据分析模块进行分析与疾病预测．医疗数据提取模块：该模块由医院电子病历系统负责实现，我们使用openEHR系统作为医院电子病历系统，并在openEHR中实现医疗数据的提取功能．openEHR系统是一个开源、灵活的电子病历系统，支持HL7卫生信息交换标准．很多医疗健康组织、政府和学术科研单位都使用openEHR进行开发和科研工作．如一种基于openEHR的患者病历数据管理模型、openEHR等许多开源的电子病历平台的对比与评估和基于openEHR的档案建模等．数据交换模块：基于Web服务的数据交换模块使用医疗数据通信协议实现医疗数据分析模块与医疗数据提取模块的数据交换．Web服务是一个平立、松耦合的Web应用程序．由于Web服务的跨平台特性，许多模型与框架是基于Web服务构建的，如基于Web服务集成分布式资源和数据流分析测试等．在本文提出的医疗数据分析模型中，使用Web服务来连接医疗数据分析模块和医疗数据提取模块．医疗数据提取模块作为Web服务的服务端，实现的方法包括存取数据、数据预处理、序列化等，改进后的模型要求实现指定维度，指定属性数据的读取．本文提出的医疗数据分析模块作为Web服务的客户端，通过HTTP服务向数据提取模块请求获取数据，并对数据进行预处理．医疗数据分析模块：我们使用Caisis开源平台作为医疗数据分析与疾病预测系统实现这一模块．Caisis是基于Web的开源癌症数据管理系统，一些临床医学研究使用Caisis系统管理和归档数字显微图像，通过向Caisis系统中添加特征选择和SVM算法，使用SVM算法对医疗数据进行分析和疾病预测，因此使用的特征选择算法需要基于SVM，可以提高数据分析和疾病预测过程的效率和准确度．
2数据分析模块与算法
2．1SVM算法SVM算法最初是由Vapnik等人在1995年提出的一种可训练的机器学习算法．依据统计学习理论、VC维理论和结构风险最小化理论，从一定数目的样本信息在学习能力和复杂度（对训练样本的学习程度）中找到最佳折中，以期望获得最好的推广能力（或称泛化能力）．
2．2基于SVM的医疗数据分析模块将SVM分类算法应用到医疗数据分析模块中，进行疾病预测．基于SVM的医疗数据分析模块，通过数据交换模块获取原始组数据（患病病人医疗数据和对照组病人数据）．通过特征选择过程输入到SVM分类器中进行训练，训练后可以对新的医疗数据进行分析预测．
3改进的医疗数据交换模块
3．1医疗数据交换模块在原始的医疗数据交换模块中，数据请求原语只由4条通信原语组成．由原始医疗数据分析模型的3个模块构建，其中在医疗数据分析模块与医疗数据提取模块之间的4条通信原语包括2条请求和2条应答．由于医疗数据的维度极大，属性很多，但是在预测某个疾病时，只有很少的一部分属性会对分类预测产生影响．这样的全部维度的数据都需要传输，浪费了时间，降低了数据传输效率，影响了医疗数据分析模块的算法效率．
3．2改进的医疗数据交换模块在改进的医疗数据交换模块中，在数据传输协议中增加了4条原语．在每条原语中不仅有医疗记录条数的要求，还包括对所请求医疗数据维度和属性的具体说明．医疗数据分析模块先请求一小部分全部维度的数据，对这小部分数据进行特征选择．然后医疗数据分析模块只请求特征选择出来的对预测相关的属性的剩余所有医疗数据．最后通过SVM分类算法进行训练和预测．在新的医疗数据交换模块中，大部分数据中只有小部分相关属性被传输到数据分析模块，极大地减少了数据传输总量，也同时增加了分析模块预测算法的效率．
4原始模型与改进模型的对比结果
随着烟草行业信息化推进现代化进程的快速发展，新兴的IT技术、先进的IT技术等已不断融入到烟草行业的生产、营销及管理等过程中，逐渐改变了烟草行业原有的经营管理模式，加快了烟草行业结构调整，完善管理体制，提升市场竞争力。可以说，信息化建设给烟草行业带来了改革与发展。因此，对新兴技术的研究与探索，具有十分重要的意义。尤其是视频监控技术的发展，给烟草行业的带来了较多的好处，烟草从种植、生产、流通、消费的每个环节中，视频监控技术都发挥了重要作用。视频大数据分析技术是近两年兴起的技术，视频大数据分析的应用，在公安视频侦查等中已突显其发展前景，本文将针对烟草行业，讨论视频大数据分析的发展应用。
2视频监控在烟草行业的发展及应用现状
（1）烟田监控：实现对烟田、育苗大棚内实时监控；
（2）烟叶收购站监控：实现对烟草所有站点烟叶收购全流程监控视频调看、查询、巡视、控制的功能；
（3）生产及公用设施区监控：主要用于监控车间内重要设备、生产线运行、物流线路及环境状况，以及动力中心车间内空调、锅炉等重要设备的运行及环境状况，防止灾害和事故的发生。
（4）烟草物流配送中心监控：对物流配送中心进行实时监控；
3视频大数据分析的技术需求
随着视频监控在烟草行业的大规模应用，视频数据量的增加，每天产生的数据量都是以TB（1000GB）级别计算的，若是利用传统的技术手段对每天的视频进行检索和分析，则需要数小时的时间才能够完成，工作量及工作难度可想而知；而对于更高级别的视频数据，如PB（1000TB）级别的视频数据进行分析和检索时间那就是很多天了。视频检索与分析的效率低下，也是目前视频数据利用效率及数据价值低下的首要原因。为此，如何提高视频数据分析与检索的效率，如何针对PB（1000TB）级别甚至EB（1000PB）级别的海量数据进行分析与检索，提升视频监控数据价值，成为了当前用户的首要需求，也成为了当前视频大数据分析技术的难点及关键点之一。同时，在对视频进行检索与分析的过程中，需要考虑检索结果的准确性。由于视频图像信息为非结构化数据，如何合理有效地对非结构化的数据进行检索分析，优化计算机图像识别算法，是提高视频大数据分析准确性关键所在。再者，当完成视频检索与分析后，如何做好视频数据与非视屏数据的整合与关联工作，是后期视频数据应用时重点考虑的内容。
4视频大数据在烟草行业的应用思考
时下，烟田监控、烟叶收购站监控、生产及公用设施区监控、烟草物流配送中心监控等的视频监控数据较多仅仅用作安防视频使用，还未涉及到与烟草业务的关联；随着视频监控建设的完善及视频大数据技术发展，各类监控视频数据量的增加，考虑到投资回报比，是否可以通过视频大数据分析，将烟草业务与视频监控相关联，在海量的视频监控数据中提取有益于烟草行业发展的变革或新技术呢？
4.1安防业务
基于传统视频监控，安防业务是传统业务之一，通过大数据分析，有效快捷的提取安防所需要的视频片段。同时基于视频行为告警策略，及时告警。
4.2安全生产
结合视频大数据分析，将以往多次生产事故监控视频整合，通过对多次生产安全事故的分析，总结出更为安全可靠的生产规则；再则通过视频监控与生产行为的结合，制定安全生产标准，通过声音报警或警示灯报警等技术，在不符合标准视频监控预定义的安全规则情况时，能够及时报警。通过视频监控分析，提升生产的安全性。如采用彩色网络快球摄像机和彩色固定网络枪式摄像机，彩色网络快球摄像机的预制位设置应优先，根据视频大数据分析后，系统可提供不同故障区域或设备的故障信号，各工艺段或设备的操作运行信号，通过系统集成与生产监控实现联动，平常摄像机对正在操作或运行设备进行监控，一旦某个故障点报警，摄像机立刻自动转动到报警点，监控中心的NVR主机开始录像等。
4.3效率生产
结合视频大数据分析，通过分析各个不同烟站或烟厂中的同一种生产行为，结合对海量数据进行智能分析，提取出价值数据片段，形成元数据信息库，再通过人为加工后期数据，总结形成效率生产有用的价值信息，提供生产借鉴，提高生产效率。
4.4创新生产
通过视频大数据分析，将以往的视频通过轨迹分析，得出以往生产过程中各类生产动作中不必要或者多余的部分，简化或者优化生产规则；通过对给类生产行为的总结，提出合理的建议，为生产提出创新性意见或建议，提高生产率。
5结论
关键词：大数据 交易平台 数据资源 数据分析服务 融合
1.引言
目前发展大数据产业已经上升为国家战略，大数据的价值也得到了社会的广泛认可。众多研究[1-5]表明，大数据不仅为政府治理开辟了新思路，还是企业创新的重要源泉和高校科研的重要支撑。大数据交易平台是整个大数据产业的基础与核心，它使得数据资源可以在不同组织之间流动，从而让单个组织能够获得更多、更全面的数据。这样不仅提高了数据资源的利用效率，更重要的是，当一个组织拥有的数据资源不断丰富和立体化，有助于其通过数据分析发现更多的潜在规律，从而对内提高自身的效率，对外促进整个社会的不断进步。
在现有的大数据交易平台上，数据供应方和需求方各自供需信息，交易双方浏览这些信息，如果发现合适的交易对象，则进行大数据资源的买卖，交易平台只作为信息中介存在。这类大数据交易的本质，其实是单独的大数据资源交易，现有平台可以统称为第一代大数据交易平台。第一代大数据交易平台在供需平衡、数据定价和时效性三个方面都存在较大的不足。本文针对这些不足进行改进，设计了一种全新的第二代大数据交易平台，命名为：融合数据分析服务的大数据交易平台，该平台将数据资源交易与数据分析服务进行深度融合，实现了数据与服务的一体化交易。本研究不仅为当下正在建设的各类大数据交易平台提供有益的借鉴，也丰富了大数据交易的基础理论体系。
2.相关研究
目前大数据交易的相关研究中，比较有代表性的有：
（1）大数据的财产属性和所有权。王玉林等[6]对大数据的财产属性展开研究，认为大数据的法律属性会直接影响大数据产业的发展，而大数据交易实践本身就反映出大数据具有财产属性。但大数据与传统的财产权客体存在较大不同，它符合信息财产的特征，是信息财产权的客体，应受到相关法律的保护。齐爱民等[7]从宏观的角度分析了国家对于其主权范围内数据的所有权，剖析了个人拥有的数据权以及数据的财产权。
（2）大数据的定价问题。刘朝阳[8]对大数据的定价问题展开研究，首先分析了大数据的基本特征、价值特征等定价基础。接着讨论了效用价格论、成本价格论等定价模式。最后分析了大数据的定价策略，并对大数据定价的双向不确定问题进行了详细论述。刘洪玉等[9]认为在大数据交易过程中，由于缺乏足够的历史参考，其数据资源的交易价格很难确定，因此提出一种基于竞标机制的鲁宾斯坦模型，用于大数据交易双方进行讨价还价，以求达成一个交易的均衡价格。翟丽丽等[10]从资产的期权价值角度来评估大数据资源的价值，并指出数据在不断变化和更新，加上数据的非独占性等情况的出现，数据资产的价值可能会下降，最后综合这些因素构建了一个评估模型来计算数据资产的价值。
（3）大数据交易的安全与隐私保护。史宇航[11]认为非法的数据交易会对个人数据等高价值信息的安全造成影响，对非法数据交易的购买方和协助方都应进行处罚。提出应先明确数据的法律属性，再以数据交易所为平台进行交易，并对数据交易所的法律地位进行了分析。殷建立等[12]为应对大数据时代数据采集、交易等过程中的安全问题，综合考虑技术、政策和管理平台等方面的因素，构建了一种个人数据溯源管理体系，该体系可在数据应用时实现个人数据的追踪溯源，从而保护其个人隐私。王忠[13]认为大数据环境下强大的数据需求会导致个人数据的非法交易，为应对这种情况，应该建立个人数据交易许可机制，通过发放交易许可证、拍卖授予等措施实现隐私保护。
（4）大数据交易的发展现状与问题。杨琪等[14]认为我国的大数据交易还处于行业发展的早期，大量数据源未被激活，原因是大数据产业价值链的各个专业环节发展滞后，并且对数据交易中的安全问题和隐私泄露等有较大的担忧。应该对数据产品进行改造，使其更商品化，并且通过政府开放公共数据等措施逐渐消除数据流通中的安全顾虑。唐斯斯等[15]首先分析了我国大数据交易的发展特点、交易类型等现状，接着指出目前大数据交易存在法律法规相对滞后、行业标准不完善、交易平台定位不明确、数据质量不高等问题，最后提出应加快相关法律和标准建设，并推动数据开放，加强交易方式的创新。
除了上述四个主要研究方向以外，李国杰等[16]从理论的角度分析了大数据研究在行业应用和科学研究方面的重要作用，这从客观上反映了大数据流通的必要性。涂永前等[17]认为大数据时代企业管理和运用数据资源的相关成本会成为企业的主要交易成本，这会改变企业的组织结构，并导致企业边界的变化，企业会进行多方向的扩张，这为促进大数据产业发展的相关法律的制定提供了理论支持。总的来看，由于大数据交易本身属于较新的领域，因此相关研究总体上较少，已有研究也大多集中在上述几个研究方向上。实际上，大数据交易平台是实现大数据交易的重要载体，是大数据资源流通转换的主要节点，交易平台本身需要随着整个大数据产业的发展，不断的改进和升级，而现有研究中恰恰缺少对大数据交易平台本身进行创新的研究。由此，本文针对现有大数据交易平台的不足，结合实际设计了一种全新的融合数据分析服务的大数据交易平台，为实践和科研提供借鉴和参考。
3.现有大数据交易平台的不足
大数据本身作为一种新兴事物，当把它作为一种商品进行交易时，其交易平台的设计很自然会参照传统的商品交易模式，即：交易双方先供求信息，再经过讨价还价，达到一个均衡的价格则成交，卖方将大数据资源经过脱敏处理后，交付给买方。目前无论是政府主导的大数据交易所，还是企业或者高校创建的大数据交易平台，都是采用类似的交易模式，这也是第一代大数据交易平台的突出特点。实际上大数据与传统商品有很大的区别，照搬传统商品的交易模式会出现很多问题。本文将从供需平衡、数据定价和时效性三个方面分析现有大数据交易平台的不足。
3.1 数据供需的错配
现有大数据交易平台的第一点不足就是数据供需的错配，即：供应方提供的数据资源往往不是需求方所需要的，而需求方需要的数据在交易平台上找不到，即使有相近的数据资源，也存在很大的数据缺失或冗余，买回去也无法使用。对数据供应方来说，由于无法准确预知数据买方多样性的需求，它只能从自身角度出发，将可以公开的、并且自认为有价值的数据资源放到平台上待售。对需求各异的买方来说，供应方提供的标准数据很难与自己的应用方向精准匹配，这也是目前大数据交易还不够活跃的原因。当然，当供需双方建立初步联系以后，供应方甚至可以为需求方个性化定制大数据资源，但即使这样，供需错配的问题仍然无法解决，原因就在于单个的数据供应方无法提供多维的数据资源，只有多维的数据资源才具有较高的分析价值。
3.2 大数据资源定价困难
大数据资源定价困难是现有大数据交易平台的第二点不足。大数据资源和普通商品不同，普通商品可以直接消费或者作为再加工的原材料，其价值都可以通过最终的消费品价格得到体现。而大数据本身的价值无法直接衡量，需求方购买它的目的是作为数据分析的信息源，但是否能发现潜在的规律还未可知。因此无法在购买前，准确判断出待售数据资源的价值大小。此外，需求方在不确定某大数据资源是否能真正能给组织带来收益情况下，很难给出一个较高的价格，这在客观上会影响数据供应方的交易积极性，加大了供需双方达成交易的难度。
3.3 数据的时效性不强
现有大数据交易平台的第三点不足，就是数据资源的时效性不强。目前很多大数据交易平台上待售的数据资源都以历史数据为主，这是因为数据资源在交易前需要经历脱敏处理，将涉及政府信息安全、企业商业机密和个人隐私等敏感信息进行变换和替代。此外，供应方还需要对原始数据进行初步的清洗，整理成一定的数据格式集中存贮和交付，方便需求方进行数据分析。由于一般的数据供应方并不具备对大数据进行实时脱敏和清洗的能力，只能将采集到的数据资源，经过一段时间的离线处理后，再放到交易平台上，所以只能供应历史数据。随着社会节奏的不断加快，历史数据很可能并不能反映当下的真实情况，越来越多的数据分析都需要用到实时数据作为信息源，这是未来大数据交易必须克服的一个短板。
4.融合数据分析服务的大数据交易平台设计
本文提出将数据分析服务融合到目前的大数据交易中，以此来克服现有交易平台的不足，本节将首先对数据分析服务进行概念界定，再依次介绍平台设计的总体思路和核心模块的设计，具体如下。
4.1 数据分析服务的概念界定
数据分析是指运用各类数据处理模型和信息技术手段，对数据资源进行深度的挖掘，从而发现其中蕴含的规律，作为管理决策的依据。数据分析本身是一种能力，如果一个组织将其数据分析能力提供给其他组织或个人，并收取一定的费用，这就是数据分析服务。在大数据环境下，数据资源不仅体量巨大而且种类多，对数据分析能力的要求不断提高。在这种情况下，只有少数组织具备独立处理大数据的能力，其他的组织比如大量的中小企业，都需要从组织外部寻求专业的数据分析服务，来满足自身的需要。因此，数据分析服务和大数据资源一样存在巨大的市场需求。
4.2 平台设计的总体思路
本文将提出的融合数据分析服务的大数据交易平台，定位为第二代大数据交易平台，它将大数据资源交易与数据分析服务两者进行深度融合，在交易平台上实现数据与服务的一体化交易。大数据交易平台的角色也从原来的数据资源买卖的信息中介，转变为大数据综合服务商。在融合后的大数据交易平台上，数据需求方不再提交数据资源的需求信息，而是直接提出自己的应用方向和想要得到的结果，交易平台再根据需求方的应用方向，反向匹配数据资源和数据分析服务。这个匹配的过程不是单一的数据集或服务的查找，而是对全平台的数据资源进行有效整合，形成高价值的多维数据，再结合复合型的数据分析技术，得到最终的分析结果，最后将分析结果与基础数据一同交付给需求方。交付基础数据的目的，一是方便需求方进行分析结果的对照，为决策提供更精准的参考。二是需求方可以根据基础数据进行衍生挖掘，进一步提高数据的利用效率。平台设计的总体思路绘制成图1。
图1 平台设计的总体思路
4.3 核心模块的设计
融合数据分析服务的大数据交易平台共划分为四大模块，具体如图2所示。
图2 融合数据分析服务的大数据交易平台的主要模块
系统管理模块具体又分为用户管理、系统维护和安全管理。安全管理是系统管理模块的重点，主要包含三个方面的功能：第一，负责整个交易平台的系统安全，通过对交易平台进行实时监控，阻止外部的非法入侵行为，保障平台的正常运行。第二，对数据供应方提交的数据资源进行审核，如果发现是非法数据，则阻止其交易，并及时将有关情况反馈给相关的政府监管部门，由它们进行调查处理。第三，检查所有数据是否经过脱敏处理。如果发现部分数据存在未脱敏或者脱敏不合格的情况，交易平台将负责对该数据资源进行脱敏处理，从而保护数据中的隐私不被泄露。
大数据资源池模块、数据分析服务模块和协同模块是交易平台的三大核心模块，是数据与服务两者融合并实现一体化交易的关键，本文接下来将对这三个核心模块的功能进行详细设计。
4.3.1 大数据资源池模块
大数据资源池模块主要包含三个方面的功能：数据资源格式的整理、数据的多维度整合、大数据资源的云存贮。具体如下。
（1）数据资源格式的整理。由于大数据交易平台上的数据资源来自不同的数据供应方，因此其数据资源的格式会有较大的差异。如果不经过格式整理就直接进行数据分析，很可能会因部分数据无法准确读取，而影响数据处理的效率，严重者还会导致数据分析中断。数据资源格式整理的主要任务是将同一类型数据的格式进行统一，对部分缺失的数据属性进行补充，对错误的数据格式进行修正。
（2）数据的多维度整合。在上文3.1中提到供需错配的一个重要原因，就是单个数据供应方无法提供高价值的多维数据。所谓多维数据是包含用户或者行业多个背景和情境的大数据资源，这些多维数据使用户或行业多个侧面的信息产生了关联，有利于发现深层次的潜在规律。融合数据分析服务的大数据交易平台应该作为数据整合的主体，将单个数据供应方提供的零散的数据资源，进行多维度的整合，当缺少某一个维度的数据时，再向相应的数据供应方进行定向的采集，最后得到相对完整的多维数据，具有很高的分析价值。
（3）大数据资源的云存贮。大数据资源经过格式整理和多维度整合以后，已经可以作为数据分析服务的信息源。下一步就是将这些数据资源进行统一的云存贮，以便数据分析服务调用。以往部分大数据资源由于体量巨大或实时更新的需要，无法上传到交易平台上，或者只提供部分调用接口。融合数据分析服务的大数据交易平台通过建立云存贮中心，将整合后的多维数据进行统一存放和调用，有助于提高数据资源的存取效率。
4.3.2 数据分析服务模块
数据分析服务模块首先根据数据需求方的应用方向，匹配出合适的多维数据资源，再选择相应的数据分析模型分配所需的计算能力，最后将得到的分析结果反馈给需求方。本文将数据分析服务划分为三个大类：基础性分析服务、高级分析服务、深度定制的分析服务。具体如下。
（1）基础性分析服务。基础性分析服务是指那些常规的数据统计，比如：总体中不同对象的占比分析，基于不同属性的关联分析或相关性分析等。这些分析服务耗时较短，分析技术较为简单，只要数据资源本身完备，就可以迅速得到结果。基础性分析服务由大数据交易平台本身来提供，可以面对不同的需求方，实现快速交付。
（2）高级分析服务。高级分析服务是指那些较为复杂的数据分析服务，比如：精准的趋势预测、全面的用户兴趣画像、非结构化的信息挖掘等。这些分析服务需要大量专业的数据处理技术，比如：兴趣建模、视频分析，音频分析、深度语义分析等，必须由大数据交易平台对接第三方的数据分析服务商，由它们来提供高级分析服务。大数据交易平台在同一数据分析领域，应引入多家数据分析服务商，通过动态的竞争，来保证服务的质量。
（3）深度定制的分析服务。大数据分析目前还处在快速发展阶段，很多前瞻性的技术还在试验当中，应该说数据分析技术的发展相对于旺盛的现实需求来说是滞后的。当需要用的某一数据分析技术，在目前的市场上还找不到现成的提供方时，就需要大数据交易平台为其进行深度的定制，交易平台通过多方位的研发能力评估，寻找合适的技术主体来进行专门的技术攻关。
4.3.3 协同模块
协同模块主要包含两个方面的功能：数据分析服务之间的技术协同、交易各方的管理协同。具体如下。
（1）数据分析服务之间的技术协同。在面临较为复杂的数据分析任务时，可能需要用到多个领域的数据分析技术，这时单个的数据分析服务商可能无法独立完成。因为不同的行业领域，都有其行业技术的独特性，需要长时间的专业积累。在这种情况下，就需要多个数据分析服务商相互合作才能完成。数据分析服务之间的技术协同，就是通过一定的技术标准和操作规范，让多个数据分析技术提供方，能够在完成同一任务时，在技术上不冲突，能够相互并行的完成对数据资源的处理，按时按质的交付最终的分析结果。
（2）交易各方的管理协同。在融合数据分析服务的大数据交易平台上，交易的参与者一共有四类，分别是数据资源的供应方、数据分析服务商、需求方和交易平台自身。数据需求方在提交自己的应用方向和预期结果的同时，提交自己的交易预算。交易平台根据需求方提交的应用方向和预期结果，对数据资源和数据分析服务进行反向的选择。如果数据分析任务中只用到了基础性分析服务，则整个交易为平台方、需求方、数据资源供应方的三方交易。如果某数据分析任务，平台自身无法完成，需要用到第三方的数据分析服务商，则整个交易包含了全部四类参与者，是一个四方交易。交易的基本原则是实现参与各方的利益共享。交易各方的具体利益分配如图3所示。
图3 交易各方的利益分配
需求方希望在获得预期结果的同时，其支付的成本在可接受的范围内。交易平台在对数据和服务进行反向匹配后，会出现两种不同的情况：第一种情况是在原交易预算下，可以达到需求方预期的结果，则可成交。第二种情况是，原交易预算较低，在该预算下无法达到需求方要求的结果，这时交易平台会和需求方沟通，提出新的报价，需求方经过考虑后，与平台进行讨价还价，它们在价格上达成一致时才能完成交易。由于交易数据是整合后的多维数据，因此原始数据资源供应方的收益，由平台从总交易价中支付，具体的支付方式可分为平台一次性买断或按次数支付。同一数据资源对于不同的需求者来说，其价值是不一样的，融合数据分析服务的大数据交易平台根据最终的一体化交易成交价，反向对数据资源进行定价，相对于现有的大数据交易平台来说，是一种进步。交易平台的深度参与，会使数据交易的频率加快，原始数据资源供应方会获得更多的收益。数据分析服务商根据具体的数据分析任务，直接参与由平台发起的竞价，达成交易后由平台支付。交易平台本身的收益则是需求方支付额减去其他各方收益的差价。
5.融合数据分析服务的大数据交易平台的优势
本文3.1到3.3中指出现有大数据交易平台存在数据供需错配、大数据资源定价困难、数据的时效性不强三大不足。融合数据分析服务的大数据交易平台作为改进后的第二代大数据交易平台，可以很好地克服上述三点不足。除了这三个方面的优势以外，由于融合后可实现数据与服务的一体化交易，这将扩大交易对象的覆盖范围，提升交易的活力，具体如下。
5.1 直接面向应用，从根本上避免了数据供需的错配
在融合数据分析服务的大数据交易平台上，需求方对交易平台直接提出应用方向和预期结果。交易平台对全平台的数据进行多维度整合，如果缺失某个维度的数据，可以进行定向的采集和补充，最后形成高价值的多维数据。这些多维数据才是真正具有分析价值的数据资源，这是单个数据供应方无法提供的。在得到多维数据后，结合平台自身和第三方数据服务商的分析能力，得到最终的分析结果。交易平台最后交付给需求方的是数据分析结果和基础数据，这种直接面向最终应用的大数据交易方式，从根本上避免了数据供需的错配。
5.2 融合后定价更有根据
在现有的大数据平台上，数据需求方是将数据资源买回去以后自己分析，而在购买数据资源之前，不能预知数据分析效果的好坏，因此无法进行有效的价值判断，这是定价困难的关键点。在融合数据分析服务的大数据交易平台上，需求方不再直接对数据资源付费，而是对最终的数据分析结果付费，并且数据分析结果是根据需求方的要求反向定制的，是符合需求方利益的。需求方可以通过评估预期结果对自身的重要性或收益的改进程度，给出适当的交易预算。交易平台以该预算为参照，对数据和服务进行选择，若出现原预算约束下无法实现预期结果的情况，交易平台再与需求方进行沟通，双方讨价还价后达成交易。这样相对于现有的大数据交易平台来说，融合后定价更有依据。
5.3 融合后可提供实时数据
在融合数据分析服务的大数据交易平台上，数据资源采用云存贮的模式，由平台进行统一管理，这提高了数据资源的安全性。在数据安全有保障的前提下，由交易平台出面和数据资源供应方进行实时数据的对接，将实时数据纳入大数据资源池中。对于单个的数据资源供应方来说，实时的数据脱敏难度太大。但大数据交易平台不一样，它可以利用规模优势，组建强大的计算能力，对大数据资源进行实时的脱敏和清洗，极大地提高了数据资源的时效性。
5.4 融合后将扩大交易对象的覆盖范围，提升交易的活力
融合后可实现数据和服务的一体化交易，让很多自身不具备数据分析能力的组织和个人，也能方便地利用大数据，特别是大量的中小企业，这将大大增加交易对象的覆盖范围。
交易对象的增多会促进交易频率的增长，从而为数据资源供应方带来更多的收益，这样会提升它们参与交易的积极性，鼓励它们供应更多的数据资源，从而提升交易的活力，整个大数据交易行业就形成了正向循环的良好发展态势。
6结语
本文对大数据交易平台本身进行了改进与创新，设计了一种全新的第二代大数据交易平台，即：融合数据分析服务的大数据交易平台。该交易平台可以直接面向需求方的应用方向，实现数据和服务的一体化交易，不仅从根本上避免了数据供需的错配，还使大数据交易的定价更有依据，平台的深度参也让提供实时数据成为可能，这些将从整体上提升大数据交易的效率。融合后数据和服务的一体化交易降低了大数据应用的技术门槛，鼓励更多组织和个人参与，增加了交易活力。未来笔者将继续关注大数据交易平台的创新研究，为实际应用和学术科研提供更多有益的参考。
参考文献
[1]赵强，单炜.大数据政府创新：基于数据流的公共价值创造[J].中国科技论坛，2014（12）：23-27.
[2]徐继华，冯启娜，陈贞汝.智慧政府：大数据治国时代的来临[M].北京：中信出版社，2014.
[3]李文莲，夏健明.基于“大数据”的商业模式创新[J].中国工业经济，2013（5）：83-95.
[4]侯锡林，李天柱，马佳，等.大数据环境下企业创新机会研究[J].科技进步与对策，2014，31（24）：82-86.
[5]张峰，张迪.论大数据时代科研方法新特征及其影响[J].科学学研究，2016，34（2）：166-170，202.
[6]王玉林，高富平.大数据的财产属性研究[J]。图书与情报，2016（1）：29-35，43.
[7]齐爱民，盘佳.数据权、数据主权的确立与大数据保护的基本原则[J].苏州大学学报：哲学社会科学版，2015（1）：64-70.
[8]刘朝阳.大数据定价问题分析[J].图书情报知识，2016（1）：57-64.
[9]刘洪玉，张晓玉，侯锡林.基于讨价还价博弈模型的大数据交易价格研究[J].中国冶金教育，2015（6）：86-91.
[10]翟丽丽，王佳妮，何晓燕.移动云计算联盟企业数据资产评估方法研究[J].价格理论与实践，2016（2）：153-156.
[11]史宇航.个人数据交易的法律规制[J].情报理论与实践，2016，39（5）：34-39.
[12]殷建立，王忠.大数据环境下个人数据溯源管理体系研究[J].情报科学，2016，34（2）：139-143.
[13]王忠.大数据时代个人数据交易许可机制研究[J].理论月刊，2015（6）：131-135.
[14]杨琪，龚南宁 .我国大数据交易的主要问题及建议[J].大数据，2015（2）：38-48.
1.1数据采集
数据的采集是指利用传感器、社交网络以及移动互联网等方式获得的各种类型的结构化、半结构化以及非结构化的海量数据，这是一切数据分析的基础。数据的采集需要解决分布式高速高可靠数据的采集、高速数据全映像等数据收集技术。还要设计质量评估模型，开发数据质量技术。而数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。
1.2数据预处理
数据采集的过程本身就有会有很多数据库，但如果想达到有效分析海量数据的目的，就必将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，而且在导入基础上做一些简单的辨析、抽取、清洗等操作。
①抽取：因为我们通过各种途径获取的数据可能存在多种结构和类型，而数据抽取过程可以有效地将这些复杂的数据转换为单一的结构或者便于处理的类型。以达到快速分析处理的目的。
②清洗：对于海量数据而言，数据所处的价值层次不一样，就必然存在由于价值低而导致开发成本偏大的数据，还有与数据分析毫无关系的数据，而另一些数据则是完全错误的干扰项，所以对数据通过过滤“去噪”从而提取出有效数据是十分重要的步骤。
1.3数据的存储与管理
当我们采集数据完成后，就需要将其存储起来统一管理，主要途径就是建立相应的数据库，进行统一管理和调用。在此基础上，需要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。还需开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、数据的去冗余及高效低成本的大数据存储技术；以及分布式非关系型大数据管理与处理技术、异构数据的数据融合技术、数据组织技术、研究大数据建模技术、索引、移动、备份、复制、可视化技术。
1.4数据的统计分析
一般情况下，统计与分析主要就是利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
1.5数据分析与挖掘
所谓数据挖掘是指从数据库中的大量不完全的、有噪声的、模糊的、随机的实际应用数据中，揭示出隐含的、先前未知的并有潜在价值的信息的过程。与前面统计和分析过程不同的是，数据挖掘一般不会有预先设计好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型的算法有用于聚类的K-means、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
2数据分析的8个层次
2.1标准化报告（StandardReports）
标准化报告作为数据分析的第一个层次，要求相对较低，主要是借助相应的统计工具对数据进行归纳总结，得出包含主要参数指标的标准化报告。类似于一个销售企业每月或者每季度的财务报表。
2.2即席查询（AdHocReports）
用户可以通过自己的需求，灵活地选择查询条件，系统就能够根据用户的需求选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询所有的查询条件都是用户自己定义的。在面向高层的数据分析软件中，用户随意添加想要查询的指标按钮再加上相应的限制条件，就可以立即生成可视化的统计结果，不仅一目了然，而且没有任何操作难度。
2.3多维分析（QueryDrilldown）
多维分析是指对具有多个维度和指标所组成的数据模型进行的可视化分析手段的统称，常用的分析方式包括：下钻、上卷、切片（切块）、旋转等各种分析操作。以便剖析数据，使分析者、决策者能从多个角度多个侧面观察数据，从而深入了解包含在数据中的信息和内涵。上卷是在数据立方体中执行聚集操作，通过在维级别中上升或通过消除某个或某些维来观察更概括的数据。上卷的另外一种情况是通过消除一个或者多个维来观察更加概括的数据。下钻是在维级别中下降或者通过引入某个或者某些维来更细致地观察数据。切片是在给定的数据立方体一个维上进行的选择操作，切片的结果是得到了一个二维的平面数据（切块是在给定的数据立方体的两个或者多个维上进行选择操作，而切块的结果是得到了一个子立方块）。转轴相对比较简单，就是改变维的方向。
2.4仪表盘与模拟分析(Alerts)
仪表盘用于监控一些关键指标。模拟分析是由操作者动态地加以调节的控件（如滑动块、可调旋钮、选择框等），来控制管理决策模型行为某些参数。当操作者通过控制面板对模型中的参数值或变量值进行调节时，图形中的曲线、柱形组或分析指标等要素就会发生相应的运动，而这种运动正好反映了该参数的变化对模型行为的影响，如果这种变动引起了模型中最优解或其他关键数字的变化，能够随时将关于这种变化的结论正确地显示出来。
2.5统计分析（StatisticallyAnalysis）
我们知道概率论是数理统计的基础，数理统计是在其基础上研究随机变量，并应用概率论的知识做出合理的估计、推断与预测。概率论中讨论的各种分布在数理统计中作为统计模型来分析处理带有随机误差的数据。典型的数理统计方法有参数估计、假设检验和回归分析。而统计分析主要是对用户所关注的问题进行推断、预测和控制的分析方法。具体可以分为以下三方面：
①描述统计：主要是集中趋势、离散程度、分布形状等，统计图（方图、箱线图、散点图等）；
②数据的分类汇总；
③基础统计分析：方差分析、时间序列分析、相关和回归分析、（主成分）因子分析等统计分析方法。
2.6预测（Forecasting）
在统计分析和数据挖掘领域，对未来的预测已经有了很多数学模型以及解决具体问题的相关算法。其核心思想便是从历史数据中找出数据的发展模式，然后以这些模式为支点，就可以对未来进行预测。
2.7预测模型（PredictiveModeling）
随着数据分析学家对数据挖掘技术的不断探索，出现了很多预测模型以及与之相对应的算法，但是很难确定某个模型是最精确的，因为不同的领域，不同的条件，对应的预测模型是不一样的，所以没有统一化的最优模型，只存在有选择性的最优模型。下面介绍几种典型的预测模型。
①回归模型:回归模型可以分为一元线性回归模型和多元线性回归模型。一元线性回归模型可表示为yt=b0+b1xt+ut，该式表示变量yt和xt之间的真实关系。其中yt称作被解释变量（或相依变量、因变量），xt称作解释变量（或独立变量、自变量），ut称作随机误差项，b0称作常数项（截距项），b1称作回归系数。b0+b1xt是非随机部分，ut是随机部分。而在很多情况下，回归模型必包含两个或更多自变量才能够适应地描述经济现象各相关量之间的联系，这就是多元线性回归模型需要解决的问题，其一般形式为：Y=a+b1X1+b2X2+…+bmXm，式中X1、X2、…、Xm是这个多元回归问题的m个自变量，b1、b2、…、bm是回归方程对应于各自变量的系数，又称偏回归系数。
②贝叶斯网络：贝叶斯网络是基于概率推理的数学模型，而概率推理是通过一些产量的信息来获取其他概率信息的过程。贝叶斯网络会建立一个有向无环图和一个概率表集合，有向无环图中的每一个节点便是一个随机变量，而有向边表示随机变量间的条件依赖，条件概率表中的每一个元素对应有向无环图中唯一的节点，存储此节点对其所有直接前驱节点的条件概率。贝叶斯网络是为了解决不定性与不完整性问题而提出的，在多个领域中获得广泛应用。
③基于时间序列分析的指数平滑模型在时间序列分析中指数平滑模型是最灵活和准确的方法，在经济领域也被证明是最有效的预测模型。在不同的时间序列下，指数平滑模型可以分为简单指数平滑法、带有趋势调整的指数平滑法、带有阻尼趋势的指数平滑法、简单季节指数平滑法、带有趋势和季节调整的指数平滑法五种不复杂度的模型。
2.8最优化
（Optimization）因为优化问题往往可以带来巨额的收益，通过一系列可行的优化，可以使收益得到显著提高。所谓最优化就是从有限或者无限种可行的方案中选取最优的方案。如果可以通过简单的评判，就可以确定最优方案那是最好的。但是事实不会那么简单，所以优化技术已经发展出了一系列的理论来解决实际问题。其常用的优化技术为：
①线性规划：当目标函数与约束函数都是线性函数时，就是一个线性规划问题。而当同时满足约束函数和目标函数时，则可以认为是最优解。
②整数规划：要求决策变量取整数值的数学规划。
③多目标规划：指衡量一个决策优劣的标准不止一个，也就是有多目标函数。
④动态规划：将一个复杂的问题划分为多个阶段，逐段求解，最终求出全局最优解。
3用Excel实现简单的数据分析
①对于企业而言最重要的是利润，所以管理者必须要从这张表中得到最关键也最容易得到的销量和销售额以及与其相关的一些数据，通常是用最基本的数理统计结果来直观地反映该企业在某个期间的盈利情况。
②其次，我们必须要做进一步的分析。已经对整体的情况有了一定的把握，所以就可以朝着不同的方向去挖掘一些有价值的信息，为企业高层做决策提供有力的依据。对产品销售而言，客户结构能够有效地反映客户的地域分布，企业可以根据客户的来源，在未开辟客户的地域去寻找新的目标客户群。而销量结构可以直观地反映企业最大销量来自哪个地区，对销量较小的地区可以加大宣传力度或者增加销售网点来保持各地区销售均衡。还可以及时地调整销售方式来扩大市场份额，而对于销量最小的地区考虑开辟新的市场。
统计了各地区的销售总额和平均销售额以及两者的对比关系。由此可以得出地区平均购买力大小，以及各地区总销售额大小。借助图表描述，管理者可以对企业在某段期间内的销售状况有一个大概的把握，只有掌握了这些的信息，才能更细化地去研究具体的影响因素。划分等级，对于经常性大量购买的客户必须要以最优惠的价格和最好的服务让其满意，以形成一个稳定的大客户群。而对于那些少量购买的客户，也要制定出相应合适的方案来留住客户。所以，分析销售额的分布情况，可以掌握客户的购买力度而且还能及时做一些留住大客户的举措。
4用R语言实现数据多层次分析
R语言是一种自由软件编程语言与操作环境，是一套完整的数据处理、计算和制图软件系统，它是一种用来进行数据探索、统计分析和作图的解释型语言。它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动地进行数据分析，甚至创造出符合需要的新的统计计算方法。而在使用R语言进行数据分析处理时，当我们遇到很大的原始数据，但用来建模的数据较小，则可以先在数据库中进行整理，然后通过R与数据库的接口提取数据，数据库适合存放和整理比较规整的数据，和R中的数据框有良好的对应关系，这也是R中绝大多数统计模型的标准数据结构。数据库中大部分的运算都不需要消耗很大的内存。
5结语
异常客户是在一段考察时期内与客户的一般行为模式不一致的对象，它们往往被称为孤立点。异常客户分析（即孤立点挖掘）具有重要的现实意义，对于一个企业来说，这些数据往往比常规的客户模型信息更有价值。本文针对销售企业，假设已经用一定的方法探测到了孤立点，接下来采用最小二乘法拟合直线中的斜率分析其性质，从而确定是积极的客户还是消极的客户。
二、最小二乘法拟合直线
最小二乘法是一种数学优化技术。它以某一社会、经济或自然现象为对象，寻找一拟合曲线，以满足给定对象系统的一组观测数据。通常要求选择的拟合曲线会使各观测数据到拟合曲线的误差的平方和最小。
本文研究销售企业(如商场)异常客户的性质。设一段时期内客户的累计消费金额为y，对应的消费时期为x。假定测得客户的n个数据(x1,y1)，…,(xn,yn)，则在XOY平面上可以得到n个实验点:Pi(xi,yi)（i=1，…n)，这种图形称为“散点图”(如图1，图2）。在利用最小二乘法进行分析时，各种非线性关系的拟合曲线均可线性化，因此此处选择直线y=ax+b作为拟合直线，寻求x与y之间近似线性关系时的经验公式。其中a为直线的斜率，b为直线在y轴上的截距。
如果Pi(i=1，…n)全部位于同一条直线上，则可认为变量之间的关系为y=ax+b，但一般情况下不会如此。记估计值=axi+b，则各实验点与拟合直线之间的误差为εi=-yi=（axi+b）-yi，它反映了用直线y=ax+b来描述(xi,yi)时,估计值与观测值yi之间的偏差大小。则有：
要求偏差越小越好。但由于εi可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度，这就是最小二乘原则。于是问题归结为根据这一要求来确定y=ax+b中的a和b，使得最小。因为F(a,b)是关于a、b的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，F取最小值时，有：
于是得到了符合最小二乘原则的相应解：
三、基于斜率的异常客户挖掘算法
1.问题描述
本文的目的是研究某一消费时期内,异常客户的消费倾向。取异常客户一年内各月份的累计消费金额为参考，记录的数据如下（表1，表2）。根据其散点图（图1，图2）可以看出，客户的累计消费金额随时间都呈上升趋势，所以难以观察出该客户是否对商场保持持久的忠诚度，是否有转向竞争对手的可能。基于斜率的异常客户挖掘算法正是要解决识别客户性质这一问题。
2.算法描述
算法:Outlier_Analysis。根据输出的a值来判断异常客户的性质:积极的或消极的。
输入:客户数据,即参考点，由有序点对(xi，yi)表示；参考点的个数n。
输出:a(直线的斜率），b(直线在y轴上的截距）。
方法:
（1)初始化a、b。
（2)对客户的n个观测数据(即n个记录点)进行相关数据计算：
（3)ifa<0then
客户购买金额呈减少趋势，为消极客户
else
客户购买金额呈上升趋势，为积极客户
