随着信息技术的不断发展，传统计算机模式已远远无法满足人们日益增加的信息需求，企业、个人利用计算机网络处理的信息数据量也越来越大，正是在这种背景下，云计算技术应用而生。其实质上是一种核心数据存储于互联网、计算方式也来自于互联网的新型计算机技术，从某种程度上讲，其是计算机信息技术发展到一定程度的产物。文章主要针对云计算技术的应用进行综述分析。
【关键词】云计算 应用 功能架构
1 云计算技术的内涵
其实到目前为止，业界还会对云计算形成一个准确的概念，多数专家认为云计算是分布式处理、并行处理及网络计算机发展的结果。云计算的基本原理，是指计算机日常应用中，其所进行计算过程不仅分布于本地计算机，还分布于远程服务器中。云计算与互联网的工作原理有某种异曲同工之处，云计算技术的数据处理就是将用户所需的资料切换至对应的程序，再根据其需求进行访问、存储，上述过程主要通过互联网来实现。由此可见，云计算从某种程度上讲是计算机的商业实现，其主要表现出以下几个特点：首先，规模大。必须具有相当的规模才能满足用户越来越高的信息需求。现阶段企业私有云通常至少拥有数百台以上的服务器，而谷歌、微软、雅虎、亚马逊等云计算企业服务器则多达几十万台，甚至上百万吧，规模非常之庞大。其次，虚拟化。云计算用户可任意时间、通过任意终端、在任意位置通过“云”来请求资源，无需有固定的、有形的实体，因此具有显著的虚拟化特点。再次，稳定性。云计算高稳定性是通过多副本容错技术保证的，因此与普通计算机相比，云计算技术的稳定性更为显著。最后，自动化。对于用户而言，云计算具有自我管理及自我维护功能，其所提供的各种工作项目及服务也是自动完成的。
2 云计算结构
云计算中包含了并行计算、分布式计算、网格计算等三种技术，其结构包括四大模块：
2.1 存储层
云计算以存储层为基础，其以NAS、iSCSI等IP存储设备或SAS、SCSI等DAS存储设备为基础，这些物理存储设备分布于网络的不同区域，由统一的管理系统进行管理，真正打破了物理机逻辑化存储空间条件的限制，实现对硬件状态监控及故障维护的实时性。
2.2 基础管理层
该模块是云计算技术的核心部发，其通过集群、分布式文件系统、网格计算等技术实现存储设备的协同工作，多个设备可对外提供同一种服务，大大提高了数据访问的性能。基础管理层的主要问题在于其安全性的保证。
2.3 应用接口层
该模块的主要作用是实现应用服务系统对基础层的不同开发环境及API。
2.4 访问层
该模块的主要作用是响应用户请求。用户通过标准的公用应用接口登录云系统，系统响应用户请求实现资源配置。
3 云计算技术的应用
随着云计算技术的不断发展，其应用范围也越来越广泛，目前其应用比较成熟的领域包括以下几个方面：
3.1 商业领域的应用
云计算在商业领域的应用主要体现出云存储及电子商务等方面，其中云存储包括两大部分，一是个人云存储，云计算通过其资源调度功能将不同的服务器构成存储空间池，用户可以根据自身的实际需要进行实时存储，可进行统一编辑文档。另一方面，企业级云存储主要是通过企业间的空间租赁实现的。云存储性能强、容量大，可为企业的数据存储提供安全、便捷的数据服务。比如企业远程数据备分，大大提高了云计算技术的实用性，改善系统的安全性，并且云计算在电子商务中的应用提高了电子商务的灵活性与专业性。
3.2 教育领域的应用
相比商业领域，云计算在教育领域的作用更加突出。应用云计算可以大大降低学校的资源建设成本，实现了随时、随地的教学活动；云计算还可保证学校相关数据的安全性，云计算可跨设备、跨平台运行，用户可通过任意终端获取云系统中的相关数据，再分享给他人，最大程度上实现教育信息资源共享。在图书馆中的应用主要包括图书管理、数字资源检索、下载等；用户还可以通过电脑、手机等访问图书馆的电子资料，真正实现移动学习。
3.3 推动社会信息化水平的提升
首先云计算可推动计算机软硬件及网络资源信息基础设施的建设，降低系统建设及管理成本，可有效解决事业单位、政府部门存在的历史垢病，促进社会信息化水平的不断提升。其次，云计算可将电子政务、公共服务等信息资源整合在一起，大大提高公共服务及政府公关服务的工作效率。再次，可大大提高企业的科技创新能力，并且可缩短服务与产品进入市场的周期，提高用户获得信息的动态性及敏捷性。最后，降低系统设备运行成本。云计算可延长系统硬件设备的使用寿命，降低电能消耗及运营成本，具有显著的节能效果。
4 展望
云计算技术使得互联网成为所有用户的计算中心与数据中心，增强了互联网的核心功能，通过云计算技术，大规模数据资源及计算能力等信息服务不再是少数人的专利，每个用户均可享受到。当然，尽管云计算具有一系列优势，但是其不可避免的存在诸多客观问题，最突出的就是云计算的数据安全及公共标准问题。云计算的公共标准与企业的技术互通、利益协调等均有直接关系，虽然其这一特性促进了云计算的良好发展，但是也是一个复杂问题。云计算技术的安全问题包括两个层面的含义，一是云计算系统本身的安全问题，主要内容包括数据安全、隐私保护、安全服务、安全监管等；另外一个层面是指基于云计算平台的安全工具，即安全云。但是无论云计算技术存在保种问题，都无法阻挡其为网络信息技术发展带来的机遇，因此可以预见，云计算技术的应用前景十分广阔。
参考文献
[1]王佳隽，吕智慧，吴杰.云计算技术发展分析及其应用探讨[J].计算机工程与设计，2015（20）：4404-4409.
[2]何明，郑翔，赖海光.云计算技术发展及应用探讨[J].电信科学，2015（5）：42-46.
[3]滕萍.云计算技术发展分析及其应用研究[J].信息网络安全，2015（11）：89-91.
[4]周紫熙，叶建伟.云计算环境中的数据安全评估技术量化研究[J].智能计算机与应用，2016（1）.
关键词：云计算；网络；计算机；架构
中图分类号：TP311 文献标识码：A 文章编号：1009-3044(2012)19-4590-02
对目前广泛使用的几种云技术的对比，对云计算的技术结构做了简要的总结。最后对云计算在实际发展中遇到的问题以及未来的发展趋势做了预测分析。
目前计算机技术以及网络技术的原理以及实际应用都得到了快速的发展，单个计算机的性能的提升方面仍然存在很多需要研究以及解决的现实问题。用户在使用大量的网络资源的时候，实际上是已经采用了网络的优势取代了以前个人手中资源来实现计算机性能的提升。计算机网络技术将在世界范围内实现资源的共享转换为了现实。由于网格计算的概念主要是面向应用层面的，所以在网格计算的概念被提出以来，计算机性能的提升就面临这很多亟待解决的问题，网络的用户需要将其使用的程序转换为网络共享所需要的分布式程序结构，程序员面临这更多的技术问题，技术方面的障碍导致一般的用户在应用网络资源方面存在一定的困难。
目前市场上对于高性能的计算具有强烈的需求，面向WEB技术的网络服务也具有重要的地位。自从面向WEB的技术获得成功以后，计算机网络的应用领域得到了较大程度的拓展，网络的发展使得其功能已经由简单的信息传输或者信息的转换为信息资源的共享等应用。计算机云计算就是在这样的背景中应运而生了。尽管云计算技术发展时间不长，但是云计算的思路已经涉及到了诸如分布式系统技术、集群技术、网格计算等多种技术。从这个方面来分析，云计算可以认为是上述技术的综合以及升级。随着云计算技术的不断发展以及相关理论的不断完善，以如微软的Azure ，Amazon的EC2等云计算平台为代表云计算的商业应用已经成为了现实。
1 云计算的定义
美国的Larry Ellison在华尔街日报上发表了自己对于云计算的见解，他认为计算机云技术中存在这样的现象，也就是说一般需要根据目前已经完成使用的产品来重新定义云计算。Andy Isherwood也在2008年提出，对于云计算的专业研究，几乎所有的研究者所给出的定义都存在着差别。目前对于云计算的定义的业界仍然存在较大的争议，能够实现云计算的平台也是多种多样。目前对于云计算的定义主要是根据Ian Foster等人的研究以及对于云计算的分析与总结。
1）云计算中的每一朵云都是目前计算机并行分布式系统中一种，是由一些了网络化以及虚拟化的计算机提供的同意的服务层。同事会可以对计算资源进行同步。
2）网络中用户不是基于较长的时间间隔来进行基础设施的规划使用，目前可以实现分钟级甚至是秒级来实现基础设施的规划，这样应用的好处就是避免了网络资源的浪费或者是网络资源的过载。
3） 云计算不是孤立的，云计算是一个涉及多个方面的综合概念。一般认为云计算是软件技术发展的下一个逻辑阶段。对于用户而言，最能够被理解以及接受的所谓云计算其实就是在因特网层面上的集成软件。本定义中强调了云计算网络服务的基本属性。其他一些定义则注重了网络中基础设施的虚拟化，从本质上而言这些都是对于云计算概念不同层面的阐述。
根据以上的研究分析，云计算可以定义为：云算是通过网络进行常用的服务形式，其中所有涉及到的软件系统以及硬件系统的总称。与云计算相关的概念主要包括集成技术、网络计算、超级计算机等相互之间存在着相互区分但是又存在着相互联系的基本概念。云计算中主要是以其服务形式对网络中的用户提供必要的计算机网络资源，因为这个平台可以获得比传统的集群系统具有更为广泛的优势以及规模，所以基于云计算的计算机平平所能够提供的计算机性能就很有课程超过目前使用的超级计算机。另外在灵活性以及规模等方面，云计算技术的优越性更为明显。
2 云计算发展背景
云计算的出现以及迅速发展与网络的应用紧密相连。随着Web2.0相关理论的成熟以及相关技术的现实应用，云计算已经由商量的实验性网站逐步发展到目前广泛使用的校园内网以及多种应用方面。网络的商业模式已经发生了较大的变化。以一般运行的商业化网站为例，对一个可以获得较大商业利润的大型网站继续宁维护，所涉及的方面很多。主要包含了对系统硬件的维护以及对于市场调研的分析。这样就需要一个涉及等多方面的工作团队，同时对于网站所涉及的软件系统、硬件系统要负全面的责任。网站最终的获利只是这个超大规模团队的顶端的一小部分。这种极为不平衡的特点阻碍了网站的进一步发展。目前传统的计算模型主要存在一下的困难。
1）目前服务支持平台的规模缺乏可伸缩性，无法满足用户需求的变化。当服务业务的需求规模发生变化的时候，传统的计算模型无法作出适应性的及时调整。
2）目前建立大型的底层基础设施的成本较大。一般企业或者商业组织要在短期筹备相应的运行资本也存在着一定的难度。但是商业机遇总是争分夺秒的，快速岂不的能力对于网络运营商极为重要。
3）服务商对于提供的定型服务需要进行长期的维护，因此就没有办法集中有限的资源进行新业务的开发。云计算平台具有较高的灵活性以及可靠性，网络用户可以根据目前现有的服务快速建立起许啊哦的系统。同时可以将基础设施的维护任务由计算机提供商操作。因此用户可以集中各项资源进行业务方面的操作。云计算的还具有可伸缩性，这样就可以根据业务量大小的变化进行实时的调整并降低服务成本。
关键词：云计算；关键技术； 应用
1引言
自1945年第一台电子计算机出现以来，随着集成电路技术的不断发展，计算机的功能越来越强，体积越来越小，这使得计算机在全球范围内得以迅速发展。从那时开始至今以计算机为核心的IT产业已经历了三次革命，云计算则被认为是继大型计算机、个人计算机、互联网之后的第4次IT产业革命。
2 云计算简介
（1）什么是云计算
云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)等技术渐进演变发展起来的，是一种新兴的商业计算模型。目前国际上尚未对云计算提出一个统一的定义。我国云计算专家刘鹏给出的描述是：“云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务[1]” 。
简单地讲，云计算是以一种简化的方式提供服务，用以满足客户和业务的需求，提供无限伸缩及不同质量的服务来促进快速创新和决策的计算模型[2]。
（2） 云计算的特点
云计算的特点包括超大规模、虑拟化、高可靠性、通用性、可扩展性以及按需服务。
超大规模：“云”里的资源非常庞大，在一个企业“云”可以有几十万甚至上百万台服务器，在一个小型的“私有云”中也可拥有几百台甚至上千台服务器。
虑拟化：云计算允许用户在任何时间和地点使用各种终端获取应用服务。用户不需要了解具体的过程，只要一个终端并通过网络就可以获取“云”中的服务。
高可靠性：为了保证数据安全可靠，云计算采用数据多副本容错、计算节点同构可互换等措施，以保证服务的安全和可靠。
通用性：云计算可根据用户的需求构造出不同的应用，也可实现不同设备间的数据与应用共享。
可扩展性：“云”的规模是可以根据应用和用户增长的需要而动态扩展的。
按需服务：“云”是一个规模庞大的资源库，用户可根据自己的需要像买水、电一样向“云”购买资源并使用。
（3 ）云计算的服务模式
云计算的核心是它的服务模式，按照NIST (National Institute of Standards and Technology，美国国家标准技术研究院)的定义，云计算主要分为三种服务模式[3]：
SaaS （Software as a Service 软件即服务)：它是指用户获取软件服务的一种形式。云计算提供商将多种应用软件放在一个服务器上供用户下载并收费，用户则通过网络向提供商获取自己需要的软件服务并付费。
PaaS (Platform as a Service 平台即服务)：它将开发环境作为一种服务来提供。在这种模式里，客户不需要购买硬件和软件，只需要利用此平台便能进行软件的开发、测试、部署和应用。
IaaS (infrastructure as a Service，基础设施即服务) ：将硬件设备等基础资源封装成服务供用户使用。在此环境中，用户相当于在使用裸机和磁盘并可以让它运行不同的操作系统。
（4 ）云计算的关键技术
云计算的关键技术一般指数据存储、数据管理、数据安全、虚拟化、并行处理、资源管理和系统管理技术[4]。
数据存储：云计算系统是由大量服务器组成的，当为数量庞大的用户进行服务时会产生海量的数据，要保证这些数据存储的安全和可靠就需要高存储率和高传输率的数据存储技术。云计算采用的分布式存储方式，它把数据存储在服务器集群中，用冗余存储和数据加密技术来保证数据的安全可靠。
数据管理：它是指在云计算中对海量数据进行处理并通过对数据挖掘提取有用的信息。
数据安全：云服务商应避免用户的数据丢失或被窃，无论在哪种服务模式下，数据安全都是十分重要的。数据安全又可分为数据传输安全、数据隔离安全和数据残留等[5]。
虚拟化：虑拟化技术是云计算、云存储服务得以实现的基础和关键。通过虚拟化技术可以把软件应用与底层硬件相隔离。它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。
并行处理：并行处理是指将被求解的问题分解成若干部分，每部分均由一个独立的处理机来并行计算。在云中利用并行处理来求解问题无疑能提高计算机系统的计算速度和处理能力。
资源管理：云计算中的资源包括计算、存储、网络、基础设施等资源。资源管理就是从逻辑上把这些资源耦合起来作为一个单个的集成资源提供给用户使用。由于云计算的资源在地理上是分布的，在本质上是异构的且有不同的访问代价模型，因此资源管理主要就是处理好边界问题，并需要有安全和容错机制。
系统管理：云计算中的系统管理是云计算的“神经网络”，通过这种技术能够使大量的服务器协同工作，方便地进行业务部署和开通，快速发现和恢复系统故障。
（5 ）云计算存在的问题
首先云计算至今没有一个统一标准。由于云计算技术还在发展之中，各大云服务商纷纷推出自己内部的技术标准，这就为云服务商之间进行数据迁移、转换等兼容性问题带来一定的困难。
其次是数据的安全。虽然云存储为用户提供了接近无限的存储空间，但多数用户对自己的数据在云中是否安全仍存在质疑，而且数据在“云”中进行计算时用户也不知道数据到底在什么地方。另外黑客攻击、计算机病毒、木马等传统计算机安全问题依然存在，个人和企业隐私的泄露很有可能发生。所有这些问题不仅需要技术上的改进，也需要在法律上进一步完善。
最后是系统的稳定、可靠性问题。在云中支撑整个系统正常运行的是大型服务器集群。当系统规模持续增加后，系统的可靠性和稳定性就成为最大的问题之一。只有通过有效的系统配置、监控、管理、调度以及虚拟化等技术手段，才能实现一个强大的、动态的、自治的计算存储资源池，才能提供云计算所需要的大容量计算力[6]。
3云计算的应用
近几年来随着谷歌、亚马逊等大公司对云计算技术的不断推进，使得云计算技术在国内外的各个领域都得到了广泛的应用，下面介绍几个典型案例。
电子商务。它是指消费者与商户之间通过电子商务网站进行交易和在线支付的商业活动。云计算的加入可以改善系统的安全性，减少因各种安全问题而导致的数据丢失。可以把企业对网站维护和升级的问题交给“云”处理，这样不仅可以降低成本，还可以改善企业电子商务应用的灵活性和专业性。
气象预测。气象预测实际上就是对采集的大量数据进行科学计算。传统的气象预测要靠大型计算机或巨型计算机来完成，而利用云计算不仅可以提高计算的速度，降低成本，还可以解决海量气象数据存储的问题。
计算机安全。目前计算机安全厂商如瑞星、趋势科技和赛门铁克等都先后提出了“云安全”的概念。用户不必在电脑单机中安装杀毒软件，只需要连接互联网便可实现查毒、杀毒，使病毒防治工作更加安全可靠。
网络应用。在互联网中如迅雷的下载，谷歌的视频分享、搜索引擎、电子邮箱等应用都使用了云计算技术，用户可以更方便快捷的使用这些网络资源。
4 结束语
综上所述，随着云计算在社会中的作用越来越显现，云计算必将利用其技术、业务优势影响人们的工作和生活，进而推动整个社会信息化的发展。
参考文献
[1]刘鹏.云计算(第二版)[M].北京:电子工业出版社,2011.
[2]姚有真. 云计算及其发展趋势[J].通讯管理与技术.2011.8:13-15.[3]De S K, Krishna P R.Clustering web transactions using rough
Approximation [J].Fuzzv Sets and Systems，2004， 148：131-138.
[4]曾剑秋，刘雪娇.云计算探源[J]. 移动通讯，2012.3:11-14.
关键词:云计算关键技术 云技术运用 云计算
中图分类号:TP3 文献标识码:A 文章编号:1672-3791(2011)09(a)-0026-01
1 云计算概述
1.1 云计算的定义
1.1.1 什么是云计算
云计算的概念源于网格、公用计算和 SaaS概念。这是一种新兴的模型,利用该模型,用户可以在任何地方通过连接的设备访问其应用程序。应用程序位于可大规模伸缩的数据中心,计算资源可在其中动态部署并进行共享,以便能够实现显著的经济规模。
狭义的云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。 广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。
1.1.2 云计算的特征
(1)硬件和软件都是资源,通过互联网以服务的方式提供给用户;(2)应用资源可以根据需要进行动态的扩展和配置;(3)资源在物理上以分布式的共享方式存在,但最终在逻辑上以单一整体的形式呈现;(4)资源按需分配,按实际使用量付费,自动化管理。
1.2 云计算的优势
(1)优化产业格局,推进专业分工;(2)降低管理开销,提升资源利用率;(3)减少初期投资,减轻基础设施风险;(4)降低入市资本,加快技术创新。
2 云计算的关键技术
2.1 云计算的技术支撑
2.1.1 资源调度
资源调度指的是在特定的环境下,根据一定的资源使用规则,在不同的资源使用者之间进行资源调整的过程。目前,通常有两种途径可以实现计算任务的资源调度:一种是在计算任务所在的机器上它的资源使用量;另一种是将计算任务转移到其他机器上。
2.1.2 多租户技术
与传统的软件运行和维护模式相比,用户的应用软件不需要一次性购买和部署在个人的数据中心中,这些计算机硬件资源和软件资源能够更好的被共享,具有良好的伸缩性,任何一个企业用户都能够按照自己的需求对SaaS软件进行客户化配置而不影响其他用户的使用。多租户技术就是目前云计算环境中能够满足上述需求的关键技术。
2.1.3 海量数据处理
作为以互联网为计算平台的云计算,将会更广泛的涉及到海量数据处理任务。海量数据处理指的是对大规模数据的计算和分析,通常数据的规模可以达到TB甚至PB级。
2.1.4 大规模消息通信
云计算的一个核心理念就是资源和软件功能都是以服务的形式进行的,不同服务之间经常需要通过消息通信进行协助。可靠、安全、高效能的通信基础设施对于云计算的成功至关重要。
2.1.5 大规模分布式存储
分布式存储的目标是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。分布式存储要求存储资源能够被抽象表示和统一管理,并且能够保证数据读写操作的安全性,可靠性,性能等各方面要求。目前,云环境下的大规模分布式存储领域已经有了一些研究成果和应用。
2.1.6 许可证管理与计费
随着云时代的到来,IT基础设施的许可证管理和计费模式将发生重大的变化。在云计算环境中,用户每月可以估计使用量选取许可证的数量,甚至可以根据系统自动跟踪用户在云环境里的使用情况定期生成的账单付费。
2.2 云计算的技术挑战
2.2.1 数据安全与隐私保护
在云环境中,云暴露在公开的网络中任何一个节点及它们的网络都可能受到攻击,而且服务器的更新和升级都在远程进行,每一次升级都可能带来潜在的威胁。
2.2.2 资源高效性和服务可用性
云环境下,通过技术创新,保证即使在计算机软硬件出现问题,服务仍然可用,云计算服务商希望预测到可能的可用性问题,并通过提前准备副本、提前解决故障、通知用户等手段来避免这些故障的发生,或者减少故障发生带来的损失。
2.2.3 资源的动态分配
在云计算环境中对资源的管理提出了更高的要求,要求资源的调度必须动态、及时、适量、细粒度、自动化和预动性。
2.2.4 统一的编程规范和标准化
为了使用户能更轻松地享受云计算带来的服务,让用户能利用该编程模型编写简单的程序来实现特定的目的,云计算上的编程模型必须十分简单。
3 云计算的应用前景
云计算正在成为IT的一种发展趋势,进入数字化、信息化的社会,为人们的生活和工作提供了无限多的可能,构建在网络之上的云计算给人们带来了诸多方便。无论是普通网络用户,还是企业员工,无论是IT管理者,还是软件开发人员,他们都能亲身体验到这种改变,成为云计算的真正受益者。
3.1 云计算面向大公司
对于大型企业而言,其具有相当完善的IT基础设施和相关的专业IT管理人员,对已有的IT基础设施进行高效的利用。将云计算的强大功能引入数据中心,变传统的IT基础架构成私有云(根据需要与外部云建立联邦的内部云集合),从而使IT基础架构作为可轻松访问的服务来交付将是最理想的解决方案。此方案优点在于:降低成本并最大限度提高IT效益,通过服务级别自动化加强IT控制力,为IT部门提供更多选择性。
3.2 云计算面向中小企业
对于中小企业来说,充分利用现有IT资源来部署新应用程序、提高可用性和确保业务持续性,以发挥虚拟化的强大功能。通过使用业界最受信赖、最可靠的虚拟化平台,大幅度降低资金和运营成本。同时,为企业提高IT人员效益,提供“IT永不停机”,保证其服务具备高可用性、高性能和高可靠性,混合云模式是中小型企业最理想的云计算方案。具有优势在于:减少资金投入和运营成本,提高IT人员生产效率和企业响应能力,保护应用程序和数据,提高业务可用性。
3.3 云计算面向家庭
现阶段,云计算和智能家庭在其各自的领域内发展都非常快速,为了能够在智能家庭中利用云计算提供的服务,那么需要将起桥接作用的家庭网关进行有效的改进,使之能够完成将智能家庭中提供的服务到云上,还能从云中搜索在智能家庭的网关层上看,每一个智能家庭被看作是一个结点,而智能家庭云是由很多个智能家庭结点构成的集群,智能家庭云就像其他由计算机组成的云一样是整个云架构的一部分,并且智能家庭云也可以向外界提供不同的服务。
参考文献
关键词：云计算；技术；职业教育；信息化；应用
中图分类号：TP301 文献标识码：A DOI：10.3969/j.issn.1003-6970.2012.07.047
1.云计算的背景、定义及特点
云计算是继1980年代大型计算机到客户端一服务器的大转变之后的又一种巨变。
云计算是网格计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。
2.云计算的相关概念
2.1Iaas：基础设施即服务
模式和基础设施
云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。
IaaS：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。
2.2Paas：平台即服务
PaaS：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。
SaaS：软件即服务
SaaS：软件即服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。
2.3云物联
物联网就是物物相连的互联网。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。
2.4云安全
云安全（Cloud Security）是一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网的每个角落，只要某个网站被挂马或某个新木马病毒出现，就会立刻被截获。
“云安全”通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，推送到Server端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。
3.云计算在国内外高校图书馆界的应用
3.1高校图书馆应用云计算的切入点
随着“云”的不断发展，其轮廓也日渐清晰的展现在我们面前，云计算所具备的海量存储能力、节点灵活接入、资源获取便捷等特性，能够实现高校图书馆之间联合编目和资源的共享，能够整合异构数据库实现一站式检索，进而优化经费的使用，减低系统的运行维护成本，提高工作效率，改善用户的体验，使高校师生可以无障碍的获取更多资源，满足高校图书馆用户的各类需求包括他们的潜在需求。此外云技术使用特殊的容错措施可利用廉价的节点构成云，通过集中式的自动化管理，图书馆无需负担数据中心管理成本，这些工作将由云服务供应商负责，图书馆只需共享云端资源即可。
3.2国内外高校图书馆云计算应用
国外高校图书馆使用云计算技术稍早于我国，国外成功运作最具规模的项目属0CLC的WorldCat数据库，它也是图书馆界对云计算的初次尝试，目前全球已有7万多家图书馆加入此项目，高校图书馆约占一半。该系统可以实现统一的采购、编目、流通环节的管理，所有的服务都通过云端提供给图书馆，使每个图书馆不再需要拥有自己的一套图书馆集成系统，甚至不需要自己的服务器，而只需要接入互联网的设备就可以完成图书馆日常各种工作。OCLC WorldCat Local提供一个强大的检索接口和覆盖整个网络的信息检索服务。云技术的使用简化了检索的过程，使用户可以通过一站式的检索一次性获取所在图书馆的馆藏、所在图书馆所参加的图书馆联盟的馆藏及OCLC WorldCat全球图书馆联合目录数据，获得目次、摘要、封面图像等信息。
4.云计算在信息技术教育中的应用
4.1云计算将改变移动学习模式
移动学习是继数字化学习后出现的又一新学习模式，它包括随时、随地的学习资源，强大的搜索能力，丰富的交互性，对有效性学习的强力支持和基于绩效的评价。移动学习的模式有两种：基于短信息服务（SMS）和通过建设WAP教育站点，分别是基于点播和基于浏览的移动学习。云计算的出现将带来移动学习模式的变革。云计算教育资源将存储于云服务器中，学习者无需再通过短信或WAP站点点播方式，学习者可以通过EPC、手机等终端，随时随地登录到学习平台进行学习。
4.2云计算可以构建虚拟学习环境
随着网络学习的普及，构建完善的虚拟学习环境成为远程教育的研究热点之一。在Web 2.0环境下，个人使用更多的是网络学习和非正式学习。目前虚拟学习环境的构建仍依托于某特定的教学机构，其辐射范围、学习者构成、学习内容等往往受该教学机构的控制。云计算是继网格计算之后的又一个全新的网络概念，是下一代互联网的发展趋势。在云时代，所有资源和应用程序都将整合在“云”端，学习者可以根据云服务的类型，自由地选择学习内容和学习方式，创建虚拟社区。Google协作平台、百会的协作编辑功能、Ning的社区环境都有利于异地学习者学习成果的展示、交流和深度互动。如可以通过iGoogle创建个性化网络空间，利用Diigo创建个人网络课程等。在云时代，我们就可以轻松、自如地创设人性化的网络学习环境。
4.3云计算可以整合教育信息资源
数字化教育信息资源的共建共享对教育信息化的发展具有重要意义。教育信息资源是教学改革的参照物、教学研究的工具书、学习的知识仓库。随着现代信息技术的发展，教育信息资源将越来越丰富，给教育信息资源的发展提供了极大的空间。互联网最大的优势在于资源的聚合，云计算根本出发点就是信息融合与网络共享。在云计算时代，教育信息资源转化为云服务，学习者只需输入关键词，即可获取来自世界各地的教育资源。
5.云计算在职业教育领域的应用
云计算的提出，最小化了终端设备的需求，在一个云计算的网络中，不仅仅是教学课堂，甚至于个人电脑，实验室都可以从“云”中获得，在“云”中存储，而学校需要的只是提供给学生可以运行浏览器的最简单的终端设备（使用开源系统的个人电脑，OLPC，甚至支持无线局域网的掌上设备）和网络，就能让所有职业学校的学生随时随地进行学习，资料处理和实验。
[关键词]虚拟化;分布式计算;云管理平台;key/value存储引擎
abstract: virtualization and distributed parallel architecture are two typical technologies of cloud computing. for virtualization technology, this article discusses the pool of physical resources, resource pool management and use, cluster fault location and maintenance, resource pool grouping, and the building and application of heterogeneous virtualization platforms. it also discusses the distributed file system and key/value storage engine associated with distributed technology. a “master bottleneck” storage interface standard is proposed for the distributed file system, and directory-based storage is proposed for the key/value storage engine.
key words: virtualization; distributed computing; cloud computing management platform; key/value storage engine
云计算由google提出,随后在互联网界风起“云”涌,随之而来的云计算服务和技术平台成功案例层出不穷,如google的gfs、mapreduce、bigtable、chubby和app engine,亚马逊的dynamo、ec2、s3、sqs、simpledb和cloudfront,微软的azure、sql、“.net”和live服务,开源云计算平台的hdfs、hbase和eucalyptus,vmware的虚拟化平台等。
1 云计算的核心技术
云计算主要基于资源虚拟和分布式并行架构两大核心技术,同时互联网上有大量的开源软件为用户提供支撑,如xen、kvm、lighttpd、memcached、nginx、hadoop、eucalytus等。云计算技术有效地节约了云服务商的硬件投入、软件开发成本和维护成本。
虚拟化技术最早由vmware公司引入并在x86 cpu上实现。虚拟化平台将服务器虚拟为多个性能可配的虚拟机(vm),对整个集群系统中所有vm进行监控和管理,并根据实际资源使用情况对资源池灵活分配和调度。
分布式并行架构是云计算的另一个核心技术,用于将大量的机器整合为一台超级计算机,提供海量的数据存储和处理服务。整合后的超级计算机通过分布式文件系统、分布式数据库和mapreduce技术,提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。
2 虚拟化技术
虚拟化技术主要分为两个层面:物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进行管理,根据资源的使用情况和用户对资源的申请情况,按照一定的策略对资源进行灵活分配和调度,实现按需分配资源[4-7]。
2.1 物理资源的池化
云计算平台如图1所示。物理硬件设备的虚拟化对象包括服务器、存储、网络、安全等多个方面,不同的虚拟化技术从不同角度解决系统的各种问题。
(1)服务器虚拟化
服务器虚拟化对服务器进行资源虚拟和池化,将一台服务器虚拟为多个同构的虚拟服务器,同时对集群中的虚拟服务器资源池进行管理。
(2)存储虚拟化
存储虚拟化主要是对传统的存储区域网络(san)、网络附加存储(nas)设备进行异构,将存储资源按类型统一集中为一个大容量的存储资源,并将统一的存储资源通过分卷、分目录的权限和资源管理方法进行池化,然后将虚拟存储资源分配给各个应用使用,或者是直接分配给最终用户使用。
(3)网络虚拟化
网络虚拟化将一个物理网络节点虚拟成多个虚拟的网络设备(交换机、负载均衡器等),并进行资源管理,配合虚拟机和虚拟存储空间为应用提供云服务。
2.2 资源池的管理和使用
资源池由云管理平台实现统一的管理、调度和监控,涉及云平台的合理使用和维护管理。云管理平台共分为4个管理层面,分别为:设备的管理、虚拟资源的管理、服务的管理和租户管理。
(1)设备管理
设备管理为云计算平台的硬件设备提供管理和告警功能,主要包括系统管理员在日常的维护工作中查询各物理设备性能情况,并对如应用服务器的cpu使用率、内存使用率、硬盘使用率、网络接口使用率、存储设备的空间使用率、io情况等关键指标进行监控。用户可以根据应用物理设备的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。
(2)虚拟资源管理
虚拟资源管理为各种应用提供虚拟资源的统一管理、资源分配和灵活调度,同时还包括系统管理员在日常的维护工作中查询各个最小虚拟资源的性能情况,并对应用虚拟机的cpu使用率、内存使用率、硬盘使用率、网络接口使用率,虚拟存储(如亚马逊的ebs)的空间使用率、io情况等关键指标进行监控。用户可以根据虚拟资源的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。
(3)服务管理
服务管理包括服务模板、服务实例、服务目录等管理。服务管理在虚拟资源的基础上,快速向租户提供用户指定的操作系统、应用软件等软件资源。
(4)租户管理
租户管理对每一个租户对应的资源群进行管理,内容包括资源的种类、数量、分布情况等,同时对租户生命周期进行管理,包括租户的申请、审核、正常、暂停、注销等。
2.3 集群的故障定位与维护
google的集群维护方式给我们留下了深刻的印象,维护人员推着小推车对损坏的机器进行更换,故障定位通过定制pc的故障灯进行判断(在通用的因特网数据中心(idc)应用中,计算资源通常使用通用pc机)。目前所有的云平台对物理机和虚拟机的监控、告警,都是按照机器的ip地址作为机器的编号进行管理。对于承载着虚拟机的物理机而言,其host os模块的ip地址对应和代表着物理机器在集群中的唯一标志。ip地址的分配一般采用两种方式:采用动态主机配置协议(dhcp)方式自动获取;通过手工指定方式确定。由于集群中机器很多,手工指定工作量非常巨大,因此通常采用dhcp的方式对ip地址进行分配。
但是维护人员在云管理平台上发现物理设备出了故障,维护人员无法通过ip地址对应到故障机器的具体物理位置,通用的pc机又没有故障灯等辅助定位手段。定位故障机器的物理位置并更换或维护它成为一个复杂和繁琐的过程。
在的虚拟化集群中,可以采用简单而有效的方法解决此问题。对于每一台物理机器,配置一个usb接口的key,key中保存了物理机器的位置信息,同时usb key与物理位置直接绑定(如绑在机架上)。机器在启动时,会到usb key中读取物理位置信息,根据读取的物理位置信息,依据固定的算法和物理信息算出机器的ip地址,并在管理平台中体现。这样,每个物理机器的ip地址就与物理位置绑定,在物理机器故障时,维护人员在云管理平台可以准确获取故障机器的ip地址和物理位置。
2.4 资源池的分组与异构
对于服务器的虚拟化,由于架构不同,sun、ibm等厂家的小型机虚拟化都采用相互独立的架构,与基于x86架构的虚拟化系统(如xen、kvm等)无法兼容,因此造成了资源浪费。
对于服务器虚拟化的异构问题,可以从两个层面去解决:(1)通过资源池的分组,对不同架构的服务器和小型机进行虚拟化,不同架构的资源池归于一个独立的组,针对不同的应用,分配特定的虚拟机资源。(2)通过业务的定制和调度,将不同架构的虚拟化平台通过管理融合,实现异构虚拟机的调度。
异构资源池如图2所示。在云计算平台中,把ibm的powersystems小型机集群通过ibm的powervm系统虚拟为基于powersystems架构的计算资源池,把hp的小型机集群通过hp的vse系统虚拟为基于hp架构的计算资源池,把x86架构的计算资源通过xen\kvm系统虚拟为基于x86的zxve资源池。在业务部署时,不同的应用的可以根据自己的业务特点和操作系统特点,选择性地部署在不同的资源池上,从而实现虚拟化对各类小型机的异构。x86架构的计算资源池、powersystems架构的计算资源池和hp架构的计算资源池分别受各自的虚拟化管理软件(如vmm、ivm和gwlm)管理。在vmm、ivm和gwlm的上层,可以通过融合的虚拟化管理器(ivmm),对3个计算资源池进行统一管理。
图3所示为虚拟资源对应用实现异构的方法。此方法的核心在于4个方面:ivmm、业务调度器、业务系统针对不同的资源池架构提供应用功能相同的不同版本、ivmm和业务调度器之间的occi扩充接口。
在业务应用层面,针对业务系统,本文增加业务调度器模块。业务调度器根据业务的繁忙程度,向ivmm申请增加或减少虚拟机资源,并调整负载均衡策略。业务系统针对不同的资源池架构,需要准备与之对应的功能相同的不同版本。occi扩充接口的工作流程为:
业务系统的业务调度器通过occi接口向云计算平台申请资源,同时向云计算平台提供业务系统可以支持的操作系统等信息,并提供优先级信息。
云计算平台根据业务系统的请求和云内资源的空闲情况,分配计算资源,通过occi接口通知业务调度器云计算平台向业务系统提供了何种架构的计算资源。
业务调度器根据申请到的资源情况,将业务处理机的操作系统、业务版本等模板信息通过occi接口通知云计算平台,由云计算平台进行操作系统和业务程序的部署,完成后提交给业务系统进行使用。
3 分布式技术
分布式技术最早由google规模应用于向全球用户提供搜索服务,因此必须要解决海量数据存储和快速处理的问题。其分布式的架构,可以让多达百万台的廉价计算机协同工作。分布式文件系统完成海量数据的分布式存储,分布式计算编程模型mapreduce完成大型任务的分解和基于多台计算机的并行计算,分布式数据库完成海量结构化数据的存储。互联网运营商使用基于key/value的分布式存储引擎,用于数量巨大的小存储对象的快速存储和访问。
3.1 分布式文件系统
分布式文件系统的架构,不管是google的gfs还是hadoop的hdfs,都是针对特定的海量大文件存储应用设计的。系统中有一对主机,应用通过文件系统提供的专用应用编程接口(api)对系统访问。分布式文件系统的应用范围不广的原因主要为:主机对应用的响应速度不快,访问接口不开放。
主机是分布式文件系统的主节点。所有的元数据信息都保存在主机的内存中,主机内存的大小限制了整个系统所能支持的文件个数。一百万个文件的元数据需要近1g的内存,而在云存储的应用中,文件数量经常以亿为单位;另外文件的读写都需要访问主机,因此主机的响应速度直接影响整个存储系统的每秒的读入输出次数(iops)指标。解决此问题需要从3个方面入手:
(1)在客户端缓存访问过的元数据信息。应用对文件系统访问时,首先在客户端查找元数据,如果失败,再向主机发起访问,从而减少对主机的访问频次。
(2)元数据信息存放在主机的硬盘中,同时在主机的内存中进行缓存,以解决上亿大文件的元数据规模过大的问题。为提升硬盘可靠性和响应速度,还可使用固态硬盘(ssd)硬盘,性能可提升10倍以上。
(3)变分布式文件系统主机互为热备用的工作方式为1主多备方式(通常使用1主4备的方式),通过锁服务器选举出主用主机,供读存储系统进行改写的元数据访问服务,如果只是读访问,应用对元数据的访问将被分布式哈希表(dht)算法分配到备用主机上,从而解决主机的系统“瓶颈”问题
对于分布式文件系统,外部应用通过文件系统提供的专用api对其进行访问,这影响了分布式文件系统的应用范围。对于标准的posix接口,可以通过fuse的开发流程实现,但将损失10%~20%的性能。对于网络文件系统(nfs),在实现posix接口的基础上,可以直接调用linux操作系统的nfs协议栈实现。
3.2 key/value存储引擎
key/value存储引擎最大的问题在于路由变更后,数据如何快速地实现重新分布。key/value存储引擎如图4所示。可以引进虚拟节点的概念,将整个key值映射的ring空间划分成q个大小相同的bucket(虚拟节点,key的映射算法推荐采用md5)。每个物理节点根据硬件配置情况负责多个bucket区间的数据。同一个bucket上的数据落在不同的n 个节点上,通常情况下n =3。我们将dcache的q设定成10万,即把整个ring空间分成了10万份,如果整个dcache集群最大容量为50 tb,每个区间对应的数据大小仅为500 mb。对500 mb的数据进行节点间的迁移时间可以少于10 s。图4中,n =3,bucket a中的数据存储在b、c、d 3个节点。
4 结束语
云平台的构建是一个具有挑战性的课题,本文详细描述了虚拟化和分布式架构两大核心技术。在基础设施即服务(iaas)层面,着重描述了虚拟化技术,以及异构的虚拟化云计算平台的建设和应用,同时介绍了云管理平台的功能。在分布式技术方面,介绍了分布式文件系统和key/value存储引擎。对于分布式文件系统,本文着重介绍了主机“瓶颈”解决方案及存储接口标准化的想法;对于key/value存储引擎,本文提出了用于目录化存储的解决方案。
5 参考文献
[1] 张为民, 唐剑峰, 罗治国, 等. 云计算:深刻改变未来 [m]. 北京: 科学出版社, 2009.
[2] 刘鹏. 云计算 [m]. 北京: 电子工业出版社, 2010.
[3] 王庆波, 金, 何乐, 等. 虚拟化与云计算 [m]. 北京: 电子工业出版社, 2009.
[4] scott granneman s. google apps deciphered: compute in the cloud to streamline your desktop [m]. upper saddle river, nj, usa: prentice-hall, 2009.
[5] reese g. cloud application architectures: building applications and infrastructure in the cloud [m]. sebastopol, ca, usa: o'reilly media, 2009.
[6] arrasjid j, epping d, kaplan s. foundation for cloud computing with vmware vsphere 4 [m]. berkeley, ca, usa: usenix association, 2010
[7] service delivery platforms and telecom web services: an industry-wide perspective [r]. the moriana group, 2004.
收稿日期:2010-05-28
赵培,中兴通讯业务研究院总工程师,中兴通讯技术专家委员会专家;研发的zxj10程控交换机《单板大容量数字时分交换网络》系统获广东省火炬优秀项目奖、深圳市科技进步奖一等奖,拥有发明专利8项。
[关键词]虚拟化;分布式计算;云管理平台;key/value存储引擎
abstract: virtualization and distributed parallel architecture are two typical technologies of cloud computing. for virtualization technology, this article discusses the pool of physical resources, resource pool management and use, cluster fault location and maintenance, resource pool grouping, and the building and application of heterogeneous virtualization platforms. it also discusses the distributed file system and key/value storage engine associated with distributed technology. a “master bottleneck” storage interface standard is proposed for the distributed file system, and directory-based storage is proposed for the key/value storage engine.
key words: virtualization; distributed computing; cloud computing management platform; key/value storage engine
云计算由google提出,随后在互联网界风起“云”涌,随之而来的云计算服务和技术平台成功案例层出不穷,如google的gfs、mapreduce、bigtable、chubby和app engine,亚马逊的dynamo、ec2、s3、sqs、simpledb和cloudfront,微软的azure、sql、“.net”和live服务,开源云计算平台的hdfs、hbase和eucalyptus,vmware的虚拟化平台等。WWW.133229.cOM
1 云计算的核心技术
云计算主要基于资源虚拟和分布式并行架构两大核心技术,同时互联网上有大量的开源软件为用户提供支撑,如xen、kvm、lighttpd、memcached、nginx、hadoop、eucalytus等。云计算技术有效地节约了云服务商的硬件投入、软件开发成本和维护成本。
虚拟化技术最早由vmware公司引入并在x86 cpu上实现。虚拟化平台将服务器虚拟为多个性能可配的虚拟机(vm),对整个集群系统中所有vm进行监控和管理,并根据实际资源使用情况对资源池灵活分配和调度。
分布式并行架构是云计算的另一个核心技术,用于将大量的机器整合为一台超级计算机,提供海量的数据存储和处理服务。整合后的超级计算机通过分布式文件系统、分布式数据库和mapreduce技术,提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。
2 虚拟化技术
虚拟化技术主要分为两个层面:物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进行管理,根据资源的使用情况和用户对资源的申请情况,按照一定的策略对资源进行灵活分配和调度,实现按需分配资源[4-7]。
2.1 物理资源的池化
云计算平台如图1所示。物理硬件设备的虚拟化对象包括服务器、存储、网络、安全等多个方面,不同的虚拟化技术从不同角度解决系统的各种问题。
(1)服务器虚拟化
服务器虚拟化对服务器进行资源虚拟和池化,将一台服务器虚拟为多个同构的虚拟服务器,同时对集群中的虚拟服务器资源池进行管理。
(2)存储虚拟化
存储虚拟化主要是对传统的存储区域网络(san)、网络附加存储(nas)设备进行异构,将存储资源按类型统一集中为一个大容量的存储资源,并将统一的存储资源通过分卷、分目录的权限和资源管理方法进行池化,然后将虚拟存储资源分配给各个应用使用,或者是直接分配给最终用户使用。
(3)网络虚拟化
网络虚拟化将一个物理网络节点虚拟成多个虚拟的网络设备(交换机、负载均衡器等),并进行资源管理,配合虚拟机和虚拟存储空间为应用提供云服务。
2.2 资源池的管理和使用
资源池由云管理平台实现统一的管理、调度和监控,涉及云平台的合理使用和维护管理。云管理平台共分为4个管理层面,分别为:设备的管理、虚拟资源的管理、服务的管理和租户管理。
(1)设备管理
设备管理为云计算平台的硬件设备提供管理和告警功能,主要包括系统管理员在日常的维护工作中查询各物理设备性能情况,并对如应用服务器的cpu使用率、内存使用率、硬盘使用率、网络接口使用率、存储设备的空间使用率、io情况等关键指标进行监控。用户可以根据应用物理设备的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。
(2)虚拟资源管理
虚拟资源管理为各种应用提供虚拟资源的统一管理、资源分配和灵活调度,同时还包括系统管理员在日常的维护工作中查询各个最小虚拟资源的性能情况,并对应用虚拟机的cpu使用率、内存使用率、硬盘使用率、网络接口使用率,虚拟存储(如亚马逊的ebs)的空间使用率、io情况等关键指标进行监控。用户可以根据虚拟资源的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。
(3)服务管理
服务管理包括服务模板、服务实例、服务目录等管理。服务管理在虚拟资源的基础上,快速向租户提供用户指定的操作系统、应用软件等软件资源。
(4)租户管理
租户管理对每一个租户对应的资源群进行管理,内容包括资源的种类、数量、分布情况等,同时对租户生命周期进行管理,包括租户的申请、审核、正常、暂停、注销等。
2.3 集群的故障定位与维护
google的集群维护方式给我们留下了深刻的印象,维护人员推着小推车对损坏的机器进行更换,故障定位通过定制pc的故障灯进行判断(在通用的因特网数据中心(idc)应用中,计算资源通常使用通用pc机)。目前所有的云平台对物理机和虚拟机的监控、告警,都是按照机器的ip地址作为机器的编号进行管理。对于承载着虚拟机的物理机而言,其host os模块的ip地址对应和代表着物理机器在集群中的唯一标志。ip地址的分配一般采用两种方式:采用动态主机配置协议(dhcp)方式自动获取;通过手工指定方式确定。由于集群中机器很多,手工指定工作量非常巨大,因此通常采用dhcp的方式对ip地址进行分配。
但是维护人员在云管理平台上发现物理设备出了故障,维护人员无法通过ip地址对应到故障机器的具体物理位置,通用的pc机又没有故障灯等辅助定位手段。定位故障机器的物理位置并更换或维护它成为一个复杂和繁琐的过程。
在的虚拟化集群中,可以采用简单而有效的方法解决此问题。对于每一台物理机器,配置一个usb接口的key,key中保存了物理机器的位置信息,同时usb key与物理位置直接绑定(如绑在机架上)。机器在启动时,会到usb key中读取物理位置信息,根据读取的物理位置信息,依据固定的算法和物理信息算出机器的ip地址,并在管理平台中体现。这样,每个物理机器的ip地址就与物理位置绑定,在物理机器故障时,维护人员在云管理平台可以准确获取故障机器的ip地址和物理位置。
2.4 资源池的分组与异构
对于服务器的虚拟化,由于架构不同,sun、ibm等厂家的小型机虚拟化都采用相互独立的架构,与基于x86架构的虚拟化系统(如xen、kvm等)无法兼容,因此造成了资源浪费。
对于服务器虚拟化的异构问题,可以从两个层面去解决:(1)通过资源池的分组,对不同架构的服务器和小型机进行虚拟化,不同架构的资源池归于一个独立的组,针对不同的应用,分配特定的虚拟机资源。(2)通过业务的定制和调度,将不同架构的虚拟化平台通过管理融合,实现异构虚拟机的调度。
异构资源池如图2所示。在云计算平台中,把ibm的powersystems小型机集群通过ibm的powervm系统虚拟为基于powersystems架构的计算资源池,把hp的小型机集群通过hp的vse系统虚拟为基于hp架构的计算资源池,把x86架构的计算资源通过xen\kvm系统虚拟为基于x86的zxve资源池。在业务部署时,不同的应用的可以根据自己的业务特点和操作系统特点,选择性地部署在不同的资源池上,从而实现虚拟化对各类小型机的异构。x86架构的计算资源池、powersystems架构的计算资源池和hp架构的计算资源池分别受各自的虚拟化管理软件(如vmm、ivm和gwlm)管理。在vmm、ivm和gwlm的上层,可以通过融合的虚拟化管理器(ivmm),对3个计算资源池进行统一管理。
图3所示为虚拟资源对应用实现异构的方法。此方法的核心在于4个方面:ivmm、业务调度器、业务系统针对不同的资源池架构提供应用功能相同的不同版本、ivmm和业务调度器之间的occi扩充接口。
在业务应用层面,针对业务系统,本文增加业务调度器模块。业务调度器根据业务的繁忙程度,向ivmm申请增加或减少虚拟机资源,并调整负载均衡策略。业务系统针对不同的资源池架构,需要准备与之对应的功能相同的不同版本。occi扩充接口的工作流程为:
业务系统的业务调度器通过occi接口向云计算平台申请资源,同时向云计算平台提供业务系统可以支持的操作系统等信息,并提供优先级信息。
云计算平台根据业务系统的请求和云内资源的空闲情况,分配计算资源,通过occi接口通知业务调度器云计算平台向业务系统提供了何种架构的计算资源。
业务调度器根据申请到的资源情况,将业务处理机的操作系统、业务版本等模板信息通过occi接口通知云计算平台,由云计算平台进行操作系统和业务程序的部署,完成后提交给业务系统进行使用。
3 分布式技术
分布式技术最早由google规模应用于向全球用户提供搜索服务,因此必须要解决海量数据存储和快速处理的问题。其分布式的架构,可以让多达百万台的廉价计算机协同工作。分布式文件系统完成海量数据的分布式存储,分布式计算编程模型mapreduce完成大型任务的分解和基于多台计算机的并行计算,分布式数据库完成海量结构化数据的存储。互联网运营商使用基于key/value的分布式存储引擎,用于数量巨大的小存储对象的快速存储和访问。
3.1 分布式文件系统
分布式文件系统的架构,不管是google的gfs还是hadoop的hdfs,都是针对特定的海量大文件存储应用设计的。系统中有一对主机,应用通过文件系统提供的专用应用编程接口(api)对系统访问。分布式文件系统的应用范围不广的原因主要为:主机对应用的响应速度不快,访问接口不开放。
主机是分布式文件系统的主节点。所有的元数据信息都保存在主机的内存中,主机内存的大小限制了整个系统所能支持的文件个数。一百万个文件的元数据需要近1g的内存,而在云存储的应用中,文件数量经常以亿为单位;另外文件的读写都需要访问主机,因此主机的响应速度直接影响整个存储系统的每秒的读入输出次数(iops)指标。解决此问题需要从3个方面入手:
(1)在客户端缓存访问过的元数据信息。应用对文件系统访问时,首先在客户端查找元数据,如果失败,再向主机发起访问,从而减少对主机的访问频次。
(2)元数据信息存放在主机的硬盘中,同时在主机的内存中进行缓存,以解决上亿大文件的元数据规模过大的问题。为提升硬盘可靠性和响应速度,还可使用固态硬盘(ssd)硬盘,性能可提升10倍以上。
(3)变分布式文件系统主机互为热备用的工作方式为1主多备方式(通常使用1主4备的方式),通过锁服务器选举出主用主机,供读存储系统进行改写的元数据访问服务,如果只是读访问,应用对元数据的访问将被分布式哈希表(dht)算法分配到备用主机上,从而解决主机的系统“瓶颈”问题
对于分布式文件系统,外部应用通过文件系统提供的专用api对其进行访问,这影响了分布式文件系统的应用范围。对于标准的posix接口,可以通过fuse的开发流程实现,但将损失10%~20%的性能。对于网络文件系统(nfs),在实现posix接口的基础上,可以直接调用linux操作系统的nfs协议栈实现。
3.2 key/value存储引擎
key/value存储引擎最大的问题在于路由变更后,数据如何快速地实现重新分布。key/value存储引擎如图4所示。可以引进虚拟节点的概念,将整个key值映射的ring空间划分成q个大小相同的bucket(虚拟节点,key的映射算法推荐采用md5)。每个物理节点根据硬件配置情况负责多个bucket区间的数据。同一个bucket上的数据落在不同的n 个节点上,通常情况下n =3。我们将dcache的q设定成10万,即把整个ring空间分成了10万份,如果整个dcache集群最大容量为50 tb,每个区间对应的数据大小仅为500 mb。对500 mb的数据进行节点间的迁移时间可以少于10 s。图4中,n =3,bucket a中的数据存储在b、c、d 3个节点。
4 结束语
云平台的构建是一个具有挑战性的课题,本文详细描述了虚拟化和分布式架构两大核心技术。在基础设施即服务(iaas)层面,着重描述了虚拟化技术,以及异构的虚拟化云计算平台的建设和应用,同时介绍了云管理平台的功能。在分布式技术方面,介绍了分布式文件系统和key/value存储引擎。对于分布式文件系统,本文着重介绍了主机“瓶颈”解决方案及存储接口标准化的想法;对于key/value存储引擎,本文提出了用于目录化存储的解决方案。
5 参考文献
[1] 张为民, 唐剑峰, 罗治国, 等. 云计算:深刻改变未来 [m]. 北京: 科学出版社, 2009.
[2] 刘鹏. 云计算 [m]. 北京: 电子工业出版社, 2010.
[3] 王庆波, 金, 何乐, 等. 虚拟化与云计算 [m]. 北京: 电子工业出版社, 2009.
[4] scott granneman s. google apps deciphered: compute in the cloud to streamline your desktop [m]. upper saddle river, nj, usa: prentice-hall, 2009.
[5] reese g. cloud application architectures: building applications and infrastructure in the cloud [m]. sebastopol, ca, usa: o'reilly media, 2009.
[6] arrasjid j, epping d, kaplan s. foundation for cloud computing with vmware vsphere 4 [m]. berkeley, ca, usa: usenix association, 2010
[7] service delivery platforms and telecom web services: an industry-wide perspective [r]. the moriana group, 2004.
收稿日期:2010-05-28
赵培,中兴通讯业务研究院总工程师,中兴通讯技术专家委员会专家;研发的zxj10程控交换机《单板大容量数字时分交换网络》系统获广东省火炬优秀项目奖、深圳市科技进步奖一等奖,拥有发明专利8项。
