云计算数据中心传统

云计算数据中心传统（共8篇）

云计算数据中心传统篇1

云计算数据中心是支撑云服务实现用户转变到客户的数据中心，是一系列新技术集中应用和面向业务服务运营管理的集中体现。云计算数据中心采用虚拟化、自动化、并行计算、安全策略以及能源管理等新技术，解决目前数据中心存在的成本增加过快和能源消耗过度等问题;通过标准化、模块化、动态弹性部署和自助服务的架构方式实现对业务服务的敏捷响应和服务的按需获取。

1、云计算数据中心的构成

云计算数据中心本质上由云计算平台和云计算服务构成。云计算服务包括通过各种通信手段提供给用户的应用、软件、工具以及计算资源服务等;云计算平台包括用来支撑这些服务的安全可靠和高效运营的软硬件平台。通过云计算平台将一个或多个数据中心的软硬件整合起来，形成一种分层的虚拟计算资源池，并提供可动态调配和平滑扩展的计算、存储和网络通信能力，用以支撑云计算服务的实现。

2014-2019年广东物联网云计算行业趋势分析及投2014-2018年云计算行业招商计划书2014年版云计算项目融资商业计划书 2014-2018年中国云计算第三方软件行业市场深度2014-2018年中国政府云计算行业市场深度调研及2014-2018年中国云计算行业市场竞争格局分析与2014-2018中国云计算产业园区行业竞争格局分析2014-2018年中国云计算行业市场深度调研与发展云计算服务是云计算中心的外在实现，包括互联网(internet)、应用软件(saas)、系统平台(paas)和计算资源(iaas)等服务，其特点是无需前期投资、按需租用服务、获取方式简单以及使用安全可靠等，可以满足不同规模的用户根据需要动态地扩展其服务内容。

云计算平台是云计算中心的内部支撑，处于云计算技术体系的核心。它以数据为中心，以虚拟化和调度技术为手段，通过建立物理的、可缩放的、可调配的、可绑定的计算资源池，整合分布在网络上的服务器集群、存储群等，结合可动态分配和平滑扩展资源的能力，提供安全可靠的各种应用数据服务。

2、云计算数据中心的实施过程

云计算数据中心的实施不是一个简单的软硬件集成项目，在实施之前需要谨慎评估和整体规划，充分考虑云计算数据中心的管理模式，并将未来的运营模式纳入到整体规划中，这样才可以充分发挥云计算平台作用。

结合对云计算中心用户需求的调研和国外的实施经验，目前云计算数据中心基础架构实施主要分为以下5个阶段：

1)规划阶段：要将云计算中心建设作为战略问题来对待，管理高层要给予极大的重视和支持，并明确每一阶段所要实现的目标，从业务创新和it服务转型的高度进行规划和部署。

2)准备阶段：根据本行业特性，充分了解用户采用云计算数据中心想要获得的服务与应用需求，并对云计算平台进行充分的评估，选择合适的技术架构。同时充分考虑系统扩展和迁移的可操作性，保证基础设施平台技术的连续性和核心业务的连续性。

3)实施阶段：资源虚拟化是云计算中心的基础，通过构建支持异构平台的虚拟化平台，可以满足安全性、可靠性、扩展性和灵活性等各方面的服务要求。

4)深化阶段：在实现平台架构虚拟化的基础上，还要实现各种资源调度和分配的自动化，为全面管理和自助服务打好基础。

5)应用和管理阶段：云计算的基本特征是开放性，云计算平台应能提供标准的api实现与现有应用兼容。所有的应用移植是渐进过程，云计算基础架构要很好的支撑核心应用，而并不仅仅是新增的需求。同时，云计算平台建设是个闭环的过程，需要进行不断地改进。

3、云计算数据中心的关键技术

云计算数据中心的建设融合了很多新的技术，主要包括以下几个方面。

1)虚拟化技术

虚拟化技术的应用领域涉及服务器、存储、网络、应用和桌面等多个方面，不同类型的虚拟化技术从不同角度解决不同的系统性能问题。

服务器虚拟化对服务器资源进行快速划分和动态部署，从而降低了系统的复杂度，消除了设备无序蔓延，并达到减少运营成本、提高资产利用率的目的。

存储虚拟化将存储资源集中到一个大容量的资源池并进行统一管理，实现无需中断应用即可改变存储系统和数据迁移，提高了整个系统的动态适应能力。

网络虚拟化通过将一个物理网络节点虚拟成多个节点以及将多台交换机整合成一台虚拟的交换机来增加连接数量并降低网络复杂度，实现网络的容量优化。

应用虚拟化通过将资源动态分配到最需要的地方来帮助改进服务交付能力，并提高了应用的可用性和性能。

云计算数据中心基于上述虚拟化技术实现了跨越it架构的全系统虚拟化，对所有资源进行统一管理、调配和监控，在无需扩展重要物理资源的前提下，简单而有效地将大量分散的、没有得到充分利用的物理资源整合成单一的大型虚拟资源，并使其能长时间高效运行，从而能源效率和资源利用率达到最大化。

2)弹性伸缩和动态调配

弹性伸缩可以从纵向和横向两个方面考虑。纵向伸缩性是指在同一个逻辑单元内增加资源来提高处理能力，如：在现有服务器上增加cpu或在现有的raid/san存储中增加硬盘等;横向伸缩性是指增加更多逻辑单元的资源，并整合成如同一个单元在工作。

动态调配是根据需求的变化，对计算资源自动地进行分配和管理，实现高度“弹性”的缩放和优化使用，而使用者不介入具体操作流程。

3)高效、可靠的数据传输交换和事件处理

云计算数据中心传统篇2

思科报告显示, 目前, 与云计算相关的流量占数据中心总流量的11%左右, 预计到2015年, 数据中心的年度总流量将增加4倍, 达到4.8泽字节, 与云计算相关的流量在总流量中的比例也将大大提高。

云计算发展所带来的业务量、信息量及用户数量的快速膨胀, 迫切需要规模化的数据中心来提供平台支持, 因为云计算的核心就是数据中心, 实现云计算的硬件设备主要是成千上万的工业标准服务器, 通过这些服务器之间的协同工作, 提高服务器的使用效率, 并改变传统的IT交付方式, 使客户可以按需、自助地使用IT资源。因此云计算的发展给数据中心带来新的机遇, 但更多的也许是挑战:日益被大家接受的云计算理念正在重塑传统数据中心的架构。

虚拟化技术、安全瓶颈驱动变革

(1) 虚拟化技术驱动。虚拟化是云计算的重要特征, 早在大型主机时代, 虚拟化的思想就被提出了。但那时并没有端的应用可供施展。发展到云计算后, 虚拟化在云的集中与端的分散之间, 起到关键联接作用。虚拟化技术可以单CPU模拟多CPU并行, 允许一个平台同时运行多个操作系统, 并且应用程序都可以在相互独立的空间内运行而互不影响, 从而显著提高计算机的工作效率。IDC中的服务器和存储等IT资源可以通过虚拟化技术实现彼此协同, 从而扩大数据中心的硬件容量, 简化软件的重新配置过程。同时服务器数量的减少, 还能直接减少数据中心的能源消耗, 实现绿色环保。因此继虚拟化技术之后, 越来越多的企业开始接受云计算的理念, 着手调研云计算技术在企业实施的可行性, 出现了数据中心建设的迅猛发展。

(2) 安全性问题。安全问题一直是云计算无法解决的一个顽疾, 云计算的安全问题主要体现三方面:第一是云计算服务提供商的网络是否安全, 企业的信息是否会被窃取;第二是在线使用云计算企业提供的业务也有安全性问题, 例如在线服务是否稳定, 数据的存储是否可靠;第三是用户使用云计算服务的账号是否会被盗。

而这其中更重要的是用户使用习惯的问题。云计算还未完全被接受, 很大程度上是因为它是一个新概念, 而新概念本身的落实就需要一定的时间。

数据中心集中式变革

云计算能否落地的关键就在于数据中心能否成功接受改造, 传统数据中心企业能否发展出一套成熟的商业模式。当数据中心遭遇云计算, 如何能够逢云化雨?这些数据中心的变革之路在何方?

笔者认为, 传统数据中心向云计算数据中心的转型过程需要分为多阶段, 分布实施。具体可分为传统数据中心->动态数据中心->云计算数据中心->私有云、混合云、公有云。

其次, 借助政府的公信力突破云计算的安全瓶颈, 不失为云计算的一个突破点。2010年11月, 工业和信息化部和国家发展改革委联合印发《关于做好云计算服务创新发展试点示范工作的通知》, 明确指出, 北京、上海、深圳、杭州、无锡等5个城市将先行开展中国云计算服务创新发展试点示范工作。政府的支持一方面说明云计算已经不再停留在概念层面, 另一方面, 政府的积极态度也可以影响到市场的反应。

从安全性的另一角度看, 把云安全的讨论归结为“公共云不安全, 私有云安全”的公式似乎过于简单化。这个结论的依据仅仅是私有云的定义:私有云是在企业自己的数据中心边界范围内部署。这个误解产生于这样一个事实:云计算包含与传统的计算不同的两个关键区别—虚拟化和活力。由于在同一台服务器中的虚拟机能够完全通过管理程序中的通讯进行沟通, 数据包能够从一个虚拟机发送到另一个虚拟机, 不必经过物理网络。一般安装的安全设备在物理网络检查通讯流量。至关重要的是, 这意味着如果一个虚拟机被攻破, 它能够把危险的通讯发送到另一个虚拟机, 机构的防护措施甚至都不会察觉。因此私有云本身存在不安全的因素。而一个管理不善和配置糟糕的私有云应用程序是非常容易受到攻击的, 一个管理妥当和配置合格的公共云应用程序也能够达到很好的安全性。因此公有云是私有云发展的未来, 私有云是云计算走向公有云的必经之路, 但这也意味着数据中心的变革也将趋于集中。

“东成西就”发展趋势

因此, 可以判断出经过云计算理念重塑出来的数据中心, 将会出现“东成西就”的现象, 原因如下。

在技术、需求和经济环境的驱动下, 各类云计算应用蓬勃兴起, 全国各地数据中心的建设也风起云涌。这些数据中心大部分集中在东部沿海地区, 主要包括环渤海工业带、长江三角洲和珠江三角洲。实际上, 东部建成的很多数据中心本身就是一种极大的浪费。由于云计算势头强劲, 企业为抢占先机一拥而上, 常常各自为战, 分散布局, 大搞重复建设。并且“大跃进”心态比缺位监管更可怕, 最直接的就是为本就紧张的城市用电雪上加霜, 造成了电力资源的极大浪费。

而西部能源丰富, 地方政府满腔热情却缺少人才、带宽和政策上的扶持。东西部资源供需严重失衡, 云计算发展亟需国家出台政策法规, 统筹资源管理, 扶持西部建设数据中心, 帮助实现东西部在云计算产业的分工协作。

云计算数据中心传统篇3

不久前,H3C公司宣布在iMC智能管理中心中先后推出APM应用管理、SOM运维流程管理等解决方案。新增加的这些功能,让数据中心管理系统从管理数据中心的基础设备,逐渐走向管理业务,最后走向运维管理。

H3C业务软件总工翟传璞告诉记者,H3C数据中心管理软件的变革,全部来自云计算数据中心对管理的特殊需求。“传统网管采用的是以设备管理为核心的FCAPS网管模型,各种管理工具之间不易融合,很难满足数据中心各种灵活易变的业务模型和管理需求。新的数据中心管理平台应该采用面向服务架构(SOA)的设计思想,融合并统一管理资源、业务、运维这三大数据中心组成要素,通过按需装配功能组件与相应的硬件设备配合,形成直接面向客户应用需求的一系列整体解决方案,从而为数据中心的各种关键业务系统提供支撑。”他说。

那么,云数据中心与传统数据中心相比,在管理上具体有哪些不同呢?

翟传璞认为这两者之间的管理差异体现在三个方面。

一是云数据中心的基础设备更加规模化、标准化,由此带来了管理的复杂性。比如淘宝网,这个日均4亿次网页访问量、日均交易额达到7亿元、全年交易额达2000亿元的互联网巨头,其业务背后是遍布全国的8个数据中心、上万台服务器、几千台交换机、海量存储等,如此大容量的设备基于统一的IP标准协同集中工作,这是传统数据中心不能比拟的。因此需要更智能化的设备管理。

其次,云数据中心为了节省成本、实现日益增多的业务,必须采用各种虚拟化技术。其中有“一虚多”——一台服务器虚拟成多台服务器、有“多虚一”—多台服务器处理同一个业务,更多的是“多虚多”——多个业务在多台虚拟服务器上运行。如此复杂的虚拟化,如何能以最经济、高效的方式让新增业务快速上线并运行?这同样是传统数据中心不存在的新管理问题。“还是以淘宝为例,淘宝的各种新业务划分很细,比如秒杀、竞价等业务,目前的业务种类有几百个之多,并且每天还在不断推出新的业务,每上一个新业务,不可能新增太多的服务器等系统资源,而是采取在原有的资源池中增加业务,这就对虚拟化管理提出了新挑战。”翟传璞说。

第三大管理差异,体现在自动化方面。在云数据中心,当业务需要迁移、设备需要统一配置、故障需要及时检查排除、流程需要跟踪时,如何高效管理这样海量的设备和应用?当然需要通过自动化的手段来实现。“比如腾讯网,一次上架就要配置上千台交换机,管理人员也就几个人,如何保证他们在短时间内完成这一工作?配置错误能否恢复到原有状态、到底由谁负责?如何进行跟踪和审计?这些都需要通过自动化的管理技术来实现。” 翟传璞说。

云计算环境数据安全研究论文篇4

云计算是基于下一代互联网的计算系统，提供了方便和可定制的服务供用户访问或者与其他云应用协同工作。云计算通过互联网将云应用连接在一起，向用户提供了在任意地点通过网络访问和存储数据的服务。

通过选择云服务，用户能够将本地数据副本存储在远端云环境中。在云环境中存储的数据能通过云服务提供商提供的服务进行存取。在云计算带来方便的同时，必须考虑数据存储的安全性。如今云计算安全是一个值得注意的问题。如果对数据的传输和存储不采取合适的手段，那么数据处于高风险的环境中，关键数据泄露可能造成非常大的损失。由于云服务向公共用户群提供了访问数据的功能，数据存储可能存在高风险问题。在后续章节中，本文首先介绍了云计算模型，然后针对云计算本身的属性带来的信息安全问题，研究了已有数据安全解决方案的应用范围。云计算应用模式

云计算的应用模式主要有软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)等。在SaaS中，厂商提供服务供客户使用，客户使用服务在云基础架构中运行应用。SaaS相对比较简单，不需要购买任何硬件，使用容易。但是数据全部保存在云端，且存放方式不受用户控制，存在安全隐患。PaaS则通过使用云计算服务商提供的中间件平台开发和测试应用，例如谷歌的App Engine。由于不同的中间件平台提供的API不一样，同一个应用不能再不同的平台通用，存在一定的兼容性问题。在IaaS模型中，用户可以控制存储设备、网络设备等基础计算架构，或者直接使用服务商提供的虚拟机去满足特定的软件需求，灵活性高但是使用难度也比较大。

随着云计算的蓬勃发展，云计算安全作为不能忽视的层面，应该引起足够的重视。如果对数据的传输和存储不采取合适的手段，那么数据将处于高风险的环境中。由于云计算向用户群提供了访问数据的功能，不论采用三种主要应用模式的任意一种，数据都存储在公共平台中，由此带来了数据存储和传输的安全问题。数据安全挑战

3.1 数据保障

当多个用户共享同一个资源的时候存在资源误用的风险。为了避免这个风险，有必要对数据存储、数据传输、数据处理等过程实施安全方面的措施。数据的保护是在云计算中最重要的挑战。为了加强云计算的安全，有必要提供认证授权和访问控制的手段确保数据存储的安全。数据安全的主要几个方面：健壮性——使用测试工具检查数据的安全脆弱性，查看云计算应用是否有常见的漏洞，比如跨站脚本、SQL注入漏洞等;保密性——为了保护客户端数据的安全，应当使用资源消耗少的瘦客户端，尽量将客户端的功能精简，将数据的运算放置在云服务端完成;可用性——数据安全中最重要的部分，具体实施情况由厂商和客户直接协商决定。以上措施决定了数据的可用性、可靠性和安全性。

3.2 数据正确性

在保证数据安全的同时也要保证数据的正确性。每个在云计算中的事务必须遵守ACID准则保持数据的正确性。否则会造成数据的“脏读”，“幻读”等现象，造成数据的不准确，事后排查花费的代价高。大多数Web服务使用HTTP协议都面临着事物管理的问题。HTTP协议本身并不提供事务的功能，事务的功能可以使用程序内部的机制解决。

3.3 数据访问

数据访问主要是指数据安全访问管理机制。在一个公司中，应根据公司的安全条例，给予不同岗位职工特定数据的访问权限，保证该数据不能被公司的其他员工访问。可以使用加密技术保证数据传输安全，采取令牌管理手段提升用户密码的猜解复杂程度。

3.4 保密性

由于在云环境中，用户将文本、视频等数据存储在云端，数据保密性成为了一个重要的需求。用户应该了解保密数据的存放情况和数据的访问控制实施情况。

3.5 数据隔离

云计算的重要特征之一是多用户租用公共服务或设备。由于公用云向所有用户提供服务的特点，存在数据入侵的可能。通过注入代码等手段，可能造成云端存储的数据被非授权获取。所以有必要将用户数据和程序数据分开存储，增加数据被非授权获取的难度。通常可以通过SQL注入、数据验证等方式验证潜在的漏洞是否存在。

3.6 数据备份

云端数据备份主要目的是在数据意外丢失的情况下找。数据丢失是一个很普遍的问题，一份2009年的调查表明，66%的被访者声称个人电脑的文件存在丢失情况。云端数据备份还可以方便将数据恢复到某个时期的版本。云计算作为公用服务，已有大量用户使用网盘将数据副本存储在云端，但是还有很多应用的业务数据未在用户本地设备中存储。无论云端存储数据的性质，云端都应定时将存储的数据备份，保障云服务的正常运行。

3.7 法律法规风险

在云计算中，数据有可能分布存储在不同的国家和地区中。当数据被转移到其他的国家和地区中后，必须遵守当地的法律法规。所以在云计算中，存在数据放置地理位置的问题，客户应当知晓数据存储的地理位置防范风险。数据安全解决方案

对于数据安全问题，需要方案解决云环境中数据潜在的风险。其中由于云环境的公用特性，数据保密应当作为主要解决目标。针对上节的数据保障、正确性、访问等问题，多位云计算安全专家在不同层面已先后提出了几套完整的解决方案，其目标主要是保证云环境中数据共享的安全性。在不可信的公共云环境中，数据共享的同时保证数据对第三方的保密性。

4.1 基本方案

数据加密是一个比较好的保证数据安全的方案。在云端存储数据之前最好能先加密数据。数据的拥有者能将数据的访问权给予特定的用户群体。应当设计一个包括认证、数据加密、数据正确性、数据恢复等功能的模型去保证数据在云端的安全。

为了保证数据不能被非授权访问，将数据加密使其完全对于其他用户无法解析是一个比较好的方法。在上传数据到云端之前，建议用户验证数据是否在本地有完整的备份，可以通过计算文件的哈希值来验证数据是否一致。数据传输应当采用加密方式，防止敏感信息被中间人监听。SaaS要求必须在物理层面和应用层面将不同用户的数据隔离。可以使用采用基于角色的访问控制或者是自主访问控制，以及分布式的访问控制架构控制云计算中的数据访问。一个设计良好的访问控制机制可以极大地保护数据的安全，还可以采用入侵防御系统实时监测网络入侵。入侵防御系统主要功能为识别可疑行为，记录行为的详细信息并试图阻止。

上述基本方案可以解决数据保障、数据正确性、数据访问及保密性等问题。但是，在实际应用中没有考虑效率，仅仅作为基本手段不能满足用户云环境数据共享的特定需求。

4.2 属性基加密

属性基加密(Attribute-based Encryption)相对于传统的公用密钥加密具有很大的优势。传统的公用密钥加密采用公私钥对，公钥加密的信息只能用私钥解密，保证了仅有接收人能得到明文;私钥加密的信息只能用公钥解密，保证了信息的来源。公钥基础设施体系和对称加密方式相比，解决了信息的保密性、完整性、不可否认性问题。属性基加密则在公用密钥加密的基础上，更多考虑了数据共享和访问控制的问题。在属性基加密系统中，密钥由属性集合标识。仅当公私钥对指定的属性相同或者具有规定的包含关系时，才能完成解密密文。例如，用户如果为了数据安全将文档加密，但是需要同公司的人能解密该密文，那么可以设置密钥的属性位“组织”，只有属性位“组织”为该用户公司的密钥才能将该密文解密，不满足条件的密钥则不能解密，如图1所示。

属性基加密分为密钥策略(KP-ABE)和密文策略(CP-ABE)。KP-ABE模式中，密文具有属性集合，解密密钥则和访问控制策略关联。加密方定义了能成功解密密文的密钥需要满足的属性集合。KP-ABE模式适用于用户查询类应用，例如搜索、视频点播等。CP-ABE模式中，加密方定义了访问控制策略，访问控制策略被包含在密文内，而密钥仅仅是属性的集合。CP-ABE模式主要适用于访问控制类应用，例如社交网站、电子医疗等。

属性基加密方式，不仅可以应用在云存储共享中，在审计日志共享方面也有很广泛的应用。审计日志共享大都存在时间段的限制，属性基加密方式可以在密文中添加时间属性位和用户属性，提供对不同用户共享不同时间段日志的功能。属性基加密紧密结合了访问控制的特性，在传统公用密钥的基础上，提高了数据共享的方便程度。

属性基加密虽然提高了数据共享的方便程度，但是没有从根本上解决云环境数据加解密过程中，解密为明文导致的敏感数据泄露问题。

4.3 代理重加密

由于云环境是公用的，用户无法确定服务提供商是否严格的将用户资料保存，不泄露给第三方。所以，当用户之间有在云环境中共享资料的需求时，必须考虑资料的保密性问题。

用户A希望和用户B共享自己的数据，但是不希望直接将自己的私钥Pa给B，否则B能直接用Pa解密自己采用私钥加密的其他数据。对于这种情况，有一些解决方案。

(1)用户A将加密数据从云端取回，解密后通过安全方式(例如采用用户B的公钥加密)发送给用户B。这种方式要求用户A必须一直在线，存在一定的局限性，并且数据量比较大时，本地耗费的计算量可能非常大。

(2)用户A可以将自己的私钥给云服务提供商，要求提供数据共享的服务。在这种情况中，用户A必须相信云端不会将私钥泄露。

(3)用户A可以采用一对一加密机制。A将解密密钥分发给每个想共享数据的用户，A必须针对每个用户生成并存储不同的加密密钥和密文。当新用户数量很多时，这个方案造成了磁盘空间的大量占用，存储数据冗余度高。

代理重加密(Proxy Re-Encryption)手段可以很好的解决云环境数据共享的问题。代理重加密手段设立了一个解密代理。首选A由私钥Pa和B的公钥Pb计算出转换密钥Rk。转换密钥可以直接将由私钥Pa加密的密文转加密为由公钥Pb加密的密文。在转换过程中，A的原始密文不会解密为明文，而转加密后的密文也只能由用户B解密。当用户B想访问A共享的资料时，只需要解密代理使用Rk将A的密文转换为只有B能解密的密文即可。这种机制保证了包括云在内的所有第三方都不能获取A共享给B的明文，如图2所示。

代理重加密解决了云环境中数据共享而不泄露明文的基本问题，侧重于数据的保密。该技术手段关注数据的保密性，未考虑实际应用中数据共享方便程度等其他问题。

4.4 基于代理重加密的属性基加密方法

代理重加密技术可以和在云存储中使用的属性基加密机制结合，属性基加密侧重于加密方面的访问控制，而代理重加密从加密手段上保证了数据的隐秘性。通过将这两种机制结合，用户可以更加高效的分享数据。数据拥有者可以根据新的访问控制规则生成转换密钥，然后将转换密钥上传至云服务器，服务器将原有的密文转加密为新的密文。新的密文在不影响原有用户解密的情况下，可以使新用户成功解密。而在转换原有密文的整个过程中，服务器无法将密文解密为明文。

该类加密方法既保证了转换效率，又保证了数据的保密性。此类方法中，不考虑抗选择密文攻击的算法计算转换密钥的资源消耗相对较小，考虑了抗选择密文攻击的算法资源消耗量和密钥属性基的大小正相关。结束语

分析论文：云计算环境下大数据篇5

1大数据处理流程

基本的大数据的处理流程可以分成数据采集、数据处理与集成、数据分析和数据解释4个阶段。首先获取数据源的数据，因为在数据源端的数据包含各种各样的结构，需要使用某种方法将其进行预处理，使数据成为某种可以用一种算法分析的统一数据格式，接着需要找到这种数据分析的算法，将预处理过的数据进行算法特定的分析，并将分析的结果用可视化等手段呈现至用户端。

1.1数据采集

大数据的采集是整个流程的基础，随着互联网技术和应用的发展以及各种终端设备的普及，使得数据的生产者范围越来越大，数据的产量也越来越多，数据之间的关联也越来越复杂，这也是大数据中“大”的体现，所以需要提高数据采集速度和精度要求。

1.2数据处理与集成

数据的处理与集成主要是对前一步采集到的大量数据进行适当的预处理，包括格式化、去噪以及进一步集成存储。因为数据采集步骤采集到的数据各种各样，其数据结构也并不统一，不利于之后的数据分析，而且，一些数据属于无效数据，需要去除，否则会影响数据分析的精度和可靠性，所以，需要将数据统一格式并且去除无效数据。通常会设计一些过滤器来完成这一任务。

1.3数据分析

在完成了数据的采集和处理后，需要对数据进行分析，因为在进行数据分析后才能体现所有大数据的`重要价值。数据分析的对象是上一步数据的处理与集成后的统一格式数据，需要根据所需数据的应用需求和价值体现方向对这些原始样本数据进一步地处理和分析。现有的数据分析通常指采用数据仓库和数据挖掘工具对集中存储的数据进行分析，数据分析服务与传统数据分析的差别在于其面向的对象不是数据，而是数据服务。

1.4数据解释

数据解释是对大数据分析结果的解释与展现，在数据处理流程中，数据结果的解释步骤是大数据分析的用户直接面对成果的步骤，传统的数据显示方式是用文本形式体现的，但是，随着数据量的加大，其分析结果也更复杂，传统的数据显示方法已经不足以满足数据分析结果输出的需求，因此，数据分析企业会引入“数据可视化技术”作为数据解释方式。通过可视化结果分析，可以形象地向用户展示数据分析结果。

2云计算与大数据分析的关系

云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，是一种按使用量付费的模式。这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。目前，国内外已经有不少成熟的云计算的应用服务。数据分析是整个大数据处理流程里最核心的部分。数据分析是以数据的价值分析为目的的活动，而基于大数据的数据分析通常表现为对已获取的海量数据的分析，其数据来源可能是企业数据也可能是企业数据与互联网数据的融合。从目前的趋势来看，云计算是大数据的IT基础，是大数据分析的支撑平台，不断增长的数据量需要性能更高的数据分析平台承载。所以，云计算技术的不断发展可以为大数据分析提供更为灵活、迅速的部署方案，使得大数据分析的结果更加精确。另一方面，云计算的出现为大数据分析提供了扩展性更强，使用成本更低的存储资源和计算资源，使得中小企业也可以通过云计算来实现属于自己的大数据分析产品。大数据技术本身也是云计算技术的一种延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行计算框架、数据库、实时流数据处理以及智能分析技术，如模式识别、自然语言理解、应用知识库等等。但是，大数据分析要走向云计算还要赖于数据通信带宽的提高和云资源的建设，需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。

3基于云计算环境的Hadoop

为了给大数据处理分析提供一个性能更高、可靠性更好的平台，研究者基于MapReduce开发了一个基于云计算环境的开源平台Hadoop。Hadoop是一个以MapReduce算法为分布式计算框架，包括分布式文件系统(HDFS)、分布式数据库(Hbase、Cassandra)等功能模块在内的完整生态系统，已经成为当前最流行的大数据处理平台，并被广泛认可和开发应用。基于Hadoop，用户可编写处理海量数据的分布式并行程序，并将其运行于由成百上千个节点组成的大规模计算机集群上。

4实例分析

本节以电信运营商为例，说明在云计算环境中基于Hadoop的大数据分析给大数据用户带来的价值。当前传统语音和短信业务量下滑，智能终端快速增长，移动互联网业务发展迅速，大数据分析可以为运营商带来新的机会，帮助运营商更好地转型。本文数据分析样本来自于某运营商的个人语音和数据业务清单，通过Hadoop2.6.0在Ubuntu12.04系统中模拟了一个大数据分析平台来处理获得的样本。希望通过对样本数据的分析与挖掘，掌握样本本身的一些信息。以上分析只是一些很基本的简单分析，实际上样本数据中所蕴含的价值要远远大于本文体现的。以上举例意在说明基于云计算的大数据分析可以在数据分析上体现出良好的性能，为企业带来更丰富更有效率的信息提取、分类，并从中获益。

5结束语

高校邦大数据与云计算测试答案篇6

返回大数据与云计算„ >测验 >结课测验 >结课测验结课测验(共40道题，满分100.00分)测验截止时间 2016-12-12 23:59 有效提交次数1次，已提交0次。1 多选云计算的三个层次可以分为： A.IaaS.B.PaaS.C.AWS D.SaaS.2 多选关于2011年新发布的Cloud Foundry平台下列描述正确的有： A.使用开放源代码 √ B.只支持java C.由VMware公司研发.√ D.支持多语言多框架.√3 多选 Cloud Foundry公有云服务平台的注册需要用到： A.身份证号码 B.QQ C.邮箱

√ D.手机号码 √ 4 单选在安装完Cloud Foundry客户端工具以后，在客户端使用以下哪个命令，就可以登录到Cloud Foundry云平台？ A.cf login √ B.cf push 5 单选默认的Cloud Foundry在发布应用的时候，会启动（）个应用的实例来提供服务。A.2 B.3 C.4 D.1 √ 6 多选 Cloud Foundry可以通过以下哪些工具来进行日志管理？ A.cf logs √ B.cf events √ C.cf log D.cf event 7 单选在Cloud Foundry里面对应用进行监控使用的是（）云服务。A.New Relic √ B.Redis Cloud C.CloudAMQP D.MongoLab 8 多选 Cloud Foundry的可扩展性主要体现在： A.组件的可扩展性

√

B.底层laaS资源的扩展性

√ C.应用的扩展性

√ 9 多选 Cloud Foundry的设计原则有： A.可扩展性

√ B.异步性

√ C.自愈能力

√ D.安全性

√单选 Cloud Foundry的（）负责所有用户的登录和内部模块的调用。A.路由器

B.Cloud Controller C.UAA √

D.Health Manager 11 多选大数据的用处有： A.市场分析

√ B.产品推荐

√ C.需求预测

√ D.诈骗检测

√ 12 多选 Hadoop的核心由以下哪两部分组成？ A.文件系统应用包 B.工作调度 C.HDFS √

D.MapReduce √ 13 单选（）是一个实时收集、分析、展示、监控数据的分布式数据库，它基于HBase存储和查询监控数据。A.OpenTSDB √ B.Kiji C.KijiMR D.KijiExpress 14 多选下来关于Serengeti的描述正确的有： A.一个开源项目

√

B.基于vSphere自动化部署和管理Hadoop集群的工具

√

C.支持所有主流的Hadoop版本，还有HBdse，Hive等生态工具

√ D.一个封闭项目 15 多选想要实现虚拟化HaDoop部署的最优化实践，在选择服务器时建议： A.CPU不要少于2个Quad-core并且激活HT √

B.为每个计算内核配置至少4G内存，并且预留6%的内存给虚拟化的有效使用

√ C.每台服务器配置多块本地存储而不配置少量大存储的硬盘

√ D.推荐使用10G网卡

√ 16 单选想要实现虚拟化HaDoop部署的最优化实践，在选择服务器时不建议每个计算内核配置超过（）块本次存储。A.1 B.2 √ C.3 D.4 17 单选在大部分应用中，OpenStack都被定义在云计算的哪个层面？ A.IaaS √ B.PaaS C.AWS D.SaaS 18 单选 OpenStack的网络资源由以下哪部分提供？ A.Nova B.Glance C.Neutron √ D.Cinder 19 单选 Horizon的普通用户可以查看云内所有资源。A.正确 B.错误

√ 20 多选 nova network支持以下哪几种网络？ A.FLAT

√ B.FlatDHCP √ C.VLAN √ D.WLAN 21 多选 OpenStack内部会产生一些对象来处理消息发送和接受，主要有以下哪几类？ A.生产者

√ B.消费者

√ C.中间站 D.交换设备

√ 22 多选 Swift采用层次数据模型，共有三层逻辑架构分别为： A.环

B.账户

√ C.容器

√ D.对象

√ 23 多选 Glance中的镜像状态主要有： A.Queued √ B.Saving √ C.Active √ D.Killed √ 24 多选 KeyStone的功能可以分为： A.身份验证

√

B.目录服务

√ C.策略管理

√ D.数据存储 25 单选 KeyStone确认完用户身份之后，会给用户提供一个证实该身份并且可以用于后续资源请求的令牌，该令牌的的有效时间默认为： A.一天

√ B.一周 C.一个月 D.一年 26 多选 KeyStone的提供两种Token，分别为： A.UIUD B.KPI C.UUID √ D.PKI

√ 27 单选在VIO中每个OpenStack API服务会对外暴露（）个服务地址。A.4 B.3 C.2 √ D.1 28 单选 VIO安装部署之前需要用户准备好（）个内网IP地址以及2个外网的IP地址。A.12 B.13 C.14 D.15 √ 29 多选下列关于VSAN带来的好处，描述正确的有： A.操作简单方便 √

B.对正在运行的业务无影响 √ C.无数据损坏的风险 √ D.降低人工成本 √ 30 多选 CAP理论中“可用性”的两个主要指标，分别为： A.响应时间 √

B.可访问级别 √ C.季度可访问级别 D.月可访问级别 31 单选 VSAN强制规定一个磁盘组最多只能包含（）块固态硬盘。A.2 B.3 C.4 D.1 √ 32 单选 VSAN建议闪存容量对磁盘容量的总数的比率，至少要达到： A.0.06 B.0.08 C.0.1 √ D.0.12 33 多选下列属于VSAN存储策略的有： A.允许故障数 √

B.每个对象的磁盘带数 √ C.闪存读取缓存预留 √ D.强制置备 √ 34 单选如果允许故障数为1，VSAN至少需要（）主机。A.1 B.2 C.3 √ D.4 35 单选 VSAN的数据存储是一种（）。A.文件存储系统 B.阵列存储

C.对象存储系统 √ D.磁带库存储 36 单选通过使用（），VSAN具备提供高可用性和性能最佳虚拟机的能力。A.对象存储系统 B.分布式Raid √ C.VMFS D.组件 37 多选对象存储的优势有哪些？ A.基于虚拟机更灵活的管理 √ B.更高的可用性

√ C.更好的纵向扩展 D.更好的横向扩展 √ 38 单选 VSAN采用（）周期性地将缓存中的数据，按照地址顺序冲刷进磁盘中。A.加密算法 B.并行算法 C.临近点算法 D.电梯算法 √ 39 单选发生主机故障时，VSAN等待主机加入VSAN的集群的时间默认为： A.30分钟 B.40分钟 C.50分钟 D.60分钟 √ 40 单选发生网络故障时，VSAN会用（）来判断那一边的分区具有简单多数的组件，并且基于结果决定哪边的分区获胜。A.对象存储系统 B.VMFS C.见证 √ D.组件提交

云计算数据中心传统篇7

根据贝恩管理顾问公司 (Bain&Company) 发布《TheFive Faces of the Cloud》报告称, 云计算和云服务产品市场规模将大幅增长, 从目前大约200亿美元的水平增长至2020年的1500亿美元, 占所有科技行业支出的8%。

可见, 由于IT需求增长, 带动了全球云服务市场的迅速成长, 从而推动了网络基础设施服务规模的全面递增, 传统IDC向云计算转型过渡已经成为必然趋势。

云计算服务目前被认为是通信运营商重要的业务增长点, 通过采用云计算技术能有效利用资源、节能减排和降本增效, 实现企业效益与社会效益的同步提升。而且云计算在改变现有IT商业模式的同时, 也不断派生出新的创新业务。所以大型通信运营商均已启动云计算中心建设, 开始从提供传统IDC服务基础上向提供云计算服务转型, 云计算业务成为运营商未来的战略选择。

但从云计算的产品定位、价格体系和运营模式与传统IDC有较大区别, 这关系到云计算中心的建设目标和建设模式, 有必要对云计算业务与传统IDC的建设投资效益进行测算和比较, 在传统IDC中心成熟的建设及运营经验上寻求适合云计算中心的建设和运营模式。

分析前提

本文对云计算业务与传统IDC的建设投资效益前提如下:

第一, 云计算分为云主机和云存储两种业务, 连同传统IDC业务 (主机租赁+带宽租用) , 三种业务均采用全新建场景计算。采用的场景是:2000个功耗为4KVA的传统IDC机架、每机架100M网络带宽, 等同条件下可提供1300个功耗为6KVA的云计算主机机架、每机架150M网络带宽。

第二, 分析测算过程不考虑附带的增值业务或收费业务的收入和成本。

第三, 按照主要设备的折旧期取定计算期, 其中机架出租为6年、带宽出租为10年、云主机、云存储为10年。

第四, 分析测算过程基于成本的定价参考原理:总收入=总支出 (考虑时间价值和所得税) 。

投资效益评估思路

这里以云主机为例说明投资效益评估的思路。

效益评估思路

通过分析每项业务的资源元素, 计算出建设投资、运营成本和销售收入, 进行投资效益评估计算, 得到内部收益率、动态利润率、静态投资回收期和动态投资回收期 (如图1) 。

定价分析思路

通过分析每项业务的资源元素, 算出建设投资和运营成本, 并在保证折现率为11.94%、所得税为25%前提条件下, 进行投资效益反推, 得到处于动态平衡点的业务价格和考虑利润后的动态平衡点的业务价格 (如图2) 。

成本测算

(1) 成本测算总体思路

成本包括建设投资和经营成本, 建设投资根据网络模型涉及的资源元素进行计算, 经营成本根据项目运营需求进行计算, 这里考虑维修费、一般经营成本、电费和税金。

经营成本=电费+维修成本+一般经营成本+税金

运营成本细项说明:

●电费:按每机架每月耗电量计算, 即每机架每月耗电量*电价。

●维修成本:根据目前运营商IDC数据中心运维经营值计算。

●一般经营成本:包括营销费、综合管理费 (人工、车辆、其他税费摊分) , 计算时取其占收入的比例。

●税金:营业税3.3%、所得税25%、坏账率按0.8%考虑。

(2) 传统IDC建设投资测算

模拟场景:2000个机架 (4KVA/机架) 的传统IDC中心, 200G总出口带宽 (100M/机架) 。其中根据建设经验, 假设网络设备和配线占用机架数分别为50个, 电源空调投资占65%以上 (见表1) 。

注:按目前国内大型运营商IDC数据中心建设经验值估算。

(3) 云计算平台建设投资测算

云主机模拟场景:1300个机架 (6KVA) 的云计算数据机房, 200G总出口带宽 (150M/机架) , 3台服务器/机架 (Intel XEON X7550系列4路八核CPU, 128GB内存, 292GB硬盘, 功耗1600W, 2块双端口网卡) , 每台服务器可虚拟成30台虚拟机, 每个机架共可虚拟成90台虚拟机 (每虚机配置:1核CPU、4G内存、200G硬盘) 。其中根据建设经验, 假设服务器、存储、软件和系统等投资占80%以上, 基础设施投资只占14%。 (见表2)

云存储模拟场景:1300个机架 (6KVA) 的云计算数据机房, 共325P (250T/机架) 存储容量, 200G总出口带宽 (150M/机架) 。其中根据建设经验, 假设存储投资占69.5%, 基础设施投资只占24%。 (见表3)

(4) 收入测算

●传统IDC运营商市场价格:机架4500元/月;带宽2.8万元/G/月。其中可用机架数为1900个。带宽收入约占40%。

●云主机假设报价:虚机600元/月 (每虚机配置:1核CPU、4G内存、200G硬盘) , 带宽2.8万元/G/月。带宽收入只占6.6%。

●云存储假设报价:云存储130元/T/月, 带宽2.8万元/G/月。带宽收入只占10.6%。

●各年资源利用率假设为:40%、60%、80%、90%, 以后95%。

效益定价测算

根据上面计算的投资数据、经营成本, 在保证折现率为11.94%、所得税为25%前提条件下, 进行投资效益反推, 可以得到三种业务成本定价如下:

●在带宽月租固定的前提下, 结合考虑机架租赁和带宽租用的收益, 机架的月成本价为5500元。

●每机架 (96核CPU、384G内存、18T硬盘) 的成本价参考约为4.76万元, 每虚机月成本价约为530元。

●云存储月租金成本价约为120元。

结论

从上面的传统IDC业务 (机架租赁+带宽租用) 和云计算业务的投资效益评估结果分析, 对云计算业务和传统IDC业务在建设和运营提出如下建议:

1、云计算业务单机架成本投资较大, 投入风险较大, 建议可用分步建设、集约建设或者合作建设的方式。

2、云主机和云存储的服务器 (存储) 、虚拟化软件、操作系统投资比例占比超过60%, 可考虑采取厂家合作等其它方式降低该部分投资。

3、传统IDC的带宽租用效益较高, 收入占比也较大, 达到40%, 可补贴了机架租赁的收益。建议提高每机架带宽业务比例, 达到150M/机架以上才有明显效益。

4、云主机和云存储由于规模建设, 带宽收入占比不高 (10%左右) , 带宽的效益难以补贴主机、存储业务, 因此建议主机、存储进行效益定价, 摆脱传统机架租赁的低效益现状。

云计算打造新型数据中心篇8

风头正劲的云计算不仅大大提高了信息处理能力，而且彻底改变了计算与存储方式，便宜以及按需的计算能力使云计算成为物联网的前奏“大脑”。随着中小企业对云计算服务需求的增加，产业级云计算互联网数据中心，即IaaS的建设将成为产业链发展的初期焦点，业界巨头近几年均在这方面加大投入。

围绕着新型数据中心这一主题产生众多需求，包括闪存、存储、服务器的硬件需求，新型操作系统、数据库、管理软件的软件需求，以及新型架构模式的系统集成需求。由于硬件在云计算下成为无差异商品，亚太区中低端服务器品牌将受益于国际一线品牌竞争力削弱和海外份额的转移，同时对于更灵活的系统集成和本土化的基础软件也提供了较大机会。

长期来看，SaaS类应用业务将从工具式的使用方式，转变为提供从免费操作系统等基础软件到在线的企业软件的全面应用，云计算的按需高性能的处理能力与移动互联网、物联网等行业趋势相结合，提供更多的综合性应用以及强大支持。

三大虚拟化应用

应用虚拟化

应用虚拟化服务作为各类业务应用的交付系统，主要负责管理数据中心的所有应用，以实现良好的应用性能、灵活的应用交付和安全的信息交互。

具体而言，应用虚拟化服务通过两种方式将应用交付给用户，一种是将应用集中运行在数据中心里，用户在本地设备上通过网络访问该应用；另一种是将应用通过流方式交付到用户设备运行。应用虚拟化服务能够支持多种用户设备，使用PC的办公用户、需要对业务进行批处理的用户及使用移动设备的用户，都可以应用到应用虚拟化服务。应用虚拟化方式在数据中心管理应用和用户数据，不受用户端的影响。这种应用交互模式给用户带来了很大好处。首先，由于应用和数据都不在用户的本地设备里，免去了安装和升级应用的麻烦。其次，在用户本地设备受到病毒和木马侵害时，这种模式可以保证数据仍然安全。最后，应用在数据中心，管理变得更容易，降低了维护成本。即使某个应用出现了问题，管理员也可以通过远程操作功能对该应用进行维护。

桌面虚拟化

桌面虚拟化可以解决如果用户更换了终端，桌面的设置仍然能够保存下来。用户不再受到应用终端的限制。桌面虚拟化可以灵活地交付和管理用户桌面，并且满足用户的各种桌面需求。

基于服务器端的桌面虚拟化，也称之为终端虚拟化。它在数据中心的服务器端构建一个虚拟桌面架构（Virtual Desktop Infrastructure，VDI），只要用户设置了自定义桌面，那么在支持桌面虚拟化的任意一台终端设备上，都能随时随地通过一定的网络协议访问服务器端的个性化桌面系统。桌面虚拟化需要和应用虚拟化及服务器虚拟化配合使用。用户的虚拟桌面工作负载运行于服务器虚拟化之上，通过应用虚拟化交付应用，通过桌面虚拟化将虚拟化桌面呈献给用户。

服务器虚拟化

将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至几十台相互隔离的虚拟服务器，让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合。

基础设施云

云计算方案作为一种开放的、功能强大的服务器虚拟化解决方案，可将静态的、复杂的数据中心环境转变成更为动态的、更易于管理的交付中心，从而大大降低数据中心成本。

服务器虚拟化产品内部的体系架构如图4所示：

以下分别对图中服务器虚拟化产品体系架构中的不同组件进行说明：

Control Domain（或称为 Domain 0）是一个 Linux虚拟机，对硬件而言，具有比来宾操作系统更高的优先级。Control Domain管理所有来宾 VM的网络和存储 I/O，而且由于它使用的是 Linux设备驱动程序，所以能广泛支持各种物理设备；Xen 虚拟机管理程序（ Hypervisor）是运行于硬件上的一个软件薄层。Xen提供一个允许每台物理服务器运行一台或多台“虚拟服务器 ”的抽象层，有效地将 OS及其应用程序与底层硬件分离开来；硬件层包含物理服务器组件（包括内存、 CPU和磁盘驱动器）；Linux虚拟机，包括半虚拟化内核和驱动程序。通过 Control Domain访问存储和网络资源，通过硬件上的 Xen访问 CPU和内存；Windows虚拟机，使用半虚拟化驱动程序通过 Control Domain访问存储和网络资源。Xen经过设计可以充分利用 Intel VT和 AMD-V处理器虚拟化功能。硬件虚拟化可实现 Windows内核的高性能虚拟化，从而无需使用传统的仿真技术。

除了服务器虚拟化产品本身，服务器虚拟化产品系统的整体管理构架也是整体解决方案的特色之一。其整体管理构架如图5所示：

服务器虚拟化组件中引入了资源池的概念。借助资源池将多台虚拟化服务器作为单个实体进行管理。只需在一个位置执行认证，而不需要登录到所有的服务器虚拟化组件。所有的服务器共享通用的网络和存储框架，从而方便使用自动 VM放置和动态移动等功能。

资源池采用主/从服务器管理模型，并会将所有池配置数据复制到所有从属服务器上。这种配置可确保在主服务器发生故障时不会引起任何致命的故障。

虚拟化管理中心作为图形化的管理控制台，来集中管理服务器虚拟化组件服务器、虚拟机和资源。虚拟化管理中心可以连接到多个服务器和资源池，且多个虚拟化管理终端可连接到同一个服务器或资源池。

关键技术及特性

服务器虚拟化组件可有效提高数据中心资源的可用性和利用率，使数据中心能更灵活、更迅速地响应不断变化的业务需求。虚拟化解决方案有如下几个特性：

企业级性能及扩展性：“裸机”运行——服务器虚拟化组件直接运行在服务器硬件上，能提供最佳的性能和可扩展性、硬件虚拟化协助、本地64位架构、SMP虚拟机。

轻松部署和安装：灵活的产品安装程序、轻松的虚拟机部署、广泛的硬件、广泛的本地存储支持。

灵活的共享基础架构：包括服务器和存储资源的统一管理、通过动态迁移组件实现实时迁移、基于资源池的配置等。

业务连续性：主要表现为自动的高可用性、灾难恢复、冗余网络。

强大的存储管理功能：共享的 iSCSI和 NFS、专用的光纤通道和 iSCSI网络存储、优化的 File-Backed虚拟硬盘、集成式多路径支持、本地存储服务适配器。

高效安全的虚拟网络：虚拟网卡（NIC）、虚拟交换机、VLAN支持。