大数据云计算技术

大数据云计算技术

大数据云计算技术 篇1

大数据时代已经悄然到来，如何应对大数据时代所带来的挑战与机遇，是我们当代大学生特别是我们计算机专业学生的一个必须面对的严峻课题。在这次课上通过陶老师的讲解以及在课后查阅相关资料，我了解到什么是大数据，什么是云计算，它们都有什么用处，有什么关系。

近几年，云计算和大数据的概念受到了学术界、商界、甚至政府的热传，一时间云计算无处不在。秉承着“按需服务”理念的云计算正高速发展，“数据即资源”的“大数据”时代已经来临。大数据利用对数据处理的实时性、有效性提出来更高要求，需要根据大数据特点对传统的常规数据处理技术进行变革，形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。大数据的规模效应给数据存储和管理以及数据分析带来了极大的挑战。

一、云计算概念

在课后，经过翻阅各种资料，了解到狭义的云计算是指IT基础设施的交付和使用模式。指通过网络以按需、易扩展的方式获得所需的资源；广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务，这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务，它具有超大规模、虚拟化、可靠安全等独特功能。通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源和软件资源，本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机。这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群体来完成。

Kevin Hartig：云是一个庞大的资源地，你按需购买；云是虚拟化的；云可以像自来水、电、煤气那样计费。

Jan Pritzker：云计算是用户友好的网络计算。

云计算，它是基于数据中心，强调性价比、效率、可行性的服务运营模式，这是提高高端计算利用率，同时提升低端计算事物处理能力，我们不关注本身计算机的能力，更多提供给后台，由于后台强大的处理能力完成。

二、云计算部署模式

根据云计算服务对象范围的不同，云计算有四种部署模式：私有云、社区云、公有云和混合云。私有云是由一个用户组织（例如政府、军队、企业）建立运维的云计算平台，专供组织内部人员使用，不提供对外服务。社区云也称机构云，云基础设施由多个组织共同提供，平台由多个组织共同管理。社区云被一些组织共享，为一个有共同关注点的社区或大机构提供服务。公有云的基础设施由一个提供云计算服务的大型运营商组织建立和运维，该运营组织一般是拥有大量计算资源的IT巨头，这些IT公司将云计算服务以“按需购买”的方式销售给一般用户或中小企业群体。用户只需将请求提交给云计算系统，付费租用所需的资源和服务。混合云的云基础设施是由两种或两种以上的云组成，每种云仍然保持独立，但用标准的或专用的技术将它们组合起来，具有数据和应用程序的可移植性。

三、云计算服务模式

计算就要有就算环境，一般计算环境都有硬件的一层，资源组合调度的一层即操作层，以及计算任务的应用业务的软件层。云计算提供的三种服务模式对应了计算环境的三个层面。这三种服务模式分别是基础设施即服务IaaS、软件即服务SaaS、平台即服务PaaS。

IaaS即把厂商的由多台服务器组成的“云端”基础设施，作为计量服务提供给客户。它的优点是用户只需低成本硬件，按需租用相应计算能力和存储能力，大大降低了用户在硬件上的开销。目前以Google云应用最具代表性，例如GoogleDocs、GoogleApps、Googlesites。SaaS服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通过互联网向厂商订购应用软件服务，服务提供商根据客户所定软件的数量、时间的长短等因素收费，并且通过浏览器像客户提供软件的模式。对于小型企业来说，SaaS是采用先进技术的最好途径。PaaS把开发环境作为一种服务来提供。PaaS能够给企业或个人提供研发的中间件平台，提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。

四、大数据

大数据（big data），或称巨量资料，就是对全球各种大规模数据资料进行深度挖掘，并进行高速度及多样式计算后，整理出来的高价值的分析结果；重点应用在国防领域建设，未来发展方向在人工智能领域，可以让计算机自主地从经验中进行学习和反馈。个人总结，大数据的特点主要有如下4点：

一是大量。存储大，计算量大。

二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。三是处理速度快。增长速度快，处理速度要求快。四是价值密度低。浪里淘沙却弥足珍贵，数据没有办法在可忍受的时间下使用常规软件方法完成存储、管理和处理任务。

大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获得很多智能的，深入的，有价值的信息。大数据分析普遍存在的方法理论有：可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量和数据管理。

五、云计算与大数据关系

云计算和大数据是这个时代的两个王者，是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。张亚勤说，云计算是大数据的驱动力，而另一方面，由于数据越来越多，越来越复杂，越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。

本质上，云计算和大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；数据则是计算的对象，是静的概念。在实际的应用中，前者强调的是计算能力，或者看重的是存储能力；但是这样说，并不意味着两个概念如此泾渭分明。大数据需要处理大数据的能力如数据获取、清洁、转换、统计等，其实就是需要强大的计算能力，另一方面，云计算的动也好是相对而言，比如基础设施即服务中存储设备提供的主要是数据能力，所以可谓是动中有静。

如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花，没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。

六、心得体会

大数据云计算技术 篇2

1.1什么是大数据

大数据概念可以从四个维度去解, 即三个V和一个C。三个V分别指的是数据量大 (Volume) 、数据种类多 (Variety) 和数据增长速度快 (Velocity) , 最后一个C指的是处理、升级或利用大数据的分析手段比处理结构化数据要复杂的多 (Complexity) 。大数据分析常和云计算联系到一起, 因为实时的大型数据集分析需要像Map-Reduce一样的并行计算框架将复杂的计算任务分配到“云”中成百上千的节点。

1.2大数据与云计算

大数据本身就是一个问题集, 云计算技术是目前解决大数据问题集最重要最有效的手段。云计算提供了基础的架构平台, 大数据应用在这个平台上运行。目前公认为分析大数据集最有效手段的分布式处理技术, 也是云计算思想的一种具体体现。

云计算是分布式处理、并行处理和网格计算的发展, 或者说是这些计算机科学概念的商业实现。云计算将网络上分布的计算、存储、服务构件、网络软件等资源集中起来, 基于资源虚拟化的方式, 为用户提供方便快捷的服务, 实现了资源和计算的分布式共享和并行处理, 能够很好地应对当前互联网数据量高速增长的势头。

1.3大数据与Hadoop

Hadoop是一个Apache的开源项目, 主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop提供的Map-Reduce能将大数据问题分解成多个子问题, 并将它们分配到成百上千个处理节点之上, 再将结果汇集到一个小数据集当中, 从而更容易分析得出最后的结果。

Hadoop项目包括三部分, 分别是Hadoop Distributed File System (HDFS) 、Map Reduce编程模型, 以及Hadoop Common。Hadoop具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户自己修改代码等特点, 同时能支持海量数据的存储和计算任务。这些特点让Hadoop被公认为是新一代的大数据处理平台。Hadoop同样具备出色的大数据集处理能力, 在获取、存储、管理和分析数据方面远远超越传统的数据库软件工具。Hadoop经常在构建大数据解决方案时被用作基础构架软件。

二、大数据技术综述

大数据处理不仅仅是Hadoop, 许多特定的数据应用场景是需要实时分析和互动反馈的, 这时候就需要利用包括内存检索、流处理和实时计算等其他技术。而云计算的分布式存储和计算架构开启了大数据技术研究的大门, 打造健全的大数据生态环境, 所有这些技术结合在一起, 才是一个完整的大数据处理系统。

2.1分布式计算框架

Map Reduce是Google开发的一种简化的分布式编程模型和高效的任务调度模型, 用于大规模数据集 (大于1TB) 的并行运算, 使云计算环境下的编程变得十分简单。

Map Reduce将数据处理任务抽象为一系列的Map (映射) 和Reduce (化简) 操作对。Map主要完成数据的分解操作, Reduce主要完成数据的聚集操作.输入输出数据均以〈key, value〉格式存储.用户在使用该编程模型时, 只需按照自己熟悉的语言实现Map函数和Reduce函数即可, Map Reduce算法框架会自动对任务进行划分以做到并行执行。

Pregel是Google提出的迭代处理计算框架, 它具有高效、可扩展和容错的特性, 并隐藏了分布式相关的细节, 展现给人们的仅仅是一个表现力很强、很容易编程的大型图算法处理的计算框架。Pregel的主要应用场景是大型的图计算, 例如交通线路、疾病爆发路径、WEB搜索等相关领域。

2.2分布式文件系统

为保证高可用、高可靠和经济性, 基于云计算的大数据处理系统采用分布式存储的方式来保存数据, 用冗余存储的方式保证数据的可靠性。目前广泛使用的分布式文件系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

GFS即Google文件系统, 是一个可扩展的分布式文件系统, 用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统, 是针对大规模数据处理和Google应用特性而设计的, 运行成本低廉, 并提供容错功能。

HDFS即Hadoop分布式文件系统, 受到GFS很大启发, 具有高容错性, 并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用, 并且提供了数据读写的高吞吐率。HDFS是一个master/slave的结构, 在master上只运行一个Namenode, 而在每一个slave上运行一个Datanode。HDFS支持传统的层次文件组织结构, 对文件系统的操作 (如建立、删除文件和文件夹) 都是通过Namenode来控制, Datanode用来存放数据块。

2.3大数据管理技术

互联网数据已超出关系型数据库的管理范畴, 电子邮件、超文本、博客、标签 (Tag) 以及图片、音视频等各种非结构化数据逐渐成为大数据的重要组成部分, 而面向结构化数据存储的关系型数据库已经不能满足数据快速访问、大规模数据分析的需求, 随之而来, 一系列新型的大数据管理技术和工具应运而生。

2.3.1非关系型数据库

No SQL, 也有人理解为Not Only SQL, 它是一类非关系型数据库的统称。其特点是:没有固定的数据表模式、可以分布式和水平扩展。No SQL并不是单纯的反对关系型数据库, 而是针对其缺点的一种补充和扩展。典型的No SQL数据存储模型有文档存储、键-值存储、图存储、对象数据、列存储等。而比较流行的, 不得不提到Google的Bigtable, 它把所有数据都作为对象来处理, 形成一个巨大的表格, 用来分布存储大规模结构化数据, 数据量可达PB级。而HBase是Hadoop团队基于Bigtable的开源实现, 使用HDFS作为其文件存储系统。同时, Cassandra (K/V型数据库) 、Mongo DB (文档数据库) 和Redis等一系列优秀的非关系型数据库产品如雨后春笋般问世。

2.3.2数据查询工具

Hive是Facebook提出的基于Hadoop的大型数据仓库, 其目标是简化Hadoop上的数据聚集、即席查询及大数据集的分析等操作, 以减轻程序员的负担.它借鉴关系数据库的模式管理、SQL接口等技术, 把结构化的数据文件映射为数据库表, 提供类似于SQL的描述性语言Hive QL供程序员使用, 可自动将Hive QL语句解析成一优化的Map Reduce任务执行序列.此外, 它也支持用户自定义的Map Reduce函数。

Pig Latin是Yahoo!提出的类似于Hive的大数据集分析平台.两者的区别主要在于语言接口.Hive提供了类似SQL的接口, Pig Latin提供的是一种基于操作符的数据流式的接口.可以说Pig利用操作符来对Hadoop进行封装, Hive利用SQL进行封装。

Google Dremel是个可扩展的、交互式的即时查询系统, 用于完成大规模查询结构化数据集 (如日志和事件文件) 。它支持类SQL语法, 区别在于它只能查询, 不支持修改或者创建功能, 也没有表索引。数据被列式存储, 这样有助于提升查询的速度。Google将Dremel作为Map Reduce的一种补充, 被用于分析Map Reduce的结果或者是作为大规模计算的测试。

2.4实时流处理技术

伴随着互联网业务发展的步调, 以及业务流程的复杂化, 企业的注意力越来越集中在“数据流”而非“数据集”上面, 他们需要的是能够处理随时发生的数据流的架构, 现有的分布式计算架构并不适合数据流处理。流计算强调的是数据流的形式和实时性。Map Reduce系统主要解决的是对静态数据的批量处理, 当Map Reduce任务启动时, 一般数据已经到位了 (比如保存到了分布式文件系统上) , 而流式计算系统在启动时, 一般数据并没有完全到位, 而是经由外部数据源源不断地流入, 重视的是对数据处理的低延迟, 希望进入的数据越快处理越好。数据越快被处理, 结果就越有价值, 这也是实时处理的价值所在。

流计算的数据本身就是数据流, 不需要数据准备的时间, 有数据流入就开始计算, 解决了数据准备和延迟的两个问题。现有的解决方案中, Twitter的Storm和雅虎的S4框架更适合数据流计算的场景。Storm是开源的分布式实时计算系统, 可以可靠的处理流式数据并进行实时计算, 单机性能可达到百万记录每秒, 开发语言为Clojure和Java, 并具备容错特性。S4是面向流式数据和实时处理的, 所以针对实时性较高的业务, 可以很好地对数据做出高效的分析处理, 而且系统一旦上线, 很少需要人工干预, 源源不断的数据流会被自动路由并分析。对于海量数据, 它和Map Reduce都可以应对, 但它能比后者更快地处理数据。

三、思考与展望

以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具, 通过对大数据分析、预测会使得决策更为精准, 这对媒体融合具有重要意义。

新闻媒体的数据库中拥有海量信息存储, 这些多媒体数据包括文字, 图片, 视频和音频等多种格式, 符合大数据处理的基本特征, 利用大数据技术对这些资源进行存储, 计算和分析, 了解用户行为, 挖掘数据本质和关联, 为领导提供决策支持, 为终端用户提供更好的服务和新闻定制, 增强新闻信息产品的质量和影响力。

如今, 在开源社区, 围绕Google Map Reduce框架, 已经成长出了一批优秀的开源项目。这些项目在技术和实现上相互支持和依托, 逐渐形成了一个特有的“大数据”生态系统。系统为我们实现优质廉价的大数据分析和管理提供了坚实的技术基础。

新闻媒体可以顺应大数据的技术趋势, 加强技术调研, 早日选型, 搭建大数据处理平台, 利用云计算项目资源, 将海量数据统筹管理, 通过分析和挖掘, 实现新闻产品的创新和跨越式发展, 以现代化的传播手段向世界展示中国。

摘要：随着互联网、移动互联网和物联网的发展, 我们已经迎来了数据大爆炸的时代, 数据的快速增长带来了数据存储、处理、分析的巨大压力, 而大数据技术 (Big data) 的引入, 不但满足了系统功能和性能的要求, 带来良好的可扩展性, 降低了IT部署的成本, 还拓展了数据智能分析的应用领域。同时, 大数据分析与云计算的发展密切相关, 云计算是大数据处理的基础, 而大数据技术是云计算的延伸, 云计算的分布式存储和计算架构为大数据的快速处理和智能分析提供了一种合适的解决方案。本文将探讨建立在云计算基础上的大数据处理技术, 包括分布式计算框架、分布式文件系统、大数据管理技术、实时流数据处理、机器学习以及可视化技术等。

关键词：云计算,大数据,MapReduce,Hadoop

参考文献

[1]维基百科http://en.wikipedia.org/wiki/Cloud_computing

[2]陈全, 邓倩妮.云计算及其关键技术[J].计算机应用, 2009, (09) .

[3]郭斯杰, 贾鸿飞, 熊劲.互联网海量数据存储和处理技术综述[J].信息技术快报, 2009, Vol.7 No.5

大数据云计算技术 篇3

【摘要】大数据是信息时代的重要产物，在智能电网运用中融入大数据，正确掌握大数据的关键技术，能有效推动电力行业的可持续发展以及坚强智能电网的建设。基于此，本文首先分析电力大数据平台的总体架构以及电力大数据平台架构与电力系统数据流的结合点，然后以此为基础，从集成管理技术、数据分析技术、数据处理技术和数据展现技术四方面分析智能电网运用中的电力大数据关键技术。

【关键词】电力大数据；关键技术；智能电网

1、电力大数据平台总体架构

电力大数据平台总体架构如图1所示，此架构具备一定通用性，适合规划电力企业的大数据。此架构的存储框架是以Hadoop文件系统为基础的分布式文件处理系统，处理框架是以Map Reduce为基础的分布式计算技术。分别以分布式文件处理技术和计算技术为基础，使PB和ZB级的数据存储和查询分析成为可能。此外，此框架还包括传统的数据仓库、大数据调度框架、网络层、操作系统以及数据备份与恢复等模块。

电力大数据平台总体架构应该和电力系统里来源广泛的数据流结合，催生实际的产业应用。电力系统作为复杂的高维非线性系统，内部包括信息流、气象流、电力流等多种数据流向。图2是以电力系统总体平台架构为基础的电力企业商业应用和电力系统内部数据流的可能结合点，包含发电、输电、变电、配电、用电等多个环节的负荷控制系统、电能计量系统、管理信息系统、风电光伏功率预测系统、监测控制及数据采集系统等。

2、智能电网运用中的电力大数据关键技术

2.1集成管理技术

电力企业数据集成管理技术就是将两个及其以上的应用系统数据合并起来，创建出功能更多的企业应用。就集成角度而言，就是在存储介质或是逻辑上将各种来源、性质、特点以及格式的数据集中起来，为系统存储各种面向集成的、主题的、较为稳定的以及能呈现历史变化的数据集合，确保系统数据共享的全面性。

电力大数据集成管理技术包括数据抽取技术、关系型及非关系型数据库技术、数据过滤及清洗技术等多种技术。多样性是大数据的显著特点之一，这就决定了其数据来源的广泛性和数据类型的复杂性，也给大数据的处理带来了很大挑战。要处理好大数据，首先就要抽取并集成数据源数据，从中罗列出实体与关系，经过关联与聚合处理后再用统一结构保存这些数据。在集成与提取数据时要做清洗处理，确保数据的质量和可靠性。

2.2数据分析技术

大数据技术的根本驱动力就是实现信号到数据的转换，先把数据转化成信息，再把信息转化成知识，通过知识实现决策与行动。利用电力大数据分析技术可在海量电力系统数据中找出隐藏的规律和模态，给决策人员提供支撑。相较于传统逻辑推理研究，大数据研究是对海量数据进行统计性的搜索、比较、分类等处理，所以延续了统计科学的某些特点，如统计学关注的数据关联性或是相关性（相关性即指两个及其以上变量的取值间存在一定规律性）。做相关性分析主要是为了找出数据集里潜在的关系网，通常用可信度、支持度等参数进行反映。

就根本来说，电力大数据分析技术是传统数据挖掘技术在大量数据挖掘下的新发展。但因为大数据具有量大、增长快、种类多的特点，除了包括结构化数据还包括半结构化数据与非结构化数据，所以很多传统的数据挖掘方式已经不能满足需求。大数据环境下的数据挖掘和机器学习算法可从以下三点入手：一是从大数据治理、抽样及特征选择着手，把大数据转变为小数据；二是实施大数据下的分类算法、聚类算法研究；三是实施大数据并行算法，把传统数据挖掘方式做并行化处理后再运用到大数据知识挖掘中。

2.3数据处理技术

电力大数据的数据处理技术主要有三种，即分布式计算技术、内存计算技术和流处理技术。其中，分布式计算技术主要负责大规模数据的分布式保存和处理；内存计算技术主要负责高效读取数据以及处理在线的实时计算；流处理技术主要负责对实施到达以及规模与速度不受控制的数据进行处理。

分布式计算技术属于新的计算方式，主要研究怎样把需要强大计算能力解决的问题分解成多个小块，再将小块分配给多个计算机进行处理，最后综合处理结果即为最终结果。分布式计算技术的典型代表就是谷歌公司推出的Map Reduce编程模型。此模型先分解需要处理的数据，将其分配给多个Map任务区进行处理，然后根据键值保存到本地硬盘，接着在用Reduce任务根据键值汇总结果，最后输出最终结果。分布式计算技术适合在电力系统中采集大规模分散数据源时使用。

内存计算技术就是把所有数据都放在内层里操作，此技术解决了对磁盘读写操作时耗时量大的问题，计算速度也得到大幅度提升。内存计算技术的迅速发展与广泛运用得益于大数据浪潮的来临以及内存价格的降低。EMC、SAT以及甲骨文都相继推出了内存计算解决方法，把以往客户需要以天作为时间计算单位的业务缩减至以秒作为时间计算单位，有效解决了大数据知识挖掘以及实时分析的问题。

流处理技术就是把海量的数据组看作是流，当新数据出现时就即可处理然后返回结果。流处理技术的根本理念就是随着时间流逝数据价值会逐渐减少，所以要尽快处理新数据，得出结果。流处理技术的运用场景主要是金融里的高频交易、网页点击里的实时统计等。随着电力事业的不断发展，电力系统数据快速增长的同时对数据的实时性标准也逐渐提升，在电力系统中运用流处理技术能给决策者提供实时依据，满足数据的实时在线分析要求。

2.4数据展现技术

电力大数据数据展现技术主要包含3种，即可视化技术、空间信息流展示技术以及历史流展示技术。这3种技术从不同层面对电力大数据的数据展现技术作了诠释。利用数据展现技术可以帮助管理者更直接准确地理解电力系统数据要表达的含义，更全面地掌握电力系统的运行情况。

可视化技术主要在电网状态实时监控中运用较多，能有效提升电力系统的自动化运行水平。未来，可视化技术还可以与复杂网络环境里的有关理论相结合，并在电网自动布点、自动分层、自动分区等方面做进一步研究，更深入挖掘电网的联系与规律。

空间信息流展示技术包括变电站三维展示技术、虚拟现实技术等，主要应用在电网参数和已有地理信息系统的结合上。有机结合电力配电设备管理和地理信息系统，能帮助管理者更清晰的掌握设备情况，为决策提供及时、有效的地理信息。空间信息流展示技术可在变电站工程设计中使用，能有效节省资源、时间和成本，给电力企业创造高效益。

历史流展示技术主要在管理和展示电网历史数据中体现。在电力系统里通常都是以历史数据为基础进行深入应用分析。利用历史流展示技术，可根据生产现场实时监测数据以及电网规划、负荷预测数据绘制出相应的数据发展趋势图和走势图，还能模拟重大历史事件的发生和演变过程，更全面挖掘历史事件隐藏的规律和知识。

3、结语

综上所述，在提倡发展低碳经济以及信息网络技术迅猛发展的今天，智能电网的建设是必然趋势。在智能电网运用中的电力大数据关键技术主要包括集成管理技术、数据分析技术、数据处理技术和数据展现技术四种。本文重点对这四种技术进行了分析，得出四种关键技术均在智能电网中发挥了重要作用，实现了电网里海量数据的及时采集、分类、比较和处理。不可否认，电力大数据的四种关键技术有效弥补了传统数据处理方式的不足，提升了电网数据的处理质量和效率，为电力企业节省更多成本、创造更高效益，同时也有效提升电力企业的管理水平。

参考文献

[1]陈楷.电力大数据分析技术中云计算的应用[J].信息化建设， 2015（9）.

大数据云计算技术 篇4

2013年，云计算产业风起云涌，云计算应用层出不穷。金色的十一月，我们迎来了企商在线主办的“大数据时代下的云计算”研讨会。此次大会联合了中国计算机报，盛邀云计算用户、云计算和信息化行业专家，共论顺应云计算趋势、应用云计算和大数据带来的优势，来推动企业转型升级，从而提高企业应变能力。

日前，“大数据时代下的云计算”在古老文明与现代文明集于一体的文化殿堂——中国国家图书馆（古籍馆）-临琼楼二楼隆重召开，此次研讨会荣幸邀请到中国科学院教授彭赓、浙江大学宁波理工学院教授李兴森、中搜集团总裁陈、东软集团副总裁王立民、中国联通云计算运营部副总曹鲁等诸多业内专家，以及中国互联网协会、中国通信行业协会、中国数据中心产业发展联盟等机构代表和各位媒体朋友们。当日到会嘉宾企业达到200余家，涉及媒体、教育、电商、研发公司等行业，大会吸引了众企业高层嘉宾、用户代表、技术精英参与，并受到诸多资深学者、以及众多媒体朋友的关注！

企商在线创始人王熠致辞

大会开场首先由企商在线创始人王总为到场嘉宾致欢迎词，感谢各位到场嘉宾的支持，并借此机会答谢各个行业的新老用户和关心企商在线发展的有识之士。

目前，互联网越来越发达，越来越深入，全民都深度参与到互联网的变革大潮中，大数据的价值变得越来越高。社会的需求推着我们向前走，各个行业都在提云计算，事实证明当时的铺垫为今天的云计算起到了很大的推动作用。但是不能回避的是，大数据的需求也越来越迫切，而且云计算和大数据我们认为是一个天生的关联度很强的两个基因。当把二者放在一个维度上来考虑时，对思路进行重构，对结果进行关联，我们认为需要进行较为深入的探讨。

中国科学院彭赓教授：大数据下的云计算

世界正在逐渐走向物联化(Instrumented)、互联化(Interconnected)和智能化(Intelligent)，所有的事物和活动都可以被感测，而感测过程中产生的大量数据又会被输送到后台进行处理，通过庞杂的数据资料，分析出有用的信息，支持和推动决策的有效性。由于数据的来源、传送的方式和使用的方法发生了质的改变，数据利用已经不是用传统的方式把数据输入计算机、通过处理得到报表如此简单。大数据时代下，世界各国将大数据战略提升到国家战略层面，进一步推动了云计算数据中心的广泛应用。

彭教授的话中讲到云计算是一场产业的变革，是即将迎接大数据时代的重要支撑体系，让我们已经充分了解到云计算将重新塑造我们整个IT产业链。

联通运维部副总曹鲁：云计算与大数据的发展实践

为了加速业务的转型和升级，促进移动互联网的发展、推动IT的整合，保障数据的整合集中，从而引发了联通发展云计算和大数据的战略思考。

联通通过采用云技术，以集中大数据为核心，顶层设计引领IT规划建设，服务下沉助力用户感知提升，推动大营销、大服务的一体化建设；构建中国联通统一的大数据服务能力；最终实现对资源弹性调度、安全复用；提高数据价值、密度、效率；应用灵活；保障其真实准确、运营有序。

曹总还向大家展示了提供面向公众的云服务，包括面向通信录、日历、便签、文件、相册、视频、音乐等文件的同步、备份和分享的功能。

浙江大学宁波理工学院李兴森教授：云计算解决方案助力企业快速增长

李教授针对大家熟悉的云计算，进行了三个层次的服务的细致讲解，让我们知道了云计算是一种能够方便、按需从网络访问共享的可配置计算资源（如，网络、服务器、存储、应用程序和服务）池的模型，且只需最少的管理或服务提供方交互即可快速供应和发布该模型，从而降低复杂度、提升业务敏捷性，降低市场响应时间，推动业务与技术创新、改变IT支出的成本结构。

中搜集团总裁陈沛：云计算的理论与实践

中搜集团是继百度之后国内最大的搜索引擎厂商，总裁陈沛讲到：“社会分工是人类进步的动力。”互联网的技术实施包括软件模式、外包模式、自建模式以及云服务模式。云技术的特点能够轻松实现网站的构筑与管理，颠覆传统建站及网络运营、服务模式，从而使我们知道专业分工更能创造价值。陈总生动讲述了传统行业和互联网行业之间的区别，赢得了各界人士的热烈掌声，将大会推到了高潮。

高峰互动

最精彩的环节当属高峰互动环节，参加互动的嘉宾都是业界大腕，他们分别是东软集团副总裁王立民、中国联通云数据有限公司运维部副总经理曹鲁，戴尔集团的李泰生李总以及浙江大学宁波理工学院李兴森教授。四位嘉宾先后探讨了“带宽是不是云计算应用的瓶颈？”、“虚拟化是云计算IaaS中最重要部分，PaaS是体现云计算价值的核心？”以及“云计算在大数据时代能够起到的重要作用？”。大家对云计算的认知全面提高，现场气氛十分活跃。

大数据云计算技术 篇5

1.1简化运行操作

大数据环境下云计算，简化了电子商务中的各项操作。电子商务的有效载体时计算机，计算机的操作，是保障电子商务业务顺利进行的根本，有效支持电子商务的运行及发展。大数据环境下的云计算，确保电子商务实现海量的数据存储，而且容易保存到云存储内，简化计算机对电子商务信息化服务的方式。云计算在电子商务的运行操作上，起到关键性的作用，其可将计算机的硬件，拆分、组合，构成独立的服务器，存储电子商务的所有数据，处理运行数据存储中出现的问题避免运行操作过于复杂。云计算在电子商务内，规范了运行操作的接口，在统一的状态下进行规划，还能简化云计算服务器的维护力度，支持电子商务的各项业务。云计算取代了电子商务业务中的多项传统操作，简化了电子商务的运行流程，改进原有电子商务的操作方式，确保电子商务运行的质量与速率。

1.2提高信息安全

电子商务运行中的数据非常多，直接增加了数据的安全风险，很容易在运行过程中引起数据丢失的情况。电子商务在大数据环境云计算下，表现出高安全的运行状态。云计算具备高安全的存储优势，促使电子商务的安全系数非常高。电子商务的信息数据，受到大数据环境云计算的.影响，大幅度提高了信息的安全水平。我国电子商务面临着非法入侵者攻击和恶意篡改的问题，导致信息数据丢失，电子商务竞争关系中，经常采用攻击的手段获取竞争对手的信息，由此，电子商务的信息安全，成为一项比较重要的项目。针对电子商务信息安全的现状，引入大数据的云计算，云计算将所有的电子商务信息，存储到云环境内，非法入侵者或攻击者无法窃取云存储中的数据，即使云存储被破解，也不能获取真实的电子商务信息，保护电子商务信息的安全性，杜绝商务运行是出现损失。

1.3杜绝错误信息

大数据云计算技术 篇6

摩尼中学 王国红

我们所处的时代是一个信息飞速发展的时代，数据处理量非常繁大，所以又被人们称为大数据时代。在大数据时代，处理海量的数据是绝大多数个人电脑无法完成的。这些海量数据需要有强大的计算机系统来处理。云计算就是这样一种通过互联网来让个人用户实现网络计算的系统。

计算机中的云是网络、互联网的一种比喻说法。所有的类似于个人电脑的计算机终端设备连接到网络上，接入数据中心，按自己的需求进行计算，获得强大的计算功能，然后再将结果返回到个人电脑中。即个人电脑起到的只是输入和输出的作用，而所有计算都由中心计算机来完成，这就是最直观的云计算。由此而出现的以云计算为主导的云存储技术、信息传输技术、云管理平台技术、云应用技术就构成了云技术。云技术在各行业中已经开始得到广泛的应用，主要表现为云物联、云安全、云存储、云游戏和云计算等形式。

随着现代教育技术的飞速发展，社会对教育教学的要求越来越高，传统的教学手段、教学模式越来越不适应现代教育。只有在教学中适度加入一些高科技手段来辅助教学，才能获得更好的教学效果。因此，我们不妨在教学中尝试使用云技术。

一、加强硬件环境建设，营造高速网络环境

1、加强网络传输的硬件建设。实施云技术的重要条件是具备高速网络环境，因此要采用云技术首先就要进行网络宽带建设。在现有条件下，光纤通信非常发达，建设光纤宽带是比较好的选择。一般来讲，要实施云技术至少需要10M宽带的网络，数据传输才能流畅。因此，校园网络达到单个终端设备独享10M带宽网络成为底线。

在一个校园中，使教学真正实现云计算功能，还应该达到“泛在接入”。所谓“泛在接入”，是指在任何时间、任何地点都能方便地接入互联网。也就是说，不论是手持设备，还是电脑终端，都能通过有线或无线的方式随时接入互联网。达到泛在接入，师生都能随时共享云服务器中的资源，并能展示自己成果，进行广泛的讨论和交流，真正实现无界的交互。

2、加强校园云服务器及云服务平台的建设。由于教育教学专业性较强，所 1 涉及的知识面较宽，而且各个学校又有自己特色的教学资源，因此各校应根据自己的实际情况，建设校本特色的云服务器及云服务平台，便于师生随时通过网络获取校本资源。

3、对终端设备进行优化。我们在教学中的终端设备不外乎个人电脑、多媒体设备、电子书包、智能手机等。这些设备要优化为云技术的终端其实很简单，就是让其具备有线或无线的网络接入功能，同时要建立控制设备的操作管理平台。学校、教师、学生要有独享的终端设备，教学场所要有师生共享的终端设备。顺便说一下，电子书包不久将成为云技术服务于教学的主流设备之一。

二、广泛使用云存储，获得便利的存储空间

云存储是将互联网中各种不同类型的海量存储设备通过应用软件集合起来协同工作，共同给用户提供数据存储和业务访问功能的一个系统。简单来说，云存储就是将储存资源放到云上供人存取的一种存取数据的方式。使用者可以在任何时间、任何地方，通过任何网络终端设备连接到云中方便地存取数据。云存储平台比较通俗的可以理解为云计算服务商有很多服务器和存储设备，用信息技术将其整合为一种提供存储服务的平台，这个平台以租赁的方式对外提供服务。对于普通用户来说，你不用买存储设备，只要有网络并给付少量租金（也有免费的）就可以非常方便的享受云存储服务。你再也不用管数据存在什么地方的，也不用管数据是怎么存的，直接使用就行了。

在教学中，由于资源繁多，占用空间大，小容量的存储设备（如U盘、移动硬盘等）也无法完成存储任务了。同时，无论是什么便携式的存储设备，都无法像云存储一样使用方便。因此，我们一定要创造条件广泛地使用云存储。

目前，有很多服务商都提供了云存储服务，而且在一定容量之内是免费使用的。比如，百度云盘可为用户提供2TB的免费使用空间，360云盘可为用户提供高达40TB的免费使用空间。只要在这些云存储服务器上进行了注册，我们就可以方便地使用这些资源了。比如手机拍摄的照片和视频，就可以在WIFI环境下自动传输到云盘中去，也可以随时在云盘中调取。只要牢记自己注册时的密码，所有的教学资源也可以随时存取，非常便利也非常安全。

这些云盘还有一个好处，即在相同的云服务器内部传输数据非常快速。通常在同一个云服务器内共享其它账户的海量数据也只是瞬间就能完成的。

三、积极使用云计算，实现云计算辅助教学

云计算是让我们需要进行的计算由大量分布在不同地方的计算机一起来完成，就像电网供电一样是由若干发电机共同承担负荷。因此，它能让我们在足够带宽的环境下体验到最便捷、最快速的计算。随着云计算的普及和不断发展，云服务器已经具有了相当大的规模。微软、IBM、Google、Yahoo等大型云服务商已经拥有海量的云服务器，一般的企业私有云都拥有几百台以上的云服务器，这些云服务器能给予我们前所未有的计算能力。

云计算辅助教学是指学校和教师在教学中利用云计算服务，构建信息化、个性化的教学环境，提供师生教和学的资源池，达到师生共同进步的目的。在云计算辅助教学中，学校要有自己的云，教学人员要使用Web2.0等软件构建云教学环境，充分使用云计算功能。教师将学生学习中将要用到的资源进行归类，编制导学提纲，引导学生建立属于自己学习园地，构建泛在学习的平台。学生在教师的引导下，利用海量的资源进行主动学习，利用云技术开展讨论和交流，促进自己进步。

在课堂教学中，我们的每一节课都可以把多媒体设备、电子书包、无线网络设备构成一个云平台：教师可以把课堂视频、学生问题、交流反馈等内容用云计算来处理，及时提升教学效果。教师还可以设定一些课堂检测项目，让学生完成后，再通过云计算来完成判定和统计，并及时反馈到课堂上来，对教学的重难点作出及时的调整。

对于教学效果的检测，云计算更能作出比较客观的判断。时下流行的各种网络测试系统就是云计算辅助教学的实例。比如四川省普通高中信息技术学业水平测试系统，就是一个考试云，它运用云计算来对学生进行测试、统计、分析，最后返回结果。

在教学管理中，我们也可以运用云技术来减轻管理的压力。比如现在的学籍管理系统，就是通过学籍云来实现对学生的管理，这个系统使原来的那种学籍混乱的现象一去不复返了。

云技术在教学中的普及和应用，还有很漫长的道路要走，在大家使用云技术的能力得到不断提高后，云技术才能逐渐渗透到日常教学中，从而对大数据时代的教育教学产生深远的影响。参考文献：

①2014年4月（成都）“全国首届国际视野下的信息技术课程建设高峰论坛”会议资料。

②于莉云，计算辅助教学应用案例——“多媒体课件制作”课程网站，《中国教育信息化》（2011.1）。

③贺小华，云计算在教育中的应用——以Google协作平台为例，《软件导刊》（教育技术，2009.9）。

大数据云计算技术 篇7

近期, IBM年度会议IMPACT 2012在美国拉斯维加斯举行。作为IBM年度最具影响力且规模最大的会议, IMPACT每年都吸引众多来自全球科技、商界等领域的专家人员出席, 今年参会人员更是多达9000人次。在历时一周的大会中, IBM对当今的行业变革趋势进行了分析, 并向与会者重点展示了IBM的最新产品与解决方案, 以帮助企业实现智慧的创新、转型以及成长。

助力企业实现“苹果式”创新

当美国知名传记作家Walter Isaacson作为开场嘉宾站立于会场时, 场下观众都曾感到十分惊喜, 源于这位曾出版过富兰克林、爱因斯坦等畅销人物传记作家的最新代表作——《斯蒂夫·乔布斯传》。虽然苹果与IBM在曾经的PC大战中互为竞争对手, 但以乔布斯为灵魂人物的苹果公司, 在数年内改变了音乐、个人电脑、手机等行业, 正是源于其不断的产品创新, 而创新作为本次大会的主题之一, 以苹果公司为例便是十分恰当的了。并且将创新转变为确切的行动, 离不开技术的实现, 而IBM则扮演着这样的关键角色, 即帮助企业实现创新。

在IBM看来, 移动互联网、物联网的快速发展, 使得信息社会正在发生深刻的变革, 而软件已在企业的信息化发展中扮演着日益重要的角色。在前不久的IBM中国软件策略发布会上, IBM从客户需求出发, 提

出了企业对于洞察力、协作力、移动力、敏捷力、优化力、创新力、安全力等业务的需求。作为IBM的软件品牌, Web Sphere则整合了IBM最新科技远见与技术, 来帮助企业增强其“软”实力建设。同时, IBM还在大会中向企业展示了业务管理流程 (BPM) 、业务分析洞察 (SOA) 、移动和云计算技术、专家集成系统、PureSystems等一系列最新技术与解决方案, 以期帮助企业在实现其业务需求的同时, 增强企业的优势竞争力, 从而实现企业的智慧成长。

跨平台移动整合能力

信息社会正处于变革期, IBM认为移动、社交、云计算、大数据正是促进产业演进的主要驱动力, 同时移动、社交、云计算、大数据也将成为IBM在未来主攻的新市场。

来自IBM的一份调研显示, 预计在2020年, 平均每用户将拥有6台个人设备, 这将导致爆炸性的互动。而手机早已成为人们生活中的必备, 同时随着BYOD (bring your own device) 的逐渐普及, 也将逐渐成为企业中的必备。与此同时, IBM另一份研究报告表明, 全球超过70%的CIO都希望能增加企业的移动能力, 以提高员工的工作效率。但值得注意的是, 企业对移动性的支持, 将带来平台异构、安全等问题。为帮助企业应对移动性所带来的挑战, IBM通过最近对Worklight公司的收购, 为客户提供了一个可实现跨平台的应用开发、集成、安全和管理的移动平台解决方案。

这些趋势的变化, 将对企业实际的交易产生影响, 并对企业交易的可靠性、可预见性、安全性等需求提出了新要求。IBM全球高级副总裁兼软件与系统科技集团总经理Steven A.Mills表示, 企业正处于蓬勃发展、无处不在交易的时期, 而在大数据时代如何实现有效的事务处理, 如何能真正掌控大量的工作运营, 将是企业面临的巨大挑战。

以中国移动为例, 作为全球网络规模与用户基础最大的运营商, 其拥有的6亿客户每天将产生1.48亿的交易量。通过SOA的实施, IBM帮助中国移动将新应用的市场交付时间减少了50%。

专家集成系统简化IT

在企业业务不断发展、企业规模不断壮大的同时, IT设施的日益臃肿已成为困扰企业的头痛症。IBM发现全球有多达70%的IT预算花费在了维护自身IT设施上。而对于客户而言, 若能实现IT的简化, 客户将有更多的时间和预算专注在业务开展及应用创新领域。

作为本次大会中的明星产品, 专家集成系统 (PureSystems) 的推出将有效应对以上问题。PureSystems研发耗时四年, 斥资近20亿美元, 于今年4月正式面向世界展示。专家集成系统通过对网络、存储、服务器、虚拟化的整体调配, 实现整合能力的输出, 帮助企业减少了IT成本和复杂性, 使其可以将更多资源放在企业创新和成长上。

“Pure Systems的引入, 将彻底改变应用开发和管理的传统模式, 简化了耗时长达数月的应用调试、部署流程, 使企业能将更多精力集中到创新。”IBM软件集团应用和集成中间件总经理Marie Wieck表示。

云计算、大数据变革浪潮继续高涨 篇8

云计算、大数据浪潮的一个表现是，IT市场从“以计算为中心”向“以数据为中心”转变。以IDC发布的2012年第三季度市场分析数据为例，外部存储市场增长3.3%，服务器市场却下降4%。这是因为，云计算让廉价的X86服务器可以担当重任，“计算”的门槛便降低了。

“数据”方面的情况则是，数据量飞速增长。最近，IDC发布了2012数字宇宙研究报告，报告调高了对数字宇宙增长速度的预测。2010年，IDC预测到2020年，数字宇宙的规模为35ZB。在最新的报告中，这一数字变为40ZB。

2013年，我们还将看到，云计算、大数据浪潮正在引发IT厂商格局的巨变。思科公司董事长钱伯斯最近做出预言，微软、IBM、惠普、SAP、甲骨文和思科等科技巨头，5年内将有两家或3家不在名单之列。同时，EMC、VMware进一步提出软件定义数据中心的理念，将云计算的变革推向深入。

在IT产业中，EMC公司的规模并不算很大。2012年销售收入预测为216亿美元～217.5亿美元，而它在IT业界的地位超过了很多规模大的公司。EMC之所以能够引领云计算、大数据潮流，是因为公司决策层能够敏锐地洞悉行业技术趋势，从产品、技术和解决方案上提前布局。

最近，EMC公司全球11位高管从技术的角度，对2013年全球技术趋势进行了预测。这11位高管分别来自信息安全、信息智能、企业存储、闪存产品、备份恢复、大数据分析等部门。他们认为云基础架构和大数据分析处理的最新需求趋势是：

由于软件智能、跨域基础架构管理软件包以及对象存储开放接口技术的广泛采用，混合云模式将变成现实；

大数据存储将催生新型应用，IT创新和变化的速度加快；

提供单点式工具的大数据初创公司前景不乐观，客户需要集成式解决方案；

信息安全需要基于大数据分析的深度防御战略；

企业级存储将更多采用行业标准组件、企业级闪存和领先的驱动器技术；

闪存将成为常态产品，相变存储器将迎来投资热潮；

统一存储方面，从服务器、网络到存储，将普遍采用闪存技术；

“重复数据删除技术+磁盘备份”的模式将进一步替代磁带备份，备份恢复朝着“IT即服务”方向发展；

企业内容管理方面，基于云服务模式、以内容为中心的解决方案将达到质变点；

由于人们越来越多地采用云和大数据，企业在IT改造中，人、流程和技术的重要性凸显。

用户、渠道和服务商的组合模式发生变化，有些环节将合并或消失。

大数据云气象阅读答案 篇9

②为了获取精确的气象预报，气象部门历来都会收集大量数据，组成超大的“数据库”。这些数据来自一个庞大的观测网络。目前，全国有多个地面站、120多个高空探测站、6颗在轨卫星、5万多个自动监测站、600多个农业检测站、300多个雷达站等，逐日逐小时甚至逐分钟对不同地点、不同高度的各种气象要素进行监测。仅在贵州，每天就有85个气象站、3万多个区域自动气象站、7部新一代多普勒天气雷达、2个探空雷达站对贵州境内的各种气象要素进行实时监测。

③随着预报业务的不断发展以及大数据、云计算的应用，这些数据变得更加精密，数量也持续增加，气象预报也变得越来越精确。现在，我们已经可以随时随地通过电脑、手机、电视、网站等查询天气预报，其精度甚至可以精确到一公里、一小时以内。

④早晨起床后穿薄的还是厚的衣服?要不要进行晨练?长假期间是否要外出旅游?旅游时需要带哪些随身物品……如何选择，天气预报会为你提供有效参考。

⑤随着各行各业对气象信息的需求越来越大，气象部门还需要针对不同领域、不同行业、不同群体制作相应的气象产品，包括面向社会群体的公众气象服务，面向水利、电力、交通、农业以及其他部门或企业的专业专项服务，以及针对干旱、暴雨、森林火险、雷电等灾害性天气的气象灾害预报预警服务等。

⑥比如说能源，可以通过分析电力负荷历史加上气象数据进行用电量估算;农业方面，通过某一地的农耕历史与相关气候信息，就可以指导农户进行农作物种养殖结构调整;还有交通，航班准点率历史加上机场历史天气特征，就可以得到航班延误预测……这些日益丰富的气象产品构成了气象大数据的重要部分，让我们的生活变得更加丰富、便捷。

⑦当气象邂逅大数据，气象大数据将大有作为，它必将更大程度减轻灾害损失，为社会创造更多的财富，为人们带来更加美好的生活。

16.第②自然段主要运用了 和 的说明方法，作用是 (4分)

17.阅读第④⑤⑥自然段，你认为下面这句话放在其中哪个自然段的开头合适?为什么?(3 分)

更精 细、更准确、更长时效的天气预报让我们日常生活中的衣食住行变得更加便捷。

18.分析下列句中加点词语的表达效果。(3分)

现在，我们已经可以随时随地通过电脑、手机、电视、网站等查询天气预报，其精度甚至可以精确到一公里、一小时以内。

答案

16.【答案】列数字、举例子;作用是具体而有准确的说明了，为了获取精确的`气象预报，气象部门组建有庞大的观测网络用来收集大量数据，组成超大的“数据库”。

17.【答案】第④段，因为这句话概括说明的是天气预报在我们日常衣食住行中的作用，与第④段说明的中心相符。