大数据应用之电力应用

2023-01-10 版权声明 我要投稿

第1篇:大数据应用之电力应用

加强大数据应用 优化电力营商环境

摘要:信息化是时代发展的必然趋势,大数据技术的广泛应用对于电力企业的长远发展起着非常重要的作用。从当前我国电力企业经营管理来看,全面掌握大数据技术的特点,并根据自身营销管理情况将大数据技术合理应用其中,这样才能促进电力企业长期的可持续发展。本文首先对大数据的概念和意义进行了概述,然后分析了当前我国电力企业营销管理的现状,最后论述了在大数据应用背景下优化电力营商环境的有效措施,旨在实现电力行业的长远健康发展。

关键词:大数据;应用;电力;营商环境

引言

电力企业营销管理过程中会涉及非常多的数据,诸如:电价、电量、用户信息等等。只有将这些信息进行全面管理,才能满足电力企业的服务需求。通过调查我国绝大多数电力企业的发展情况可以发现,企业内部营销管理中的问题依然存在,导致营销活动无法正常开展,企业经济效益长期得不到提高。为了能够让电力企业更好地发展下去,就必须在企业营销管理中应用大数据技术来帮助企业更好地运营,下文就此展开讨论。

一、大数据的基本概念和应用的意义

1.大数据的概念

大数据在数据收集、管理等方面的优势十分突出,效率高、容量大,具有传统数据库软件不可比拟的优势。通常情况下,大数据与云计算之间存在密切关联,大数据的处理是以云计算为基础的,尤其是云计算的虚拟化技术。目前业内对于大数据并没有一个统一的定义,但是从核心内容上来是高度相似的,大数据技术的重点就是对收集到的数据信息进行分析处理,最终实现数据信息的高效应用。

2.大数据技术在电力企业营销管理中应用的意义

将大数据技术应用在工业生产领域意义重大,电力企业利用大数据技术可以不断完善自身的经营营销方案,克服以往存在的技术性瓶颈,实现电力系统内部庞大数据信息的管理和共享,日后则朝着行业领域内信息整合处理的方向迈进。电力企业需要以大数据技术为基础来了解市场发展动向,建立企业自身的数据系统,搭建起企业的营销管理机制,从而实现企业内部数据信息的共享和处理。

二、当前我国电力企业营销管理的现状

当前我国电力企业在数据信息处理方面已经逐渐朝着现代化方向迈进,传统电力营销模式的重点主要是完成任务指标,长期来看不符合市场发展需求。如果电力企业内部营销管理机制不健全、不合理,势必会在一定程度上制约电力营销工作的开展,无法满足用户的实际需求,业务拓展受限,服务水平迟迟上不去,对电力企业未来的发展影响更大。要知道,电力企业的生产和服务工作都应该围绕客户的实际需求开展,不能单单将营销任务作为发展目标,为此,电力企业营销管理要以数据信息的高效共享和传输作为核心目标之一,这就需要大数据技术的支持,建立健全科学的企业营销管理模式,给用户提供更优质更高效的电力服务,从而有利于提高电力企业的长期经济效益。

三、大数据背景下优化电力营商环境的有效措施

1.建立自身的数据库系统

在大数据背景下,电力企业营销管理工作的创新要对整个电力生产流程进行整合,实现部门之间数据的高度共享。同时,还需对电力营销涉及到的其他相关数据进行整理,建立电力企业自身的数据管理系统。电力企业可以应用GIS技术来构建市配电网数据库,在建设过程中需要关注地理信息数据的完整性和准确性,同时还需重点关注各种地图数据的数字化转换,然后再编辑和处理矢量图形。利用电力数据系统,可以对配电网和用户信息进行综合管理,以此为基础为电力企业营销管理提供更全面更高效的服务。最后,电力企业可将数据管理系统与营业系统连接起来,从而对海量的用户信息和台账资料进行管理和分析。

2.建立健全抢修机制

数据信息收集分析对于实现电力企业监测管理工作意义重大,电力工作人员通过数据可视系统可以及时发现电网运行中出现的突发性故障,并在短时间内分析故障原因并采取有效的处理措施。数据系统中最为核心的环节就是抢修机制,有利于电力工作人员及时发现电力故障,同时还能有效提高电力企业的服务质量。电力企业应该要在数据系统和电力客服系统之间建立高度联系,方便更加全面高效掌握电力系统运行情况。

3.实施电力抢修的可视化管理模式

只有全面掌握、管理和分析电力企业营销管理中的各类数据信息,才能确保电力企业的各项工作顺利開展,可视化管理模式可以帮助管理者掌握并理解数据信息的含义和作用。图形展示可以将复杂的数据信息简单表达出来,从而帮助管理人员快速理解数据的意义。当系统和管理出现突发情况时,管理人员通过可视化数据信息能够及时发现其中存在的问题,从而加强电网系统的管理。为了促进可视化管理模式的顺利开展,电力企业还需建立健全标准化管理体系,进而提高电力企业的电力服务质量。因此,电力企业未来必须高度重视电力抢修的可视化管理方式,可以将可视化管理与电缆客户系统联系起来,可以及时回复用户提出的电力故障问题,而且还能实现抢修数据的闭环管理和统一调配,这样就可以让电力抢修工作尽量走在前面,防止像以前那样被动处理,从而有效提升电力企业的营销管理水平。

4.加强营销风险管理

电力企业营销管理工作中还需加强电费回收风险管理,这也是电力企业的工作难点,首先,电力企业应该实时监测用户的用电账目,对于用电量较大的用户实施电费保护机制,防止电费收取存在风险;其次电力企业应该加强与税务部门的联系,详细分析电力生产情况,然后制定有效的防范措施,最大程度降低电费回收风险。

为了让用户对于电力企业更加信任,同时提高企业的信誉度和市场竞争力,电力企业必须不断优化自身的服务形式,一是,电力企业应该根据用户的需求进行营销管理模式的创新,建立网络营销模式,可以通过互联网技术为用户搭建更高效的平台,提高电力服务质量,满足企业电网的正常运行和经济效益的提高。二是,电力企业应该利用大数据技术构建更加符合用户标准的营销方案,让电力产品在企业发展过程中发挥出更大的作用。三是,电力企业应该在内部进行电子化办公培训,提高各岗位工作人员技术水平和服务意识,提高管理工作效率,降低管理工作成本,从而促进电力企业的长远发展。

结束语:

综上所述,社会对于电力资源的需求随着时代发展日益增多,这对于电力企业营销管理来说既是机遇也是挑战。在大数据背景下,电力企业不能固步自封,依然采用传统的营销管理模式,而必须要顺应时代发展潮流,利用大数据技术实现海量数据信息的快速收集和高效处理,全面提高电力企业的服务质量,给用户提供更加安全可靠的电力供应,让用户对电力企业更具有信任感,从长远来看也有利于电力企业经济效益的提高,进而实现电力企业营销管理社会效益和经济效益的双赢。

参考文献:

[1]段凯,田野.能源互联网企业“获得电力”办电服务水平提升研究[J].河南电力,2021(S2):29-31+38.

[2]庞利鹏,赵亮,李坤.深化大数据应用 优化电力营商环境[J].农村电工,2021,29(06):12.

[3]周鹏程,曾鸣.优化电力营商环境背景下电力供应商画像研究[J].山东电力技术,2021,48(04):19-24.

[4]黄始念.创新业扩精益服务,优化电力营商环境[J].经济管理文摘,2019(16):165-166.

[5]季良,王婷.电网企业应加强数据融合与应用创新[N].国家电网报,2021-12-14(008).

[6]万磊,邱丹,周鸿雁,靳经,王逸兮.电力大数据助力社会经济发展创新实践[C].中国电力企业管理创新实践(2020年),2021:588-590.

作者:陈晓云 董雪

第2篇:电力大数据电子商务应用研究

摘 要:电力大数据目前主要应用于电力企业自身传统业务,其价值仍未被有效挖掘使用。随着国家“互联网+”行动计划的部署,电力企业充分发挥电力大数据资产优势,开展跨业务、跨层级的多维分析和深度数据挖掘,加强内部资源优化整合,有效促进管理变革成了当前紧迫需要。针对电力大数据在电子商务领域的应用进行研究,助力支撑电子商务、互联网金融服务等新兴业务,加快企业“互联网+能源”创新发展。

关键词:电力大数据;能源电商;客户分群;履约风险;多维分析

0 引 言

2017年,党的十九大报告指出要推动互联网、大数据、人工智能和实体经济深度融合,要着力加快建设实体经济、科技创新、现代金融、人力资源协同发展的产业体系[1]。如何有效发挥企业的数据资产价值,成为当前企业转型、业务创新的突破方向。在能源行业,电力数据急剧增长并形成一定规模[2],传统电力及能源企业也在思考如何推进大数据实际应用[3]。国内某电力科技企业——W公司正是面临这一发展窗口期。W公司已开展的业务包括B2B、B2C、在线支付、互联网金融以及新能源交易等,而如何进一步挖掘电力大数据的价值,更好的支撑电子商务业务的发展,成为W公司一直在探索的课题。近年来,笔者负责和参与了W公司建设多个电力大数据应用信息化项目,这些项目可以帮助业务运营人员了解目标客户的交易情况、经营现状及偿还信用情况等,也为W公司调整营销策略、规避风险提供了决策支撑。截至2019年,W公司累计用户数已达2.08亿,累计交易额3 293亿元,入驻优质商户8.94万家。本文依托W公司在电力大数据应用方面的探索和积累,总结方案思路和应用成果,为电力大数据应用研究及其他企业提供参考。

1 方案设计

随着能源电力公司业务的快速开展,结构化数据、非结构化和半结构化数据呈海量增长,各业务系统数据标准不统一、数据架构不规范、数据价值亟待挖掘。电力大数据具有大数据普遍的特征,包括数量大、数据类型多、处理速度快、数据准确性高以及价值高的特点[4]。基于对大数据的采集和分析技术,实现对企业业务运营情况实时数据捕捉、动态监测、运营分析和全景展示。

1.1 数据分析设计

电力大数据包括客户用电、电力交费、电力交易、客户服务及相关互联网信息等。电力大数据与国民经济其他领域数据进行交互融合,才能更好地发挥其价值[5]。电力大数据预处理完成对接收数据的辨析、抽取、清洗等操作[6],对于用户敏感信息进行脱敏处理,并进行数据清洗、质量检查与控制及元数据管理等后续处理环节,以提高数据的准确性,提高数据资产价值。基于电力大数据的电子商务应用实现,对业务数据进行实时采集,按照客户类、产品类、交易类、流量类、营销类及业务线类等数据分类,并按照主题数据进行分类汇总和存储,再跟据分析需求构建分析场景,使用数据分析技术进行多种业务支撑分析,最后通过数据可视化技术进行成果展示。分析架构方案如图1所示。

1.2 指标结构设计

根据业务关联关系构建指标体系,其核心包括业务线、产品、客户与交易。产品归属于业务线,客户通过购买行为与产品关联,购买行为通过交易进行规范与存储。如图2所示。

在指标体系分类基础上,进行详细指标设计,包括(不限于)以下几类:

(1)核心指標:核心指标包括客户、交易、产品、流量、风险等,通过对每个主题下的核心指标的展示,反映整体运营概况。

(2)客户监测:通过注册用户、实名认证用户、活跃用户、新增用户、新增商户等信息的展示,反映获客能力,以及客户的活跃情况。

(3)客户分析:监测近一周的周活跃客户数、周新增注册用户数、周新增商户,反映近一周用户活跃、新增情况。针对不同年龄端的用户分布对客户进行画像,建立用户等级、通过图形展示各等级会员数的占比。

(4)流量监测:对浏览量、访客数、商城实时流量、实时流量、浏览深度方面的情况,根据关键词,展示搜索排名情况。

(5)流量分析:实时展示当天的日浏览量、日访客数;按小时展示当天日浏览量、日访客数的变化趋势;按小时展示当天每个客户的浏览量(浏览深度),并与昨日的浏览深度进行对比分析。

(6)交易分析:监测各渠道、各区域、各品类的交易分布情况,并以颜色进行区分。

(7)产品监测:对商城品类、互联网金融各品类商品进行监测。

(8)产品分析:对各个品类商品进行销量分析、区域分布分析等。

(9)营销监测:对平台的营销活动进行监测。

(10)用电分析:月用电量、交费分析、欠费分析。

根据业务部门需要,可进行单个指标分析或组合分析。

1.3 操作流程设计

电子商务应用分析操作过程,从业务部门提出业务问题发起,并确定分析专题领域。数据分析部门进行业务问题范围定义,并进一步确定分析数据范围,再进行分析建模,最后实现数据分析过程。实现流程如图3所示。

分析结果展示采用可视化技术,电力大数据可视化是数据价值传递的有效方式[7]。电力生产与企业经营方面,数据可视化能够全面、及时反映企业经营状态,满足运行管理的需要[8]。本方案采用可定制化方式,根据不同指标和专题场景,设计展示画面,并绑定后台数据,支持数据表格、图形及动画等多种展现方式。

2 方案应用

电力大数据电子商务应用以拓展公司业务领域、实现客户服务价值为目标,充分结合自身资源优势,围绕“互联网+”特色主线,建立服务于客户个人和商家的电子商务服务综合生态体系,通过信息化手段使客户、商家、服务平台和合作伙伴之间共享大数据平台带来的分析成果与收益,实现业务与服务智能化。本文的分析方案为电子商务、互联网金融服务业务板块运营服务,通过核心指标、多维专题的分析、挖掘与展示,反映公司获客能力、企业营业收入、交易风险等运营概况,为及时了解业务开展情况、防范各类事件风险提供了有效的参考与依据。

2.1 供应商履约风险评估应用

由于合作供应商经营问题,出现法律问题,会严重影响合同或项目的执行。如何识别供应商的风险,做好防范准备,变得非常重要[9]。电子商城大宗交易,如物资批量采购或电力工程等,因涉及交易金额较大,即涉及供应商的履约风险问题。履约风险来源于资信评价,传统资信评价基于企业的贷款与还款、经济纠纷处理等信息,这些信息具有数据不完整、更新频率慢等特点,不能及时反映企业的经营状况。而基于电力大数据,如企业用电数据,则可以及时反映企业的生产景气程度。目前我国产业结构不断调整,用户用电特性越发多样化,同一行业不同用户用电特性差异巨大[10]。如图4所示,通过抓取某钢铁制造型企业近3年的月用电数据,进行趋势分析,获取该企业的生产经营景气程度相关信息,为商城交易履约评价提供参考。

分析评价:该企业作为高耗能制造企业,对电力资源消耗较大。从近三年的企业用电数据来看,企业用电整体呈微幅下降趋势,这主要与企业淘汰落后产能并进行节能改造升级有关。从近半年企业用电情况来看,企业用电情况大幅下降后逐渐上升,说明受宏观疫情影响,企业存在明显减产情况,后逐步恢复生产。

从互联网抓取该该企业所在地区近期市场钢材价格,进行趋势分析,如图5所示。

分析说明:该企业所在地区钢材产品价格稳中有升,结合该企业近期用电数据呈上升趋势,说明该企业生产情况良好,经营较为景气,交易违约风险较小。

2.2 客户分群分析应用

在市场营销领域,根据用户关键特征进行分类,然后根据不同类型用户提供不同服务,推销特定产品等[11]。客户分群通过后台数据的整合,包括用户电费缴纳数据、商城交易数据等,使商城交易使用科学的分析方法、建模算法和数据挖掘能力辅助业务部门制定决策,全面、直观的了解掌握客户特点,从而采用相应的营销策略,提高客户和产品生命价值,最终提高客户黏性和平台业务收入。通过客户分群分析,可以实现以下目标:

(1)全面认识客户及客户群体。

(2)高效率、低成本的获取优质的客户。

(3)认识、控制客户的风险。

(4)实现交叉及提升销售以及提高客户价值和忠诚度。

(5)分析、预测客户流失以保留优质的客户。

首先收集客户及交易数据,包括基本信息:ID,年龄,职业,地理位置,注册时间等;价值及风险分类数据:包括账户余额,交易评价,绑定银行卡数等;交易行为特征数据:交易时间,交易金额,收货地址等。其次使用主成分分析或者因子分析,提取出有价值、信息量更重要的属性数据。再次,使用聚类分析(Clustering)等技术实现分群,将有意义的属性变量放入选定模型中,调整算法,构建聚类模型。对客户购买行为的数据的转换为结构化的数据,按商品的购买频度(次/周)、季度消费金额(千元/季度)、同比季度消费金额(千元/季度)等数据信息进行汇总统计。运用数据挖掘模型对数据进行聚类分析,给定区间将客户分为:重要、一般、不活跃三大类;同时将购买频度:上升、保持和降低。为业务决策部门提供客户营销建议为消极(一般挽留和重点挽留)和积极(商品推荐、VIP推荐等),获得客户分群聚类结果如表1所示。

2.3 交易多维分析应用

多维分析(Online Analysis Processing,OLAP)在BI中被广泛使用,帮助分析数据仓库和数据立方体中的多维数据[12]。交易多维分析应用采用维度(Dimension)加分析度量(Measure)方式建立,通過地域、时间、商品类型、商品、供应商及采购类型等不同维度,分析交易金额、交易笔数等业务指标,提供多种不同详细分析场景,便于业务分析人员了解不同地域、不同时间、不同商品的交易情况,以满足提前补货及调整货品上架数量等业务需要。交易多维分析应用如表2所示。

交易多维分析支持钻取(Drill-up和Drill-down)、切片(Slice)和切块(Dice)、以及旋转(Pivot)等多种分析应用。

3 结 论

近年来,电子商务持续快速发展,与各类实体经济不断融合,重塑供应链,提高供求方匹配度,引领经济转型新方向。本文根据当下移动互联网的发展,结合电力大数据支撑电子商务应用进行研究,以信息系统运行监控为主体,进行多方数据的融合和关联,进行了供应商履约风险评估、客户分群分析及交易多维分析的应用研究,从而通过数据分析支持公司生产运行和经营管理,提升业务应用的信息展现和辅助决策能力。

参考文献:

[1] 习近平.决胜全面建成小康社会 夺取新时代中国特色社会主义伟大胜利 [N].人民日报,2017-10-28(1).

[2] 陈超,张顺仕,尚守衛,等.大数据背景下电力行业数据应用研究 [J].现代电子技术,2013,36(24):8-11+14.

[3] 薛禹胜,赖业宁.大能源思维与大数据思维的融合 (二)应用及探索 [J].电力系统自动化,2016,40(8):1-13.

[4] 王继业.大数据与电力企业 [J].电力信息化,2012,10(8):7.

[5] 彭小圣,邓迪元,程时杰,等.面向智能电网应用的电力大数据关键技术 [J].中国电机工程学报,2015,35(3):503-511.

[6] 段军红,张乃丹,赵博,等.电力大数据基础体系架构与应用研究 [J].电力信息与通信技术,2015,13(2):92-95.

[7] G·L·伯恩哈特.数据可视化:CN101681245 [P].2010-03-24.

[8] 闫龙川,李雅西,李斌臣,等.电力大数据面临的机遇与挑战 [J].电力信息化,2013,11(4):1-4.

[9] 燕歌,许超.基于大数据的集中采购平台供应商信用管理的研究及应用 [J].建设机械技术与管理,2020,33(3):62-66.

[10] 陈海文,王守相,梁栋,等.用户节电的大数据分析及应用 [J].电网技术,2019,43(4):1345-1354.

[11] 王毅,张宁,康重庆,等.电力用户行为模型:基本概念与研究框架 [J].电工技术学报,2019,34(10):2056-2068.

[12] 李敏波,许鑫星,韩乐.基于JSON文档结构的工业大数据多维分析方法 [J].中国机械工程,2020,31(14):1700-1707+ 1716.

作者简介:陈永军(1977—),男,满族,辽宁大连人,高级工程师,硕士,研究方向:项目管理、数字资产管理、大数据技术及安全技术;吴立(1975—),男,汉族,广东珠海人,高级工程师,硕士,研究方向:电力系统营销、财务信息化、密码安全技术和互联网金融业务应用。

作者:陈永军 吴立

第3篇:探讨大数据技术在电力行业的应用

【摘 要】现如今,在我国随着科学技术的不断发展,也带动了各行各业的进步与革新,同时伴随着新技术在各行业中的广泛应用,就大数据而言,该项技术目前较为广泛的应用于通信、金融等行业,而对电力行业而言,还算是一项新的技术。因此,在这种背景下研究电力行业大数据技术应用,能够为我国电力行业的发展起到一定的促进作用。

【关键词】大数据技术;电力行业;应用

电力行业是经济发展的支柱,在产业转型的重要时期,大数据技术发挥着至关重要的作用。

一、大数据技术的基本特点

在网络时代,全球的互联网巨头对大数据时代的数据重要意义有着重要的关注,关于大数据其自身具有着几个重要的特点,首先就是在数据体方面比较大庞大,从TB级跃升到PB级;在价值密度方面不高,通过对视频这一内容进行分析就能够发现,在连续不间断的监控过程当中而真正在数据上发挥作用的也就只有一两秒的时间;还有就是在数据的类型方面较多,这其中对图片以及视频和地理位置等都在其范围之类;最后就是实时性以及处理速度快的特点,符合与传统的数据挖掘相异的一秒定律。

二、大数据和电力行业的关系概述

电力行业是我国的基础性能源设施,和我们的生活有着非常密切联系,同时也是我国发展的一个重要保障。在当前的信息化技术得到快速发展的同时,电力信息对电力企业的决策运营等方面的作用愈来愈大,电力信息化已经成了对传统运维的突破已经产生新的增值服务的重要力量,在管理的模式上也有了新的发展,而这一系列的变化将会在数据中心的上发挥作用,对数据中心也会赋予更多的职能,例如数据分析和决策能力等。在电力行业的数据最为主要的还是在运营管理中的数据以及生产方面的数据,其涵盖的范围比较的广泛,所以电力行业在实际的发展过程中要能够对数据背后的一些价值得到充分的认识,在数据的治理以及数据的挖掘等方面要进一步的加强,从而尽快的实现大数据的战略发展,为电力行业中的各个环节的建设提供技术上的指导和较为科学有效的解决问题的方案。

三、大数据技术在电力企业中的具体应用

3.1电力能源系统管理

在大数据技术的发展与普及过程中,除了可以用于清洁能源以外,还起着供应能源和减少能源消耗的作用,是智能电网工程建设中的重要组成部分。由智能电网现状来看,电网互联为电力系统的快速发展奠定了良好的基础,加大对电网互联的研究,能够保证其运行更加稳定与安全,只有不断提升微电网和配电网的可靠性,整个电力系统才能得到优化。电力企业通过充分应用大数据技术,可以加快电网转型步伐,不断提升发电的效率,同时还可以有效改善运营模式。从大数据技术在电力能源系统管理中的应用情况来看,具体包括下面几点:一是有利于电力新产品的研发;二是可以获得电力能源的“绿化效果”;三是为智能化电力能源的发展提供不竭动力。将大数据技术和电网有机结合起来,尽快打造成智能化电网,在发电能源转换和电力输送中可以得到充分应用,为智能化电网的发展创造良好的条件。

3.2智能电网

通过分析用户的用电大数据,掌握用户的用电分布与用电方式,以此作为依据来调整电能的生产与分配。智能电网将结合电能流和信息流,在输送电力的同时获取用户数据,进行深度挖掘,以过往信息为基础,对用户未来的用电情况做出預判,实现高效化、动态化、合理化的智慧电力系统。

3.3电力管理应用

大数据技术在电力行业电力管理中的应用体现在发电、输电和用电3个方面。大数据技术在发电管理中可以整合社会中的所有电力数据,根据社会的用电需求预测某个时间段的用电负荷量,向发电模块反馈出信息数据,进而制定出符合社会用电实况的发电计划,大数据技术在发电管理中的应用有利于提高发电的效率,杜绝发生电能浪费的问题,实现了高效的发电运营。输电阶段中的大数据技术搜集了输电过程中的信息数据,掌握电力系统输电线路中的信息数据,大数据分析了获取的信息数据后,可以制定可靠的输电计划,在一定程度上降低输电的线损率。现阶段电力行业中积极构建智能电网,而大数据就是智能电网建设时的关键技术,辅助完善电力系统的输电环节。电力行业的用电管理工作中,大数据技术负责整理用电用户的相关数据,分析数据中的关键信息,从而制定出用电营销方案。用电营销必须以电力市场的实际情况为主,采用大数据技术了解用户的用电情况,促使用电营销方案符合用户的需求,实现了电能节约。

3.4电力一体化集成平台

随着智能电网的建立,电网信息化也越来越被重视。在集团范围内,建立统一的信息集成平台,进行生产管理。而所谓的电力一体化集成平台,实际上就是大数据的采集、分析和呈现的平台。

3.5电力数据挖掘中的应用

电力企业在应有大数据技术以后,可以有效分析电力业务,将其中可用性电力数据提取出来,便于电力企业全面掌握与控制各项业务。在电力业务流程中应有各种计算机系统以后,电力数据采集量越来越多,电力企业在数据收集与存储上面临着更为艰巨的挑战,在进行数据定量、统计和挖掘时难度也逐步增加。在电力数据挖掘过程中,可以在海量电力数据中挖掘出有价值的、可用性强的电力数据,其步骤主要包括电力业务分解、电力数据分解、电力数据准备、数据挖掘模型构建、电流数据评估和电力数据部署等。在挖掘电力数据之前,需要全面分析电力业务的需求,按照业务需求开展数据挖掘工作,确保数据挖掘目标得以实现。在数据评估过程中,重点是整合、集成和转换原有的数据信息,促使数据采集和处理工作顺利完成。处理数据完毕以后,要开展数据挖掘计算工作,同时将数据挖掘模型建立起来。将数据挖掘模型构建起来以后,要作出数据评估,重点是分析数据计算结构是否符合电力企业业务的最终目标。在确定数据计算结果以后,要利用可视化程序,通过图形、图像、表格、报告等形式进行展示。

四、大数据技术在电力行业中的发展

大数据技术在电力行业中的应用存有一定的差异,大数据未来发展中要协调好电力数据的应用,确保大数据技术能够应用到电力行业的更多模块中。电力行业未来发展中,积极利用大数据技术分析电力数据,合理分配大数据技术内的统计分析、数据挖掘以及机器学习。同时结合智能决策、专家系统以及推荐系统完善大数据技术的发展和应用,体现大数据技术在电力行业中的发展潜力和应用价值,促使大数据技术可以提高电力行业的运营水平,保障电力行业的经济效益和生产能力。

结语

大数据技术,在电力行业的应用,目前仍处于摸索阶段,但是其发展潜力十分巨大。要实现电力行业的成功转型,必须进行全盘的信息化,而利用大数据技术,就是最核心的手段。电力行业的健康发展,需要全社会共同的努力。

参考文献:

[1]徐欣欣.大数据时代高校信息系统建设的探讨[J].信息与电脑:理论版,2013,(4):120-121.

[2]张晓晨.电力大数据应用研究与展望[J].山东工业技术,2017,(03):155-156.

[3]中国电力科学研究院大数据技术研讨会专家观点[J].电力信息与通信技术,2017,(04):1-3.

作者简介:

邓雷(1984.09.10),性别:男;籍贯:河北廊坊;民族:汉;学历:研究生、硕士;职称:高级工程师;职务:计划建设与监测分析专员;研究方向:大数据技术在监测分析中的应用

作者:邓雷 张家耀 权家乐 褚衍春 马淑淑 郭向阳 韩芳

第4篇:八大案例深度解析电力大数据应用

麦肯锡曾有报告预测,在全球范围内,大数据分析方案的广泛使用能够带来每年3000亿美元的电费削减。电力大数据的有效应用可以面向行业内外提供大量的高附加值的增值服务业务,对于电力企业盈利与控制水平的提升有很高的价值。有电网专家分析称,每当数据利用率调高10%,便可使电网提高20%~49%的利润。

电力行业的数据源主要来源于电力生产和电能使用的发电、输电、变电、配电、用电和调度各个环节,可大致分为三类:一是电网运行和设备检测或监测数据;二是电力企业营销数据,如交易电价、售电量、用电客户等方面数据;三是电力企业管理数据。通过使用智能电表等智能终端设备可采集整个电力系统的运行数据,再对采集的电力大数据进行系统的处理和分析,从而实现对电网的实时监控;进一步结合大数据分析与电力系统模型对电网运行进行诊断、优化和预测,为电网实现安全、可靠、经济、高效地运行提供保障。

一、电网监测及维护 1.运维监测系统及时反应

Enphase Energy(美国Enphase 能源股份有限公司)

Enphase Energy每天从来自80个不同国家25万个系统收集大约2.5TB的数据。这些数据可以用来检测发电和促进远程维护、维修来确保系统无缝运行。另外,Enphase Energy还利用从发电系统收集到的数据来监测、控制或调整网络中的发电和负载状态,在电网和在出错或需要升级时做出相应的反应。

2.设备检修运维专题分析 电力企业可以基于永洪自研发的一站式大数据分析平台开展各业务领域的深度分析,如在电网检修运维领域,通过对电力设备资产管理、设备运检管理、设备技术管理、技改大修管理等方面,从安全、效益、成本三个方面进行关键指标选取,分析检修管理中“安全”、“效益”、“成本”三者之间的相互影响,协调三个因素综合最优,同时实现对电网企业检修指标的实时在线监控,为公司检修策略制定提供指导和服务。

(图中分析场景所用的数据为测试数据)

3.预防基础设备故障导致的停电

American Electric Power Co., Inc. (AEP)(美国电力有限公司)

在AEP的资产健康中心,数据分析师把设备派生的运行信息和智能信息应用程序结合在一起。通过采用大数据算法和分析软件,他们可以密切监测传输基础设施的运行情况。

如今,AEP使用智能电表、通信网络和数据管理系统得到稳健的常规信息。智能电网技术使客户更有效地用电和合理管理用电成本,收集到的数据也有助于该公司为客户定制电力管理程序和提供个性化定制服务。

二、提升运营效率、改善客户体验

大数据分析能帮助电力企业提升运营效率和改善客户体验。运营效益包括收益保证、网络和产品管理、需求预测、资产管理和支撑功能优化。类似的,分析有助于通过客户关系优化、主动营销以及定制优惠和服务来改善客户体验。

1.Gulf Power(海湾电力公司,美国南方电力公司位于佛罗里达州的分公司)

Gulf Power使用大数据分析后确认,如果停电,那恢复供电的时间如果能比用户预期时间早10分钟,客户满意度是最高的。

有趣的是,它发现如果在预期恢复供电时间两个多小时前恢复供电,会对客户满意度的产生负面影响。理解了类似这样的指标,能够帮助电力企业解决他们最大的客户体验挑战。一位德国电力公司的高管证实提高客户满意度会提高客户留存率。他解释到,“分析让你在现有合同上用个性化的优惠活动与客户良好沟通。这种方式会大幅提高客户的留存率”。事实上,像EDF Energy这样的电力企业已经通过大数据分析来减少客户流失,每年节省高达3000万美元的成本。

2.Lakeland Electric(美国莱克兰电力公司,总部位于佛罗里达州)

负荷研究是一种用来分析各种客户群体(住家、商业和工业)的客户消费模式的过程,它有助于评估电力公司为每个特定的群体服务的成本。研究人员认为,利用AMI(量测基础设施)和数据捕获能力,每一个计量点和智能电网启用的设备可能有助于这项研究。 Lakeland最近利用这些新技术完成了对电力服务的成本检查。除了解决对额外收入的需求外,他们还能够设计供客户选择的替代费率,一方面降低电力高峰需求,另一方面客户也在此过程中节省资金。不仅有效减少高峰期的电力故障,也提升了用户体验,提高了用户留存率,使该企业拥有更好的口碑和知名度。

3.通过数据分析有效提升电力行业营销服务水平

电力用户可以基于永洪一站式大数据分析平台,将更多的明细数据提供给业务部门,由业务部门自服务完成数据应用。通过对客户服务与客户关系、电费管理、电能计量及信息采集,市场与有序用电、新型业务、综合管理等方面的分析,掌握营销业务重点工作的开展情况,实现对客户服务、电费管理、智能电表、有序用电实施和能效管理成效、新型业务及营销稽查工作质量指标进行有效监测。

三、减少损失、降低成本 1.减少电力盗窃降低损失

根据Northeast Group, LLC.(位于美国华盛顿的东北集团有限责任公司)的《能源市场智能电网:2015年展望研究》报告,每年全球因电力盗窃损失893亿美元。而智能电网技术可以帮助电力企业打击每年价值几百万的电力盗窃。

位于意大利的Enel是全球最大的电力企业之一,在40个国家经营有6.7亿台电表。在意大利,Enel整合处理了来自11个遗留系统超过500亿行的数据,同时已经识别出93%的盗窃案或其它非技术性损失的可能因素,这是世界上最大的智能电网分析系统。仅仅在意大利,它每年的收入保护和预测性资产维护分析的经济效益估计超过3.5亿欧元。

2.利用分析降低变压器更换成本 PSE&G(公共服务电力和燃气公司)是美国最大型的综合电力和燃气公司之一,为180万燃气用户和220万电力用户提供服务。它拥有的资产价值约170亿美元,收入近80亿美元。

PSE&G实施了一个计算机化维护管理系统(Computerized Maintenance Management System,简称CMMS)来辅助维修、更换以及对包括变压器和其它设备等资产的维护决策。根据湿度、介电强度、可燃气体变化率和冷却性能等多种因素,来为变压器进行分析,生成设备状况分数。他们根据资产更换(预测)算法,对设备状况分数和其它因素(年代,备件可用性)分析,来决定更换变压器的适当时间。

PSE&G还对实时传感器采用了先进的分析来跟踪各种操作指标。分析的应用帮助了该公司在故障发生前发现和补救问题,在避免设备故障上节约了数百万美元。该公司也决定主动通过使用分析模型来更换一些变压器,而不是出了问题后再更换,这有助于该公司在25年中节约了1亿多美元。

结语:

如大数据分析这样的信息新技术必将激活电力大数据中蕴含的价值,也必将释放电力大数据的市场潜力。根据GTM Research的研究分析,到2020年,全世界电力大数据管理系统市场将达到38亿美元的规模,电力大数据的采集、管理、分析与服务行业将迎来前所未有的发展机遇。

在这样的机遇下,更多的电力企业选择将在大数据分析技术,为企业系统运维监测、提升客户满意度、降低损耗和成本等诸多方面做出积极探索。而相对于自己搭建,面对更合理的成本与更稳定高效的第三方平台,越来越多的电力企业选择和第三方大数据分析平台厂商合作,为企业数据化运营带来专业的技术与服务支持。

以国内知名电力研究所为例,选择采用永洪电力大数据平台。永洪科技按照平台的设计规范和功能要求,在UI设计、安全认证、统一安装部署、数据存储及工作流调度等方面针对电力业务特性需求进行了接口开发与个性化改造,无缝嵌入用户大数据平台,为后期科研人员开展数据分析挖掘工作提供工具支撑。

第5篇:关于法国等电力公司大数据分析应用情况汇报

为掌握国外电力公司大数据分析应用情况,对法国、美国、日本、澳大利亚、中国香港的主要电力公司大数据资产管理和大数据分析情况进行资料查找,现将了解的情况总结如下。

一、法国电力

法国电力集团(EDF)是一家国有综合性跨国能源公司,拥有欧洲最大的电力生产系统,在核电、水电和可再生能源等清洁能源领域具有较强的国际竞争力。作为全球领先的电力基础设施服务提供商,法国电力公司非常重视大数据在企业运营分析管理中的作用,通过设立专业机构、完善数据基础、增强分析能力,不断发掘数据资产价值,为企业战略转型与服务升级提供有效的决策支撑。

(1)建立独立机构支持运营决策 法国电力在客户关系管理数据库中,对用户信息进行全面搜集,成立运营分析中心,专门负责对客户数据进行分析,以对销售管理进行支撑。以项目制的形式负责向销售、营销和财务控制在内的六个业务部门提供客户行为分析支撑,以改善这些部门的服务质量并实现客户的最大化保留。

(2)运用大数据技术挖掘数据资产价值 目前全法已经安装3500万智能电表,电表产生的数据量将在5-10年内达到PB级。智能电表采集的主要是个体家庭的用电负荷数据。这些电表数据,结合气象数据、用电合同信息及电网数据,构成了法国电力的大数据。考虑到大数据的广泛应用前景,针对自身海量数据的特性及其处理需求,法国电力的研发部门成立了大数据项目组,借助大数据技术研究海量数据的处理架构,实现用电负荷的精细化测量,降低信息决策系统与运行操作系统之间的延迟。

二、 美国电力

美国在智能电网的工程应用方面处在世界前列,应用涉及用户行为分析、需求响应分析、设备风险分析、系统风险评估、能效分析、决策支持等多个领域。

美国BG&E公司利用C3能源分析引擎平台两项应用模块对其内部12个数据源系统及来源于其服务地区内的200万台智能电表的数据进行了集成,总计10TB的云图像数据,集成分析3500万条数据,每天约传输8GB/2.2亿条数据,年收益预计可达200万美元。其中,AMI 管理模块(图2-1),可快速查看电表状态、隐患区域、部署进度以及焦点问题,优化AMI的全寿命周期管理,提高AMI系统运行效率,降低公司运行成本;收入保护模块(图2-2)能够识别欠费/窃电行为,改进收费和服务策略,降低非技术性线损。

图 2-1 C3能源分析引擎平台中AMI管理模块操作界面

图 2-2 BG&E公司收入保护模块界面

美国Con Edison公司与MIT、哥伦比亚大学联合开发了基于机器学习的配电网故障风险评估系统。该系统在纽约供电公司进行了试点应用(图2-3),可针对馈线和设备(电缆、配变等)进行故障风险等级评估,用于指导停电检修、提高设施维护效率、提升配电网可靠性。

图2-3 配电网故障风险评估系统

美国Battelle研究中心利用IBM公司的流处理软件InfoSphere及高兼容性服务器Netezza开展太平洋西北智能电网示范项目(Pacific Northwest Smart Grid Demonstration Project)研究,该项目参与单位包括来自美国西北五州的11家公共或私人电力供应商,Bonneville电力局和华盛顿大学等,通过分析近6万名电力用户在动态电价下的用电信息,研究准实时条件下(智能电表采集频率5分钟/次)的需求响应、价格波动、能量消耗、窃电监测等交互行为。图2-4给出了华盛顿大学内建筑的用能情况,它集成了华盛顿大学校内建筑的智能电表数据,可分析各建筑用能情况与准实时天气关系等。

图 2-4华盛顿大学内建筑的用能分析

美国UCLA大学可持续发展中心(CCSC)联合LA水利电力部(LADWP)、政府规划办公室(GOPR)共同开发了洛杉矶电力地图(LA Electricity Map)。该地图以街区为单位将人口信息、收入信息、街区环境信息等社会经济信息与用电信息、用水信息、排放垃圾信息等耗能信息全部集合在一起,以加州地图形式展示了2011年1月到2012年6月之间数据(图2-5),从而直观展示社区周期、能耗、碳排放量等可持续发展重要指标。为城市规划提供了直观有效的辅助依据,也可以按照图中显示的停电频率较高、过载较为严重的街区进行电网设施的优先改造。作为城市内能源应用趋势的可视化分析工具,该地图有助于更直观地讨论如何进行能源投资,提高能源效率以及制定公共政策。

图2-5 LA电力地图

为更新日趋老化的电力基础设施,同时也作为新的智能电网计划的一部分,芝加哥电力大力推广使用智能电表。预计到2018年,将有超过四百万智能电表被安装和投入使用,此举可为用户节约超过一亿七千万的费用。到目前为止,芝加哥地区已经有将近30万智能电表被安装且投入使用。很快,使用智能电表的居民将覆盖整个芝加哥地区。智能电表是智能电网技术的一个重要组成部分,它给人们提供了更可靠的电力支持和更多的省钱机会。智能电网计划致力于改造芝加哥的电力使用情况,使更多的家庭和企业节省资源和金钱。因此,芝加哥政府非常支持新一代的智能电网技术,并将此作为智能基础设施建设的一部分。新的基础设施投资,为长期的经济增长和居民生活水平的提高奠定了坚实的基础。此外,芝加哥电力在智能电表推广过程中同步规划建设AMI体系,贯通营销、GIS、工作指令、天气预测等多个信息系统,建立“用户智能平台”进行大数据关联分析,结果应用于供需求侧响应、能效、资产负荷分析等多个商业功能模块。

三、 日本电力

日本为了提高信息通信领域的国际竞争力、培育新产业,同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题,日本总务省于2012年7月新发布“活跃ICT日本”新综合战略,今后日本的ICT战略方向备受关注。其中最为关注的是其大数据政策(从各种各样类型的数据中,快速获得有价值信息的能力),日本正在针对大数据推广的现状、发展动向、面临问题等进行探讨,以期对解决社会公共问题作出贡献。

2012年10月份,东京电力公开招标采购家庭用智能电表,大崎电器等公司参与投标,东电计划到2018年将90%的东电家庭用户的机械式电表更换为智能电表,总计约为1700万台。 关西电力公司则采用大崎电器子公司enegate的智能电表产品进行试验运行,预计该公司今后的量产规模将达100万台,大崎电器今年的总投资额将达50亿日元。东光电器与东芝共同组建的东光东芝电表系统公司主要面向写字楼、公寓楼等开发智能电表,目前正积极拓展产品销路。此外,野村不动产也将于2013年开售公寓专用型节能电表。智能电表可以实现用电量数据在用户和供电公司之间的智能传送,能够有效节电,初步预计日本国内的市场规模约为7000万台,5年后智能电表的需求将占全部电表需求的80%。目前,东京电力与关西电力已经开始试运行智能电表联动系统,各电表厂商正通过加大投资、开发新产品等方式积极抢夺这一市场。大崎电器工业计划于年内依托埼玉县事务所新设智能电表工厂,产品主要面向东京电力公司,根据东电提供的设计规格进行研发、生产等作业。

2013年6月,安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013~2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略,提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。

四、 澳大利亚电力

澳大利亚国家电力委员会从2007 年开始在全国范围内推行高级量测体系(Advanced Metering Infrastructure,AMI)项目,引入分时电价(基于时间间隔计量),使用户能够更好地管理电能消耗。澳大利亚政府推行电力市场的改革不仅仅是为了提高供电效率,而且通过改善电价制度,提高对能耗的控制以及减少温室气体排放。2011年,澳大利亚电力巨头新南威尔士州能源公司宣布开始一项全新的智能电表项目。这一项目旨在使其用户更好的管理和控制用电量。部分用户作为志愿者可以选择安装电表,并将通过电脑、智能手机和网络浏览器的操作及应用对用电量进行详细记录。事实上尽管输电网络已经运营了数个世纪,但网络运营商在输电网的维护和输电网低压段输送损耗等问题上仍缺乏经验。到目前为止,公共事业部门虽然已经在整个城市的高压输电段布置了输送损耗监控,但对于低压段的输电线路故障和输送损耗还依赖于用户传递过来的信息。

五、 中华电力

从1999年开始,中华电力公司根据英国资产管理协会的PAS55标准,组建电力系统事业部,成立资产管理部,以支撑实体资产全过程管理为目标,依托关键业务信息系统平台,成立数据分析组织体系,分综合业绩、资产绩效、成本绩效和业务分析等多个场景开展数据资产管理。通过开展资产全生命周期管理,依据国际标准,科学的加大固定资产投资,通过10年时间将用户平均(故障)停电时间从40分钟降低到接近2分钟。通过合理的增加资产规模,优化网架结构,提升设备品质,中华电力公司电力系统事业部的单位供电成本从87港元/千千千瓦时下降到75港元/千千瓦时(如下图所示)。

第6篇:电力数据网络的应用与安全性

摘 要电力数据网络是当前电力企业中主要的通信方式,其广泛应用与办公系统、信息管理系统、调度系统当中,并承载这实时和非实时的数据。然而,电力数据网络在实际的应用过程当中,很容易受到黑客的攻击、计算机病毒、硬件缺陷等各种问题的影响与制约,最终引发电力企业通信方式的安全性存在隐患。针对这些问题,就需要在明确网络应用特点的基础上,谈论其安全性。此外,还要针对行业的不同,就网络数据可靠性、保密性、安全性、实时性要求的不同,提出合适的安全防护措施。

【关键词】电力数据网络 应用 安全性

随着黑客技术以及计算机病毒的升级,电力数据网络的安全性受到了很大的冲击。基于这一点,电力数据网络在实际的应用过程当中,需要制定更有效的方案,规划有效的安全策略,确保电力数据网络能够安全的运行。

电力业务的正常运转需要通过计算机网络的安全来保障,而电力信息化工程是计算机网络的基础设施,因此,需要进一步优化完善电力信息化工程。而电力系统在物力容灾方面的防护措施相?ν晟疲?且提高了防止攻击以及网络防护等方面的安全措施,特别是应对黑客攻击,当前尽管初步的防护系统已经构建,然而,因电力系统数据网络在构建与管理过程中有效的指导严重缺失,再加上黑客技术的不断升级,因此,在这样面应有的效果还远远不够,因此,对于这一方面如何做出优化升级,构建多层次的安全防护体系,依然是电力数据网络发展过程中需要高度重视的内容之一。

本文通过对电力数据网络的特点与应用展开分析,结合电力数据网络的实际情况,提出有效的防护措施,确保电力企业网络建设以及管理安全措施的构建,定为电力企业以及其他企业的发展提供相应的理论借鉴。

1 电力数据网络的特点及应用

分级电力数据网络在现阶段的电力系统当中已经初步形成。就传输协议、硬件组成等各个方面,这与互联网的相似性非常高,电力数据网络的参考模式氛围了七层,主要是应用层、表示层、传输层、网络层、会话层、数据链路层、物理层组成。从组网方面来看,网络资源具备了信息传输量的独有优势。从实际应用中来看,MIS、OA、电网调度自动化系统、发电厂、变电站自动化监控系统都是电力数据网络的应用范围,可见其应用空间的广泛性。电力数据网络所承载的内容有对外服务信息、视频信息、语音信息、四遥信息等,而实时数据与非实时数据是根据安全等级、实时等级、业务类型等的不同来划分的。

其中,实时数据所指的就是如微机保护监测、故障录波、电量计费、水情、厂站和调度中间之间的实时数据等声场控制类的数据。实时数据与电力生产调度之间的联系非常紧密,且对数据流与速率没有太大的要求,然而业务实时性要求非常强。而电力营运市场信息、网络服务信息、MIS、OA等方面则指的是非实时数据。这些数据的实时性要求并不高,但是需要具备突发性与随机性。并对保密性与速率等方面提出了很高的要求。此外,对于生产控制类数据之外的业务数据也需要覆盖到。

2 电力数据网络的安全性

二次系统在店里系统当中作为一种非常大的整体性的工程,电力数据网络安全是其中最重要的组成部分。电力数据网络实时系统承载这调度数据的业务,因此,外网络覆盖面非常广泛,

并且对此提出了更高的安全性的要求。电力系统当中,安全等级较低的系统是不会对安全等级较高的系统带来影响的。电力数据网络中的非实时系统的要求没有实时系统安全等级要求高。另外,对于电力调度与电力监控系统的安全防护提出的安全可靠的方案,是不能直接连接安全等级低的系统。因此,相应的原则要四种坚持,并提高电力调度与电力电控系统的安全系数。以往的单一的EMS随着调度系统的进一步发展,延伸到现阶段的调度生产管理系统、电力市场技术支持系统、遥测、故障录播远传等方面。而电力数据网络在调度自动化系统当中也起到了非常重要的作用,所以其安全性的要求非常的高。对接外网的时候,相应的隔离与加密处理需要做严格的处理,病毒防范工作也需要做进一步的优化完善。而网络数据安全的内容包含了应用系统、网络管理、访问控制以及检测、接入安全等方面。

3 电力数据网络安全防护措施

3.1 规划与设计

网络规模大以及节点多是电力数据网络所具备的,所以,需要提出更合理的规划与设计。现阶段,多自域、分层、分级是电力数据网络所采用的主要结构设计,主要有独立的国家骨干网和升级数据网组成,其中包含了接入层、骨干层和核心层。数据网络设计的时候,可靠性、实时性、网络拓扑、业务等方面的设计需要充分考虑到。

3.2 技术措施

规划电力系统安全方式体系以及数据网络技术体系的过程中,需要严格按照实时性、可靠性、安全性等电力生产业务等数据网络要求进行。而外网隔离的专用网络以及与外网连接的企业内部网络这两类网络是电力企业中主要的网络类型。所以,网络安全访问控制技术、加密通信技术、身份认证技术、备份恢复技术需要在安全设计的过程中采用。

3.3 管理制度的完善

电力数据网络所设计的管理环节非常多,因此,需要不断的完善优化。详细来说,就是可以通过对全网开展实施监管,确保电力数据网络的全局性以及系统性。还需要加强人员的管理,提高网络管理队伍的整体素质。提高运行管理,优化完善相关的管理与安全制度。提高网络安全相关的专业知识,针对这一点,可以通过聘请专业的网络安全专家,并与其做有效的沟通,进而提高网络安全技术。

4 结论

在现阶段的电力系统当中,电力数据网络的作用非常重要,且对电力系统的运行以及发展有着重要的意义。随着我国网络技术的进一步发展与广泛的应用,网络环境也越来越复杂。所以,也对电力数据网络安全也提出了更高的要求。因此,我们要提高对电力数据网络应用与安全性的重视程度,并制定有效的应对方案,并进一步优化电力数据网络安全性,确保其能安全稳定的运行,以期可以为我国的电力事业贡献力量。

参考文献

[1]李俊娥,罗剑波,刘开培,周洞汝.电力系统数据网络安全性设计[J].电力系统自动化,2013,11(02):56-60.

[2]辛耀中,胡红升,卢长燕,樊若雷.中国电力数据网络建设和运行中应注意的四个关系[J].电力系统自动化,2011,10(01):1-5.

[3]谢敏.电力系统数据网络安全中容侵技术的应用实践[J].信息通信,2014,11(03):90.

作者单位

国家电网乌鲁木齐供电公司信息通信公司 新疆维吾尔自治区乌鲁木齐市 830011

第7篇:大数据应用的五个典型应用场景

来源:中国计算机报 时间:2015-03-24 11:31:09 作者:

数据观在网上查找的大数据应用的几个典型场景,分享给大家!

“数据将成为一种战略性原料,每一个企业、科研团队和政府,都有责任有目的地搜集、处理、分析、索引数据。”电子科技大学互联网中心主任周涛号召企业投身大数据,对大数据怦然心动的企业也确实很多。但基于对全球95个国家、26个行业的1144名业务人员和IT专业人士的广泛调研,IBM发现,大多数企业都已经认识到„大数据‟改善决策流程和业务成效的潜能,但他们却不知道该如何入手。

的确,在主动或被动迎接大数据时代之时,企业管理人员迫切需要在实干之前,明确很多问题的答案:3V之外大数据还具备何种属性?什么是大数据解决之道的要素?大数据实施是否有章可循?……

以《分析:大数据在现实世界中的应用》白皮书为引子,IBM的大数据战略努力令企业的诸多疑惑迎刃而解。在此基础上,以“智慧的分析洞察”为核心的IBM大数据价值体系中的五大典型业务需求和对应的落地实践,形象化地展现了大数据如何驱动企业商业价值的增长。

IBM全球副总裁兼大中华区软件集团总经理胡世忠

明确发力点

在大数据和分析领域,IBM公认已经具备了充分的技术优势。IBM全球副总裁兼大中华区软件集团总经理胡世忠表示:“数据构成了智慧地球的三大元素:物联化(instrumented)、互连化(interconnected)和智能化(intelligent),而这三大元素又改变了数据来源、传送方式和利用方式,带来„大数据‟这场信息社会的变革。作为大数据领域的领导者,IBM正在利用领先方法论和全面大数据技术帮助企业重新思考已有的 IT模式;助力企业进行基于这场信息革命的业务转型,获取竞争机遇和不可估量的商业价值。”

要实现这一愿景,有必要知晓企业对应用大数据的认知程度和接受程度。IBM商业价值研究院和牛津大学赛德商学院联手实施了一项调研,并共同撰写发布了《分析:大数据在现实世界中的应用》白皮书。

在该白皮书中,现阶段企业对大数据的观点得到全方位体现,它们着手实践大数据的方式被完整揭示,而它们在利用大数据获取商业价值增长方面的进展也被一一披露。

基于翔实的广泛调研,IBM得出了数个颇具参考价值的结论:未明确大数据的定义是企业混淆大数据的最主要原因;企业对大数据的采用还处于初级阶段(大多数企业目前主要是理解概念(24%)或者定义与大数据相关的路线图(47%));以客户为中心是大数据的首要任务成为共识;内部数据是企业内大数据的主要来源但大量未开发的价值隐含在内部系统中;不确定性以及技能的缺失使得社交媒体等外部数据源未得到充分利用;缺乏先进的分析技能是从大数据中获得最大价值的主要障碍。

德华安顾人寿董办主任王洪涛现身说法。长期耕耘于保险行业的他表示,大数据在保险行业的潜力巨大:保险行业使用大数据,现在还大多停留在“集约使用”阶段;保险公司拥有丰富的客户数据、交易数据和接触数据,但数据量的积累,往往导致“数据坟墓”"现象的发生;保险行业没有广泛培养出大数据智慧应用的意识和能力。他认为,保险行业利用大数据,一要集约地用,二要智慧地用。后者指的是利用数据挖掘,发现保险行业内的新知识,在这方面,保险行业仍然处于开拓期。

为了进一步明确大数据定义,IBM首先完善了大数据的新属性:Veracity(真实性)。IBM全球企业咨询服务部业务分析与优化服务大中华区总经理段仰圣表示:“真实性是当前企业亟需考虑的重要维度,将促使他们利用数据融合和先进的数学方法进一步提升数据的质量,从而创造更高价值。”

针对企业使用大数据的现状,IBM给出了五项关键建议,以期鼓励企业入手大数据:以客户为中心推动初始举措;制订整个企业的大数据蓝图;从现有数据开始,实现近期目标;根据业务优先级逐步建立分析能力;基于可衡量的指标制定业务投资回报分析。

使能“智慧应用”

“2010年开始,我在阳光保险集团主持建成了数据挖掘系统,这在保险行业是第一家。利用该系统,我们开展了许多保险大数据智慧应用的项目,获得了一些成果,并且培养出了国内保险行业的第一批数据挖掘师。”王洪涛是大数据最早的一批弄潮儿,他最看重的就是对大数据的“智慧使用”:“没有大数据的 „集约使用‟,大数据的„智慧使用‟没有数据基础。而现阶段保险行业大数据在„集约使用‟之后,如果没有„智慧使用‟来指导,其副作用很大。”

他举了一个利用与不利用数据结果相去甚远的例子:“淘宝现有一种运费保险,即淘宝买家退货时产生的退货运费原本由买家承担,如果买家购买了运费保险,退货运费由保险公司来承担。这种购买的结果是保险公司经营亏损很严重,直接导致它们不愿意再发展和扩大运费保险。”运费保险真的必然亏损吗?王洪涛的答案是No。他给出了避免陷入这种窘境的方法:“我为运费险做过一套大数据智慧应用的解决方案。因为退货发生的概率,跟买家的习惯、卖家的习惯、商品的品种、商品的价值、淘宝的促销活动等都有关系,所以,使用以上种种数据,应用数据挖掘的方法,建立退货发生的概率模型,植入系统就可以在每一笔交易发生的时候,给出不同的保险费率,使保险费的收取,与退货发生的概率相匹配,这样运费险就不会亏损了。在此基础上,保险公司才有可能通过运费险扩大客户覆盖面。”

由严重亏损到成本控制得当并获取客户,靠的就是通过分析,挖掘大数据所提供的价值,吸引客户。这与IBM的大数据价值体系所倡导的“英雄所见略同”。

胡世忠介绍道:“讲到大数据,IBM重点探讨客户智慧的分析能力。IBM考虑的是怎么参与,包括怎么充分利用IBM的产品咨询、服务软件,包括服务器、硬件,提供围绕„智慧的分析洞察‟的端到端解决方案。”分析能力包含技能和工具两部分,IBM大数据战略从这两个维度提升企业的大数据水平。

IBM软件集团大中华区中间件集团总经理李红焰表示:“以往的IT更多是对现有企业中的数据进行搜集、整理、管理,形成了老的核心应用系统。尽管这些核心应用系统依然主宰企业IT,但如何让过去的资产发挥新的作用,由原来纯粹的结构化数据应用转变到动态地、多样化地来利用各种数据,并由原来只是利用内部数据到综合利用内外部数据?这意味着IT要进入新纪元,获得更多数据资源并挖掘其中的价值。所幸的是技术使这些成为可能。”

何谓以“智慧的分析洞察”为核心端到端的解决方案?李红焰解读了IBM大数据战略:从两个层次提供全面整合的结构:一是大数据的平台。二是大数据的分析。“这两者是相辅相成、缺一不可的,它们不有机地结合到一起,我们所感受到的就只是大数据领域里一个个孤立的点,而不会是形成体系的面。”

对应总体构架图,李红焰指出在企业大数据的每一个层次,包括基础设施、分析、内控、决策,IBM都提供相应的解决方案,而且这些解决方案在技术上是无缝结合的,融合了IBM咨询、服务、软硬件的综合实力。

周涛同样指出,大数据不是一个片断,也不是简单地具备一项技能,而是综合的,从理念层面延伸到技术、科学和管理。没有结合深入分析的大数据成为解决问题的万能钥匙,这种可能性基本不存在。

大数据的市场正处于爆发前夜。按照IBM的理解,大数据市场大致分为四个阶段:一是教育,需要让大数据的重要性和必须性得到充分认识;二是探索,主要探索大数据到底怎么应用;三是接触,从实际的角度去思考怎么应用大数据;四是执行,真正把大数据结合到业务流程里去。段仰圣有信心,IBM提供的大数据产品服务会加速大数据市场走向执行阶段。

在中国,“大数据给了一个大机会,使得中国能够更快地追赶英美等发达国家。之前我们一直讲中国创新主要是小规模的局部的创新,但在大数据领域,中国有很好的机会实现深度创新,实现大规模的交叉呼应的数据应用。”周涛希望中国企业抓住机会。

北京先进数通信息技术股份公司专注于金融信息化领域,公司总裁林鸿很“庆幸自己选择了大数据领域”。“银行业务部门对大数据的需求越来越多,单凭我们自己无法全方位满足需求,因此,在IBM综合实力的支撑下,先进数通为推动大数据真正在银行广泛使用做出了贡献”。他表示,作为合作伙伴,先进数通将和IBM步伐一致,基于对银行业大数据的理解,在建设数据使用环境、实现金融经营管理分析等方面提供优秀的解决方案。

为实施提供样板

大数据智慧能起到多大作用?只有真实的应用才能给出答案,也才具有强大的说服力。“在实际案例中,我选取„提升度‟指标来评价,比较好地体现了保险大数据智慧应用的价值。(提升度=采用大数据智慧的结果/不采用大数据智慧的结果)。”王洪涛认为,应用场景能让企业获得对大数据价值的直观感受,以保险行业为例,典型的大数据智慧应用场景为客户细分、代理人甄选、营销响应、交叉销售和二次销售、欺诈监测、流失预警、客户挽留等。

在与客户沟通的过程中,段仰圣也深刻地感受到了这种需求:“几乎每个客户都在问,我怎么运用大数据?应用场景的建立需要企业从企业战略本身出发,仔细考量大数据可以对企业运营产生什么效果。”

IBM相信榜样的力量,致力于为行业提供广泛的实践参考,帮助客户的IT部门以及业务部门深入了解大数据技术在不同行业的应用场景,进而探究大数据将为其企业带来的商业价值。此次,IBM重点分享了五大业务需求和对应的大数据落地实践,以供企业在具体实施时有章可循,在有相似应用场景时可以预估收益。

第一个场景为利用大数据探索实现信息库的充实。客户服务、保险、汽车、维修、医药等行业需要储备规模巨大的知识库,而庞大繁杂的解答手册和知识系统会造成重复查询,导致系统延迟和成本上升。IBM InfoSphere Data Explore使某全球航空制造商中的技师、支持人员和工程师能够即时通过单一访问点查看位于不同应用程序中的信息。部署第一年,该公司全天候支持的呼叫时间从过去的 50 分钟缩短为 15 分钟,每年节约 3600 万美元。

第二个场景为利用增强360度全方位客户视图实现客户交互改进。电信、零售、旅游、金融服务和汽车等行业将“快速抓取客户信息从而了解客户需求”列为首要任务。通过部署IBM InfoSphere Data Explorer,某跨国快消产品制造商的员工能够更有效地搜索到最为相关的信息,加快决策过程,减少重复劳动。

第三个场景为利用运营分析实现运营优化。制造、能源、公共事业、电信、旅行和运输等行业需要时刻关注突发事件、通过监控提升运营效率并预测潜在风险。巴基斯坦移动运营商Ufone部署了IBM大数据解决方案,通过实时识别用户行为,开展应对特定目标的营销活动,并使用预测分析来设计更好的营销活动和电话推广计划,有效降低了客户流失率。

第四个场景为利用数据仓库扩充实现IT效率和规模效益提升。企业需要增强现有数据仓库基础架构,实现大数据传输、低时延、和查询的需求,确保有效利用预测分析和商业智能实现性能和扩展。某汽车制造商利用IBM InfoSphereBigInsights增强原有数据仓库,实现快速部署并且更易于管理。

第五个场景为利用安全性和智能扩展实现犯罪防范。政府、保险等行业亟待利用大数据技术补充和加强传统的安全解决方案。秘密情报和监视传感器系统供应商TerraEchos通过部署IBM InfoSphere Streams,能够实时分析流式传输的声学数据并对其进行分类,并将实时捕获和分析275MB 声学数据所需的时间从数小时减少到十四分之一秒,同时大幅提升监控精确度。(记者金小鹿) 大数据应用于实际生产生活中,他的确能发挥自身的作用。。

第8篇:大数据对教育的应用

魏慧娟

大数据时代的来临对各行业都产生了深刻的影响,教育领域也不例外。学员的学习行为、思维方式,教师的授课理念、教学方法,学校的教育管理、教学评价无一例外都受到大数据的影响。教育领域必定会在大数据技术的推动下发生深层次的、多元化的创新与变革。

一、 大数据对教育领域的影响

1.教育理念与教学评价被迫革新。教育作为社会子系统的重要组成部分深受社会形态影响,现代的教育体系几乎是伴随着工业社会发展同步发展的。市场的扩大与提高,对劳动者劳动技术与经验的要求远远高于个体层面的文化修养,合格劳动力的衡量标志是能不能解决问题。这一实用主义特点对教育领域的影响是巨大的。传统的教学评价不论对学生还是对教员,总是依赖能力测试,通过考试分数的数理统计分析来评价学生与教师。在大数据时代,则是跟踪记录教师与学生教与学的长期行为并对之进行分析,采用过程性、归纳式、多元化的方式进行评价。

2. 个性化教学得以真正实现。运用大数据技术,在线平台能实时记录每一位学生的学习行为,教员获得全面丰富的数据内容后利用数据挖掘技术加以整合分析,不但能掌握学生个体的学习状态、知识接受水平,还能了解哪种教学方法对该学生最有效,以及该学生具体的薄弱点。教师根据这些数据就可以针对学生个体因材施教,制定个性化的教学方案、教学活动和学习计划,教学工作真正从共性化的群体教学转向了个性化的个体教学。个性化教学的实现能大幅提高教师的教学质量和学生的学习效果。

二、 大数据在教育领域的应用模式

大数据在教育领域的应用模式本质上就是数据的生命周期,即数据获取、数据存储、查找与分析、可视化、决策。

1. 教育者角度的应用,即教学领域知识模型构建。大数据教育系统对现有的教学内容建模后通过数据挖掘、学习分析和在线决策各子系统,所必须掌握的教学知识点、教学单元与教学课程之间的逻辑关系,最终重新构建领域知识结构,对现有的教学内容与方法进行改革,达到提高学生学习效果和教师教学效率的目的。

2. 学习者角度的应用。(1)个性化课程分析。大数据教育系统首先获取某个学生以前的学习表现,从已毕业学生的成绩库中匹配与之相似的学员,分析已获得的成绩和待选课程表现之间的相关性;然后通过学习满意度调查问卷分析评估学生个人情况;再结合专业课程的重要性,为学生列举课程清单。并向其推荐有可能取得优秀成绩的课程。(2)助学需求预测。大数据教育系统可以通过收集校园卡的生活与消费记录,以一日三餐为主要权重指标对生活必要开销进行计算评估,当发现某学员的消费明显低于预警线时,会主动通知学校相关管理方,由相关部门与学生进一步沟通,并进行相应调查,判断该学员是否需要助学帮助。

3. 其他应用。当大数据教育系统与其他领域的大数据系统互联互通后能发挥的作用不可估量。比如,与社保、医疗、金融、公安、政府等大数据实现安全共享后,教育系统内所有学校与学区内的情况可以从各个角度可视化地展现在出来。大数据系统既能帮助学员从选择学习合作小组到职业规划的制定等各个方面进行辅助指导,也能帮助国家层面的教育管理者制定宏观教育政策、调整教育改革方向、分配教育资源。

总而言之,大数据在教育领域的应用惠及该系统内学生、教师、教育管理者、教育研究者等所有人员,它是未来教育发展的必然趋势。但作为新生事物,大数据具体的应用还不成熟,需要在实践探索中不断改进完善。

第9篇:大数据在智慧城市的10大应用

大数据是智慧城市各个领域都能够实现“智慧化”的关键性支撑技术,智慧城市的建设离不开大数据。建设智慧城市,是城市发展的新范式和新战略。大数据将遍布智慧城市的方方面面,从政府决策与服务,到人们衣食住行的生活方式,再到城市的产业布局和规划,直到城市的运营和管理方式,都将在大数据支撑下走向“智慧化”,大数据成为智慧城市的智慧引擎。

欧盟利用大数据实现智慧城市的做法给我们很多启示。

欧盟对智慧城市的评价分为六个方面:智慧经济、智慧治理、智慧生活、智慧人民、智慧环境、智慧移动性。也就是说智慧城市要促进经济的发展,要改进和帮助更多大众的参与,让老百姓享受智慧的生活,人民得到更好的服务,居住环境更加优化。智慧城市的应用很广泛,我们都知道有物流、交通、电网、工业、农业、建筑、环境、医疗等方面。现在我要讲的是,智慧城市本身会催生大数据,我们可以看到一个企业会涉及到很多环境,管理环境,开放环境,知识环境、服务环境,过去这些环境的关联度不够,那么现在通过数据库使得这些环境能够联合起来,使得企业的效率提高40%-60%,根据赛门铁克的一份最新调研报告,今天全世界所有企业的信息存储总量已达2.2ZB,企业平均10PB,大企业更大点,小企业小点。一般企业都会建立数据库,必须进行数据的集资和数据的挖掘,企业的数据在企业内部已经占有很重要的位置。

(1)智慧经济

首先大数据在商业上怎么能很好运用,它会分析用户的购物行为,什么商品搭配在一起会卖得更好,还有很多公司通过分析找到最佳客户,淘宝数据魔方则是淘宝平台上的大数据应用方案。那么商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等,并可以据此作出经营决策。

美国有个投资公司分析了全球3.4亿微博账户留言,判断民众情绪,人们高兴的时候会买股票,而焦虑的时候会抛售股票,依此决定公司股票的买入或卖出,该公司今年第一季度获得7%的收益率。

阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业,从而无需担保来放贷,目前已放贷300多亿元,坏帐率仅0.3%,大大低于商业银行。

企业通过信息收集很好的掌握企业的运营状况,分析居民与财务有关的记录包括贷款申请、租赁、房地产、购买零售商品、纳税申报、水电费缴付、有线电视缴费、电话缴费、报纸与杂志订阅、机动车档案等,能够得出消费者的个人信用评分,从而推断客户支付意向与支付能力,发现潜在的欺诈。

IBM日本公司建立了一个经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算出采购经理人指数PMI预测值。

印第安纳大学学者利用Google提供的心情分析工具,对270万用户在2008年3~12月所张贴的970万条留言,挖掘出用户happiness、kindness、 alertness、sureness、 vitality 和calmness等六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。

利用大数据分析可实现对合理库存量的管理,华尔街对冲基金依据购物网站顾客评论分析企业产品销售状况,华尔街银行根据求职网站岗位数量推断就业率。

(2)智慧治理

美国纽约的警察分析交通拥堵与犯罪发生地点的关系,有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律,改进了道路设计。

利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。

电信运营商拥有大量的手机数据,通过对手机数据的挖掘,不针对个人而是着眼于群体行为,可从中分析:实时动态的流动人口的来源及分布情况;出行和实时交通客流信息及拥塞情况。利用手机用户身份和位置的检测可了解突发性事件的聚集情况。

MIT的Reality Mining项目,通过对10万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规则性和重复性,进行流行病预警和犯罪预测。

(3)环境监测

对城市的河流进行采样,通过卫星发布,收集产量的数据,这个数据非常大,通过这个数据分析能够判别城市中有没有污染。

(4)智慧医疗

无论是药品的研发还是商业模式的开发运用数据分析都能够得到很好的分析,我们医院里有大量的病例,这里有大量的数据,传统的普通病例很难挖掘数据,现在变成电子化有利于更高数据挖掘,数据的挖掘有利于发现医疗知识,由于医疗资源的分配不均,因此远程医疗十分必要,另外,居家监护很重要,谷歌公司与美国疾病控制和预防中心等机构合作,依据网民搜索内容分析全球范围内流感等病疫传播状况,谷歌的判断与疾控中心的判断是一致的。

社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台,医院借此可获得足够多的临床效果统计。个性化的医疗同样很重要,我们发现,同样的治疗对一些病人无效,75%癌症病人,70%的老年痴呆者、50%的关节炎病人、43%的糖尿病患者、40%的哮喘病患者,38%的抑郁症病人。因为人体对药品代谢方式的差异取决于个体特定的基因、酶和蛋白质组合,因此基因信息对选择最优治疗非常关键。对人体个性体质的挖掘会做到真正意义上的对症下药,一个人的基因信息大概1GB。

(5)智能搜索

除此之外,我们还通过网络进行学习,早期的网络学习是通过网站专业人员编制的内容,如今我们希望能够实现更加智能的搜索。随着移动互联网的出现,搜索引擎会变成基于语音的智能搜索;基于位置的搜索;基于个性化搜索。

(6)舆情监测

大众传播发展的很快,这里包含着大量的数据,例如微博传播具有裂变性、主动性、即时性、便捷性、交互性、草根性,跟进性和临场感,每一个微博用户既是"服务器",也是"受众"。中国的微博比社交网络更热,因为140个字符的微博在英文和中为分别约等于25个和85个英语单词,即中文微博的信息量是Twitter的3~4倍。最近两个月在YouTube上上载的视频超过了ABC、 NBC和 CBS 电视台自1948年以来24/7/365 连续播出的内容,而"云平台+多屏融合"模式已成为智能家居和智能车载等的发展方向。

(7)精准营销

美国信用营销分析专家张川告诉《环球时报》记者,在大数据分析的应用上,美国政府和大公司领先新兴国家至少20年。15年前,美国的信用卡公司就可以进行数据挖掘实现精准营销:在合适的时间,通过合适渠道,把合适的营销信息投送给每个顾客。

(8)犯罪预警

随着智能电话和电脑网络的普及,美国政府和大公司把自己的触角伸到个人生活的每个方面。美国个人的一切在线行为数据都被收集储存,再加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据,有关公司和政府机构可以运用数据挖掘的办法,监控和预测个人的行为,并做出相关决策。

(9)全球安全监测

如美国已具备对全球网络空间的监视控制能力。斯诺登披露的“棱镜”计划,缘于美国政府的“星风”监视计划。2004年,布什政府通过司法程序,将“星风”监视计划分拆成由国家安全局执行的4个监视计划,除“棱镜”外,还包括“主干道”、“码头”和“核子”。其中,“棱镜”用于监视互联网个人信息。“核子”则主要负责截获电话通话者对话内容及关键词。“主干道”和“码头”分别对通信和互联网上数以亿兆计的“元数据”进行存储和分析。“元数据”主要指通话或通信的时间、地点、使用设备、参与者等,不包括电话或邮件等的内容。

(10)市场价格监测

肯尼思·丘基尔是《经济学家》杂志数据编辑、《大数据:一次将改变我们生活、工作和思考方式的革命》一书的合著者之一,他日前在美国《外交政策》杂志掀起一场有关“大数据时代令隐私保护问题更加突出”的讨论。丘基尔举例说,警方如果要侦破一个城市的加油站是否存在合谋操控价格的“卡特尔行为”,以往要靠线人举报。但今天,可以做大数据分析——分析该市油价变化和加油站分布情况。通过分析,可以发现正常的价格变化规律,如果价格变化持续异常,就可以怀疑存在价格垄断的行为。丘基尔认为,大数据的价值在于存储后的再使用。不过,关键的一个问题是,收集、保存一切信息,与隐私保护政策是有冲突的,“保存一切信息是必要的,但是在这么做之前,我们有必要问自己一个问题,即现行的隐私保护政策是不是妨碍了我们正在迈入的大数据世界”。丘基尔提到,社会有必要就此进行大辩论,以便为大数据时代的隐私保护划定新的边界。

结束语

美国IT咨询公司Avanade商业情报部副总裁斯蒂夫·帕尔默告诉《环球时报》记者,大数据是指非常“膨胀”的数据集,用典型的数据分析软件和工具难以对其进行捕捉、储存、管理、分享、分析和可视化。大数据有3个特征:一是数据的数量大;二是产生或被吸收的速度和频率快;三是数据的多样性。为从大数据中“挖出金矿”,一家企业或机构必须能够应对大数据上述3个特征。帕尔默说,大数据给人类带来的真正机遇是把许多信息碎片拼起来,为我们的决策服务。

附:全球顶尖大数据公司一览

企业名称:IBM

网址:http:///

2011年5月,IBM正式推出InfoSphere大数据分析平台。InfoSphere大数据分析平台包括 BigInsights和Streams,二者互补,Biglnsights基于Hadoop,对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力。Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。

企业名称:亚马逊

网址:http:///

对于云计算和大数据,亚马逊绝对具有先见之明,早在2009年就推出了亚马逊弹性MapReduce(Amazon Elastic MapReduce),亚马逊对Hadoop的需求和应用可谓了若指掌,无论是中小型企业还是大型组织。弹性MapReduce是一项能够迅速扩展的Web服务,运行在亚马逊弹性计算云(Amazon EC2)和亚马逊简单存储服务(Amazon S3)上。这可是货真价实的云:面对数据密集型任务,比如互联网索引、数据挖掘、日志文件分析、机器学习、金融分析、科学模拟和生物信息学研究,用户需要多大容量,立即就能配置到多大容量。

除了数据处理外,用户还可以使用Karmasphere Analyst的基于服务的版本,Karmasphere Analyst是一种可视化工作区,用于在亚马逊弹性MapReduce上分析数据。用户还可以提取结果文件,以便在数据库或者微软Excel或Tableau等工具中使用。

企业名称:甲骨文

网址:http:///

甲骨文在近期发布的Oracle大数据机(Oracle Big Data Appliance)为许多企业提供了一种处理海量非结构化数据的方法。在2011年10月初召开的Oracle OpenWorld 2011大会上甲骨文正式推出了Oracle大数据机。对于那些正在寻求以更高效的方法来采集、组织和分析海量非结构化数据的企业而言,该产品具有很大的吸引力。

与甲骨文近期推出的其他一体化产品一样,Oracle大数据机集成了硬件、存储和软件,包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。该产品被设计为能够与甲骨文Database 11g、Oracle Exadata数据库云服务器,以及针对商业智能应用的新的Oracle Exalytics商业智能云服务器一起协同工作。

企业名称:谷歌

网址:http:///

谷歌一直是科技行业的领军者,近年来几乎在任何一项互联网科技项目你都能看到谷歌的身影,大数据时代谷歌自然不会错过。何况如果对其拥有的海量数据进行深入挖掘,这对于提升谷歌搜索乃至所有谷歌服务的价值无可估量。

BigQuery是Google推出的一项Web服务,用来在云端处理大数据。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。 BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,从而不必投资建立自己的数据中心。Google曾表示BigQuery引擎可 以快速扫描高达70TB未经压缩处理的数据,并且可马上得到分析结果。大数据在云端模型具备很多优势,BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和数据备份服务也相当完善。

去年底该服务只向一小部分开发者开放,现在任何人都可以注册这项服务。免费帐号可以让你每月访问高达100GB的数据,你也可以付费使用额外查询和存储空间。

企业名称:微软

网址:http:///

微软研究部门从2006年起就一直致力于某种非常类似于Hadoop的项目,被称为“Dryad”。今年年初,该计划通过与SQL Server和Windows Azure云的集成实现了Dryad的产品化。虽然现在微软还没有更新,但看上去Dryad似乎将成为在SQL Server平台上影响大数据爱好者的有力竞争者。

微软进入这一市场可谓“姗姗来迟”,而且在一定程度上说,数据仓库分析和内存分析计算市场落下了后腿。2011年初微软发布的SQL Server R2 Parallel Data Warehouse(PDW,并行数据仓库),PDW使用了大规模并行处理来支持高扩展性,它可以帮助客户扩展部署数百TB级别数据的分析解决方案。微软目前已经开始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社区技术预览版本的连接器。 该连接器是双向的,你可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据。

微软在去年推出了基于Azure云平台的测试版Hadoop服务,今年它承诺会推出与Windows兼容的基于Hadoop的大数据解决方案(Big Data Solution),这是微软SQL Server 2012版本(首发日期还不知道)的一部分,现在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。

企业名称:EMC

网址:http:///

EMC于1979年成立于美国麻州Hopkinton市,1989年开始进入企业数据储存市场。 EMC公司是全球信息存储及管理产品、服务和解决方案方面的领先公司。EMC是每一种主要计算平台的信息存储标准,而且,世界上最重要信息中的 2/3 以上都是通过EMC的解决方案管理的。

面对大数据时代,EMC公司推出用于支持大数据分析的下一代平台――EMC Greenplum统一分析平台(UAP)。Greenplum UAP是一个唯一的统一数据分析平台,可扩展至其他工具,其独特之处在于,它将对大数据的认知和分享贯穿整个分析过程,实现比以往更高的商业价值。

企业名称:Teradata

网址:http:///

Teradata公司(Teradata Corporation,纽约证券交易所交易代码TDC)是全球领先的数据仓库,大数据分析和整合营销管理解决方案供应商,专注于数据库软件,数据仓库专用平台及企业分析方案。 不久前宣布推出一款集硬件、软件和服务于一体的全面产品组合——Teradata分析生态系统 (Teradata Analytical Ecosystem),使不同的 Teradata 系统实现无缝协作,为企业客户提供分析和更深入的洞察力,帮助其预测商业机会和加速实现商业价值。Teradata Unity 将确保整个Teradata Analytical Ecosystem的同步和统一。为了增强在大数据分析领域的优势, Teradata还收购Aster Data公司,以增强其非传统数据分析的能力,突破了SQL分析的限制,协助企业从全部数据中获取更多价值。

企业名称:NetApp

网址:http://

Network Appliance,Inc.(NetApp,美国网域存储技术有限公司)是IT存储业界的佼佼者,自1992年创业以来,不断以创新的理念和领先的技术引领存储行业的发展。Network Appliance, Inc. (NetApp) 是向目前的数据密集型企业提供统一存储解决方案的居世界最前列的公司。

NetApp StorageGRID 是一个久经验证的对象存储软件解决方案,设计用于管理 PB 级、全球分布的存储库,这些存储库包含企业和服务提供商的图像、视频和记录。通过消除数据块和文件中数据容器的典型约束,NetApp StorageGRID 提供了强大的可扩展性。它支持单个全局命名空间内的数十亿个文件或对象和 PB 级容量。

NetApp StorageGRID 实现了智能的数据管理和安全的内容保留。它通过一个具有内置安全性的全局策略引擎来优化数据存放、元数据管理和效率,该引擎管理数据的存储、放置、保护和检索的方式。此外,使用数字指纹和加密等技术防止内容受到篡改。

NetApp StorageGRID 有助于随时随地提供数据,以便于不间断地运营。该解决方案被设计为允许灵活进行部署配置,以满足全球的多站点组织的不同需要。

企业名称:Sybase

网址:

Sybase公司成立于1984年11月,总部设在美国加州的Emeryville(现为美国加州的Dublin市)。作为全球最大的独立软件厂商之一,Sybase公司致力于帮助企业等各种机构进行应用、内容及数据的管理和发布。

Sybase IQ是Sybase公司推出的特别为数据仓库设计的关系型数据库。 相比于传统的“行式存储”的关系型数据库, Sybase IQ 使用了独特的列式存储方式,在进行分析查询时,仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。“随着 Sybase IQ 不断地在分析应用 POC 测试中拔得头筹,有时甚至超过其他对手 100 倍之多”, Gartner 评价道,“ Sybase IQ 逐渐成为从数据集市到企业数据仓库架构最令人渴望的 DBMS (数据库管理系统)。”

自 2009 年推出以来, Sybase 陆续发布了 Sybase IQ 15.1 、 15.2 、 15.3 以至最新的 Sybase IQ 15.4 版本,每个版本都着力于增加新的核心能力以促进更深入的高级分析。Sybase IQ 15.4是面向大数据的高级分析平台,将大数据转变成可指挥每个人都行动的情报信息,从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。

因此,有人说Sybase IQ15.4正在彻底改变“大数据分析”。

企业名称:惠普

网址:

大数据时代来临,老牌巨头惠普也不甘落后。不久前惠普企业服务事业部宣布推出全新服务,帮助客户更快部署惠普子公司Vertica的Vertica Analytics Platform ,从而迅速洞悉关键的业务信息,辅助决策过程。

Vertica Analytics Platform 让用户能够大规模实时分析物理、虚拟和云环境中的结构化、半结构化和非结构化数据,从而深入洞悉“大数据”。

Advanced Information Services for Vertica 帮助客户最大化实现 Vertica 分析平台性能,并构建企业分析专用环境。惠普提供从评估到实施的一系列服务,与客户共同定义多种交付方式组合,并找出匹配其现有基础设施的最佳解决方案。

Advanced Information Services for Vertica已在全球上市,将为实现“瞬捷”企业构建灵活的智能环境。

企业名称:沃尔玛

网址:http:///

在这里看到沃尔玛的身影,可能很多人会有疑问,全球最大的传统零售业巨头沃尔玛怎么就跟大数据扯上关系了?看了下面的介绍你就会明白了。

沃尔玛是最早通过利用大数据而受益的企业之一,曾经拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析,沃尔玛成为最了解顾客购物习惯的零售商,并创造了“啤酒与尿布”的经典商业案例。早在2007年,沃尔玛就已建立了一个超大的数据中心,其存储能力高达4Pb以上。《经济学人》在2010年的一篇报道中指出,沃尔玛的数据量已经是美国国会图书馆的167倍。

沃尔玛实验室计划将沃尔玛的10个不同的网站整合成一个,同时将一个10个节点的Hadoop集群扩展到250个节点的Hadoop集群。目前实验室正在设计几个能将当前像Oracle、Neteeza这样的开放资源的数据库进行迁移、整合的工具。

沃尔玛曾进行了一些列的收购,包括Kosmix(沃尔玛实验室前身)、Small Society、Set Direction、OneRiot、Social Calenda、Grabble等多家中小型创业公司,这些创业公司要么精于数据挖掘和各种算法,要么在移动社交领域有其专长,从此我们就可以看出沃尔玛进军移动互联网和挖掘大数据的决心。相信在沃尔玛的带领下,传统行业也会慢慢意识到大数据的重要性,加速步入大数据时代。

企业名称:Clustrix

网址:

Clustrix创立于2005年,是Y Combinator 2006年冬季班的成员。Clustrix可以为SQL数据库提供专利数据应用方法,帮助人们处理大量的数据,使SQL数据库无限扩容成为可能。最近Clustrix从Sequoia Capital、USVP和 ATA Ventures三家风险投资公司处再次获得价值675万美元的风险投资,至今已获融资1200万美元。Clustrix总部设在美国旧金山,研发中心设在西雅图。为打开欧洲市场,公司计划将总部迁至荷兰的阿姆斯特丹,并将于年底前在印度设立办公室。

企业名称:Cloudera

网址:http:///

Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司,总部位于加州帕洛阿尔托,2009年3月发布了第一款商业产品,当时获得由AccelPartners领投的500万美元投资。该公司于2010年6月正式推出Cloudera企业产品。 2011年11月募集到4000万美元风险投资资金,此轮融资由风险投资机构Ignition Partners的合伙人弗兰克·阿泰勒(Frank Artale)领投。Cloudera之前的投资者顶尖风投机构Accel Partners、Greylock Partners、Meritech Capital Partners 和In-Q-Tel也参与本轮投资。

以上企业以外,包括MapR、HStreaming、Hadapt、DataStax、Datameer这些与Hadoop以及大数据相关的新公司都已经获得投资,新一轮热潮正在兴起。

上一篇:政务信息工作调研报告下一篇:矿井通风安全试题库