大数据论文

大数据论文（共8篇）

大数据论文 篇1

今天给大家讲讲基于大数据究竟可以告诉我们什么？基于现实中的几个案例我们来用事实进行分析：

意料之外：胸部最大的是新疆妹子

某宝【大数据】平台显示，购买最多的文胸尺码为B罩杯。B罩杯占比达41.45%，其中又以75B的销量最好。其次是A罩杯，购买占比达25.26%，C罩杯只有8.96%。在文胸颜色中，黑色最为畅销。以省市排名，胸部最大的是新疆妹子。啤酒与尿布

全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒＋尿布”的【大数据】分析成果早已成了大数据技术应用的经典案例，被人津津乐道。数据新闻让英国撤军

2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定。

Google成功预测冬季流感

2009年，Google通过分析5000万条美国人最频繁检索的词汇，将之和美国疾病中心在2003年到2008年间季节性流感传播时期的【大数据】进行比较，并建立一个特定的数学模型。最终google成功预测了2009冬季流感的传播甚至可以具体到特定的地区和州。大数据与乔布斯癌症治疗

乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命

磨砺营IT教育版权所有

http://

大数据可以鉴别产品真假

意大利帕马森雷佳诺干酪同业公会是一间防止造假或无证生产帕马森雷佳诺干酪的质量监控联营公会。过去，判断干酪的真伪是一个极为耗时的复杂过程，需要手动抽查 600多家乳品店。而现在，大数据分析解决方案提供的条码标签和传感器功能，让其能够有效监控日常生产与产品，从而帮助他们准确判断和追溯每批产品是否纯正。也帮助了客户解决风险和欺诈的挑战。

大数据可以降低成本，增加营业额

迪凡斯动物园和水族馆只能凭借以往的经验猜测每一天的游客数量，并决定聘用多少员工以及准备多少物资。现在通过大数据分析解决方案，他们可以将移动端验票及天气预报等多个不同来源的数据关联在一起进行综合分析，实现了对游客数量的精准预测。同时，从这些数据中获取洞察，帮助他们能够更好地预测游客需求，并且做出更加有效的业务决策，让游客在每一次游览中都能获得满意的服务。

过去对于企业来说，消费者仅仅是个模糊的概念。通过大数据，让企业能清晰的触摸到用户们的“轮廓”，让企业更准确地捕捉用户的需求和消费心理。同时，通过对数据资源的收集和挖掘利用，企业获得了取之不尽、用之不竭的信息资源，一切变的可量化。大数据颠覆了传统企业的生产模式，引发了管理变革，成为了企业再现代化新的驱动力。

今天的大数据时代，让商业的生态环境在不经意间发生了巨大的变化，无处不在的智能终端，随时在线的数据传输，互动频繁的社交网络让消费者的面孔从模糊变得清晰，对于企业来说，企业第一次有机会进行大规模的精准化的消费者行为研究;作为保持着持续变革欲望的企业，主动地拥抱这种变化，从战略到战术层面开始自我的蜕变和进化将会让企业更加适应这个新的时代。

当别人还在说故事用想象来建构未来的时候，我们已经开始用数据绘制新的商业蓝图。

大数据论文 篇2

现代产业与信息技术的发展使数据资源成为越来越重要的生产要素。爆炸式增长的数据量对多源、异构、高维、分布、非确定性的数据及流数据的采集、存储、处理及知识提取提出了挑战。大数据思维就是此环境中的产物,它并不局限于传统的基于因果关系的逻辑推理研究,甚至更多地通过统计型数据的搜索、分类、比较、聚类、关联等的分析和归纳,关注数据集内隐藏的相关性(支持度、可信度、关注度)。图灵奖得主吉姆·格雷将这种数据密集型的研究范式从理论科学、计算科学、实验科学中分离出来,成为“第四范式”[1]。

2008年《Nature》推出Big Data专刊[2]后不久,文献[3]将大数据计算称为商务、科学和社会领域的革命性突破。2011 年,《Science》的Dealing with Data专刊阐述了大数据对科学研究的重要性[4]。同年,麦肯锡公司发布关于大数据的竞争力、创新力和生产力的调研报告[5],分析了大数据的影响、关键技术及应用领域,进一步燃起学术界和产业界对讨论大数据的热情。美国政府于2013年3月宣布投资2亿美元启动“大数据研究和发展计划”[6],将其上升为国家战略。大数据被认为是继物联网、云计算之后,IT行业又一次颠覆性的技术变革。

云计算是利用互联网实现随时、随地、按需、便捷地访问共享资源池(如计算设施、应用程序、存储设备等)的计算模式[7],关注计算能力,并与关注知识提取的大数据技术相得益彰。

电力是社会发展的重要基础。随着全球能源形势的日益严峻,各国大力开展了智能电网的研究和实践[8,9]。其目标是建设一个覆盖整个电力生产过程,包括发电、输电、变电、配电、用电及调度等环节的实时系统,以支撑电网的安全、自愈、绿色、坚强及可靠运行[10]。而其基础则是电网广域全景实时数据的采集、传输、存储、分析及决策支持。

而愿景中的电网则是网架坚强、广泛互联、高度智能、开放互动的智能电网。文献[11]分析了智能电网大数据的产生与特点,指出已有的数据处理技术在智能电网的数据存储、处理和展示等方面所面临的挑战,已成为智能化发展的制约因素。 文献[12]探索了基于云计算的智能电网信息平台的可靠存储和高效管理。文献[13]研究了用户侧电力消费的大数据,从中挖掘其用电行为,以改进需求响应系统。

以电为核心的大能源体系正在成为全球能源的发展战略[14]:一次能源的清洁替代与终端能源的电能替代都必须依靠电网的输送才能大规模地实现。文献[15]指出,电力可靠性问题的顶层设计应该以大能源观为指导,不能局限于电力系统自身,还要分析其与一次能源、外界环境、管理政策、用户需求与方式变化间的交互,研究广义阻塞对电力系统安全性与充裕度的影响。

电力、能源及广义环境的多源、多态及异构数据的数量呈指数级增长,需要有相应的广域采集、高效存储和快速处理技术予以支撑。而从这些数据中挖掘知识及价值应用则使电力大数据的话题融入大数据的研究热潮。本文及其续文是笔者关于如何将电力大数据的思维应用到电力的广义可靠性、大能源安全及环境安全方面的思考。

1 大数据概念的演绎

1.1 定义

对“大数据”还没有统一的定义,通常指量大、多源、异构、复杂、增长迅速,无法用常规的方法处理的数据集合[16]。许多数据往往只在统计学观点上具有某种相关性,而不一定像传统应用的数据那样具有严谨的因果关系。对这样的统计关系型数据,只有当反映一个真实问题的数据量达到能在一定程度的统计意义上描述其真实面貌时,才能有效地提取知识,支持决策。而对于常规的因果关系型数据来说,数量的大小往往仅影响到计算资源,而与提取知识的方法关系不大。

因此,大数据与小数据之间并无绝对的界限,而是相对于目标问题而言的。大规模的数据量只是大数据概念的特征之一,也不应该用海量的规模作为大数据的必要条件。

大数据技术涵盖了从信息产生、采集、存储、转换、集成、挖掘、分析、计算、展示、应用及维护等数据全生命周期管理过程[17],需要具备从不同类型的多源异构数据中,快速提炼出有价值信息的能力。

1.2 基本特征

数据是以编码形式对自然现象、社会现象、试验仿真结果及经验的记录,包括数字、文字、图像、声音等形式。与传统数据相比,大数据具有四大显著特征4V,即量(Volume)、类(Variety)、速(Velocity)、值(Value)[18]。“量”是指数据容量足够大;“类”是指数据种类呈现多源多态特性;“速”是指实时性要求高;“值”是指数据价值密度相对较低。在数月的监控视频中,可能仅1~2s的画面有用,但通过关联数据的挖掘、分析和提取,却可能获得很高的信息价值。

一般认为,数据规模或复杂程度超出了常用技术按照合理的成本和时限来处理的能力,就可称为大数据。笔者认为如果统计型数据量对于具体目标问题来说,已经具有统计意义,就可以用大数据思维来处理。若为大数据设立数百TB的阈值,必将大数据思维束之高阁,扼杀了其广泛应用的生命力。

除了从因果、统计及博弈等数据关系的视角来对数据类型分类外,还可以按数据结构的视角将其分为三种类型:①结构化数据,即可以用二维表结构来逻辑表达的行数据,关系型数据库是其有效处理工具;②非结构化数据,是一类不能用有限规则完全表征与刻画的异构性数据,如图像、音频和视频等信息,它们之间不存在直接的因果关系,存在不相容性及认知的不一致性;③半结构化数据,介于上述两种结构之间的数据,可以用树、图等模型表达,如Web、办公文档及电子邮件等信息。据统计,随着社交网络、传感物联及移动计算等新技术、新渠道的不断涌现,企业中的半结构化或非结构化数据占比越来越大,有的已达80%。

1.3 思维方式

大数据技术的思维方式是:将采集到的经验与现象实现数据化与规律化,在继承传统的统计学、计算数学、人工智能、数据挖掘等方法的基础上,从单一维度转向多维度统筹融合,开发知识处理的新方法,从更深刻的视角,以更高的时效发掘多源异构数据,从而发现新知识和新规律,并实际应用的方法学。

若可以用简单的表达式直接描述某问题的结果与变量之间的关系,那么即使其数据量很大,也不一定属于大数据思维。当数据之间没有或还不能严格描述其因果关系,而数据集已相对地具备统计意义,就需要并可以采用大数据思维来处理。例如:对于一个市场调查的数据集,如果仅仅求取人群对某种商品的需求分布,那么思维方法并不会因为数据集是否海量,而改变常规的数据处理思维。但如果要从人群对该商品众多技术、经济、全程服务特性等各方面要求中提炼出有助于提高企业竞争能力的决策支持,那就需要有新的思维方法,包括信息挖掘与利用的思维、模式及方法,以帮助人类获得更深刻的洞察力。

关注统计关系的思维方法,同样可以应用于有限数据集上[19],只是其结论的可信度可能受到影响。

1.4 大数据技术的挑战

1.4.1 大数据的采集与集成

利用各种传感器及终端,采集反映物理世界、市场经济与人类行为等现象的静态/动态的异构数据,成为人、机、物三元世界的信息纽带[20]。其挑战主要体现在:①从结构化数据为主,向结构化、半结构化与非结构化的三者融合的变革;②数据来源的多样化,特别是移动终端的广泛应用,使大量数据需要同时带有时间与空间的标志;③有用信息被淹没在大量无关或弱相关的数据中,或需要处理低质量及局部缺损的数据。

1.4.2 大数据的存储

大量多态异构数据的高效、可靠、低成本存储模式是大数据的关键技术之一,对多源多态数据流之间的交互索引与转换效率影响很大。

数据压缩技术可以减少数据传输量及提高存储效率,但也增加了数据处理环节及计算负担[21]。分布式存储要权衡对存储空间及实时性的影响:对实时数据采用实时数据库或内存数据库;对核心业务数据采用传统的并行数据仓库系统;对大量的历史和非结构化数据采用分布式文件系统。

算法在处理复杂结构数据时相对低效,故希望事先为复杂结构的数据建立索引结构来帮助搜索,并合理地将非结构型数据结构化。

1.4.3 大数据的分析

需要关注大数据的形态描述、基本运行规律及其可控性。其中,最复杂的是人类社会行为信息,其决策行为必须与物理系统及信息系统相结合。

目标领域的信息若能与关联领域的信息相结合,则不但知识量得以增加,而且更有可能揭示综合性、交叉学科的未知知识,甚至从统计型数据中发现其(准)因果关系。知识的涌现性反映在模式、行为和智慧上。例如:将提高风机效率的研究与气象信息、电网信息联系,其效果将大大提升。大数据与云计算为之提供了数据资产的保管、搜索的技术,但也不是数据越多越好,而信息的提炼与知识的发现一般很难通过直观方式的分析和解读来获取。

数据驱动的分析方法包括:聚类、判别、回归、识别、隐变量、主因分析、时间序列。需要处理大规模的不定解问题,及必要时信息的补充问题,利用特征的相关性来发展统计学,有效地表达高维随机变量函数的联合概率分布。

用以发现知识的技术有:遗传算法、神经网络、数据挖掘、专家识别、回归分析、聚类分析、关联分析、数据融合、机器学习、自然语言处理、情感分析、空间分析、时间序列分析及其他计量学方法。一个例子是Google采用机器学习和神经网络来分析服务器群的数据,掌握大量变量之间的交互。神经网络在无显式编程下自适应学习,大大提高服务器群的效率,发现普通人注意不到的复杂互动关系。

随着大数据的应用从离线走向在线,甚至实时,所面临的系统复杂性、数据复杂性和计算复杂性挑战更为严峻。目前虽然出现了一些较为有效的方法,如流处理模式、批处理模式,及两者的融合[22],但仍未有一个相对普适的(准)实时的分析处理框架,在合理精确性的前提下实现快速的随机优化。

1.4.4 大数据的易用性

易用性应该贯穿在大数据的集成、存储、计算、分析,乃至展现等整个业务流程[23]。从技术层面看,可视化、人机交互及数据起源技术都可有效提升易用性,但仍存在元数据的高效管理的难点。元数据是关于数据的组织、数据域及其关系的信息,是描述信息资源的重要工具。

1.4.5 大数据的安全性

数据可靠性和通信网络安全性至关重要。必须研究各种广域量测数据和仿真数据的完备性、适时性和价值的评估技术,研究在广域信息不完全条件下的分析、控制技术。

“8·14”大停电前的几个月,北美电力可靠性委员会(NERC)警告说,随着电力业务的复杂化,越来越多的电力公司不遵循2002年发布的非强制性的安全导则,致使一些数据采集与监控(SCADA)网络被蠕虫破坏。大数据安全是一项包括技术层面、管理层面、法律层面的社会系统工程,其保障体系的框架由组织管理、技术保障、基础设施、产业支撑、人才培养、环境建设组成。应该研究数据源和传输的可靠性,研究信息系统故障或受到攻击时的行为,以及信息的阻塞、淹没、丢失和出错对大能源可靠性的影响。

移动互联时代中,人们在不同场合产生各种数据足迹;大数据技术将大量行为信息聚集在一起,就很可能暴露其隐私。由于尽可能地获取信息本来就是应用大数据技术的目的,故与隐私权的保护存在着矛盾。如何协调共享与隐私,需要制度与监管的保证。

现有的数据安全保护技术主要针对静态数据集[24],包括开放与防御的平衡,防止数据被窃取或篡改。但仍需要解决动态信息的安全性问题。

1.4.6 大数据的应用

大数据学科的兴起与人类需求密切相关,其中的信息挖掘及知识提炼环节必须与待求解问题紧密结合,而应用环节则是大数据技术发展的动力与归宿。因此,大数据研究应该遵循问题导向、需求牵引及数据共享的原则。必须结合具体的目标问题,将采集到的低价值的大数据加工成高价值的思想或知识,大数据技术才有生命力。若没有应用企业的深度参与,若不能按照商品的规律运行,大数据技术就难以真正取得收效。此外,若没有各管理部门对数据共享的落实,大数据技术也只能是纸上谈兵。

知识作为资源,需要像物质资源那样分配及流通。为此,需要对知识产品定价,并从数据使用的视角揭示信息流与科学活动的内在规律。

目前对大数据应用的关注,主要集中在商业与服务业这些以统计关系为主的领域[25],较少涉及具有较强因果关系的领域,如电力系统及能源市场等领域。笔者认为,是否能成功地将统计关系、博弈关系与因果关系取长补短,是大数据技术能否扩大应用领域的一个关键。

2 电力大数据

2.1 问题的提出

从能源系统看,它包括电网和非电的能源网两部分;电力系统应该在能源的清洁替代与电能替代中有效地承上(一次能源)启下(终端能源),兼顾左右(与其他二次能源协调)。

从信息系统看,它包括专用通信网与互联网(Internet)两部分。专用网用于对信息安全性或实时性要求高处,但由于非开放式的接入,故不适合与广泛用户的互动;互联网用于开放场合,但信息安全及实时性差。显然,两者对于信息系统来说都不可或缺。

能源革命需要的是能源系统的全部组分与信息系统的全部组分的深度融合[26],即大能源系统与大信息系统组成的信息能源系统,而不是局限于它们的某个子集之间。但是,智能电网的研究范畴基本上局限于能源系统中的电力系统与通信系统中的专用网[27],因此其信息物理融合的概念也就局限于“电力生产信息+电力系统”。作为能源革命重要环节的“一次能源系统及终端能源系统”,以及作为信息革命重要环节的“网络金融及需求侧参与信息”却并没有得到应有的重视。

显然,目前的智能电网框架中的专用通信网的功能需要从电力系统扩展,不但涉及各种非电的能源环节,而且涉及相关的非能源环节,以更好地支持对电力可靠性及经济性的研究,并支撑综合能源安全、能源经济安全及环境安全。另一方面,开放的网络经济及广泛的用户参与都需要互联网的支持,互联网数据的管理与挖掘成为非常重要的任务。

整个能源行业在转型发展中面临的机遇和挑战,来自一次能源的压力、环境安全的紧迫性、电力系统内外复杂性的增加、运行环境及扰动事件的不确定性与风险的增大、经济与技术的发展、市场改革的要求。为了应对上述挑战,必须提高数据的及时性、完整性、一致性及信息安全防御能力,提高对数据的管控能力,消除数据壁垒、存储无序且不一致的现象,完善对外部环境、基础设施及人才队伍的掌控。

从传统的电力数据演变为电力大数据,跨领域的时空扩展将电力系统的界面条件从确定性变为时变性,同时也增加了多时间尺度的动态复杂性[28]。涉及各类数据的采集、集成、存储、管理、知识挖掘、决策支持、可视展现等技术,也反映了电力及综合能源数据的管理、知识的挖掘和应用等一系列推进能源生产、转换、输送、消费方式的创新思维。其中的互联网数据大多为传统数据库不支持的非结构化类型,包括图片、视频、音频、地理位置信息、网络日志、博弈行为、金融动态、政策法规。数据的在线或实时处理,往往呈现出突发及涌现等非线性状态演变现象,难以预测。

为此,信息创新必须与能源革命在更高层次上深度融合,特别是在一次能源中的清洁替代及终端能源中的电能替代上,不但将协调优化的概念提升到综合能源流的范畴,而且推动电能更主动发挥在一次能源与终端能源之间的核心纽带作用,实现能源生产模式与消费模式的革命。

但是,将大数据技术局限于互联网数据也是片面的。通过专用网或仿真网获取的数据,包括智能电网概念中已涉及者,以及有待外拓的非电能源领域与非能源领域中的数据问题,同样存在大量的挑战。既然讨论的是信息物理融合问题,那么其框架就更不应该在信息系统内部或能源系统的内部设立藩篱。

当前的研究都在一定程度上受限于物理系统中的藩篱或信息系统中的孤岛。例如:①稳定性与经济性的研究都针对给定的边界条件,不能真实反映上下游环节的变化对电力系统的影响;②充裕性问题被粗犷处理为固定比率的备用容量,无法适应大规模不确定性的可再生能源及充放电用户的入网;③决策过程基本无法考虑博弈行为的影响;④忽视了信息系统本身可靠性的影响;⑤缺乏对电力系统外部环节的自适应能力。

要突破上述藩篱与孤岛,就必须遵循以电力系统为核心环节的大能源系统在大数据时代下的发展理念,顺应管理体制及技术路线的变革。

2.2 电力大数据的特征

一方面,电力大数据具有大数据的共性,包括目标领域向其他相关领域的扩展,以及数据类型向非结构型及非因果型数据扩展,时间维度向多尺度的流数据扩展。由此形成大量的异构异质数据,包括数字、文本、图形、图像、音频、视频等静态和不同时间尺度的动态数据,以及大量统计关系与博弈关系的数据,都需要快速处理。

另一方面,电力大数据必然继承了能源行业数据的特征,包括大量的因果关系数据、高维的时空数据,广域的监测控制,快速的时间响应及实时控制数据。除了电力系统的状态外,还需要获取并分析相关领域的数据,并处理部分数据缺失时的不确定性。

运行工况或故障场景都会影响系统的稳定性和控制策略。中国的电网现在已普遍实现了在线的量化分析功能,按实测工况和典型故障来指导预防控制,并向自适应的紧急控制与系统保护发展[29]。但若要有效地应对极端自然灾害环境,则还需要采集并处理大量非结构型的视频、语音、图片,并与电力系统分析功能有机结合。大规模间歇性可再生能源(RES)与电动汽车(EV)的入网对电力充裕性与备用调度提出挑战,要求大大提高对风电、太阳能发电及EV充放电的预测精度,这就需要处理大量非结构型的地理及交通动态数据。为了应对相继故障,基于常规因果关系型数据的分析算法也应该解决多米诺效应的演化路径及实时评估的经典难题。

2.3 电力大数据的类型

除了按数据结构等大数据概念来划分电力(能源)系统大数据,还存在其他视角,列举如下。

1)按业务领域,电力大数据可分为:①规划运行类,包括电力规划、电能生产、运行监控、设备检修等数据;② 企业运营类,包括企业发策、运营、电力市场、用户信息等数据;③企业管理类,包括人财物资、资本运作、企业资源计划(ERP)管理、协同办公等数据;④非电的能源类,包括各种一次能源、非电的二次能源、终端能源使用模式等数据;⑤非能源类,包括气象、环境、碳资产、宏观经济政策等数据。

2)按时间维度可分为:①背景及法规数据;②历史数据;③调查及预测数据;④在线实测数据;⑤仿真推演数据。

3)按数据采集来源可分为:①书本及文档;②专用网数据;③互联网数据;④问卷及调查;⑤交互博弈及仿真结果。

2.4 电力系统的数据量

常规SCADA系统按采样间隔3~4s计算,10 000个遥测点每年将产生1.03 TB数据(12B/帧×0.3帧/s×86 400s/d×365d×10 000遥测点);广域相量测量系统的采样率为100次/s,10 000 个遥测点每年将产生495 TB数据。美国PGE公司每个月从900万个智能电表中收集超过3TB的数据。国家电网公司的2.4亿块智能电表,年产生数据量约为200TB,而整个国家电网公司信息系统灾备中心的数据总量,接近15 PB。 以2004年山东系统(97台机、462条母线、702条支路)为例,设在线每5min对220kV以上线路的三相永久故障分析一次暂态稳定性,仿真时长10s,仿真步长0.01s,则一年内将产生1 092TB的数据量。当大规模的间歇性分布式可再生能源入网后,发电侧计及气象数据的实时监控的数据量比传统发电成倍增加。智能配电、智能电表、电动汽车和用电技术的发展也大大增加了需求侧的数据量。电力企业的精细化管理,与一次能源、环境、交通、市政等外部系统的联系日益深化,对数据量的依存度也越来越高。

2.5 电力大数据对电力可靠性的支撑

整合各种广域系统采集的静态和动态数据,包括雷电场、台风风力场、山火场等非结构型数据与常规的电力数据及仿真信息相结合,从所获的现场实测或仿真得到的时间响应曲线中提取深层知识。以支持稳定性与充裕性的量化分析及自适应控制,协调故障前的预防型博弈,故障后瞬时的故障隔离和预测型紧急控制,检测到违约症状后的校正控制,以及系统崩溃后的恢复控制。在此基础上,综合防御框架还应该实现多道防线的时空协调,通过协同各道防线和各种控制手段,最大限度地减少大停电的风险。

信息的可靠性是分析和决策的物质基础;机理分析和量化分析则通过数据挖掘来深刻掌握电网的行为特性[30];正确的决策是为了能以最小的风险代价来最大限度地满足电力需求。互为补充的相量测量单元(PMU)、远方终端设备(RTU)和仿真数据共同满足系统在空间中和时间上的可观性和可控性[31]。需要研究在不完备数据下,如何将信息论和系统论相结合,从数据中挖掘深层信息。

在电力的长期可靠性分析与控制方面,需要考虑社会、经济、科技、能源与政策等发展的不确定性,以及各种博弈行为的影响,将目前依靠主观判断的方式逐步提升为基于混合仿真推演的方式。

3 信息能源系统的大数据平台

3.1 电力(能源)系统运行数据的采集

关系数据库强调完整性及一致性,云计算强调可扩展性,但难以保证实时性。Internet的TCP/IP协议在流量控制和数据纠错时会产生10ms量级的时延,难以满足实时控制,特别是紧急控制的要求。

RTU和SCADA系统可以用低成本采集大量的广域数据,并满足静态可观性,但没有统一时标,采样周期长、时延大,只能抽取慢速动态特征。故障录波和保护信息系统就地记录大量暂态信息,可支持故障的事后分析,但上传的滞后时间长,难以实时应用。

PMU数据不依赖于系统模型和参数,可在统一时标下快速采样,提供系统实际的时间响应曲线,用来校核仿真模型和参数,并提供仿真的初值。但受价格限制较难满足高可观性。

20年来的研究热点之一是将PMU用于实时稳定性分析及开环控制,根据受扰后短期实测数据预估稳定性,并在失稳前选择并执行控制措施,但至今未能用于稳定分析和开环控制。文献[32]明确指出,在非自治因素下单纯依靠轨迹的外推来预测并不可靠,并且即使在没有时间约束的离线环境下,要对有数学模型的仿真曲线进行稳定性量化分析也非易事。若在计算已有轨迹的稳定裕度时没有模型参数可用,其量化分析就更难。更重要的是,只有通过仿真才能在措施实施前确认其效果。不与仿真工具结合,就难以按合理的保守性来确保控制的充分性。其根本原因是:在事前,PMU无法观察到控制措施的效果,也无法在不依靠系统模型及参数的前提下求取实测轨迹(特别是稳定轨迹)的稳定裕度。PMU在应用上的这个瓶颈是本质性的,不可能真正突破。

现场伪量测是对广域数据加工中挖掘出来的数据;仿真伪量测是在仿真中产生的数据。它们的正确性受到模型、参数、初值和算法等的限制。

3.2 电力(能源)系统的大数据平台

随着数据采集环节的质量提高、成本降低,以及各种广域数据采集系统的数据共享,可以通过更多数据来全面掌控电力与能源。为此,需要将各种广域监测系统和数值仿真系统置于统一的平台中,有助于数据挖掘,识别相继故障的先兆特征、临界条件和传播模式,从而提高预警水平,增强防御停电灾难和事后分析的能力。

由硬件资源、基础软件、网络通信、数据集成、计算支撑、应用支撑、安全管控等环节构成的大数据平台支持多源多渠道异构数据的即插即用、融合与管理,支撑各种开发、应用及信息展示功能的即插即用。通过基于数学模型的因果型数据、无因果关系的统计型数据以及参与者博弈行为的融合,管理各类能量的生产、转换、输送及使用,调度与仿真数据的集成与管理。

4 结语

虽然当前关于大数据的应用案例大多发生在互联网企业中,但传统的电力及能源企业也在思考如何从关于大数据的空泛介绍走向实际应用。特别是除了直接依赖互联网的电力金融业务及面向消费的个性化服务以外,在基于传统数据的系统分析与控制领域中,如何融合电力及能源的统计关系数据、因果关系数据及博弈行为数据,发挥大数据的价值。例如:间歇性能源及负荷预测,引导需求响应及节能减排,降低停电风险,反窃电,堵塞经营漏洞,优化资产全寿命周期管理等方面。特别是:如何使企业决策从当前基于常规数据及主观经验的模式,发展为基于数学模型、参与者及多代理模型的混合仿真的沙盘推演模式。其中的多代理模型就需要大数据技术的支撑。这关系到电力大数据技术是否能进入到通常由因果关系数据一统天下的物理系统分析领域。为此,思维方式需要重大变革。

摘要：大能源思维将电力视为能源生产与消费全流程中的枢纽环节,藉此推动上游一次能源的清洁替代与下游终端能源的电能替代,支撑能源的可持续发展。大数据思维将各种数据资源从简单的处理对象转变为生产的基础要素。这两种思维的融合,使电力大数据成为大能源系统广泛互联、开放互动及高度智能的支撑,包括:广域多时间尺度的能源数据及相关领域数据的采集、传输和存储,以及从这些大量多源异构数据中快速提炼出深层知识并发挥其应用价值。作为两篇论文中的开篇,在演绎大数据基本概念、结构类型及本质特征的基础上,归纳电力大数据的特点。针对综合能源,通过基于数学模型的因果型数据、无因果关系的统计型数据以及参与者博弈型数据的融合,构建信息能源系统的知识挖掘平台。其续篇将讨论信息能源系统,并通过若干案例,反映大数据思维对提高大能源经济性与可靠性的贡献。

企业大数据与大数据企业 篇3

大数据因其体量之“大”而得名，然而体量并非大数据的唯一特征，甚至也不是大数据最为重要的特征。巨大的体量凸显的是技术需求。而对于管理者而言，刻意追求巨大体量的数据并不具有多少现实意义，大数据更重要的特征在于其多样化的来源和形态、持续快速的产生和演变，以及对深度分析能力的高度依赖。因此，企业对大数据的驾驭和掌控，其核心并不在于拥有多大规模的数据，而在于是否能够对来自于企业内外部多样化信息源的涌流数据进行敏捷持续的捕捉和整合，并通过深度分析开发其商务价值。

一家中等规模的百货商场，通过视频监控记录下商场各个区域的客流人数，从而评估每天各个时段客流的在店时长，进而结合销售记录数据估算出客流中带有明确购买目标的“搜索型”顾客和无明确购买目标的“浏览型”顾客的比例，从而为之设计针对性的营销手段和服务措施。这一实践中所涉及的数据量，从技术视角上看并不算庞大，但该商场对多源数据的整合和开发，不失为基于大数据管理的一种典型体现。

从这个意义上来说，在管理视角上，大数据既不是一种技术，也不是一种应用系统，而更应该是一种立足于企业内外部数据融合以提升管理效率、开拓价值创造模式的管理思维。建立这种面向大数据的管理思维，其基础是业务流程信息资源的高度集成化，以及信息创造和传播形式的高度社会化。

所以，企业大数据的一个重要焦点，在于业务流程信息与社会化媒体信息的全方位融合。以ERP为代表的企业系统应用推动业务流程信息资源从分割走向集成，日渐兴起的企业内外部社交媒体则推动信息的创造和传播形式从通道式/平台式走向社交式，二者的融合将成为企业大数据的核心特征。由此看来，未来的“大数据企业”，则代表着建立在这种融合基础上的新型组织形态和价值创造模式。

驾驭企业内部大数据

企业内部数据包括两个主要维度：一是与业务功能及流程紧密相关的数据，如库存信息、物料需求信息、生产计划信息、采购信息等，可统称为业务流程信息；二是企业内员工及各种管理系统在其日常工作及活动中所创造、记录、交换和积累的信息，例如员工间的交流记录、工作心得、经验分享、活动新闻等，可统称为知识及沟通信息，知识及沟通信息高度松散且非结构化，但可能蕴藏着企业的重大潜在价值。

这两个数据维度的发展和融合，催生出了企业内部大数据。如图1所示，在传统的企业组织中，业务流程信息分散地存在于一个个孤立的业务系统中。在过去二十余年的企业信息化进程之中，一个主要的方向是业务流程信息从分割走向集成。从库存管理系统、物料需求计划 （MRP） 发展到企业资源计划 （ERP），分散的业务信息被集成于企业系统之中，从而实现面向业务流程的信息共享和沟通，并在此基础上借助跨部门的协同实现业务流程的优化和决策能力的提升。

另一方面，近年来逐步兴起的企业内社交媒体应用，推动着企业内部数据环境在知识及沟通信息维度上的重大变革。在传统企业组织中，知识及沟通信息借助于通道式或平台式的媒体产生和传播。在通道式的媒体上（例如email），所有的人都可以发信息，但信息的发送对象是明确的、有限的；在平台式的媒体上（例如企业内的新闻网站），信息是开放的，但只有专门的人员才能发布信息。在企业内社交媒体中，这两种形式被整合在了一起：所有人都可以发布和分享信息，而且这些信息是开放的、可定制、可再分享的。在这样的应用环境中，跨部门、跨层级的社交联系成为可能，并使得企业能够更为敏锐地应对变化的环境，以即兴式的团队组织来捕捉发展机遇。这种转变带来了三方面的价值：企业知识的有效共享和管理；企业文化建设，增强员工的归属感；对企业内协同创新的有效支持和促进。

进一步而言，当集成化的业务信息与社交化的知识沟通信息相融合，便带来了企业内部大数据。在集成化企业系统、内部社交媒体以及深度数据分析技术的共同支撑下，杰克·韦尔奇所畅想的“无边界组织”在新兴环境下成为可能，并被赋予了新的内涵。部门边界、层级边界被紧密的业务联系和广泛的社交联系所弱化，结构化的业务流程信息与非结构化的知识及管理活动信息被多维度融合的深度数据分析能力连接在一起，从而使企业真正具有驾驭内部大数据的能力。

从另一种角度上看来，业务资源整合使得企业信息资源的管理从分散走向集中，社交媒体的发展使得企业内的信息创造和传播从集中走向分散，二者相辅相成，使得优化控制与灵活创新的并存成为可能（见图2）。基于业务流程与社交媒体的融合而展开的深度数据分析，将为企业的决策优化、协同创新以及灵活应变开辟广阔的空间。

驾驭企业外部大数据

在企业外部的视角上，数据资源也包括两个维度：一是与上下游交易直接相关的供应链信息，如交易报价信息、订单信息、上下游企业库存及生产能力信息等；二是市场及社会环境信息，如原材料价格走势、市场需求及消费者偏好信息、顾客服务及满意度信息等。

企业外部大数据的基本特征，也正是在这两个维度的发展之中呈现出来的。如图 3所示，在传统的商务活动形式下，上下游企业的业务系统相互独立，交易伙伴借助电话、传真、电子邮件等手段以实现上下游信息交换，企业通过市场调研等方式了解消费者，获取市场及社会环境信息。组织间信息系统的发展带来了供应链信息的集成。通过将合作伙伴的信息系统进行对接，或是借助于电子市场平台实现企业信息系统的相互连接，上下游企业的业务信息能够通过标准化的接口自动交换，从而使得企业能够在较为充分地掌握上下游信息的基础上进行业务决策，实现交易伙伴之间的协同优化。

nlc202309041552

在市场及社会环境信息的维度上，信息的创造和传播形态同样经历了从通道式/平台式媒体向社交媒体的转变。公众社交媒体的巨大影响力为社会化商务注入了强大的生命力。初期的社会化商务包括作为对外沟通渠道的企业邮箱、博客、微博或即时通讯等，其主要目的在于提升企业形象、提供客户服务。随之发展而来的社会化营销，则注重在社交网络中通过与顾客及其他商务伙伴的沟通和互动，进而通过实时化、精确化的市场洞察以获取商业机会、开拓市场、把握创新机遇。此外，基于社交媒体的众包、众筹与众创，也日益成为社会化商务的重要组成部分。

供应链信息集成与社会化商务信息的融合，构成企业外部大数据的核心特征。来自于社交媒体信息源的市场环境信息与来自于组织间信息系统的供应链信息相结合，借助于深度数据分析技术实现面向企业商务网络的预测与优化，并支撑起实时化、精确化、个性化的消费者洞察与敏捷响应，在此基础上为基于网络协同及社会化商务的模式创新提供了丰富的可能性。从而，对外部大数据的管理和驾驭，也将成为现代企业在网络化的商务生态系统中占据主导地位并获取经营优势的关键途径。

成为“大数据企业”

基于以上分析，企业内部大数据的焦点，在于业务流程信息与知识及沟通信息的融合；企业外部大数据的焦点，在于供应链信息与市场及社会环境信息的融合。进而，大数据时代企业组织的基本内涵，在于内部大数据与外部大数据的全方位融合。如图 4所示，大数据企业立足于内外部业务与社交媒体数据的集成交汇。

业务流程数据主要来源于以ERP为代表的企业系统，涵盖了产品、物料、采购、生产、销售、财务等与企业生产及服务提供过程紧密相关的数据；商务交易数据来源于以供应链管理系统 （SCM）、客户关系管理系统 （CRM）、电子化交易系统为代表的组织间信息系统，涵盖了供应商、客户、订单、物流等与外部交易活动紧密相关的信息；内部社交媒体数据包括了企业员工在内部博客、微博、Wiki、内容分享平台、群体化即时通讯工具等应用中创造和传播的信息，以及企业在办公自动化系统等交流协作平台上所记录积累的数据，涵盖并反映了员工的知识、建言、创意、心态、氛围等形式多样、内容广泛的信息；外部社交媒体数据主要来源于公众社交媒体，包括企业博客、企业微博/微信服务号、品牌社区等各种形式，所涵盖的信息内容包括市场环境、需求信号、全生命周期顾客行为、个性化偏好、营销互动记录等。

在这四大类型的数据之间，致力于大数据管理的企业可以有两种不同的发展策略。其一是以社交媒体与业务数据的融合为主导，以期通过敏捷响应快速发现并应对内外部环境中的变化和机遇。在这种策略下，面向高速数据流的实时数据采集和分析方法，将成为大数据管理的主要支撑手段。

第二种策略是以内外部数据融合为主导，以期通过全面汇集内外部信息，对中长期发展趋势作出准确的预判，从而实现高度优化的业务决策，并通过对信息环境的掌控，获取企业网络生态系统中的领导地位。在这种策略下，大规模多源异构数据的采集、清洗和整合方法，将成为大数据管理的核心支撑。

如何挖掘企业大数据的价值

企业大数据的价值开发高度依赖于深度数据分析能力。从内外部融合的视角上看来，企业大数据分析包括三个基本维度，即内容、关系和时空。

内容维度指的是数据本身所承载的信息内容。例如，G公司是一家大型电信服务商，其内部建设实施了一套“班组博客”系统。在这个内部社交媒体平台上，公司中的3000多个工作团队都开设了自己的博客，用于发布和交流工作经验、生活体验等方面的内容。经过数年的发展，整个博客系统中积累了博文700多万篇，评论超过1500万条，并保持着每月15万篇以上的博文发表数量，年阅读量超过1000万篇次。对于这一平台所积累的大量数据的价值开发，首先体现在对其信息内容的提炼上。平台上与工作相关的博文内容，如客服案例、经验分享等，经自动筛选分类、主题识别、关键词索引之后，被构建成企业知识库，为业务及管理工作提供快速有效的知识支撑，同时成为员工培训和自学的有力工具。而大量与工作无关的博文和评论内容，包括生活常识、娱乐信息、心情表达、心灵鸡汤等，在智能化的分类整理之后，也成为了该公司的一个独特的文化情景，支撑着企业中活跃的氛围，强化了员工的文化认同。

关系维度指的是数据及其所指代的对象之间的联系。在G公司的班组博客中，员工的发表、阅读、评论、回复、关注等行为详尽地反映了其相互之间密集而持续的联系，而这些联系毫无遗漏地被记录在平台的数据库之中。通过对这些关系结构的深度分析和挖掘，G公司获得了对员工及团队的影响力、凝聚力、创造力的更为准确而深入的评估手段。进一步而言，博客平台的行为记录数据与业务系统中的事务处理记录数据，以及员工及团队的绩效表现数据，也能够被有效地关联起来，从而使得管理者拥有强有力的工具，帮助其发现和理解员工的行为特质、工作表现、业务能力之间的潜在关联，进而实现良性优化的人员配置和人才培养。

时空维度指的是数据生成及传播的位置以及数据随时间演变的模式。对G公司而言，其数以千计的业务场所分散在众多城市的不同地点，因此，数据中的位置信息对于虚拟化的团队协同而言具有直接的意义。此外，位置信息也包括了数据在组织功能结构和层级结构中所处的位置。同时，在G公司的班组博客中，对特点话题时间演变规律的分析，也为管理者提供了有效的参考。其中对企业重要活动、运营理念相关信息在班组博客中的传播演变模式的跟踪，有效地揭示了员工对管理理念的认知、态度和接受过程。

更深入的价值开发来自于上述三个维度的交叉综合。例如，内容维度与关系维度的结合，使得G公司能够识别员工的兴趣偏好、社交特质、工作性质以及工作表现之间的匹配关系，也能够更为准确地发现那些分散在不同的员工手中、但具有重要潜在影响力的经验、创意以及机遇信号。内容维度、关系维度与时空维度的结合，使得企业能够更为深入地理解不同的员工特质、知识技能、团队特性、热点偏好在整个组织中的分布，以及这些结构随时间演变的过程和趋势，从而更为有效地调度和配置这些资源。

nlc202309041552

这些维度上的分析需求，主要需要三方面的数据分析技术予以支撑。第一类是全局视图技术。对于管理者而言，对大数据内容全局状况的把握，往往是开发大数据价值的一个基本需求。然而大数据的体量和结构复杂性往往远远超出人类认知的信息承载能力。因此，有效的技术应当能够在大量数据中提取出一个足够小的集合以呈现给管理者，并使得这个小集合能够充分地代表数据全局。例如，在G公司的博客平台上，一种“代表性博文提取”技术能够在每天所出现的数以千计的博文中自动选择出10篇。这10篇博文在很大程度上全面代表了当天所出现的数千篇文章，既充分反映热点，也不能忽略冷门信号，从而使得管理者能够通过阅读这些文章来了解全局。第二类支撑技术是关联发现技术，其目标在于敏锐识别数据间的联系。例如，当G公司试图整合博客平台、业务系统、人力资源系统中的数据以全方位分析员工、团队特质以及绩效信息时，大量的数据属性之间所构成的复杂潜在关联网络，就需要强有力的关联发现技术来加以处理。第三类支撑技术是动态跟踪技术，即实时化的流数据分析处理、快速增量数据分析。三方面技术都处于快速发展之中，但尚未全面成熟，有待于学界和业界的持续努力和探索。

结束语

从一定意义上说来，业务资源集成与社交媒体相融合的过程，是一个“信息去中心化”的过程。信息资源的创造和管理，从以往以经营和运作为核心的中心化模式，转化为以分散创造、自由传播、灵活汇聚为特征的众创模式。另一方面，内外部数据融合的过程，是一个“信息去边界化”的过程。企业部门之间的信息交换、企业之间的信息交换以及企业与市场环境的信息，以日益多样化、实时化的方式实现。

这样的转变对于企业组织及其员工而言，其影响将会是多方面的。正面的影响可能包括创新意识与创新行为的出现、员工能力和技能的发展、沟通满意度的提升、员工关系资本的建立和积累、员工对组织的认同和归属感的增加；而负面的影响则可能包括员工注意力分散、过度争论，以及负面情绪的传播等。所以，建设“大数据企业”的过程，也将会是一个伴随着困难与风险的过程。在此过程中，需要管理者有效地把握创新发展的长期收益与短期业绩之间的平衡，在推进大数据融合的同时防范和控制其中的组织风险，并审慎地思考和重新定义组织内外部边界。

换言之，对企业而言，大数据实质上是一种管理思维，其支点在于业务信息资源与社交媒体的融合，以及内外部数据的融合，在这样的支点上反思企业的组织形态、运作范式和价值创造模式，是“大数据企业”的真正内涵所在。

郭迅华：清华大学经济管理学院副教授

大数据论文 篇4

作者：市场部-陈笑、叶荔

7月2日，由中国卫生信息与健康医疗大数据学会、中国企业联合会、中国老年保健医学研究会共同主办，济南市政府承办的国家健康医疗大数据北方中心产业合作对接洽谈会在济南召开，吸引了130余家企业、43家机构约500人参会。

中国企业联合会、中国企业家协会会长王忠禹，中国卫生信息与健康医疗大数据学会会长金小桃，省委常委、市委书记王忠林，十一届省政协副主席雷建国，市委副书记、市长孙述涛，中国老年保健医学研究会会长高松柏，市委常委、秘书长蒋晓光，市委常委、副市长卢江分别出席会议。中国卫生信息学会健康医疗大数据老年保健专业委员会副会长、金豆数据CEO火立龙参与会议，并在会议上做重要汇报。

金豆数据CEO火立龙在会上做企业介绍

今年4月，山东省和济南市签约成为我国首个启动国家健康医疗大数据中心建设的试点省市，国家健康医疗大数据北方中心正式落户济南。此次洽谈会旨在加强企业和机构之间的合作联系、项目对接，进一步推动和促进国家健康医疗大数据北方中心建设。

中国卫生信息与健康医疗大数据学会会长金小桃在致辞中表示，健康医疗大数据是促进健康事业、健康产业乃至整个国民经济发展的新动能、新模式、新生态。抓住机遇乘势而上，必将对山东省及济南市的新旧动能转换、经济发展带来广泛而深远的影响。希望参会企业能积极参与到国家健康医疗大数据北方中心建设发展中来，实现互利共赢，促进共同发展。

济南市委副书记、市长孙述涛在致辞中指出，大数据像土地、石油一样是新产业、新业态的支撑基础，是取之不尽用之不竭的富集金矿。济南要把国家健康医疗大数据北方中心作为建设医疗康养名城的支撑平台，把健康医疗大数据产业作为新一轮经济发展的支撑产业，不断促进济南市健康医疗事业和产业加快发展、高质量发展。

会议签约仪式现场

签约仪式上，火立龙代表金豆数据与济南市政府以及济南国际医学科学中心进行战略合作意向签约，其中重要一项便是“DRG收付费及绩效评价综合管理项目”。此合作将按照国家试点工程规划落地要求，落实国家试点工程应用，形成健康医疗服务新模式、新业态，提高人民群众健康医疗服务的获得感。

大数据论文 篇5

调研显示，国内主要城市人均水产消费量与人均对虾消费量高度相关，对虾将替代部分大宗淡水鱼，成为主流的水产蛋白渠道之一。世界范围来看，欧美国家人均对虾消费为4LB/年, 中国目前仅 0.68lb/年, 至 2022 年，76%的中国家庭将达到中产阶级水平，保守估计未来对虾消费市场将超过 200 万吨，以 25 元/斤保守估计对虾养殖市场空间高达1000 亿。

2017年对虾养殖行业大数据报告

【报告类型】网络大数据调研、行业/市场研究报告 【交付时间】7-10个工作日，提供预订，目录供参考 【报告定价】￥5000.00（共五部分）

【发布机构】中国互联网大数据研究院（ICIBD）、鹿豹座数据研究院 【报告格式】WORD/PDF/PPT版（限一份）

【报告特征】数据客观、准确实用、便捷易懂、图文演示

【售后服务】1年2版，目录范围之内提供1次内容补充/数据更新。【联系单位】鹿豹座平台 / 怒蛙网络

【工作时间】周一至周六（早08:30——晚18:00）

数据来源与研究方法：

1、中国互联网信息中心（CNNIC）、中国互联网协会等互联网权威机构的数据与资料；

2、国家统计局、海关总署、国家发改委、工商总局等政府部门和官方机构的数据与资料；

3、行业协会、行业内相关平台获取最新的一手市场资料；

4、搜索引擎大数据、电商大数据、权威平台大数据等互联网巨头提供的大数据资料；

5、中国互联网大数据研究院（ICIBD）对对虾养殖产品长期监测采集的数据资料；

6、研究院与数据中心专家通过小组讨论、桌面研究等方法对核心数据和观点进行反复论证；

7、对虾养殖行业公开信息，行业资深专家公开发表的观点；

8、对虾养殖业内大型企业及上、下游企业的季报、年报和其它公开信息；

9、各类期刊数据库、图书馆、科研院所、高等院校的文献资料；

10、对对虾养殖行业的重要数据指标进行连续性对比，反映行业发展趋势。

数据报告目录：

第一章 对虾养殖行业分析 1.1对虾养殖概述 1.1.1对虾简介

1.1.2对虾养殖的分类 1.1.3对虾养殖产业链分析

1.2中国对虾养殖行业发展环境分析 1.2.1对虾养殖行业政治法律环境分析 1.2.2对虾养殖行业政治经济环境分析 1.2.3对虾养殖行业社会环境分析 1.2.4对虾养殖行业技术环境分析

1.3中国对虾养殖生产现状分析 1.3.1对虾养殖行业总体规模 1.3.2对虾养殖产能概况 1.3.3对虾养殖市场容量概况

1.3.4对虾养殖产业的生命周期分析 1.3.5对虾养殖产业供需情况

1.4对虾养殖行业发展分析 1.4.1中国对虾养殖发展历程 1.4.2对虾养殖行业存在的问题 1.4.3对虾养殖行业发展趋势

1.4.4对虾养殖行业新事物萌芽观察

1.5对虾养殖行业SWOT分析

第二章 对虾养殖市场分析 2.1中国对虾养殖市场现状

2.1.1 中国对虾养殖市场规模分析 2.1.2 中国对虾养殖市场区域分布 2.1.3 中国重点对虾生产厂家分析

2.2中国对虾养殖销售分析

2.2.1 对虾养殖中国市场销售概况 2.2.2 对虾养殖产品市场价格分析 2.2.3 对虾养殖产品市场价格影响因素 2.2.4 对虾养殖产品未来价格走势预测

2.3 对虾养殖市场竞争分析

2.3.1对虾养殖行业竞争结构分析 2.3.2 对虾养殖行业竞争趋势分析 2.3.3 对虾养殖行业竞争策略分析

2.4 对虾养殖行业投资与发展前景分析 2.4.1 2017年中国对虾养殖投资情况分析 2.4.2对虾养殖行业投资机会分析

2.4.3 2018-2024年中国对虾养殖市场规模预测

第三章 对虾养殖消费者分析 3.1 对虾养殖消费者定位

3.1.1 对虾养殖消费者年龄分布 3.1.2 对虾养殖消费者地域分析 3.1.3 对虾养殖消费者收入构成 3.1.4 对虾养殖消费者职业特点 3.1.5 对虾养殖消费者的生活态度 3.2 对虾养殖消费者偏好分析 3.2.1产品价格偏好 3.2.2产品质量偏好 3.2.3产品品牌偏好

3.3对虾养殖消费者行为分析

3.3.1消费者获取对虾养殖信息的渠道 3.3.2消费者网络行为分析

3.3.3对虾养殖消费者购买行为分析 3.3.4对虾养殖潜在消费者分析

第四章 对虾养殖宣传分析 4.1对虾养殖广告投放概况

4.1.1 2016年中国对虾养殖广告投放总体概况 4.1.2 2016年对虾养殖网络媒体广告投放概况 4.1.3 2016年对虾养殖电视媒体媒体广告投放概况 4.1.4 2016年对虾养殖户外媒体广告投放概况

4.2对虾养殖网销渠道分析

4.2.1网销渠道建设：官网、手机站、官方商城、B2B旺铺 4.2.2电商店铺渠道/微商销售渠道

4.2.3自媒体营销渠道：官方微博、官方微信等

4.3对虾养殖宣传推广策略 4.3.1互联网宣传推广 4.3.2影视节目赞助/植入 4.3.3电视媒体投放 4.3.4电商渠道推广 4.3.5户外广告投放 4.3.6事件活动策划

大数据论文 篇6

方存

内容摘要：

随着信息技术的飞速发展，税收征管也已经进入大数据时代，由于数据信息化的广泛运用，使海量数据的即时获取和精确分析成为现实，为研究纳税人办理涉税业务特征提供了良好条件，带来了税收服务手段、服务理念、服务载体、服务管理的大跨越……

关键词：大数据

应用

管理

信息化

现今很多人随时都会拿起手机发微信、微博，要购物不是上超市而是上淘宝、京东，外出就餐先看大众点评，有问题不是找老师而是找百度„„在我们的日常生活中，已经离不开这些网络应用。这些网络应用都有共同的特征，就是通过海量的数据，进行云计算后让用户获得到更好的应用体验。这些随时随地抓取数据的网络应用，让我们感受到，大数据的时代已经到来。

随着信息技术的飞速发展，税收征管也已经进入大数据时代，由于数据信息化的广泛运用，使海量数据的即时获取和精确分析成为现实，为研究纳税人办理涉税业务特征提供了良好条件，带来了税收服务手段、服务理念、服务载体、服务管理的大跨越。近年来，广东地税依据纳税人类别、涉税业务类别、办理时段等信息，依托数据信息化逐步形成了服务大厅、网上办税、纳服热线、自助办税、短信服务等多种渠道并存的大服务格局。

一、实现大数据管税的意义

从目前我们系统的数据量来看，还算不上真正意义的大数据。我们的征管系统中大量的数据都是传统的结构化的数据，已经达到了一定的数量，应该更多的是关注如何提高数据质量，如何应用好这些数据。而对于正在生长的海量的非结构化数据，则要关注怎么收集、用什么方式有效管理，从海量数据中发现有用的信息，深入挖掘分析、与征管系统数据综合利用，如何“要让睡着的数据醒过来”，转化为税源，才真正体现涉税数据的价值，才能实现“信息管税”。

在涂子沛的《大数据》中提出，随着技术的发展，数据的存储与处理成本显著降低，人们现在有能力从支离破碎的、看似毫不相干的数据矿渣中抽炼出真知烁见。充分运用大数据的思维和手段，对于大力推进税收治理能力现代化，不断提高税收管理水平，意义重大。

二、当前税收数据应用管理的中存在的问题

近年来，地税部门在税收征管和信息化建设方面积累了大量的理论和实践经验，也取得了丰硕的成果。但受诸多因素的制约，在涉税数据采集、分析、利用等方面还存在一定的问题，影响税收数据的应用效用。

（一）征纳双方信息不对称日益突显

纳税人经营信息存在多样化和复杂化，地税机关获取纳税人信息的复杂性和工作难度明显增加，获得纳税人信息的渠道相对单一，主要是采用纳税人自报与税务机关根据自身工作需要进行采集所得到的信息。虽然省局与市局正在尝试进行政府部门之间的信息共享，但是这些仅仅是起步阶段，还没有完全形成有效、规范的机制。这些因素导致税务机关对纳税人生产经营状况、销售情况、生产成本等信息的掌握不全面，加上税务部门自身也没有一套完善的决策支持体系，严重影响税收数据的收集质量。

（二）税费征收管理系统过多，相互之间存在信息壁垒

目前，地税系统使用软件相对繁多，与税费征管有关的系统包括大集中征管系统、电子办税服务厅、税源管理平台、两业系统、数据综合展现平台、存量房交易计税价格评估系统等十多个操作系统，这其中有省局开发的，也有市局开发的。这些征管系统有部分在数据交换上互不共享，而软件开发公司也不一致，系统维护相对繁琐，给基层税务人员实际操作带来了很大的困扰。

（三）信息数据分析利用的广度深度不够

一是对现有数据的分析利用不足。目前的税收分析主要对税收任务的分析，只是局限于对某些数据的纵向对比分析。虽然这几年在这方面进行了大量的努力，但是没有形成长效的、可持续发展的数据分析模型，与宏观经济、市场变动、企业财务数据等联动分析不足，没有完全发挥数据信息利用应有的作用。二是税收业务与技术没有有效的融合。目前在基层税务机关这是最为薄弱的一个环节，业务与技术基本上还是各自为政，没有形成业务与技术的有效融合，导致对各方信息的横向比对和各时间段信息的纵向分析不足，从分析比对中发现问题的能力较弱，无法形成对信息分析利用的合力，制约了对信息的深度分析利用。

(四)专业信息技术人才缺乏，数据得不到有效利用

目前，以我县的干部职工为例，能够掌握比较系统的、全面的计算机知识的干部很少，另一方面，由于年轻干部交流频繁，精通税收业务的干部也不算多。因此税收信息化建设队伍任务繁重、人员不足、素质不齐等问题比较突出，高素质的专业化人才更是相当缺乏，即懂技术又懂业务的复合性人才更是屈指可数。这就造成即使拥有大量的有用数据，我们的基层税务人员也不懂分析利用，无法及时从中获取有效的数据信息。

三、完善税收数据应用管理的几点思考

（一）运用大数据的思维和手段，树立“信息管税”的新理念 我们都已清楚的看到，大数据时代所带来的思维方式、管理模式、监控手段等方面的变革，对税收征管工作带来了深远而巨大的影响，税收征管已经离不开信息化手段，紧密依托数据信息手段开展税收征管工作，已经成为税收工作的必然要求。结合风险管理和大数据理念，做为新征管改革的突破口，将大数据税收征管模式与先进的管理理念相结合，技术创新与管理创新相结合，通过税源监控、税收分析、纳税评估、税务稽查等质量控制手段，达到堵塞漏洞、纠正偏差、提高税收质量的目的。

（二）制定数据规范化，提高数据质量 要提高数据质量，必须要有数据管理标准和采集操作规范。一是要规范数据采集渠道。建立基层分局、县区局、市局、省局四级数据采集网，有条件的可设置涉税数据采集专业岗位，专门从事纳税人生产信息、交易信息、经营动态信息的采集。二是要加强数据质量的管理。按照统一标准录入有关数据，对采集的数据进行逻辑和真实性检验，把好数据进口关；制定数据审计规则，加强数据质量事中控制和事后比对，将数据质量纳入绩效考核，为数据应用提供准确可靠的信息来源。三是实行信息数据集中处理。建立覆盖采集、交换、分析、应用等主要环节的数据管理体系和运行机制,实现各个管理系统各类征管数据统一存储、加工和管理，实现各类信息资源互通互联共享，实现征管工作各环节在信息化支撑条件下的相互衔接。

（三）充分发挥政府职能作用，实现全社会的涉税信息共享 一方面，大时代数据必将全方位构建数据网络体系，通过政府部门建立大数据仓库，实施统一的信息管理平台，将工商、供电、建设、房产、交通、国土等政府各部门的数据实施统一管理，并对这些数据建立政府数据共享机制。另一方面，积极健全各政府部门间的信息网络，明确各部门通过网络获取信息的相应用户权限，彻底改变信息离散、各自为阵的局面，实现高效的信息共享，为税务部门全面掌握涉税信息提供强有力的外部环境支撑。同时，地税部门的反馈信息也可以帮助社会综合治税的成员单位掌握有关情况，查找各自工作中的不足和监管漏洞，共同提高管理水平。

（四）创新数据挖掘分析方法，打造智能税务

在调查研究的基础上，不断探索，创建科学有效的数据挖掘和分析体系。要建立税收数据仓库，对分散在各个应用系统中的数据进行集成、整合和统一管理，实现数据资源省级集中和共享，为数据挖掘分析提供基础支持。创新税收数据挖掘分析方法，应当注重五个结合：一是宏观与微观相结合。通过宏观分析了解本地区范围内不同行业、不同税种、不同类型企业的税收情况，找到税收管理的薄弱环节，对有疑点的企业、存在问题多的行业从微观上进行纳税评估、税务稽查，采取切实措施强化管理，堵塞漏洞。二是上级与下级相结合。瞄准税收管理现代化方向，省市县层层落实税源专业化管理思路，分级分类加强税收数据挖掘分析工作。三是全面与重点相结合。在全面分析的基础上，各地要结合本地实际突出重点，有的放矢地开展重点数据挖掘分析。四是定量与定性相结合，形成完整的科学的税收分析方法体系。五是动态与静态相结合。进行税收数据挖掘分析时，注意动态数据与静态数据的结合使用，坚持从经济看税源，从纳税人的发展看税源。

（五）培养复合型税务人员，满足大数据税收工作需要

人的因素是搞好一切工作的前提，实行税收现代化管理，必须培养复合型税务人员。复合型人才是“一专多能”、“多专多能”，以博见长，知识面广，易于融会贯通、触类旁通。培养既精通税收业务，又熟练掌握法律、财会、统计分析、计算机等方面知识和技能的复合型人才，是大数据时代税收工作对拥有复合型税务人员的需求。

在大数据时代，我们每个人既是数据的创造者，又是数据的使用者，这就要求每个税务干部，必须要有大数据的思维，运用大数据方法和手段，不断创新税收管理手段和方式，才能实现税收现代化。

参考文献：

（1）涂子沛《大数据》 广西师范大学版社，2012年7月（2）谢永健 《大数据：实现税收现代化的利器》 中国税务报，2014年9月17日

大数据大财务 篇7

大财务的出现将对企业的管理产生革命性影响, 不仅包括战术层面, 也包含战略层面。

第一, 大财务将重塑管理会计的面貌。大财务以坚实的大数据为基础, 使得全面预算管理、集团资金集中管理、内部控制能够更加高效、顺畅地运行和开展。这使得管理会计能够超越财务会计的限制, 在企业决策和管理中扮演更为重要的角色, 从而对企业价值增值发挥更大的作用。

第二, 大财务使得企业管理的前瞻性和洞察力显著增强, 企业管理更加智慧。大财务因为大数据技术的支撑, 能在企业决策时通过数据挖掘掌握大量的有用信息, 这些信息有助于企业减少常规错误, 有利于企业减少系统性风险, 可以使企业对未来发展确实的预测更加准确。在企业执行方面, 大数据技术的运用可以使财务人员用量化的方法分析不同流程、不同方案所带来的收入、成本及风险, 进而真正选择能够使得企业价值最大化的流程和方案。另外, 大数据使得财务人员在进行相关数据分析时, 及早觉察到异常情况, 这样企业就可以提前采取措施, 减少可能的损失或免受潜在的风险。所有这些使得企业的管理更加富有洞察力, 也更加智慧化。

第三, 大财务可以减少集团企业等大型企业普遍存在的信息不对称问题, 进而显著提高这些企业的效益, 也可以增强股东对企业管理层的约束力。集团企业和其他大型企业在享受到规模经济好处的同时, 往往遭遇到信息不对称问题的折磨, 信息不对称造成三方面的影响:一是道德风险;二是逆向选择;三是股东不能很好地监视管理层的行为和活动, 这样的问题在一些国有企业里面更为严重。大数据使得数据的分布更加均等化, 由于大数据的支撑, 掌握大量数据的网络监督和来自民营企业的监督, 会给国有资本管理机构足够的压力, 这种压力会随着中国全面改革而建立起的更加科学合理的国有资本管理体制传导至国有企业管理层, 进而促使其更加努力地工作, 防止其作出有利于自己而不利于出资人的行为和活动。所以, 大财务对于大部分集团企业有深远的影响和非常重要的价值。

第四, 大财务的核心在于智慧地驱动企业创新。大财务的本质就是通过数据挖掘和分析发现价值增长的潜在机会, 而价值增长的潜在机会就暗含于创新之中。创新是非常广泛的, 包含理念、模式、服务、技术等等方面, 创新并不一定能带来价值, 只有符合消费者需求和满足成本约束的创新才能带来价值的增值, 在传统的企业管理之中, 企业的创新是凭经验驱动的, 而大数据时代, 大财务的运用将会是创新管理更加精确和更加智能化。

第五, 大财务对企业的战略决策具有决定性影响。大财务极大地扩展了财务的管理领域和深度, 从企业所处的行业背景分析、企业的竞争能力估计、企业隐性资产评估、产品价值分析到自身财务状况都在大财务的掌握之中, 这不仅涉及企业自身的家底, 也涉及外部环境和目标资料, 即大财务不仅“知己”, 而且“知彼”。知己知彼正是企业战略决策的基础, 它通过CFO等高级财务管理人员参与企业决策的实践来实现。所以, 大财务的领先与否将直接决定其战略的正确与否, 战略的正确与否将直接决定企业的经营的成败。从这个意义上说, 大数据时代, 大财务将成为企业的核心资源与核心竞争力, 犹如互联网时代的核心技术一样。

大数据 大机遇 篇8

大数据为农业监测统计变革带来了重要的发展机遇。

海量数据为全景展示农业，深入认识农业发展特点和变化规律提供了重要机遇。1948年香农始创信息论，为物理学的质量、能量补充了第三个基本量——信息量，并正式使用了信息量的单位bit（比特），1字节（Byte）=8位（bit），从此以后，信息像长度、宽度等一样变得可以度量。近年来，信息技术突飞猛进，农业气象数据、资源环境数据、生物信息数据、作物生长监测数据以及农业统计数据量剧增，农业的产量形成、产品流通以及产品消费过程因为数据的涌现而变得更加立体、透明和直观，人们对农业演化进程、发展规律、变化趋势的认识也更加透彻、深刻和全面。

以大数据技术为代表的新技术为变革传统数据生产方式，拓展数据获取渠道，完善监测统计体系提供了重要契机。我国农业监测统计以农业综合统计、成本和物价为主要内容，形成了全面调查、抽样调查为主体，必要的重点调查、遥感技术等为补充的经济信息资源监测统计体系。尽管如此，统计数据与实时、在线、并发的互联网数据、农业物联网数据相比，仍显滞后。随着大数据技术的发展，利用和发掘农业物联网和互联网数据，进一步拓宽监测渠道和完善统计体系将变成可能。

大数据时代的来临，为解决农业监测统计工作中的诸多难题提供了难得历史机遇。中国是农业大国，生产区域广阔、产品种类繁多、市场类型多样、产业链条细长，不缺乏可收集的数据，但是缺乏精确和系统化收集数据的手段和收集数据的意识。目前的数据要么是缺失，有待收集;要么是数据准确性差，经不起推敲和检验;要么是部门分割，难以公开共享。大数据技术在数据时效性、标准性、匹配性和共享性等方面带来了技术创新，将有助于破解传统统计工作的诸多难题。

当前，形成数据治理现代化是开展农业监测统计工作的紧迫任务。中国是一个当之无愧的农业大国、人口大国、互联网大国，但中国却不是一个收集数据、使用数据、共享数据的大国。农业监测统计工作是我国现代农业建设的软实力，抓好数据工作是统计部门的首要任务。大数据时代来临，各个主体应该充分发挥数据驱动创新作用，推动数据治理的现代化。首先，树立尊重事实、强调精准、推崇理性的数据文化，改变过去统计工作中漠视精准、凡事差不多的现象，提高数据获取的执行力和自觉性;其次，坚持数治为原则健全现代农业治理制度体系。加强数据立法，规范用数体制，在采集规程、报送程序、开放应用规则等方面建立健全制度体系，形成良好的数据环境;第三，完善数据治理机制，驱动数据创新。以数据为核心，加强网络的互联互通，资源的共建共享，工作的协作协同;最后，以数据推动资源优化配置，通过数据，促进农业生产效率高效化，资源利用集约化，科学管理智能化。

数据获取、数据分析、数据应用是农业监测统计的三大核心工作。搜集数据、使用数据已经成为各国竞争的一个新的制高点。数据资源已经成为一种国家新型战略资源，未来数据能力将成为现代农业发展的新型力量和推动国家进步的新型竞争力。当前农业监测统计工作要加强顶层设计和统筹谋划，以数据获取、数据分析、数据应用为核心开展工作，推动现代农业快速发展。

首先，创新采集技术，拓展采集渠道。一方面，利用大数据技术改进和改革全面统计和抽样调查，取缔繁杂的条条框框设置和不必要的审核约束，变传统报表统计为移动采集、便携获取。对现有统计数据进行清洗、整理、标准化，形成符合现代农业发展的农业基准数据。另一方面，充分利用互联网数据（特别是电子商务数据）、物联网数据、遥感数据等拓展数据获取渠道，完善农业统计数据体系。

其次，构建大型模型系统，增强分析智能化。数据的处理和分析是大数据时代的核心能力。当前数据分析挖掘的速度已经远远落后于数据产生的速度。传统的数据分析处理方法已经无法满足海量数据分析的需求，未来大数据处理分析将变得更加智能。针对农业监测统计数据构建大型智能模型系统，是未来解决海量条件下数据分析的关键。以互联网技术为基础，开展适合现代农业监测统计的智能算法和模型研究，将成为未来数据分析的重要方向。

第三，搭建大数据服务平台，促进产品化应用。应用数据发现价值、指导实践，是农业大数据的最终目标。如农产品市场，信息不对称一直是影响农产品市场稳定的重要因素。农民面对纷繁的市场信息“看不见、听不懂、用不上”，结果造成农产品盲目生产、滞销卖难。通过大数据技术，一方面对信息流动、信息传播、价格传导等模拟和分析，帮助解决信息不对称问题;另一方面，将信息开放共享，也有助于合理引导生产者市场预期，消除农民盲目生产和出售观望，促使市场合理运行。