大数据时代心得体会(精选8篇)
信息时代的到来,我们感受到的是技术变化日新月异,随之而来的是生活方式的转变,我们这样评论着的信息时代已经变为曾经。如今,大数据时代成为炙手可热的话题。
信息和数据的定义。维基百科解释:信息,又称资讯,是一个高度概括抽象概念,是一个发展中的动态范畴,是进行互相交换的内容和名称,信息的界定没有统一的定义,但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据:或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”,如图形、声音、文字、数、字符和符号等。从定义看来,数据是原始的处女地,需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发,只是当数据爆发到无法驾驭的状态,大数据时代应运而生。
在大数据时代,大数据时代区别与转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。数据的更多、更杂,导致应用主意只能尽量观察,而不是倾其所有进行推理。小数据停留在说明过去,大数据用驱动过去来预测未来。数据的用途意在何为,与数据本身无关,而与数据的解读者有关,而相关关系更有利于预测未来。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进,理论来创立处理非结构化数据的方法,处理结果与未来进行验证。大数据是在互联网背景下数据从量变到质变的过程。小数据时代也即是信息时代,是大数据时代的前提,大数据时代是升华和进化,本质是相辅相成,而并非相离互斥。
2011年5月, 麦肯锡全球研究所发表了名为《大数据:创新、竞争力和生产力的下一个前线》的研究报告, 最早提出了“大数据”时代已经到来[1]。2012年3月29日, 奥巴马政府在白宫网站发布了《大数据研究和发展倡议》, 目的是提升利用大量复杂数据集合获取知识和洞见的能力, 并为此投入两亿美元以上资金[2]。奥巴马政府还把数据比喻成“未来的新石油”, 这充分说明美国已经把应对大数据时代带来的机遇和挑战提上了日程, 上升到了国家战略层面。2013年, 更是被媒体称为“大数据元年”。
麦肯锡发表的报告还认为, 制造业是较易获取大量数据的行业之一, 所以也是大数据应用最重要的领域之一[1]。制鞋业作为制造业的一部分同样面临着前所未有的机遇和挑战。那么, 究竟何为“大数据”?鞋企又该如何积极应对?
1 大数据的理解
1.1 大数据的定义
时下, 数据呈指数型增长, 那么, 海量数据是大数据吗?显然, 大数据不仅仅是“海量”, 比“海量”更重要的是数据的复杂性。云计算是大数据吗?答案是否定的, 大数据不是云计算, 它是云计算的灵魂和升级。云计算是大数据的一种业务模式, 其本质是数据处理技术, 而大数据的核心议题是如何盘活数据资产, 使其为国家治理、企业决策乃至个人生活服务。
综上所述, 大数据是指通过收集、整理生活中方方面面的海量数据, 通过分析软件对其分析挖掘, 进而从中获得有价值的信息, 最终盘活数据资产, 使其服务于个人、企业乃至国家。
1.2 大数据的特征
在2006年, 个人用户才刚刚迈进T B时代, 全球一共新产生了约180E B的数据;在2011年, 这个数字达到了1.8ZB。根据IDC市场研究机构预测:到2020年, 整个世界的数据总量将会扩大50倍[3]!所以, 想掌控这庞大的数据, 我们必须了解大数据的特征。
大数据具有4V特点:V o l u m e、Velocity、Variety、Veracity[4]。第一, Volume (体量) , 即海量的数据规模, 体现大数据庞大的特点。第二, Velocity (速度) , 即快速的数据流转, 对数据要实时分析, 立竿见影而非事后见效, 处理数据的效率就是企业的生命, 体现大数据时效性的特点。第三, Variety (多样性) , 即多样的数据类型, 包括文本、图像、视频、博客、社交网站、论坛、金融交易、电子邮件、日志等等, 这些都属于非结构化数据, 体现大数据复杂性的特点。第四, Veracity (价值) , 即价值密度低、商业价值高, 具有大量的不相关信息, 需要沙里淘金, 对未来趋势与模式进行预测分析, 体现大数据价值高但分析困难的特点。
1.3 企业大数据现状及发展趋势
中国企业数据中心数据存储量正在快速增长, 结构化数据、半结构化数据和非结构化数据的分布呈金字塔状, 非结构化数据处在最低端, 庞大而复杂。对于企业来说, 如果能有效处理和分析这些数据, 会得到企业非常有价值的信息。但是, 仅仅依靠数据库的查询检索机制和统计学方法很难获得这些信息, 所以, 企业迫切需要能自动地、智能地将非结构化数据转化为有价值的信息, 从而达到为企业决策服务的目的。
Tim O’Brien在2013年3月于圣克拉拉市举行的O’Reilly Strata大会上指出:自从雅虎技术团队以Hadoop为武器、一举将谷歌拉下神坛以来, 众多企业相继把这项技术引入业务流程当中[5]。但相对于高昂的资金投入、巨大的精力消耗, Hadoop技术所带来的优势却显得微乎其微。所以, 企业大数据工具使用现状是:砸钱太多, 回报太少。
其它方面, 比如企业数据分析处理方面的现状是:缺少数据全方位分析方法、ERP软件处理能力差、海量数据处理效率低、实时数据分析能力差等;企业对大数据的关注程度方面的现状, 以制造业为例, 从“制造业对大数据的关注程度”这幅图可以看出:制造业企业大都没听说过大数据, 即使听说过, 也是处于观望状态, 不敢于创新。
2012年1月, 瑞士达沃斯论坛发布了《大数据, 大影响》的报告, 宣称数据就像货币和黄金一样已经成为一种新的经济资产类别[6]。数据正在变成企业竞争的利器。面对大数据的挑战, 企业未来的发展方向是: (1) 个性化颠覆传统商业模式, 使互联网技术服务于传统产业, 推动产业的转型升级; (2) 数据服务变革, 针对群体, 把人分成很多群体, 每个都给予不同的服务; (3) 数据就是资产, 未来数据会成为最大的交易商品, 企业要基于数据挖掘技术诞生多种商业模式。
2 大数据在企业中的应用及思考
很多发达国家, 数据在企业的商业战场中起着决定性的作用。但大数据是把双刃剑, 应用得当, 企业会蓬勃发展;应用不当, 将对企业形成倒闭机制。只有了解大数据成功企业的成功关键要素、应用中的技术难点, 借鉴其经验, 取其精华, 去其糟粕, 才能成为一家以信息为中心的企业, 并在激烈的市场竞争中保持领先优势。
通过对大数据成功企业分析得出其成功的关键要素是: (1) 企业模式转变, 即企业高管如果能够意识到应对数据带来的挑战的迫切性时, 往往就能促成其大数据战略。 (2) 集中式数据存储, 即收集一切的数据:包括社交媒体数据、工作日志数据、传感数据等。然后对这些数据进行存储, 之后决定企业是否需要这些数据。 (3) 分析处理系统, 即拥有高度商业智能的数据分析和处理系统。 (4) 大数据专家, 分析百万兆字节而且是不同类型的数据是一项艰巨的任务, 需要聘请大数据专家, 帮助找出需要咨询的问题的准确解答方案, 进而充分利用大数据战略的优势。 (5) 对目标对象进行更完整的分析、描述。 (6) 广告投放要精准, 实现点对点智能广告模式。 (7) 细心周到的营销方式。
大数据在企业中的应用技术难点不是缺少数据, 而是数据太多, 面对这些静态、孤立、无多大参考意义的“初级品”的信息数据, 企业信息部门应知道如何通过系统功能来有效利用和整合, 发掘有价值的数据, 给公司营销管理提供决策支持。
大数据时代, 企业要想实现转型升级, 对自身也有一定的要求, 即首席信息官们意识上必须认识到创新的必要性, 勇于尝试全新的技术;应用初期从小项目着手, 确定企业的短中期目标和标准, 不断实现数据透明化, 强化数据洞察与分析;储备好大数据相关技术人才;依法获得数据, 不得侵犯用户隐私。
3 大数据, 鞋企的GPS
3.1 面对大数据, 鞋企的应对策略
大数据时代, 鞋企首先要考虑的是如何收集信息?客户信息就是“货币”, 谁掌握精准信息, 谁就赢得“货币”。互联网时代, 提的最多的就是“O2O”模式, 即线下线上。现在的鞋企老板可能每天都在思考, 不加入“网购”就是跟不上需求而没有未来, 加入则因线下生意大幅缩水而失去现在, 进退两难。那么, 线下实体店到底输在哪里?线上线下, 鞋企如何抉择?
对比“电商”和“店商”不难发现, 两者不同的是, 所有“电商”都对购买者的行为轨迹进行了全程跟踪, 并且留下了完整的客户信息 (浏览轨迹、交易信息、个人住址、联系方式、购物偏好、产品评价等等) , 有了这些信息就能够很容易开展二次定向精准营销, 并把这些客户重新拉到线上或线下再次消费。可是, “店商”呢?即不知道是谁买了什么产品, 也不知道消费轨迹, 更不知道联系方式。换句话说, 此单消费结束, 顾客也就流失了, 从而导致“店商”的业绩直线下滑。从两种消费模式不难发现, 数据对鞋企的影响之大, 谁控制了数据, 谁就掌握了“货币”的发行权和流通权, 也就掌握了制鞋行业的主动权。
所以, 鞋企在销售模式上, 应该线上线下两手抓、两手都要硬, 获取更多的客户信息, 建立一套完整的客户关系管理体系, 将线下门店里的消费人群吸引到线上, 从而实现客户线下和线上的交融, 提升客户忠诚度。特别是“店商”, 应该抓住自身客流量大的优势, 在消费者购买的同时迅速获取顾客信息 (联系电话、喜好、意见等等) 。
其次, 面对大数据, 鞋企要会分析利用, 从凌乱繁杂的数据背后挖掘其价值。这就要求鞋企重视数据型人才, 成立专门的数据部门, 以便能够从庞大的非结构性数据中实时有效地提取有用的价值。分析很多比较成功的公司不难发现大数据专家的重要。比如, Linked In公司有超过100位数据科学家;通用汽车公司也决定雇佣1万名IT员工, 其中就包括许多的数据科学家[7]。所以, 鞋企要想成功的转型升级, 数据型人才非常关键。只有他们实时有效地提取数据的价值并且及时反馈给其它相关部门 (设计部门、销售部门等) , 才能让这些部门更好的去了解产品市场、消费者、行业发展动态、流行和时尚等的信息, 使鞋靴产品设计定位更加准确, 鞋靴本体的设计更加符合消费者的需求。最后, 销售部门还要靠这些信息将鞋靴的优惠以及新产品的上市通过短信、微信、微博等渠道及时传递给顾客, 引导二次消费, 增加企业的营业额。
最后, 需要强调的是大数据里面没有排山倒海式的颠覆, 鞋企需要蹲下身子, 倾听消费者的需要, 一点点的微创新, 顺应消费者的习惯, 提供更加人性化的产品, 提供更加贴心的服务, 尽一切可能让消费者便利, 这才是核心问题。
3.2 成功案例
在制鞋行业大数据应用最成功的莫过于耐克。2010年, 耐克成立了独立的数字运动部门, 与耐克的研发、营销等部门属于同一个级别, 运动数字化已经正式成为耐克的战略发展方向。2012年, 可以称为耐克的运动数字化元年, 它的数字运动平台N i k e+迎来了全面爆发。短短1年时间内, 多款重量级产品相继问世, Nike+线上社区的注册用户数量也从年初的500万迅速增加到1000万以上的规模[8]。
其实, N i k e+的最具价值的部分是它所收集到的用户数据。耐克会如何利用这些数据呢?
(1) 未来, 耐克或许会在热门跑步路线的沿途投放广告。此外, 相关的公司完全可以在这些地区设置“加油站”, 为跑步者提供存放衣物等服务, 并且还可以借机售卖运动功能饮料等周边产品。
(2) 这些一手的数据可以为产品设计提供重要参考。依靠这些数据, 耐克还可以为用户量身打造适合的健身计划。
(3) Nike+可以帮助耐克从一家单纯提供运动鞋服的“硬件厂商”变为一家“服务供应商”。
(4) 从广告营销方面看, 很多人都佩服耐克公司选择代言人的眼光, 因为它总是能够挖掘出天才的运动员。这正是因为Nike+能通过用户数据找到那些天赋异禀的运动天才。
总结
“假如我们有了一个数据预报台, 就像为企业装上了一个G P S和雷达, 企业的出海将会更有把握。”马云在2012年网商大会上的演讲中形象地表示了数据的重要性[9]。
所以, 在当今这样一个大数据的时代, 制鞋行业也应当尽早开始研究大数据的管理与应用, 从凌乱繁杂的数据背后挖掘其价值, 使大数据“为我所用”, 帮鞋企更准确地找到用户, 将用户群精准细分, 找到更符合用户兴趣和习惯的产品和服务, 并对其进行针对性地调整和优化, 主动迎合用户需求, 从而来降低营销成本, 提高鞋企销售率, 增加利润, 实现鞋企的转型升级, 实现大数据的“长治久安”。
参考文献
[1]James Manyika, Michael Chui, Brad Brown.Big data:The next frontier for innovation, competition, and productivity[R].America:Mc Kinsey Global Institute, May 2011.
[2]Obama administration.Big Data Research and Development Initiative[R].America:Obama administration, March 29, 2012.
[3]韩琮林.中关村大数据产业链雏形初现[N].北京商报, 2012-12-17.
[4]Sec-cn.大数据[DB/OL].http://baike.baidu.com/link?url=h TWva LYe H SHPO57dultt JX5GG8NHq8hxk9_2TYq I49iqjx XHV9j9x0Kujza Ox Nc867ahbn EH6fn Qs Nkw J0SFK, 2013-10-08.
[5]Tim O’Brien.Change the world with Data[R].Santa Clara:O’Reilly Strata Conference, March 2013.
[6]Davos forum.Big Data, Big Impact[R].Switzerland:The world Economic Forum, 2012-01.
[7]云计算第一门户.大数据成功企业的六大特征[EB/OL].http://cio.z d n e t.c o m.c n/c i o/2013/0506/2158139.shtml, 2013-05-06.
[8]鞋库.掘金大数据——耐克NIKE+全解密[EB/OL].http://www.dbxie.com/news/201302/23/6077.html, 2013-02-23.
有句英文:It's not a rocket science。意思是事情很简单,没有火箭科学那么复杂。大数据自有大数据的科学,它是比火箭科学更深的科学,自有那些比火箭科学家更牛的牛人来解决并最终为大众提供一个未来大数据应用的平台。至少在这个平台出现之前,我认为大数据和我们企业没有半毛的关系。
不过,我们可以不关心大数据,绝不是说我们可以不关心数据。
电子商务时代的营销革命性的一面,就是其数据的全面性。网站用户的每一个细微的行为,都会被记录下来作为我们所谓的数据资源,用来对用户的消费爱好与行为进行统计分析,并根据分析结果采取相应的市场措施。这是传统经济所不可想象的用户行为数据,确实十分令人激动。可是一些人一激动,就开始了无限的想象,把数据应用推向非理性。
这让我想起了电子商务刚刚开始时在美国出现的一对一营销(One to One Marketing),那也是被整个社会高调宣传的最新的营销理论,有人甚至说一对一营销是营销界有史以来可以与市场细分并列的营销革命。在大数据的大幕后面,隐藏的也是这个“一对一营销”的冲动和梦想:我们有足够的大数据来分析消费者的行为,通过大数据的分析,我们能够准确地预测用户的需求,所以可以通过正确的预测,向用户提供一对一的销售和服务,以提高我们通常所说的用户体验。
当初我有幸作为一个冷静的观察者对此理论进行了系统的分析,发现当年一对一营销创始人在其网站上所列举的9大成功案例没有一个是真正成功的!那么,一对一营销有什么问题呢?
首先,一对一营销有悖规模化经营的工艺质量成本优化原理。每个用户的消费爱好与行为都不尽相同,除非企业是为每个用户量身定制,除非用户愿意支付比大众化商品服务更高的价格,否则不可能真正做到一对一。
其次,企业不可能提供一对一的商品或服务。用户的消费需求千姿百态,任何一个企业都不可能满足所有用户的个性需求。如果一对一营销真的能够实现,它向用户提供的,并不是用户最喜欢的商品服务,而是企业所能提供的商品服务中用户最不讨厌的。
第三,一对一营销有悖市场细分的科学原理。因为不能提供全方位的商品服务,所以要通过市场细分来聚焦企业的商品和服务。抛弃市场细分的理论谈一对一营销,企业的营销一定会迷失方向:究竟哪个用户的需求需要满足,哪个用户的需求可以忽视呢?
第四,一对一营销可能也是不需要的。市场上提供的商品和服务,往往都是通过细分优化的结果,它一定应该满足“人以群分”的规律。例如我们制造的衣裤鞋帽只有有限的尺寸,绝不是“一对一”。根据一对一营销的理论,我们是不是需要对每个消费者都量身定制呢?
第五,或许有人会问:我们用“一对一”来预测用户的具体商品需求,这有什么问题吗?事实是,如果你懂得市场细分的统计学方法,就会了解,所谓的“一对一”营销,实际上是多个市场细分的结果,我称之为“动态市场细分”。
第六,一对一营销不可能达到理想中的一对一精准性。一对一营销理论以为,通过精密的统计分析,我们能够向用户提供其最需要的商品或服务。但事实是即使有大数据,统计学的预测也绝不像我们想象的那样精准,一对一的精准预测是很难实现的。
最后,互联网技术有比所谓“一对一营销”更有效的方法来提升用户体验。与大数据的统计分析预测相比,与用户互动让用户告诉你他需要什么肯定比任何数据预测更精准,只要你的活动不让用户讨厌;同时,用户浏览页面的内容相关性,也比根据其过去的购买浏览记录预测的结果更可靠。
电商数据的应用是个大题目,本文只能谈点皮毛。我对互联网时代的电商数据应用,有这样一些认识:
1.不要迷信大数据。现在一谈到数据就傍以大数据,甚至有人把美国传统超市的数据都拿来当做大数据渲染,让人不寒而栗;
2.数据很重要,要认真系统规划数据的收集、分析及应用;
3.不要为了数据而数据。数据的收集、分析及应用要业务导向,要以营销结果导向;
4.改进用户体验要依据数据分析,但不要盲目地希望通过数据的统计分析预测来改进用户体验,数据不是万能的;
5.在分析数据时,一定要以市场细分的理论为指导,更聚焦在用户的分类及如何提高聚焦细分市场的用户体验,切不可将用户看做是单个的个体来分析处理;
6.所谓“一对一”的用户体验,是通过多维的市场细分统计分析实现的,但不可迷信它的精准性;
7.在数据之外,互联网还提供了更多可能更有效的方法来提升用户体验。
最后一句话总结:数据很重要,但数据不是万能的。这应该是我们大数据时代的数据观。
《大数据时代》从思维、商业、管理三个方面阐述了在大数据时代下的变革。这些变革涉及人们生活的方方面面,其影响程度可以与两次工业革命相媲美。作者在第一部分提出了三个比较令人震惊的观点:第一,不是随机样本,而是所有数据,这里要求数据有很多。第二,不是精确性,而是混杂性,这里要求数据更杂。第三,不是因果关系,而是相关关系,这里要求数据要更好。第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。第三部分则是阐述了大数据时代下的弊端以及在管理上的措施。个人认为这本书的精髓部分是第一部分。第一部分的三个观点涉及面很广,包括统计学、逻辑学、哲学等。后两个部分都是以第一部分这三个观点为基础展开阐述的。
笔者侧重于从第一部分中的这三个观点谈谈自己的看法。这三个观点其实就是哲学上讲的世界观,因为世界观决定方法论,所以这三个观点对传统看法的颠覆,就会导致各种变革的发生。
首先,作者认为在抽样研究时期,由于研究条件的欠缺,只能以少量的数据获取最大的信息,而在大数据时代,人们可以获得海量的数据,抽样自然就失去它的意义了。
其次,要效率不要绝对的精确。作者说,执迷于精确性是信息缺乏时代和模拟时代的产物,只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法被利用。作者是基于数据不可能百分之百正确的考虑而做出这样的判断的,如果采用小数据,一个数据的错误就会导致结果的误差很大,但是如果数据足够多、数据足够杂那得出的结果就越靠近正确答案。大数据时代要求人们重新审视精确性的优劣,书中还说到大数据不仅让人们不再期待精确性,也让人们无法实现精确性。
最后,不是因果性,而是相关性,这是这本书中争议最大的一个观点,不仅是读者,就算是本书的译者也在序言中明确地说到他不认同“相关关系比因果关系更重要”的观点。作者觉得相关关系对于预测一些事情已经足够了,不用花大力气去研究天们的因果关系。作者用林登的亚马逊推荐系统的成功,证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分地利用并挖掘各类数据信息的.代表,从啤酒和尿布的案例,以及作者举的有关蛋挞和飓风天气的案例,都说明了掌握了相关关系对于策略的帮助作用。
作者在书中把大数据说得很厉害,在最后一部分分析大数据带来无数好处的同时,也带来了不良影响以及如何面对这些影响。用麦克纳马拉的例子来说明对数据过度依赖所带来的后果。也用《少数派的报告》这部电影来说明如果痴迷于数据会导致人们将生活在一个没有独立选择和自由意志的社会,如果一切变为现实,人们将被禁锢在大数据的可能性之中。书中提出了两种解决方法,一种是使用数据时征询数据所有个人的知晓和授权,另一种是技术途径匿名化。毫无疑问,大数据将会给社会管理带来巨大的变革。
--读《大数据时代》有感
施佳驰
不知从什么时候开始,“大数据”这个词悄然成为了我们的常用词汇;我们也不知从什么时候开始,迈进了“大数据时代”.那么,大数据时代究竟是一个怎样的时代?英国“大数据时代的预言家”维克托迈尔·舍恩伯格和肯尼思 库克耶的《大数据时代》对此有着详细而深刻的洞见。
一、什么是大数据?
根据《大数据时代》中所说,“大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉,大数据还为改变市场、组织机构以及政府与公民关系服务。”、“大数据即一种新型的能力:以一种前所未有的方式,通过对海量 数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。” 大数据有两层含义,第一层含义,大数据是一个总结性的概念,是对海量数据的总称;第二层含义即书本中所指出的,是一种新型的能力与方式。区别于小规模数据时代的抽样分析,大数据时代,分析的样本不再需要经过抽样,直接将全体数据进行更快更准确地分析。
二、大数据的核心是什么?
大数据的核心应当是减少冗余,提高资源配置效率。根据收集到的数据分析、挖掘出庞大数据库独有的价值,以便进行干预或提供相应的资源与服务。自古以来,人类社会的发展便是资源配置不断优化的过程,大数据作为一种新型的生产工具,它能让我们通过分析海量的数据,得知该如何更有效地分配稀缺的资源。
如医院通过对某个病人病史、生活习惯、衣食住行、工作娱乐情况等进行全方位分析,便可以准确了解病人的生活情况与生活环境,精确地指出症结引起原因所在,只要建议病人针对引起病源的因素做出调整或进行医学干预,便可以了,避免了对病人过多的用药与过大范围的盲目干预。
同样的道理,如果银行通过分析某一申请人的家庭情况、消费历史、生活习惯、财务习惯、网页浏览记录等各方面的数据,便可以清晰了解此申请人各方面的情况,甚至可推测其内心的真实想法与将要采取的做法,从而判断申请人的贷款申请资格,决定该不该授信,授信多少等内容,所有的信息在大数据时代,能在系统中搜索一下,几分钟便能全部收集完成。相比以前,()申请人申请后,银行得派出两名客户经理上门进行访问、调查、收集电信、征信等多方面的信息,再进行人工分析、鉴别等过程,耗费的时间多不说,风险也相对更高。
可见,大数据的运用不但提高了工作效率,节省了机构与申请人的时间,更能基于精确的信息,确保风险可控,且保证了授信给该申请人的正确性,将有限的资金用在刀刃上,提高资源配置质量。
三、什么是大数据思维?
书中指出,大数据思维是一种意识,认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。大数据与三个重大的思维转变有关:首先,要分析与某事物相关的所有数据,而不再依靠分析少量的样本;其次,乐于接受数据的纷繁复杂,而不再追求精确度;最后,我们的思维不再探求难以捉摸的因果关系,转而关注事物的相关关系。
大数据思维应当是一种意识,认识到大数据的无穷威力,并积极拥抱这个繁荣的时代;世界上的一切都是信息,都是可以量化分析的信息。如果将相关的信息进行交互分析,便能获得“上帝的视觉”——窥视知道分析对象的一切,包括所思所想;获得的信息可以通过类比,准确推测分析对象的想法以及未来行为;根据推测出来的内容进行干预或服务,从而获得商业机会;在一切均有记忆、一切均能收集、能更加准确预测未来的时代,我们或许受困于过去的行为;在这个时代,对隐私权、公平与正义的探讨上升至一个新的语境。
四、新的时代,我们该怎么办?
老子说,无为而治。因此,我们还是该吃饭就吃饭,该逛街就逛街,想吃甜点便吃甜点,过自己的生活,努力自己的工作。大数据是一种意识,更是一种工具,所有的工具最终都是为了让我们生活得更加方便、更加如意,而作为最高智慧生物的我们,要做的,便是习学如何通过这新的工具,改造世界,创造生活。
——读《大数据时代》有感
信息时代的到来,我们感受到的是技术变化日新月异,随之而来的是生活方式的转变„„我们这样评论着的信息时代已经变为曾经。如今,大数据时代成为炙手可热的话题。笔者在这说明信息和数据,只是试图首先说明信息、数据的关系和不同,也试图说明,为什么信息时代转变为了大数据时代?大数据时代带给了我们什么?
信息和数据的定义。维基百科解释:信息,又称资讯,是一个高度概括抽象概念,是一个发展中的动态范畴,是进行互相交换的内容和名称,信息的界定没有统一的定义,但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据:或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”,如图形、声音、文字、数、字符和符号等。从定义看来,数据是原始的处女地,需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发,只是当数据爆发到无法驾驭的状态,大数据时代应运而生。这是否是《大数据时代》一书所未曾阐述的背景材料?
在《大数据时代》一书中,大数据时代与小数据时代的区别:
1、思维惯例。大数据时代区别与转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。作者语言绝对,却反思其本质区别。数据的更多、更杂,导致应用主意只能尽量观察,而不是倾其所有进行推理?这也是明智之举
2、使用用途。小数据停留在说明过去,大数据用驱动过去来预测未来。笔者认为数据的用途意在何为,与数据本身无关,而与数据的解读者有关,而相关关系更有利于预测未来。
3、结构。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进,理论来创立处理非结构化数据的方法,处理结果与未来进行验证。
4、分析基础。大数据是在互联网背景下数据从量变到质变的过程。笔者认为,小数据时代也即是信息时代,是大数据时代的前提,大数据时代是升华和进化,本质是相辅相成,而并非相离互斥。数据未来的故事。数据的发展,给我们带来什么预期和启示?银行业天然有大数据的潜质。客户数据、交易数据、管理数据等海量数据不断增长,海量机遇和挑战也随之而来,适应变革,适者生存。我们可以有更广阔的业务发展空间、可以有更精准的决策判断能力、可以有更优秀的经营管理能力„„可以这些都基于数据的收集、整理、驾驭、分析能力,基于脱颖而出的创新思维和执行。因此,建设“数据仓库”,培养“数据思维”,养成“数据治理”,创造“数据融合”,实现“数据应用”才能拥抱“大数据”时代,从数据中攫取价值,笑看风云变换,稳健赢取未来。
“大数据”时代 (“Ageof BigData”) 这一说法的流行得力于全球知名咨询公司麦肯锡的倡导, 英国牛津大学教授维克托·迈尔·舍恩伯格更在其《大数据时代:生活、工作和思维的改变》中大声疾呼, 断言一个史无前例的大数据时代已经来临!“大数据” (“Big dat a”) 显然并不是一个严格的学理性概念, 而更多地是一个描述性话语。所谓大数据, 也就是大型数据集, 一般在10TB规模左右。多个数据集一整合, 就会形成PB级, 甚至以E、Z等为计量单位的数据量。例如, 2011年全球的数据量已达1.8ZB。过去几年全世界产生的数据量甚至超过了历史上4万年来产生的数据量的总和。这种激增的数据量势必突破传统常规软件的信息处理能力极限。大数据的说法正是在与传统数据库的比照中形成的, 也注定只能是一个暂时性的权宜说法。随着信息技术的进一步发展, 更大的数据集合会不断出现, 今日所谓的“大数据”势必相形见绌。
IT业界通常将大数据的特征概括为四个“V”:体量 (volu mes) 巨、类别 (variety) 多、速度 (Velocity) 快、价值 (Valu e) 大。大数据之大首先是指体量大。大数据和传统所说的数据库有所不同。诞生在20世纪70年代的传统数据库是小型的、单一的、孤立的, 基于小范围的抽样样本统计。而大数据则要求穷尽一切相关样本, 搜集尽可能全面的数据, 大数据的数据集拥有的不是支离破碎的割裂数据, 不是数据片段, 而是完整的数据。数据的海量与数据的完整性使大数据有着传统的数据库无法比拟的信息优势。
大数据之大还在于气魄大、境界大。大数据的来源也有别于传统的数据库, 显示出了跨领域、跨门类、多类别的整合气魄和越界意识, 如果说非结构化数据、半结构化数据一直没有被纳入经典数据库技术SQL的视野, 那么大数据的数据则源自多种数据源, 是一种综合数据, 兼收并蓄了结构化数据、半结构化数据、非结构化数据等各种类别和格式的数据, 尤其是包含了大量的视频音频数据。这使其信息占有量和信息复杂度为传统数据库所无法比拟。这些海量数据本身就会凸显以往不为人们注意的事物的多方面的关联性, 因此这种数据更能显示出多方面的信息内涵, 信息质量更为优化, 信息意味更为繁复。大数据与传统数据库的差异还在于它并不是一个整齐排列, 有着固定层次结构、划一技术标准、反馈迟滞后延的物态化的实体, 而是一个灵活、越界、即时、交互、综合的动态过程, 可以在瞬间完成信息分析, 形成数据图谱, 满足社会各界人士的实时性需求。
大数据之大更在于处理信息的手笔大。大数据的要害不在于数据存储技术的升级跃进, 大数据的“大”不是指存储和备份的数据大, 在根本上它是指处理数据所使用的模式“大”。[1]大数据在今天的时代里俨然成为了一种新的产业资源, 通过尽力搜集整理全面数据、完整数据、综合数据并对数据进行深度智能分析和建模, 可以显示出各种事物的潜在关联, 挖掘出各种以往不为人知的相关性, 判断事物发生的概率, 预测事物变化的走向, 预见某种社会趋势, 从而使鱼龙混杂的信息在大数据时代的社会管理、商业营销、产业开发、文化创意、医疗保健等方面更能发挥见微知著的预见性价值, 据此各行各业都可以有的放矢地制定新策略, 成就新创意, 开发新产品, 推出新业务。维克托·迈尔·舍恩伯格在《大数据时代———生活、工作与思维的大变革》中曾指出, 在大数据时代, 人们不再认为数据是静止和陈旧的。但在以前, 一旦完成了收集数据的目的之后, 数据就会被认为已经没有用处了。[2]P20如果数据仅仅被当作静止的, 仅有档案意义的材料存储下来, 而得不到充分的挖掘、分析和利用, 那它势必无异于一堆废旧物品。存储小数据库也好, 海量数据也好, 并没有实质性的区别, 也不会产生多大的社会效益、经济效益。而如今, 借助云计算, 大数据挖掘分析已成了经济的助推器, 它也使世人在面对缤纷陆离的现实世界时更能审时度势, 把握转瞬即逝的机会。确如微软公司全球资深副总裁、微软亚太研发集团主席张亚勤博士所说大数据的最终意义是“获得洞察力和价值”。“大数据的崛起, 正是在人工智能、机器学习和数据挖掘等技术的迅速发展驱动下, 呈现的一个将信号转化为数据, 将数据分析为信息, 将信息提炼为知识, 以知识促成决策和行动的过程”。[3]
近几年来大数据的引人瞩目显然与数字技术的不断革新突破、数字化信息存储和处理能力的不断提升、云计算与物联网、移动互联网的兴旺发达密切相关。虽然早在1980年著名未来学家阿尔文·托夫勒在其《第三次浪潮》一书中已经提到“大数据”一词。在20世纪90年代, “数据仓库之父”比尔·伊蒙 (Bill Inm o n) 更明确提出了“大数据”的概念。但在当时“大数据”的说法并没有引起世人的高度关注。最近几年大数据一说不胫而走, 显然与信息量的持续攀升、大数据的俯拾即是、云计算的大量运用息息相关。一夜之间, 人类俨然进入了一个全新的“大数据”时代。实际上, 大数据时代的到来早有征兆。20世纪80、90年代所谓的信息爆炸可谓是今日的大数据潮流的先声。只不过, 目前物联网、移动通讯、互联网每时每刻都在不断滋生潮水般的海量数据, 人类的信息数据在以几何指数形式激增。根据市场调研公司IDC的报告, 全球信息总量每过两年就会增长一倍。据统计, 1分钟内, 微博网站推特上新发信息超过10万条, 脸谱上的浏览量超过600万, 苹果应用商店下载次数以万计, 淘宝可卖出几万件商品, 百度能产生百万次搜索记录。而以往的数字化信息存储和处理能力严重限制了信息的采集、存储量。这些TB级、PB级海量数据的存储、挖掘、处理、分析、利用对于以往时代来说是不可想象的。在过去, 存储的主要是模拟数据, 报纸、书籍、图片、磁带等媒介是信息存储的主要载体, 甚至在2000年的时候, 数字存储信息仍只占全球数据量的四分之一;当时, 另外四分之三的信息都存储在报纸、胶片、黑胶唱片和盒式磁带这类媒介上。[2]P23数据处理技术和处理能力的局限使大量在交通、医疗、商业、管理中产生的数据资料都难以得到长期有效的存储。直到MPP、Map Redu ce、Hadoop平台、云计算等新的数据处理技术诞生后, 海量的大数据才被深度挖掘处理, 显示出了前所未有的价值。
但大数据潮流的深层根源显然还是利润最大化的商业冲动, 大数据产业说到底不过是数字经济、知识经济的最新形态, 这也是“大数据”这个为管理咨询公司、经济学家、IT界巨头欢欣鼓舞的概念招人质疑的重要原因。但是商业化潮流既可能导致文化的沙化、社会的急功近利、商业的唯利是图, 也会成为文化创新的不竭动力, 开启知识创造的新天地和新境界。事实上, 正是近年来数字化领域的商业逐利冲动驱使商家不断改换思路, 升级设备, 实现数字技术创新, 提升数字服务水准, 开辟新的产业领域, 开发新的文化产品, 开创了蔚为潮流的大数据产业, 也开启了有别于互联网时代的“数字化生存“的新境界。
二
大数据时代的到来使分析挖掘海量数据, 对海量数据进行有效应用成为可能, 也使非结构化大数据的采集分析成为社会管理、政府和企业决策、商业营销、产品研发创意、疾病预防的重要凭借和有效途径。在这个号称“数据钻出石油”的大数据时代, 大数据对于社会、企业和个人都是一种核心的竞争力。[3]通过对庞大的非结构化数据的分析挖掘, 发现、提取有价值的数据图谱和趋势性信息, 可以为各行业提供行情预测、趋势分析的前瞻性讯息, 作为各行各业决策的依据和制定策略的参考。长期以来, 由于技术硬件限制和观念意识不到位, 大量的数据信息没有被人们重视, 没有得到有效采集, 即使采集了也往往难以长久存储。例如, 交通监管部门、医疗机构、商场超市每天都会产生大量的实时视频图像数据, 但这些数据往往很快就被清除了, 更谈不上深度挖掘分析。但是随着大数据时代的到来, 这些半结构化、非结构化的数据却成为了宝贵的信息资源, 经过挖掘分析, 它们可以提供大量前瞻性的预见信息, 为预测经济发展前景、商业消费趋势, 监控食品安全、瘟疫流布等提供重要依据。这方面为人津津乐道的例子比比皆是。无论是2009年时, 谷歌公司凭借对人们频繁检索的词条进行监测分析, 早于使用传统数据反馈方式的美国公共卫生机构及时预测出甲型H1N1流感爆发和传播的态势, 还是2004年沃尔玛基于对海量销售记录的分析发现每年季节性飓风来临前手电筒和蛋挞的销量俱增, 从而决定把蛋挞和飓风用品并置营销, 乃至于2012年12月淘宝根据4.7亿注册用户的网购数据、浏览点击数据、收货地址数据编辑制作的“个人网购志”。无论是华尔街“德温特资本市场”公司通过对全球用户发的帖子中显示的情绪状况进行数据分析来决定股票的买入与抛售, 还是亚马逊公司基于用户的海量查询记录数据分析用户的兴趣偏好实现针对性产品推荐的精准化, 都堪称是大数据应用的范例。
由此各行各业的决策变得日益依赖数据密集化的“智慧服务”系统, 诚如吕诺尔夫松所指出的, 在商业、经济及其他领域中, 大数据时代的决策行为将日益基于数据和分析而做出, 而并非基于经验和直觉, [4]维克托·迈尔·舍恩伯格还强调大数据的出现还使追求精确性、重视辨析因果关系的传统思维模式显得迂腐过时, 在大数据集合中, 数据的混乱性、非结构化数据的杂陈对于人们了解社会生活甚至更为重要。“最惊人的是, 社会需要放弃它对因果关系的渴求, 而仅需要关注相关关系。也就是说只需要知道是什么, 而不需要知道为什么。这就推翻了自古以来的惯例, 而我们做决定和理解现实的最基本方式也将受到挑战。”[2]P9由此, 一种以数据为中心, 重视统计、量化和数据相关性而非理念演绎、概念推理、逻辑关联的新型文化范式势必崛起。这必然会深刻影响当代社会文化的方方面面, 影响到整个社会的组织方式、管理方式, 人们的生活方式、信息处理方式也将发生改变, 社会管理、商业经营的理念也必然会随之发生变化。
大数据潮流也必然会深刻影响着产业结构的转型, 大数据处理技术不仅给传统产业带来了新的经营理念, 提供了信息分析挖掘的新手段, 使企业能够拥有更多的发展机遇, 例如目前自媒体兴旺发达, 微博长势迅猛, 以新浪为例, 每天都会产生2500万条以上的微博信息, 对这些海量的交互数据进行计算机自动化分析, 势必能从中发现有价值的舆论导向、民众期望, 了解人心所向, 也会发现大众的关注点、生活方式的新变化、消费的新趋势, 这既有利于政府机关及时完善社会保障机制, 化解社会矛盾, 优化社会管理, 也有利于商家从中发现商机, 推动企业经营从粗放型向集约型转变。而且大数据潮流还直接催生了新型的大数据产业, 即“建立在对互联网、物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业”[3], 也创造了数据分析师等新型就业岗位。
大数据时代依然承继了互联网开创的互联、交互的文化精神, 大数据时代使媒介融合集成的全媒体趋势、信息技术与媒体技术交汇的信息媒体化趋势进一步加强, 也势必为文化融汇提供更广阔的天地。Orange实验室首席执行官乔治·纳汉 (Georges Nahon) 曾指出:大数据时代企业界限、定位不再清晰, 过去, 几乎不存在改变游戏规则的公司, 所有的竞争者都局限在他们自己的业务领域内。但是, 当世界进入数字化时代以后, 所有这一切都发生了改变, “不要进入我的领域, 而且我也不进入你的领域”, 这一存在了多年的规则已经不再适用了。信息资源被重新分配, 合作方式被不断改写。[5]与此同时, 传统的生产决定消费的生产型社会的运转逻辑在经历了消费社会消费主导生产的逆变后, 随着大数据时代的到来, 生产消费正日益突破长期以来生产消费割裂, 运行不同步, 反馈滞后的线性图式、主导———受动的二元对抵格局, 呈现出亦此亦彼、实时交互的新局面。大数据潮流为经营的横向跨界、产业的越界混融、生产与消费的合一提供了得天独厚的条件, 也势必促进历史上多种文明形态的混溶整合。由此, 历史上农业文明、工业文明、信息文明的正能量也势必在大数据时代的信息平台上得到整合提升。
谷歌、雅虎、亚马逊、脸谱、思科、威睿、甲骨文、IBM等掌握着大数据资源的大公司在大数据时代毫无疑问居于媒介生态链的顶端, 主导着数据库平台, 占据着这个数字化信息世界的主导地位, 在数据挖掘和分析方面得天独厚。“大数据让处于行业两端的公司受益良多, 而中等规模的公司要么向两端转换, 要么破产”, [2]P188这会给商业界带来新的不平衡。但是大数据时代不同于传统媒介时代的一大特点是信息鸿沟不再不可逾越, 大数据时代依然承继了互联网开创的数字化媒介转型带来的文化共享、民主平权的新文化精神, 由于海量数据是一种共享性、开放性的公共信息资源 (以国家战略应对大数据潮流已成为世界许多国家的共识, 许多国家的政府网站向公众开放, 各行各业的数据也很容易为公众获取。面向公众开放的云计算服务器等基础设施建设也方兴未艾) 。每个用户、每个终端都可以一显身手, 发挥自己的才智, 仅仅凭借一台电脑、一个手机, 用户就可以从“云”中海量的共享性数据资源中调用、择取自己所需要数据进行挖掘、分析, 为己所用。一些个体开发者和小型企业也完全可以贴近用户需求, 以巧取胜, 进行丰富多彩的创意开发, 为自身赢得生存发展空间。
当然我们也应警醒地看到, 最近两年随着“大数据”一词迅速蹿红, 大数据俨然成了比黄金、石油更重要的财富源泉, 这也可能使“大数据”成为新的话语泡沫滋长的渊薮。曾几何时, 因特网被描述为一种乌托邦境界, 被断言开创了一个知识共享、全球一体、在线无隙交往、地球村其乐融融的熙乐民主时代, 而事实却冷峻地显示互联网时代也产生了穷人与富人的数字鸿沟, 赛博空间也是黑客纵横、道德失范的黑色空间, 互联网的“数据海啸”反而阻碍了有效信息的迅速获取, 赛博空间甚至成了信息垃圾杂沓的飞地。大数据是否也会成为一种新的神话?所谓的大数据“将成为人类的仪表盘, 一个帮助人们对付贫困、犯罪和污染的智能工具”[6]的美好遐想是否言过其实?
在大数据时代, 随着信息数据的无限增值, 信息数据的价值密度反而趋小。无限增值的数据和有限的现有信息处理技术与工具的矛盾、无限增值的信息数据与有限的现有IT业从业人员与精算师之间的矛盾、无限增值的信息数据与人的有限的注意力、知识结构瓶颈和应对多方面问题的多元复合能力的匮乏之间的矛盾、大数据产业的突飞猛进与国民整体数字化素养相对低下之间的矛盾都将长期存在, 这势必影响对大数据的有效管理和充分利用。大数据潮流也为计算机病毒、黑客攻击、数据操纵与篡改等形形色色的恶意提供了温床, 个人隐私保护和信息安全保障的形势将更为严峻。而且, 在一个数据至上的时代里, 技术崇拜、工具理性将有增无减, 技术拜物教将水涨船高, 这也值得世人高度警惕。
参考文献
[1]曹雨田.大数据, 不仅“大”在数量[J].人民日报, 2013-1-17 (22) .
[2] (英) 维克托·迈尔-舍恩伯格.大数据时代——生活、工作与思维的大变革[M].[M], 盛杨燕周涛译.杭州:浙江人民出版社, 2012.
[3]余建斌、赵展慧.大数据崛起[J].人民日报, 2013-2-22 (20) .
[4]金良.纽约时报:大数据时代降临[Z].http://finance.sina.com.cn/stock/usstock/usexpert/20120213/232011368877.shtml
[5] (法) 乔治·纳汉.“大数据”时代的计算机信息处理技术[J].赵春雷编译.世界科学, 2012 (2) .
从2012年开始,我们将从大陆时代,移民进入大数据时代。
麦肯锡公司提出的大数据时代到来的观点,引起了全球广泛的反响。多家机构认为,“大数据”将会成为贯穿2012年的一条全新投资主线。
作为特指的大数据,按EMC的界定,其中的“大”是指大型数据集,一般在10TB规模左右;多用户把多个数据集放在一起,形成PB级的数据量;同时这些数据来自多种数据源,以实时、迭代的方式来实现。IBM把大数据概括成了三个V,即大量化(Volume)、多样化(Variety)和快速化(Velocity)。大数据通常与Hadoop、NoSQL、数据分析与挖掘、数据仓库、商业智能以及开源云计算架构等诸多热点话题联系在一起。
作为泛指的大数据,则指向了定制化、差异化、个性化方向的竞争力。例如美国奥巴马总统委员会的科技顾问Stephen Brobst所说:“过去3年里产生的数据量比以往4万年的数据量还要多,大数据时代的来临已经毋庸置疑。我们即将面临一场变革,新兴大数据将成为企业发展的当务之急,而常规技术已经难以应对Pb级的大规模数据量。这一变化所带来的挑战,是成功的企业在未来发展过程中必须要面对的。只有那些能够运用这些新数据型态的企业,方能打造可持续的重要竞争优势。”
我们原以为已经进入数据时代,其实真正的数据时代从2012年刚刚开始。标志性的区别就在于,以往的数据只是结构化的数据,是非个性化的数据;而进入2012年,非结构化数据占有比例将达到互联网整个数据量的75%以上,这意味着个性化数据时代的到来。
异质性、个性化,这才是数据的真正本质。而那种一模一样的数据,与长相相同的麦当劳、铁锹一样,仍属于过去的时代。
在真正的数据时代,网商将不再奔向数据趋同的淘宝商城,而将涌向提供个性化竞争力的AaaS(分析即服务,analytics-as-a-service),扑向3V的怀抱。
淘宝目前每天活跃数据量已经超过50TB,共有4亿条产品讯息和2亿多名注册用户在上面活动,每天超过4000万人次访问。“大数据”的作用,就是把这些数据采集进数据仓库中,然后用分布式的技术框架(Hadoop),对非关系型数据进行异质性处理(NoSQL),通过数据分析与挖掘,发展一对一的商业智能,从中产生让网商因小而美、不再打价格战的企业和个人竞争力;让中国产生不再依靠“中国制造”,而转向“中国创造”的国家竞争力。
大数据时代,还会使一些具有数据核心技术的企业面临新的机会。IBM希望提供端到端、整体的大数据解决方案,机器人“沃森”在人机大战中获胜就是其中的成果。眼看已经不行的惠普,随着对数据分析仓库供应商Vertica的收购,俨然有了追随Teradata的资本。只要愚蠢的投资人不再多事,就有可能咸鱼翻身。更不用说EMC占对了内存计算的要津,抢得大数据和云计算的先机。几家欢乐几家愁,就看数据有没有。
我个人以为,大数据并不像某些人说的,是云计算之“后”的又一浪。而就是云计算本身。因为都是数据的大规模集聚与定制化分布的结合。
【大数据时代心得体会】推荐阅读:
大数据时代背景下05-30
大数据时代的口号06-08
大数据时代下数据挖掘技术的应用02-15
大数据时代:中国迎来新挑战07-15
大数据时代的城市规划12-07
《大数据时代》的读后感12-29
“大数据”开启地产销售新时代10-10
大数据时代下的精准营销02-13
大数据时代药物化学教育创论文09-23
大数据时代管理会计研究论文11-24