大数据平台建设方案（精选8篇）
党的十八大把生态文明建设放在了突出地位，纳入了“五位一体”总体布局，并首次把“美丽中国”作为未来生态文明建设的宏伟目标。2015年新修订的《环境保护法》将“推进生态文明建设、促进经济社会可持续发展”列入立法，以法律的形式将生态文明建设提升到了国家的战略高度。国务院出台的《水污染防治行动计划》“水十条”，对生态文明中水环境和水质保护方面的提出了重点管理要求。与此同时“互联网＋”和“大数据”应用也上升为国家战略，国务院出台的《关于积极推进“互联网＋”行动的指导意见》、《关于促进大数据发展的行动计划》和环保部发布的《生态环境大数据建设总体方案》，将“互联网＋绿色生态”作为11个重点行动之一而提出，要求未来的环保工作必须紧密地与大数据建设结合起来，高度重视大数据在推进生态文明建设中的地位和作用。建设目标
以往信息化发展基本都是着眼于各个业务部门各自的业务需求，“管什么、想什么、干什么”，数据多头采集、相互矛盾的现象普遍，难以从环保工作全局层面支撑决策和管理。很多环境问题还处于现状不清、底数不明、原因不详的困局之中，环保部门在回应重大环境污染事件和解决人民关切的环境问题方面容易陷入被动。
通过以水环境综合大数据分析建设为契机，树立环保工作的大局观和整体观，将流域各方面相关环境管理数据整合起来，形成合力打造对内的统一的水质大数据智能分析平台，用全局性的战略眼光来谋划整个水域环境质量、影响流域污染源监控数据管理建设。3 系统建设内容
3.1 水环境大数据采集
大数据时代的环境信息化建设是以数据为核心，环境大数据管理与应用是在“十三五”期间最重要的发展方向，所以环保部门未来建设重点将紧紧围绕大数据进行。而要实现大数据的智能化应用，首先要解决的就是大数据收集获取问题，因此需要夯实应用基础，全面收集内外部数据资源，整合、共享、联动、开发数据，努力实现全数据采集管理。
3.2 水环境大数据管理
获取流域水质大数据分析需要的相关环境大数据资源后，建立大数据综合服务库，将采集的海量数据汇聚进入到库中，聚合原有分散在各个政务系统中的数据，并按照大数据管理标准及要求，进行集中管理与维护。
3.3 水环境大数据分析应用
随着环境信息化建设的逐步深入, 各级环保部门产生的数据量急剧增加。数据产生的范围也逐步扩大, 涵盖环保科学研究、环保行政执法、环境监测分析、环保基础设施建设、生态保护以及其它环保行政主管部门。大多数数据都以最原始的形态存在, 不利于数据信息互通和共享, 造成大大小小的信息“孤岛”。而大数据是需要新处理模式才能具有更强的决策力, 洞察发展力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息, 而在于对这些含有意义的数据进行专业化处理, 并转化为具有决策功能的信息。本文研究的重点是利用物联网、云计算、大数据技术对这些数据进行有效融合, 搭建环保大数据信息共享管理平台, 为环境管理提供决策支持。
二、平台的定位
针对环保系统各业务之间缺乏联系, 系统内部数据管理及信息共享困难等问题, 环保大数据信息共享管理平台作为一个科学、完整、统一的信息共享平台, 打破环保行业各系统之间的信息孤岛, 促进信息的互联互通, 实现环保信息与业务的共享, 从而提高环境保护行业的综合决策能力和公共服务能力。
该平台综合应用“物联网、云计算、大数据管理”等先进技术, 为环保行业用户提供新型数据管理平台, 为大数据运营提供新的合作模式, 主要实现功能如下:
(1) 多源、异构数据采集。通过RFID技术、传感器等物联网底层传感技术, 实时采集污染源、生态等信息;
(2) 海量数据处理。包括海量异构数据的融合转换、数据云存储、数据实时分析及环保数据挖掘等;
(3) 云桌面安全管理。引入云桌面从根本上保障数据存储安全, 作为数据运营的基础。
三、平台设计理念
环保大数据信息共享管理平台拥有行业领先的设计理念, 围绕环保行业大数据的“感知、管理、存储、展现、应用”等五个层面的需求, 提出了针对性的整体创新技术方案。
四、平台系统架构
环保大数据信息共享管理平台架构由数据采集、数据存储、应用展示三大系统模块构成如图1。
(1) 分布式采集系统:基于“桌面云”技术, 统一各类数据的逻辑模型, 建立统一的物联网数据采集系统;
(2) 环境数据中心汇聚存储管理平台:通过数据格式的转换, 统一建模, 构建异构信息的集中存储管理平台;
(3) 环境数据应用展示平台:实现仪器设备及环境监测信息的统一展现、发布以及运营管理系统;
(4) 云计算和存储中心:基于Iaa S虚拟化技术, 为环保数据信息共享管理平台提供弹性服务承载系统。
五、平台核心功能架构
围绕环保行业大数据的“感知、管理、存储、展现、应用”, 提出了整体创新技术方案如图2。
5.1数据感知层
为解决当前仪器设备分散、品牌各异的难题, 构建物联网的环境数据采集体系, 统一采集规范, 建立统一数据采集平台, 针对各类型设备开发接口, 管理接入各类型的物联网设备, 实时异构信息的统一采集;
5.2数据管理层
考虑到传统利用PC服务器连接仪器设备采集数据的方式易发生数据外泄的状况, 基于桌面云的环境数据安全管理, 采用桌面云主机连接仪器, 保证采集数据存储在服务器上、无法拷贝, 从最根本上解决数据安全问题, 保证数据的产业价值;
5.3数据存储层
环保数据具有复杂性和动态性, 涉及多部门/地区/领域, 需要处理大量的数据, 基于环境专题数据建设“Iaa S-Paa S-Saa S”三种层次的多元化云服务, 弹性架构设计, 为应用数据平台提供弹性服务承载体系;
5.4数据展现层
当前不同品牌、型号的仪器设备所产生的实验数据不能集中管理、集中查询且人工收集管理耗时耗力, 对多源异构的海量数据进行数据转换、主题建模、分析展现, 可保证所有监测站的环境数据可以统一汇聚、处理和展现;
5.5数据应用层
传统环评业务采用人工报送检测形式, 由各站点自行负责, 管理松散, 没有运营机制, 空置率相当高, 导致丰富数据资源无法产生经营效益。为强化环境数据、仪器设备运营共享管理, 在运营管理模块加入了数据运营和计费功能, 让环境检测工作流程化, 将原有手动化的检测流程改造为业务开通运营流程, 数据不仅可以流转起来, 还可作为资产参与运营, 实现闲散设备的自我造血, 自我运转。
六、结束语
本方案适用于环保行业IT支撑系统数据整合, 无论是为了降低数据存储成本, 提高数据共享效率, 还是为了探索大数据技术引入, 或是实现支撑系统各域的数据融合, 都可参考本方案架构进行搭建。
摘要：借助物联网、云计算、大数据相关技术构建环保大数据信息共享管理平台, 并提出一套信息共享管理平台体系架构, 对于集中整合环保系统数据资源、提升环保系统数据共享水平具有重要实践意义。
关键词：物联网,云计算,大数据,数据共享,云桌面
参考文献
[1]彭庆.基于大数据技术的数据共享平台方案研究[J].电信技术, 2014 (10) :22-25.
[2]吴勇, 张红剑.基于大数据和云计算的智慧环保解决方案[J].信息技术与标准化, 2013 (11) :38-41.
近年来，上海市社会公益事业得到了快速的发展，主要表现在：第一、政府高度重视并积极推进社会公益事业的发展。自2012年以来，上海市社会建设委员会已经举行了两届“十大社会创新项目评比”活动，并基此来引领和促进包括社会公益在内的社会建设的快速发展；第二、公益社团的大量涌现，包括已经注册的公益社团和大量尚未注册的公益社团；第三、大批高质量公益项目的涌现和运作，绿主妇、淘公益等公益项目获得了第二届上海市社会建设十大创新项目荣誉称号。
另一方面，上海社会公益事业的发展也遇到了很多瓶颈，而且这些瓶颈的影响也日益凸显。立足于公益项目的设计与运作过程来审视，社会公益事业发展遇到的瓶颈主要表现在：第一、缺乏具有良好资质的公益社团；第二、缺乏有效的志愿者招募与管理策略和手段；第三、公益社团的资源整合力度尚待进一步提升；第四、公益项目的成效评估机制有待于进一步健全。事实上，如何有效突破这些瓶颈已经成为当前推动社会公益事业进一步发展的关键。
突破社会公益事业发展瓶颈需要在理念和方法两个方面做出重大改变，大数据的提出提供了理念基础，而互联网技术（包括以互联网为基础的新媒体技术）的迅猛发展和普及则提供了方法基础。因此，我们需要在大数据理念的指导下，充分利用互联网技术的优势，重新梳理和建构公益项目的策划与运作机制，并基此强化各种信息的沟通与共享机制，从而推动社会治理体系的建构，实现社会公益事业的长效发展。
浦东新区团委青年公益平台“淘公益”项目（文中简称为“淘公益”平台）的启动和运作是秉持大数据理念、运用互联网技术突破社会公益事业发展瓶颈的众多尝试之一。正如“淘公益”项目介绍中所说，淘公益秉持“快乐志愿、健康公益”的理念，以需求为导向，以项目为核心，搭建公益服务平台，力图实现志愿者、公益社团、爱心企业和受助群体的需求和资源的整合发展。
二、助力公益社团发展，提升公益社团服务资质
社会公益事业的发展受制于公益社团的发展水平，大量具有良好资质的公益社团的存在是社会公益事业健康可持续发展的前提条件。一般来讲，一家具有良好资质的公益社团应具有以下特征：首先是公益性，即公益社团应以追求社会效益为目的，向某些特定或不特定对象提供公共的、福利性的服务；其次是规范性，即公益社团的所有行为均应符合有关规章制度的要求，公益项目运作程序清晰，规范明确；再次是专业性，即公益项目的策划与实施应立足于专业调研与分析基础之上，并以专业化的方式来进行运作，以确保公益项目的服务成效；最后是高执行力，即公益社团应确保项目能够按照预期的设想有序展开，并基此不断提升公益社团的公信力。
公益社团良好资质的获得并不是一蹴而就的，而是在项目的不断策划与执行中逐渐积累起来的：公益社团的内部治理与外部链接能够体现出社团的规范性；公益项目的目标人群、实施策略和开展方式能够说明社团的公益性与专业性；公益项目能否如期举行、是否达到预期目标、能否完成预定任务能够说明公益社团的执行力。在公益社团公信力日益受到质疑的今天，采用何种方式将上述有关材料如实全面地呈现在公众面前并获得公众的信任就成为公益社团获得良好资质的关键。
浦东新区团委青年公益平台“淘公益”项目的着眼点之一就是助力公益社团发展，提升公益社团的资质。首先，“淘公益”平台会全面审查在平台上发布公益项目信息的公益社团的有关材料，包括组织章程、活动宗旨、治理架构等，由“淘公益”平台来判断公益社团的规范性。事实上，只有经过“淘公益”平台的审查，得出该社团具有规范性之后，该社团才可能借助于平台发布公益项目信息。其次，“淘公益”平台将公益社团策划的项目呈现在公众面前，由公众根据自己的阅历感受和知识结构来判断社团的公益性和专业性。最后，“淘公益”平台关注公益项目的实际开展情况，允许公益社团、志愿者、受助群体甚至是公众如实且及时地上传项目活动开展时的图片、文字和视频文件，全方位地呈现公益项目的实际开展情况及其成效，为公众自己判断公益社团的执行力提供足够多的数据资料支持。
“淘公益”平台自身并未将公益社团的专业性和执行力作为是否允许该社团发布公益项目信息的依据，从而为新的公益社团的成长提供了空间。在此过程中，这些新的公益社团不断策划和组织实施各种公益项目，社团的执行力得到锻炼，社团的信用资质则逐渐提升。
经过两年多的努力，目前在“淘公益”平台登记注册的公益社团已经达到426个。为了便于志愿者和公众查阅，“淘公益”平台从活动类型、活动区域和活动时间等方面对这些公益社团进行了梳理和分类。网站信息显示，目前“淘公益”平台注册登记的公益社团仍主要来自于浦东新区，活动内容已经覆盖了关爱农民工子女、宣传宣讲服务、大型赛会服务、社区文化教育、扶贫助困关爱、公益机构服务、专业技能服务、便民服务、应急服务、语言服务、环保服务、医疗服务、法律服务、心理辅导、援外服务、交通、文明劝导、敬老助残、科普、维权、文体活动、助学等领域。
三、拓展志愿者招募方式，健全志愿者管理机制
志愿者是社会公益事业的重要组成部分，也是公益项目的重要执行者，志愿者的招募及管理状况怎样会对社会公益事业的发展产生直接的影响，对于微公益事业来说尤其是如此。
从确保公益项目成效的角度来看，志愿者的招募及管理工作最好能够做到以下几点：一是招募到的志愿者对志愿工作有着较为清晰和全面的认识，愿意积极投入到志愿工作之中，具有一定的奉献精神；二是招募志愿者应具有一定的针对性，即所招募到的志愿者应具备该公益项目开展所需要的专业知识与技能；三是志愿者需遵守公益社团的有关规章制度，按照公益项目的特定要求准时到场，认真参与、到时离场。从志愿服务工作自身成效发展的视角来看，还应做到对志愿者进行组织化评价，完善志愿者激励机制等。
nlc202309040421
传统的志愿者招募更多采取组织化渠道来进行，而且志愿者更多为在校大学生或者在职青年员工。组织化渠道招募的优点在于：首先能够确保志愿者的参与人数，对于规模较大的公益项目来说这一点尤为重要；其次，除了志愿者自我约束之外，还有志愿者本人所在单位的监管与激励机制，这在一定程度上更能够确保志愿者的有效付出。当然，组织化渠道招募也存在着一些缺点，比如志愿者参与的积极性难以有效维持，从而会导致出工不出力的现象发生。对于微公益项目来说，组织化渠道可能无法保障招募工作的针对性与有效性。同时，由于缺乏有效的评估手段与约束机制，在很多公益项目中，对志愿者的监管、评估和约束形同虚设，并未真正开展。
互联网技术的发展为健全志愿者招募和管理工作提供了新的可能和选择。借助于网络平台（包括微博、微信等新媒体），可以建构志愿者招募的社会化动员机制，为那些热衷于公益事业的志愿者提供更多的参与公益活动的路径。借助于网络平台，可以组建志愿者数据库，从而便于公益社团根据自己的实际需求来选择那些更合适的志愿者。
事实上，浦东新区团委建立“淘公益”平台的初衷就是为了更好地招募和管理志愿者。诚如新区团委在项目简介中所说，“淘公益”项目旨在解决当前志愿服务工作瓶颈凸显的四大难题，即志愿服务碎片化、尚未形成社会化动员模式、缺乏组织化激励的有效手段及青年自组织管理难度等。
“淘公益”平台的具体做法是：首先，以网络平台为载体，以志愿者登记注册为媒介，组建志愿者数据库；其次，按照擅长领域、服务区域、志愿者状态、服务时间等，对志愿者进行分类介绍，以便公益社团了解和挑选适合项目的志愿者；再次，借助于二维码名片，“淘公益”平台将如实记录志愿者参与公益项目的情况，包括活动现场签到签离、志愿者的服务时间以及公益社团、受助人、其他志愿者等对该志愿者参与情况的评价等，并基此给予志愿者一定的积分。而且，其他公益社团也可以看到对某一志愿者的评价，并作为今后是否选择该志愿者的重要依据；最后，通过积分回馈规则，（淘公益网站针对志愿者实施积分回馈规则，根据志愿者在做公益活动时所累积的时间来换算相应的积分，当志愿者积分达到一定值的时候就可以进行积分兑换，积分兑换主要涉及到三个方面：优惠券兑换、技能型兑换、实物兑换。） “淘公益”平台对长期热衷参与公益事业的志愿者给予一定的奖励，包括荣誉计划、成长计划、快乐计划和学习计划等，以充分调动和维持志愿者的参与热情。借助于社会化评价和积分回馈规则，“淘公益”项目努力建构志愿者监管的激励和约束机制。
当前，已经有越来越多的志愿者在“淘公益”网站注册。据统计，当前“淘公益”网站的注册志愿者已经有35000余人。为了便于公益社团和志愿者相互了解和互相选择，“淘公益”网站对志愿者和公益社团进行了完全一致的类型划分。
四、优化公益项目设计，完善项目监管机制
尽管“淘公益”平台的初衷是突破志愿服务工作瓶颈，激发和维持青年参与公益的热情，但从平台设计时起新区团委并未将“淘公益”平台仅仅停留在志愿者管理这一层面，而是将“淘公益”平台定位为“整合各方面的公益需求和资源，实现由公益社团组织、青年志愿者参与、爱心企业资助、困难群体受益的自主运作开放式平台”。这其中，公益项目的发布最为重要，因为公益项目居于核心位置，将公益社团、志愿者（包括爱心企业）和受益者（部分公益活动的受益者也是参与者/志愿者，但更多公益活动的受益者是特定群体，如老人、残疾人、儿童、低收入人群等。）等要素有机地连接在一起——借助于“淘公益”网站，公益社团发布经过受益者需求分析和自己精心设计的公益项目方案，并以此来吸引和动员志愿者参与，争取爱心企业的物力和财力支持，从而为公益项目的顺利实施奠定扎实的人财物基础。
从最初的设想和实际运作情况来看，我们发现，“淘公益”平台在公益项目的形成与实施过程中起到了如下作用：
第一、发现群体需求，推动公益项目的设计与策划。公益项目的设计有两大导向：一是受益者需求导向，即通过及时了解和分析受助者的需求来明确公益项目主题，进而思考公益社团拟打算提供的服务，最终明确项目方案；二是志愿者能力导向，即通过及时了解和分析志愿者能够提供的服务来确定公益项目的主题，进而明确受助者群体，包括群体特征、区域分布和人数等，最终形成项目方案。从最初的设想来看，“淘公益”网站首先选择的是受益者需求导向，在网站首页有一栏目为“申请帮扶”，为困难群体表达自身困难、得到有效帮助提供便捷。不过，“淘公益”平台的运作也体现出了志愿者能力导向：志愿者填写“我能提供的公益服务”信息，供公益社团设计公益项目和寻找志愿者时参考。
第二、提供宣传平台，建构公益项目筛选机制。在互联网时代，借助于网络平台来宣传自己的公益项目已经成为任何一个公益社团不得不面对和必须采取的举措。不过，对于任何一个公益项目来说，网络平台都是一把双刃剑：如果公益项目主题明确，策略合理，网络平台能够扩大项目的知晓度和影响力，从而吸引更多的志愿者和爱心企业的关注与支持，提升志愿者和爱心企业对公益项目的认同；反之，如果公益项目主题不太明确，策略不尽合理，尽管网络平台也能够扩大项目的知晓度，但项目的影响力却不会因此而有所提升——项目因其缺乏足够的吸引力而无法调动起志愿者参与的积极性与爱心企业的支持力度。由此可见，网络平台借助于志愿者和爱心企业的认识与判断建构起了公益项目的筛选机制，成为检验公益项目方案质量的重要媒介与指标。
第三、及时呈现项目进展，加大项目实施监管力度。近年来，很多公益社团及公益项目的诚信度和公信力收到公众的质疑，倡导“写一篇微博捐一粒米”的茶缸网也未能摆脱这一嫌疑。究其原因，实施过程中的信息不公开是公众质疑公益项目的主要原因。“淘公益”平台一直致力于及时公开项目的进展状况，允许公益社团和志愿者（包括爱心企业）以文字、影像、媒体报道、志愿者评价等方式及时上传有关项目进展的信息。“淘公益”还允许志愿者将相关信息发布在自己的微博或微信朋友圈中，接受更多公众人士的监督。借助于信息公开，通过手机终端与网站时时联动，“淘公益”平台致力于建构较为完善的公益项目监管机制，及时了解项目进展情况及其实效，从而不断提升项目的诚信度与公信力。
nlc202309040421
第四、多方收集信息，完善项目评估机制。公益项目的诚信度和公信力受到质疑的另一个原因是公益社团和有关机构未能及时对这些项目进行总结和评估。所以，有必要多方收集信息，及时对项目进行总结和评估。事实上，在“淘公益”平台看来，该平台的创新点之一就是运用新媒体创新项目评估反馈机制，通过手机终端与网站时时联动，真实记录活动实效，降低项目评估的成本。借助于新媒体（手机终端），公益社团和志愿者在活动结束后及时进行互评，其中志愿者对公益社团的评价内容包括组织方对活动的发起、组织和管理及活动质量等。在双方互评的基础上，“淘公益”网站将评价结果及时发布在网络平台上。
经过“淘公益”网站的不懈努力，目前已有多个项目借助于平台发布信息，招募和管理志愿者，反馈项目进展情况及评价结果等。据统计，截止到2014年底，网站发布公益活动695个，大型公益项目专题20个。
五、完善网络公益平台建设的建议
与传统的资源整合方式（包括志愿者管理）不同，“淘公益”平台基于大数据理念，运用互联网技术，将“碎片化”的社会各方力量（如公益社团、志愿者和爱心企业等）整合起来，参与并推动着社会公益事业的发展，并基此推动着社会治理体系的建构与完善。基于“淘公益”项目的运作经验，我们认为，有必要基于大数据的理念，重新审视以公益项目的策划与设计、组织与实施、评估与反馈等为核心环节的公益事业运作机制，以促进社会公益事业的长远发展。
第一、正确认识大数据及其给社会公益事业带来的变化。近年来，“大数据”已经引起社会各方的高度关注，并被广泛运用。一般认为，大数据指以多元形式，自许多来源搜集而来的庞大数据组。大数据走的不是随机分析法（抽样调查）这样的捷径，而是采用“全貌”分析的方法，因而具有Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（真实性）等特点。对社会公益事业来说，大数据至少带来了两个方面的变化：一是信息采集方法的根本性变革；二是数据分析模式的根本性变革。就此而言，我们认为，应基于大数据给社会公益事业带来的上述两个方面的变化来设计公益网络平台的基本架构。
第二、基于大数据，提高公益项目设计与志愿者招募的精确度。通常情况下，公益社团应根据受助者的需求及接受方式、志愿者的参与意愿和能力以及自身的宗旨、使命与经验等来策划公益项目。结合大数据，公益平台可以了解受助者的潜在需求、现有满足方式及其偏好，了解志愿者的参与意愿、偏好与特长，分析可能获得的资源及其类型、数量，并将这些信息提供给公益社团，从而能够促使公益社团在策划公益项目时做到有的放矢，策划出最受欢迎且社会效益最佳的公益项目。同时，公益平台可以结合大数据，协助公益社团招募到最合适的志愿者，也可以协助志愿者寻找到适合自己的且自己认为有意义的公益项目。
第三、以大数据为工具，建立和完善信息披露平台。公益平台不仅仅是公益项目发布和志愿者招募的平台，也应该是一个信息披露平台。在不侵犯个人隐私的前提下，公益平台应披露一些与公益项目策划、实施与评估有关的信息，如：公益社团的基本情况、活动领域、已开展项目及成效、评价等；志愿者的基本情况、意向服务领域、已参与项目及评价等；爱心企业的基本情况、意向支持领域、已支持的项目及提供资源情况等。借助于信息披露平台，公益社团、志愿者、爱心企业和受助者等均能获取一些自己关注的信息，以便做出较为合理的选择。
第四、推动公益社团健康持续发展。网络公益平台对公益社团及其项目进行宣传与监管的同时，还应为其健康持续发展提供必要的支持。毕竟，公益项目的策划与实施最终需要依赖于公益社团来承担，公益项目的吸引力及其成效也在一定程度上取决于公益社团自身的资质。除了为公益社团提供受助者、志愿者及爱心企业的有关信息之外，网络公益平台还可促进公益社团之间的交流与合作，为公益社团的发展提供必要的信息与技术支撑，以推动公益社团的规范化运作和健康发展。
总之，在互联网时代，传统的志愿者招募与管理方式、公益项目的运作机制均遇到了一些瓶颈。只有转变观念，改变原有的方式与手段，才能突破这些瓶颈，推动社会公益事业的进一步发展。大数据视野和互联网技术（包括基于互联网的新媒体）的应用改变了原有的信息收集、记录、分析和沟通的方式，为社会公益事业的发展提供了新的路径和方向。我们相信，沿着这一新的路径和方向，社会公益事业的发展将会更加顺利。
（李太斌，上海第二工业大学高职学院副教授。）
一、蒙草集团依托20余年的生态科研实践，运用互联网、云计算、物联网等技术，结合实地监测，整理收集指定区域水、土、气、人、草、畜等生态系统相关数据，建立指标分析模型，从而精准指导生态修复实践，科学指导产业发展决策，优化引导农牧民生产生活，成为生态产业、农林牧产业等移动版的“GPS”+“科技110”。作为“生态+农业”大数据的一项实践，五原县农业大数据平台是蒙草依据当地农业生态现状和农业生产实际需求，搭建的以农业大数据为核心的生态公众服务平台。
大数据指导农业生产
五原县农业大数据平台使当地的农业生态实现了农业技术服务“一网覆盖”，农业资源数据“一键获取”，有效监控农畜产品的产量和质量。同时，大数据平台的遥感数据也提供该县农作物种类的空间分布、作物长势的变化以及不同程度的盐碱地分布的各类信息，为该县因地制宜规划农业生产提供依据。
大数据平台中的物联监测，可提供农作物生长环境、生长需求以及不同气候温度条件下病虫害发生情况的信息，提示农业部门及农民及早预防治疗，保证农作物健康生长，并通过精准施肥灌溉，减少水肥浪费，保护生态环境，促进农业可持续发展。
平台可监测家畜疫病的防治。防疫员可通过“智慧农业”APP快速地将牲畜图片、视频、农户和防疫员确认签字情况等防疫信息实时上报，并汇总到大数据平台。平台可对疫苗进行追溯，并做出该地区防疫热区图。2018年2月14日，五原县养羊农户赵瑞花在平台留言，家里的羊腿疼，走路一瘸一拐，不吃草，情况不止出现过一次，且附近几个村子都有类似情况发生。专家王强胜看到提问后回复了有效的治疗措施。平台通过为农户提供与专家沟通的渠道，为农户及时解决问题。
此外，农业信息员也将防灾减灾、土地流转与疫病防控等相关信息发布在农业综合信息平台上。平台信息结合科技服务直通车的蒙草搭建农业大数据平台资料
辅助，打通了农牧业科技信息服务的“最后一公里”，为农牧民解决难题，为农业生产保驾护航。
搭平台服务市场决策
五原县素有“河套粮仓、葵花之乡”的美誉，盛产葵花、小麦、玉米、油料、甜菜、番茄、瓜果、瓜菜籽等农产品，是全国著名的粮、油、糖及绿色无公害农产品生产基地。
五原县农业大数据平台可监测当地农作物价格。通过有效监测当地农作物市场情况，分析判断每年农作物产量的走势，平台数据指导着农户有针对性地种植所需求农作物的数量。农牧业部门利用平台大数据快速调取农作物和畜牧业的产量及占比、当前防疫任务完成率、土地流转均价、农技咨询关注度以及各类农产品价格实时监测等数据。平台中的一些信息服务板块也备受农民青睐，如“科技110”使农民的农牧业实用技术、技术培训、市场信息、涉农涉牧政策法规等问题可得到专家及时、专业的回答。
服务三产融合发展
蒙草与五原县政府紧密围绕当地农业生产特色，打造了农村产业融合发展示范园，分为农业产业融合展示馆、生态大数据馆、热带植物馆，集农业新科技成果示范、农业大数据展示、生态科普、休闲旅游观光体验等多种功能于一体。
一产，用科技示范指导农民生产。在示范园内的测土配方施肥区，根据五原县十余个典型区域不同的土测值，选择新作物进行引种试验。同时，根据各乡镇现阶段主栽作物的养分需求及各生育期的需肥特性，为作物全生育期提供适宜的养分配比及生长环境，达到控肥增效的目的。示范园内设有绿色防控技术展示区，主要针对各类农作物病虫害给出对应的解决方案，综合应用杀虫灯、性诱剂、黏虫板等生物、物理防治技术，降低病虫害发生率，以达到有机食品标准，提高标准化技术普及率。
二产，聚集特色农产品加工企业与展示推介农产品。示范园内展示了多类五原县的地标性农产品，每类产品都有多个品种，每一类品种都有其优势特性。此外，展出的还有五原县的特色农产品加工产业培育出的众多知名品牌。
蒙草搭建农业大数据平台资料
三产，将示范园同时作为旅游区、科教园。示范园自2017年9月底运营以来，已吸引多达15万余人前来参观、旅游。除本地散客外，更多的是来自各地的教育科普团、产业考察团与旅行团。
示范园引导农业产业集聚，展示农业新科技成果，通过农业+大数据，既解决了“种得好、管得好、产得好、卖得好”的问题，也实现了一、二、三产业的融合发展。
大数据就像是大自然的信使，使用到农业产业中，能够一改以往农耕产业“看天吃饭”的状况，让农业产业变得更加智慧。大数据也是强劲驱动力，通过产销促、流通追溯体系等，让农业产业变得更加健康、绿色。
二、蒙草自主研发的草原生态产业大数据平台在节目中亮相，向观众传达一家企业在“尊重自然、尊重一方水土”、把适应当地生长的植物“再还给这片土地”的努力。
助力生态修复相关产业发展
在实践中，要修复某一块草地，必须掌握某一区域的年降水量、土壤特性、适种草种等一系列生态数据，生态建设才能有的放矢，精准施策。蒙草的大数据平台集成了某一地区近几十年以来的“水土气、人草畜、微生物”等生态关键因素指标数据。大数据平台未来就像是草原生态系统的检测阀和导航器，将来能对生态修复、现代草业、畜牧业、草种业及蒙草定制化产品开发等领域提供科技支撑。
为草原生态修复提供技术支撑。草原生态修复涉及牧草适宜性、混播比例、种植方案等问题，通过大数据分析与研究，当人们点击大数据平台上任意经纬度的坐标点，蒙草的数据库就会提供出适合该处草原生长的草种及该区域最科学的生态修复方法。
蒙草搭建农业大数据平台资料
为草产品建立质量追溯体系。用户可以实时查看牧草具体地块的位置、水、土壤、气候、营养成分等信息，并掌握种植、管护、收获、贮藏、运输等全过程数据。
为农业发展提供技术支撑。未来蒙草的大数据平台还能为农业领域的土壤、水资源、农作物等数据的收集与研究提供技术支撑。
为草种业及蒙草定制化产品开发提供数据指导。通过对植物、气候、土壤、水资源等数据的积累于分析，蒙草大数据平台可以给草种生产与应用、蒙草生态包等产品的生产提供科学的生产指导数据。
为农牧民着想更多蒙草从草原上成长起来，始终不忘草原的养育之恩。多年来，蒙草通过产业发展为农牧民解决企业力所能及的问题。大数据平台的开发，包含很大的公益性成分，也着重为农牧民想得更多、带来更多便利：
合理规划种植。未来通过大数据平台，农牧民能够快捷地掌握当地及周边地区牧草生长状况，了解适合当地环境的牧草品种及种植技术，以降低成本，增加收入。
提供生产技术。应用大数据分析技术，结合牧草及作物的生长特性、土壤类型、温度、湿度、降水量等数据，农牧民可以“知天而作”，实现精准灌溉与生产。进行草原动态监测。用户通过大数据平台未来“天、空、地”一体化的草原监测体系，可以监测牧草的返青时间，预测牧草产量。
建立第三方信息发布平台。供应商可以通过手机分布供需信息，用户可以了解供应商的发布信息并可以完成交易，同时平台会为供应商提供数据分析服务。
搭建大数据共享平台。未来还可以为自治区各盟市、旗县甚至乡村搭建专属的大数据库，做到生态数据的“大导航”和“大利用”。如今，呼和浩特的“中国云谷”正逐步成为国家级的数据中心。大数据不仅为新兴产业提供了有力支撑，也正在创造着良好的社会效益。蒙草大数据平台集成了内蒙古全境10多万个生态数据采集点的信息，将成为草原生态修复的重要参考。在政府的助推下，蒙草将利用大数据创造更多的经济和社会效益，让退化草原重现绿意，让废旧矿山变成绿洲，让城市变成花园，让生态环境更加美好。
蒙草搭建农业大数据平台资料
三、看蒙草如何用生态大数据指导农业发展
我们“只有一个地球”,“珍惜自然资源、呵护美丽国土”是之必然。作为人类赖以生存的第一大产业——农业,如何在当下实现可持续发展,生态大数据可以告诉我们。
蒙草扎根于辽阔的内蒙古,依托集团公司20余年的生态科研实践,运用互联网、云计算、物联网、3S等技术,结合实地监测,整理收集指定区域水土气、人草畜等生态系统相关数据、建立指标分析模型,从而精准指导生态修复实践、科学指导产业发展决策、优化引导农牧民生产生活,用“大数据”实现“大生态”、“大产业”、“大民生”的互通互联。
▲蒙草大数据产品体系
蒙草搭建农业大数据平台资料
蒙草可以为不同地区打造不同专业类型的生态+大数据平台。五原县农业大数据平台就是蒙草依据当地农业生态现状和农业生产实际需求,搭建的以农业大数据为核心的生态公众服务平台,对当地农业的发展及农牧民生产生活产生着积极的影响。
▲五原县农业大数据平台
大数据+生产服务
看点一:一键获取你想了解的农业信息
五原县农业大数据平台为当地农业生态提供了农业技术服务“一网覆盖”、农业资源数据“一键获取”,有效监控着农畜产品的产量和质量,并提升农村信息化水平。同时,大数据平台的遥感数据也有助于宏观了解该县农作物种类的空间分布,作物长势的变化,以及不同程度的盐碱地分布,由此可以对该县不同地区进行因地制宜的农业生产规划。
蒙草搭建农业大数据平台资料
▲五原县农作物种类分布
▲五原县2017年5月-8月作物长势
蒙草搭建农业大数据平台资料
▲五原县轻中重度盐碱地分布
看点二:科技110海量专家实时为农民解惑
五原农业大数据平台中的农业综合信息模块对农业生产服务助力甚多。其中“科技110”版块最受青睐,农民可以通过“智慧农业”手机APP向专家提问,专家收到问题后为农民们回答,问题主要包括农牧业实用技术、技术培训、市场信息、涉农涉牧政策法规宣传等内容。
蒙草搭建农业大数据平台资料
▲五原农业大数据平台中的科技110界面
农作物的生长环境和生长需求,以及不同气候温度条件下病虫害的发生情况,我们也可以通过大数据平台中的物联监测掌握,做到及早预防治疗,保证农作物健康生长,同时精准的施肥灌溉,减少水肥浪费,保护生态环境,促进农业可持续发展。
▲五原县农业大数据平台——物联监测
蒙草搭建农业大数据平台资料
看点三:灾前预警帮助农民“未雨绸缪”
该平台也可监测家畜疫病防治。通过“智慧农业”APP,在每年春防、夏防和秋防时期,防疫员可快速地将牲畜图片、视频、农户和防疫员确认签字情况等防疫信息实时上报,并汇总到大数据平台,最终我们可以对疫苗进行追溯,并做出该地区防疫热区图。
▲五原农业大数据平台中的疫情防控界面
此外,农业信息员还会定期把防灾减灾、土地流转与疫病防控等相关信息上报至农业综合信息平台中,便民利民。再加上科技服务直通车的辅助,真正打通了农牧业科技信息服务的“最后一公里”,及时为农牧民解决难题,为农业生产保驾护航。
蒙草搭建农业大数据平台资料
▲五原农业大数据平台中的土地流转信息界面
大数据+市场决策
五原县素有“河套粮仓、葵花之乡”的美誉,盛产葵花、小麦、玉米、油料、甜菜、番茄、瓜果、瓜菜籽等农产品,是全国著名的粮、油、糖及绿色无公害农产品生产基地,其葵花的国内市场占有率高达70%。
蒙草搭建农业大数据平台资料
▲五原县农业大数据平台的农作物相关界面
蒙草五原县农业大数据平台可以监测当地农作物价格。通过有效监测当地农作物市场情况,从而分析判断每年农作物产量的走势,并针对性地指导农户每年的种植需求数量。
大数据+三产融合发展
蒙草与五原县政府紧密围绕当地农业生产特色,打造出一个农村产业融合发展示范园。园区总占地面积11664㎡,分为农业产业融合展示馆、生态大数据馆、热带植物馆,集农业新科技成果示范、五原农业大数据展示、生态科普、休闲旅游观光体验等多种功能于一体。
▲示范园中各具特色的三大主题馆
一产:用科技示范作用指导农民的生产实践
测土配方,控肥增效
在示范园的测土配方施肥区,根据五原县十余个典型区域不同的蒙草搭建农业大数据平台资料
土测值,选择出新作物进行引种试验,掌握其生长习性,筛选出适合各区域种植的特色作物。同时,根据各乡镇现阶段主栽作物的养分需求及各生育期的需肥特性,还可以为作物全生育期提供最适宜的养分配比及生长环境,以挖掘本土作物的最大生产潜力,并达到控肥增效的目的。
▲测土配方科学施肥展示
标准展示农作物病虫害防治技术
示范园内还设有绿色防控技术展示区,主要针对各类农作物病虫害给出对应的解决方案,综合应用杀虫灯、性诱剂、粘虫板等生物、物理防治技术,减少病虫害发生率,达到有机食品标准确保舌尖安全,提高标准化技术普及率。
蒙草搭建农业大数据平台资料
▲农作物病虫害防治技术展示
二产:特色农产品加工企业与产品展示推介
示范园内展示了多种五原县的地标性农产品,每种产品都有多个品种,每一类品种又都有它独特的优势特性,并对应不同的试种区域。五原县的特色农产品加工产业培育出了许多国内外知名品牌,园内对此也进行了集中展示。
蒙草搭建农业大数据平台资料
▲农产品主题展示
三产:示范园也是旅游区、科教园
示范园利用配套的先进农业生产设施和技术,整合转化多元产业丰富资源,创造性地开展农业科普教育。据不完全统计,示范园自2017年9月底开馆运营以来,已吸引多达7万余人前来。除慕名而来的本地散客外,最多的是来自各地的教育科普团、产业考察团与旅行团,或休闲旅游,或参观学习,或进行科普教育。
蒙草搭建农业大数据平台资料
▲示范园吸引了大量游客前来
此外,示范园也被打造为一个展示运营平台,将农民创业与发展县域经济结合起来,为当地农民提供了自主创业的机会和空间,推进了农民创业富民行动。
▲农民创业产品展示
蒙草搭建农业大数据平台资料
示范园引导了农业产业集聚,展示了农业新科技成果,并作为平台辐射带动了五原县农业经济快速发展。通过农业+大数据,使一产有技术创新,二产有供需结构调整,三产有特色化可持续发展,既解决了“种的好、管的好、产的好、卖的好”的问题,也实现了一、二、三产业的融合发展。
▲示范园中的大数据主题展示
三大产业融合发展积极推进了农业供给侧结构性改革,为落实乡村振兴战略又添一笔。更重要的是,“授人以鱼不如授人以渔”,农民们在科技的指导下,紧跟惠农政策,补充知识、技能,把握市场良机,积极创新创业,实现了大数据+农业下的生态集约化发展与精准脱贫。
蒙草搭建农业大数据平台资料
四、随着中央一号文件的发布，乡村振兴再一次成为2018开年新政略。
作为十九大之后的首个一号文件，此次的文件为今后的农村发展定下了主基调，这份“既管全面，又谋长远”的文件，不仅仅是2018年的一号文件，也为乡村振兴建构了总方针和路线图。
要实现乡村振兴，产业兴旺是重点。农村经济发展，不应该孤立地就农业经济谋出路，随着田园综合体等新兴业态的出现，乡村一二三产业融合发展已然破题。中国人民大学农业与农村发展学院教授孔祥智表示，三产融合是促进农业现代化的主要途径，有助于提升农业增收效益，提高农民收入，是未来农村发展的希望所在。
一号文件也指出，乡村振兴必须坚持质量兴农、绿色兴农。促进一二三产业融合，一方面要延长农业产业链，另一方面就是要注重拓展农业多功能性，衍生新产业新业态，创造新的增长动力。
三产融合的五原实验
2017年9月22日--23日，全国农村产业融合发展现场会在内蒙古巴彦淖尔市五原县召开，国务院副总理汪洋出席会议并强调：推进农村一二三产业融合发展，是加快转变农业发展方式、推进农业供给侧结构性改革的重要举措，是促进城乡发展一体化、全面推进现代化建设的重要途径。
会议期间，汪洋充分肯定了农村产业融合发展取得的积极成效，并到五原县农村产业融合发展示范园和河套电子商务产业园，了解融合方式创新和利益联盟机制建立情况。
以此为契机，五原县三产融合进入了快速发展期。其中，由政企共同建设的农业大数据平台，成为三产融合的标杆项目。
2017年年初，五原县政府与内蒙古蒙草生态环境（集团）股份有限公司（以下简称蒙草）签订了PPP项目框架协议，开展农业和
蒙草搭建农业大数据平台资料
生态并重的产业探索，推出大数据的细分产品——“五原农业大数据平台”，将大数据的成果推广应用到农业领域。
早在2014年，蒙草就开始构建生态大数据平台，利用卫星遥感技术，结合科研团队的生态基础调研，形成关于各地区的水、土、气、人、草、畜等基础生态数据，为生态修复及科学发展决策提供数据支持。
五原县是一个农业大县，素有“河套粮仓、葵花之乡”的美誉，五原葵花的国内市场占有率高达70%。据说，全世界每7颗葵花籽中，有一颗就来自于五原。
五原县不仅是河套地区典型的农业大县，畜牧业发展空间同样广阔。这里年产优质牧草100万吨，年产秸秆饲草、茎叶等140万吨，为发展“农区工厂化养羊”提供了得天独厚的资源优势。目前，全县4.8万户农民中的3.8万户都在发展肉羊养殖业，养羊业已成为农民增收的重要支撑。
虽然发展农牧业优势明显，但五原县的生态农业仍有巨大的发展空间难以发挥：因为地处黄河灌区，土壤盐碱化非常严重，是土壤盐碱化重灾区，占可灌面积的40%，且耕地次生盐渍化面积每年仍在递增。
增草兴牧，不仅关系到五原县“县计民生”，也关系着五原县的农业生态环境能否永续发展。
在这样的背景下，蒙草启动了百万亩盐碱化耕地改盐增草（饲）兴牧工程，计划用5年时间，通过科学改良盐碱地，进一步开发利用土地资源，提升农业和农村综合经济发展能力。
实际上，蒙草盐碱地改良研究院2014年便已成立，通过三年多的探索实践，蒙草已经创新总结出一整套盐碱地改良的集成措施。这些措施中，有“暗管排盐、配套排灌”的工程措施；有 “脱硫石膏、土壤改良剂”的化学措施；有“深松深翻，上膜下秸”的物理措施；还有“耐盐碱植物、微生物菌剂”的生物措施。
在五原县的“万亩农业示范园区”，通过治理已经使土壤含盐量由0.6%降到0.25%，可实现种子落地自繁。更为关键的是，蒙草已经采集驯化了耐盐植物35种，成功应用了19种，这些植物全都是五原
蒙草搭建农业大数据平台资料
当地的乡土植物，他们在盐碱化的土地上形成的耐盐碱特性，再被用于修复五原当地的盐碱化土地。
这也是蒙草生态自成立以来一贯秉持的生态修复理念，用乡土植物修复生态。例如五原县的乡土植物千屈菜，它不仅水陆两生，也可以起到改善盐碱地环境的作用。基于这样的发现，蒙草将这些耐盐碱植物的种植分包到户，再通过这些植物来改良土壤。
今年的中央一号文件，仍然高扬绿字诀，力推进乡村绿色发展。文件提出，要统筹山水林田湖草系统治理，把山水林田湖草作为一个生命共同体，进行统一保护、统一修复。要求各级政府必须尊重自然、顺应自然、保护自然，推动乡村自然资本加快增值，实现百姓富、生态美的统一。
中央农办主任、中央财办副主任韩俊解读2018年中央一号文件时说，乡村振兴生态宜居是关键。良好生态环境是农村最大优势和宝贵财富。美丽中国，要靠美丽乡村打底色。
求和“大农业+大数据”
蒙草执行总裁高俊刚认为，农业作为传统的一次产业，无非是特色化和品牌化。从第三产业的末端视角来看待，一次产业和二次产业都要进行产品创新和模式变革，最终来适应第三产业这个市场。
而“大农业+大数据”，是对传统农业种植精准施策、精细管理的基础，以此为入口，实现农业技术服务“一网覆盖”，农业资源数据“一键获取”，农作物生产精细化管理这样一个终极目标。
蒙草生态与五原县政府共同建设的农业产业融合发展示范园，占地总面积11664平米，分为农业产业融合展示馆、生态植物馆、热带植物馆。这不仅仅是一个科普馆，也是地方农产品及特色产品的展示平台和市民休闲空间，更是蒙草创新农业大数据平台的一个实践平台。在这里，蒙草试图将五原地区的农业生态基础数据变成财富，并探索生态农业的三产融合机制。
一方水土养一方人，同时也生长一方植物，在这里，蒙草生态汇集了五原县10个乡镇农民提供的水、土等样品，将县域内的水、土、气、光、热、肥等数据进行了汇集和整理，了解其对应关系，让农民生产有依据，用新技术优选种类、了解自家的土地最适合种
蒙草搭建农业大数据平台资料
什么、了解农作物怎样进行病虫害防治、了解农产品到底有怎样的营养价值，同时还可以实时获取农产品的市场价格信息……
与此同时，蒙草引入了诸多先进的种植技术，如水培，雾培和基质培进行配比实验，直观地向农民展示配土施肥的重要性，指导农民精准控制作物生长，掌握高效栽培技术，提高土地利用率。馆内的检化验室对当地农民免费开放，农民遇到什么样的难题都可以随时来求助专业的指导和数据支持。
这个农业大数据平台，目前已建成为集数据整合、信息查询、可视化展示、物联网监控、遥感监测和宏观决策等为一体的综合应用平台，锁定经纬度上任意一点，即可查询到该地区的农业大数据，包括土壤、气候、原生植物、草地类型、退化情况、适应地情的生态修复技术。锁定任意一种植物，即可查询该植物在全国范围内的分布，指导农牧民的生产作业和新牧区建设。
高俊刚认为，通过“大农业+大数据”，就是解决农民“种的好、管的好、产的好、卖的好”的问题。这样的大数据平台，不仅服务于企业、政府部门和农牧民，也为生态修复提供理论依据、修复方案和生态产业指导。
根据《2017年环保产业上市公司报告》，得益于PPP项目的快速发展和流域治理的推进，环境修复企业业绩快速增长，全国PPP综合信息平台项目库显示，截至2017年9月30日，PPP项目入库数量为14,220，投资总额178,000亿元。
蒙草将业绩大幅上升的原因，归结为国家对生态文明建设支持力度加大，公司充分利用 PPP 模式，积极开拓市场，业务呈现持续增长态势，公司与多个地方政府签署的 PPP项目落地，且项目建设运营顺利开展。新时代证券近期的研报也显示，蒙草依托地理优势，承接北方土壤沙化治理项目，预期万亿级的生态修复市场，将使公司未来业绩持续受益。
而从蒙草的五原项目来看，蒙草生态的业务显然不止于草原、荒漠、矿山等生态治理，通过农业生态大数据这样的三产融合创新，蒙草生态已经成为一家拥有核心技术和技术产品的“科技型生态企业”，这必将开拓出前景更为广阔的市场空间。
蒙草搭建农业大数据平台资料
蒙草搭建草原生态大数据（也许可以借鉴）
蒙草生态已经拥有不少如何积累生态财富的心得经验。公司的核心业务涉及五大板块，包括生态修复、节水园林、现代草业、草种业、生态牧场。
事实上，在生态财富被写入政府工作报告的同时，王召明今年恰好带来了一份如何快速积累生态财富的提案，即“建立国家草原生态环境大数据”。王召明认为，“互联网+”时代下，生态建设和农牧业生产离不开大数据，草原也需要生态信息化的发展。因此，应该建立草原大数据平台，以此为抓手将大数据应用到草原生态建设中，让大数据平台成为草原生态和农牧业的“教科书”。
王召明向记者介绍说：“我们一直把生态建设称为生态修复或者生态恢复，就是恢复到以前自然的样子。一个地方的生态、植物、树、草、生物、微生物，各自的比例其实是由几百年、几千年来的生态环境影响和形成的，我们把这个数据都记录下来。在生态建设中，应顺应自然，尊重自然，这个地方长什么树，长什么草，大自然说了算。”
而所谓草原生态大数据，则涉及草原生态修复、生态环境的实时监测、水土气人草畜的动态平衡监测，还包括“草牧业完整产业链的过程数据，如育种、播种、施肥、收获、储运、草牧产品开发等各个环节”，它们可以被大数据平台一一记录在案并随时查询，用来指导草原生态修复，服务于农业和畜牧业。近两年来，王召明已率先在蒙草生态探索“互联网+生态”的造富之路。据了解，种质资源库建设是构建草原生态产业大数据平台的最核心环节，公司目前正在建设完善草原草种质资源库建设，干旱半干旱地区种质资源库建设，资源库建设甚至将从国内延伸至阿拉伯地区。王召明告诉记者，目前该平台已统计了内蒙古地区近90%的生态数据，新疆、西藏及京津冀地区的数据统计工作正在开展中。“目前仅是一个初级的平台，随着数据的积累，公司将考虑如何让大数据从生态链服务整个产业链。”王召明坦言，这个过程则需要更多的市场参与者加入进来，包括政府部门、科研机构及相关企业等共同合作。
蒙草搭建农业大数据平台资料
在此背景下，王召明在今年两会上建议，国家应出台政策，支持有一定发展基础的企事业单位建立“草原生态环境大数据平台”。广泛收集各地草原的土壤、水资源、气候、植被等方面的基础数据，与地理信息进行空间叠加分析，为生态修复提供大数据模型；利用物联网等新技术，拓宽数据获取渠道，创新数据采集方式并不断更新完善，实时监测草原生态环境的平衡、利于及时保护与利用。同时，建议政府职能部门信息互通、数据共享，建立“农林草畜”完整的生态平衡管理模式。王召明提出，生态大数据平台就是要服务于农牧民的生产实践，因此对提供这样服务的企事业单位政府要有一定的奖补政策。
目前，大部分的网贷平台业务模式都是与第三方的机构合作开展的，比如担保公司担保、小贷公司、商业保理公司、融资租赁公司债权回购等。虽然网贷平台标榜双重风控，但是主要的风控还是外包给了这些机构，网贷平台的那一重风控变为了形式，因为如果真的要控制风险的话就要养很多具体操作业务的人，这对平台本已居高不下的运营成本无疑是雪上加霜。
银行是如何来控制风险的？
银行的业务组织结构分为很多条线，核心是风险管理条线，此外还有公司业务条线、个人业务条线、会计条线等；还有直属于总行的同业金融条线和信用卡条线等。风险管理条线之所以被称为核心，是因为金融的核心就是风险控制，所有银行业务中的风险把控操作都由这个部门来具体操作，在其之上还有审批委员会，委员会的成员是由各个与业务相关部门的一把手组成，委员会的最终决策人被称为首席风险官，这个角色没有一票通过权，只有一票否决权，可有效避免一人独裁的局面。此外，风险管理条线还分为授信审批中心、授信管理中心、资产保全中心，职能分别是负责贷前、贷中、贷后的操作。
纵观现在整个网贷行业，风控模式基本沿用了传统银行的风控模式，但比起银行的风控模式还有很大的差距，只是一些皮毛而已，形式单一，只停留在了表面。如何基于大数据做风控？
与传统模式下的风控体制不同，大数据风控模式正成为行业热点，基于大数据下的风控分为两个方面：一个是内部风控；一个是外部风控。
内部风控主要是防范一些操作上的风险，尽量的将主观人为的操作系统化，这就要求网贷平台加大技术开发的投入，对后台系统功能不断完善以及操作员与管理员的权限尽可能细化，而外部风控主要体现在项目端上，就是要抓住借款人的信用情况、借款资金流向等因素。
P2P平台无法直接查询客户的征信，这降低了行业平台对借款人的震慑力，导致违约成本的降低和重复借贷现象的增加。平台想要获得借款人的个人信用报告，需要花费很多时间，很多年轻人、自由职业者等并未使用信用卡人群无任何信用记录。在这背景下，大数据的作用凸显出来，从某种意义上说，大数据征信与风控将是互联网金融未来发展的命脉。
业内人士认为，大数据征信能够降低信息不对称、数据不及时以及还款能力判断不足的问题，可以增加反欺诈能力，同时更精确的进行风险定价。毕竟，相比于央行的征信，大数据征信因为数据来源、数据内涵、模型思路的不同，信用评价更趋于对人的一些本性的判断，可以运用于借贷以外更广的场景，生活化、日常化的程度更高。原银监会副主席蔡锷生表示：“有大数据的创新和支撑，在风险控制方面会带来很大的变化，这恰恰能体现出来它对传统金融缺失的补充，甚至是小微企业、个人消费信贷的一种金融支持。另外，大数据在未来建立社会征信的作用也会逐渐地发挥作用。”
征信的问题解决了，其实只解决了所有问题的一部分，对借款资金流向的监控也是非常重要的一环。要形成整个风控的闭环，这个环节不可或缺，就像电商企业要解决物流最后一公里的问题同样重要。目前，银行与第三方支付机构只能监控到本行与本机构内的资金流向数据，一旦资金转出到其他银行和其他结算机构后，就无法监控到了。这些机构间的资金流监控还没有形成联网。资金在清算机构间的转账是通过人民银行的大、小额支付系统实现的，如果人行能够建立一个统一的，跨机构查询资金流向的系统，使资金流向也没有了死角，那么，大数据下的风控就可以形成有效的闭环了。
以上从解决征信和资金流两个方面入手来达到风控目的进行了分析，但对于现实而言，仍存在一些问题，比如监控资金流的问题，一旦通过银行柜台进行取现操作，资金流监控就会出现断档，就无法准确的统计资金的真正流向。所以，大数据时代的风控才刚刚起步。相信随着未来互联网技术手段的不断创新，这些目前困扰我们的问题会迎刃而解。业内知名大数据风控平台服务商神州融已对接多家电商平台、征信机构与第三方支付公司，实现了业界最佳实践的大数据征信接入和风控模型运用，并可使P2P等小微金融机构零门槛拥有银行级全流程信贷管理系统，帮其实现资金流的安全与量化风控管理。
(1)铁路列车近年来调图频繁，车次急剧增加，并且预售期延长，由调图带来的停站方案、开点变更、编组调整变化较大，导致预测计算量巨大，系统负载较重。
(2)以往的票额预分为预售期外一次预测并预分，预售期内调整完全依据人工调整，不容易及时发现问题，票额调整工作被动，且临近开车期间销售情况难以掌握。
因此，有必要针对参考期内席位售出情况和预售期内余票概貌等情况进行动态监测，研究票额动态预分的方法，并对预测数据、调整依据的计算进行基础架构改造，适应海量数据变化的需要。
1铁路客票大数据平台的研究与实现
随着客运历史数据的累积，以及全国铁路客运规模的快速扩展，全国铁路客票历史数据规模越来越大，数据种类也越来越多，仅仅依靠关系型数据库进行数据的管理和操作，已经不能满足需要。因此，以客运营销数据为基础，结合由客票生产系统产生的实时数据，采用开源分布式数据库构建大数据平台，实现铁路客票大数据平台的研究具有重要意义。
1.1Hadoop分布式并行处理
Hadoop是近年来炙手可热的开源分布式并行处理框架，用户可忽略对底层并行实现的细节高效的构建出并行的分布式程序。Hadoop主要包括2个组件：(1)与GFS类似的分布式文件系统，简称HDFS;(2)并行计算模型MapReduce，由JobTracker、TaskTracker等组件组成。
Hadoop的工作原理是将数据拆成片，并将每个“分片”分配到特定的集群节点上进行分析，每个数据分片都是在独立的集群节点上进行单独处理的，因此非常适合处理大数据量、非结构化数据。Hadoop集群的另一个特点是具有较好的可扩展性，随着数据量的增加，集群的处理能力将会受到影响，可通过添加额外的集群节点有效地扩充集群以解决问题。Hadoop集群的并行处理能力可显著提高计算效率，能达到实时或准实时数据处理的时效性。此外，Hadoop所需软件为开源软件，并能够很好的支持商用硬件从而客运很好的控制成本，此外，Hadoop集群还具有故障容错的优点，当一个数据分片发送到某个节点进行计算时，该数据在集群其他节点上会保留副本，即使一个节点发生故障，该策略也能保证该节点数据的副本数据正常处理。
1.2铁路客票大数据平台数据源
铁路客票大数据平台主要来源于历史数据和实时数据两类。历史数据包括互联网订票数据、运能数据以及售票、退票、废票和改签数据。客票系统实时数据包括实时余票数据、实时存量数据以及取票轨迹数据。其中，实时余票数据从互联网售票的余票查询集群获得，实时存量数据和取票轨迹数据从铁路局中心的客票系统获得。
客票历史数据和客票系统实时数据通过ETL服务，进入铁路总公司营销数据仓库，通过数据建模组成数据集市提供报表、查询应用等服务;同时上述数据也进入Hadoop平台的HDFS，数据提供Hbase和Hive两种访问方式。
在票额预分应用服务层中，由客流预测应用服务器从Hbase中提取预测需要的样本数据，应用MapReduce实现客流预测算法，以实现客流预测结果。
客流预测结果通过铁路总公司客票系统服务器实现往18个铁路局(公司)分发。各铁路局客票系统服务器上部署预测执行子系统，将预测结果与席位实时存量数据结合生成预分方案，对铁路局中心席位库进行预分操作。
2基于客票大数据平台的票额预分系统
各铁路局售票历史数据通过传输软件进入铁路总公司营销系统，实时售票数据通过数据同步技术进入到铁路总公司营销系统，另外，来自于互联网售票查询集群的余票相关数据也进入到营销数据库，多个渠道的数据形成所需分析的数据源，通过Hadoop平台ETL装置进入铁路总公司营销数据仓库，在客流预测子系统中进行预测并且形成预测数据进入票额预分执行子系统，票额预分执行子系统形成预分方案通过传输下发到各铁路局形成预分方案，通过票额预分执行子系统作用于席位库，对生成的初始票额进行预分。在各铁路局通过票额预分优化子系统对预分效果进行实时反馈，形成优化方案供铁路局客运决策者进行调整，实现智能调整流程。
2.1客流预测子系统
客流预测子系统是该系统的核心系统。历史数据是对未来计划预测的重要依据，有效数据量越大、越全面，得到的预测结果也会与实际更为接近。目前，文献中最常见的客流预测方法是外推法，该方法有很多成熟的模型，如指数平滑、ARIMA模型、非线性回归模型、神经网络模型等。Vlahogianni,GoliasandKarlaftis指出神经网络在短期交通预测领域是最有潜力的技术，并且一些文献也归纳了神经网络的优点，如分布自由、全局最优逼近和容错性等，还有一些学者基于神经网络使用定量的方法建立了铁路客运量预测模型，因此，本系统采用神经网络构造预测模型。
2.2票额预分执行子系统
票额预分执行子系统的主要功能包括预分车次定义、预分天数定义、专家参数定义、预分方案审核、预分模板交路维护、预分方案查询及修改、预分结果查询等功能。其核心概念如下：
(1)预测数据。预测数据是通过Hadoop平台的MapReduce并行预测算法计算得出的分车次数据，其存在形式为始发站—终点站(OD)客流矩阵。
(2)预分方案。预分方案是基于预测数据生成的票额分配方案，是结合实际票额情况通过票额分配算法调整而生成的实际票额OD矩阵。
(3)预分模板。预分模板是历史预分方案经过专家经验确定的内置预分方案。铁路局客票管理人员可自定义预分模板。预分模板可通过经验值人工指定，也可以通过“模板复制”功能获取一段时间内的预分数据后，参考得出模板值。预分模板分为精确模板和模糊模板，精确模板与预分方案OD区间一致，设置了每个预分站票额的可售区间，模糊模板是对车站分组并按以远站分块分配票额。
(4)预分方式。由于淡旺季客流的不同，决定了预分方案的不同。一般来说按模板预分管理更加严谨，而按预测预分更贴近客流实际情况。针对各铁路局淡旺季的不同，操作员可通过此功能对预分方式进行定义。操作员可以在此查询到本局所有车次的预分方式定义，并对相关车次的预分方式定义进行追加和删除，并查看相对应的操作日志。
(5)预分车次分组定义。对一些具有相同管理需求的车次，操作员可以将这些车次分成一组进行统一定义，同一组内的车次可一并添加到预分方式定义中。此功能避免可避免客运管理人员对同一类车的重复定义。
预分结果记录在预分结果表中，再回传至票额预分优化子系统。计划预分的数据也可以来源于铁路局客票生产库中的预分模板和模板交路，这样可以得到一个相对稳定的预分方案。
2.3票额预分优化子系统
2.3.1动态票额预分
由于客票系统预售期较长，传统的票额预分方案是基于预售期外1次预测结果生成的，预售期之内不再重新预分，因此，无法适应预售期内偶然事件的影响。从2014年开始，票额预分系统引入了动态票额预分，可在预售期内进行周期性的动态客流预测及多次动态调整，如图6所示。以2014年6月17日为例，这一天预测子系统将产生2014年7月10日始发列车的OD客流预测，同时调整2014年6月30日和2014年6月23日的始发终到预测数据(这两日初始预测数据分别在2014年6月8日和2014年6月1日生成)，在票额预分执行子系统中将预分2014年7月6日始发列车的席位，并对2014年6月29日和2014年6月22日始发列车的票额进行重新预分。
票额动态预分是基于客流按周变化的规律较为显著的特点进行的。在预售期为20天时，最多通过3次预分即可达到非常满意效果，但在预售期延长至60天的时候，由于客流变化较大，且高铁、城际列车在开车前一日和当天的预售情况变化非常显著，仅靠预售期之外的动态调整也不能很好的满足预测需求，结合余票快照分析技术实现敏捷票额调整。
2.3.2敏捷票额调整
余票快照分析模块能记录每个时刻余票历史截面的可售能力。由余票快照分析模块取得的余票情况可通过图表观察得知，图表的横坐标为观察日(观察点)，纵坐标为对应的观察点的余票快照数据。一条折线表示对应某一下车站的余票变化趋势。余票波动图用于显示在车次、日期、席别、上车站确定的情况下，到各站的可售剩余票数随时间的变化情况。在预售期内距离发车时间3天以外的取数时间间隔为1天，3天以内的时间间隔为1h。
2014年5月12日7:00始发的G101次列车各区间的余票消逝情况，默认为北京南—上海虹桥这一始发终到区间的余票，可得知该区间首次售完在2014年5月11日23:00。说明次日首列始发的京沪高铁动车始发长途票在前一日晚间23:00全部售罄，由于首班高铁旅客一般不会在开车前即买即走，而夜间高铁旅客购票相对较少，相当于既能保证始发长途票在开车前有票可买，又能保证始发长途票及时卖完。因此该结果符合预分的初衷。若开车前始发长途票既未卖完，而沿途区间在开车前一直无票可售，则说明始发长途预留过多，因调配一些到沿途站销售。
3结束语
实际应用中Hadoop集群使用了16台HPDL380的服务器，操作系统是RedHat6.4，每台服务器上安装了JDK1.6和Intel的Hadoop稳定版IDH2.3。16台服务器中，1台机器作为Master节点，剩余机器作为Slave节点。客流预测子系统开发环境采用Eclipse，开发语言使用Java;票额预分执行子系统前台应用采用PowerBuilder开发，与客票核心系统保持一致;预分优化子系统采用.net开发。
通过对京沪、京广等干线经过一段时间的试用及跟踪分析，可看出旅客发送量、客运收入都有5%以上的提升。尤其是在传统的客运淡季，其增收的效果更为明显。
随着我国经济社会信息化和自动化水平不断提高, 在政府管理、公共服务、科学研究、商业应用等许多领域也面临大数据问题, 亟需各种有针对性和经济有效的解决方案, 快速提升我国在大数据领域的整体实力和国际竞争力。
本文结合中国科学院战略性技术先导专项“面向感知中国的新一代信息技术”中“海云数据系统”的研制实践[2], 提出基于互联网和数据中心、面向服务的大数据分析平台解决方案, 以满足日益增长的用户需求, 为我国开展大数据分析技术的研究和实践提供借鉴和参考。
一、大数据技术发展现状
大数据时代来临, 工业界是技术争霸的主战场。全球大数据产业界针对大数据特有的海量、非结构化、关系复杂、动态时变等特性以及不断涌现的各种新型应用需求, 围绕海量复杂数据的存储、管理、整合、处理、分析、展现、应用等主要环节, 已经形成了新的大数据产业体系。
从发展路线角度看, 业界将大数据产业划分为三大阵营:一类是以IBM、微软、惠普、ORACLE、EMC等为代表的传统IT领导厂商, 通过“硬件+软件+数据”整体解决方案向用户提供以平台为核心的完备的基础架构与服务, 并通过密集地并购大数据分析企业, 以迅速增强和扩展在大数据分析领域的实力和市场份额;一类是以SAS、SPSS等为代表的专业商务智能公司, 专注于智能数据分析;还有一类是以Google、Amazon、Facebook等互联网公司为代表, 基于自身的应用平台、庞大用户群和海量用户信息, 提供精准营销和个性化推荐等商业活动。以上三大阵营各有特点和优势, 形成了大数据时代三足鼎立的格局。
1. 整体平台解决方案厂商
以IBM、微软、惠普、ORACLE、EMC等为代表的传统IT巨头, 通过“硬件+软件+数据”的整体平台向用户提供大数据一站式解决方案。IBM在过去几年连续投入160亿美元, 收购了30多家与大数据相关的企业, 初步实现了大数据行业应用的布局。目前IBM在软件架构层面, 收购了商务智能软件供应商Cognos[3]、统计分析软件SPSS[4]、数据库分析供应商Netezza[5]。结合IBM的DB2数据库, 推出了支持Apache Hadoop的Info Sphere Big Insights软件[6], 支持大数据的应用。在硬件架构层面, IBM发布了集成了刀片服务器、存储、网络设备及相应软件系统的大数据一体机Pure Data[7], 提供数据仓库、和数据分析等功能。
为了应对行业竞争, 数据库龙头企业ORACLE推出了Oracle大数据一体机。该一体机集成了Oracle Exalogic中间件云服务器[8]、Oracle Exadata数据库云服务器[9]和Oracle Exalytics商务智能云服务器[10], 形成了ORACLE企业级端到端大数据的产品线。
通过收购Vertica公司, 惠普推出针对大数据的Vertica 6.1数据分析平台[11], 突破了传统数据仓库和数据库无法实现纵向扩展的瓶颈。在大数据管理方面, Vertica信息优化平台实现高速度、高性能、高可扩展, 通过内嵌R语言包实现了分析功能。Vertica数据分析平台以软件的形式存在, 可以加载在不同的计算资源上运行, 包括一体机, 同构或异构的硬件集群, 甚至是公有云环境。
存储服务器厂商EMC依托其Greenplum数据库推出了第一款Greenplum一体机产品 (Appliance) [12], 对原有的EMC硬件和Greenplum软件进行了整合。Greenplum采用不同于Oracle、DB2等数据库产品的shared-nothing大规模并行处理 (Massive Parallel Process, MPP) 架构, 特别适用于大数据分析场景, 可以通过增加节点方式进行横向扩展, 从而有效控制成本和性能。Greenplum包含支持结构化数据处理的Greenplum Database和非结构化数据处理的Greenplum HD (Hadoop) 。
整体平台解决方案厂商依靠自身原有的软件、硬件或技术优势, 通过收购及整合不同公司的产品线, 实现对大数据各个领域的覆盖。但是这种堆砌式的系统整合, 并不能彻底的突破大数据分析的瓶颈[2]。只有通过对自身产品和技术的原始创新, 才能实现对大数据处理问题的彻底解决。
2. 商务智能专业厂商
以SAS、Teradata、Hyperion、Business Objects、Cognos、SPSS等为代表的商务智能专业厂商长期专注于智能数据分析领域, 具有技术实力强、产品线丰富、深刻理解传统行业 (如银行、电信、零售) 应用需求等优势。近年来, 随着大数据分析竞争日趋激烈, 该类厂商成为传统IT巨头的争夺焦点, 早在2007年至2009年, Oracle、SAP、IBM等IT巨头就已完成对商务智能前四大厂商Hyperion、Business Objects、Cognos、SPSS的并购。
商务智能专业厂商在大数据时代的发力点在结构化数据处理。在大数据时代, 这些厂商开始加大在高可扩展计算、非结构化数据处理、以及与业务运营集成的实时处理 (即操作型商务智能) 等方面的投入和创新。例如, SAS在2012年推出了基于内存计算的高性能数据分析方案, 核心部件包括:SAS高性能分析服务器[13]、SAS可视化分析[14]和SAS Data Flux数据流处理引擎[15]。SAS高性能分析服务器采用库内分析和内存计算两种解决方案。库内分析技术在数据库内实现分析的过程, 用户过去开发的SAS程序可以直接移植使用, 而且这样的分析过程无需提取数据, 避免了数据传输的额外开销, 分析能力极大地提高。内存计算技术则利用大内存服务器的优势, 减少数据从硬盘加载到内存的机会, 把数据和分析程序直接放置在内存中执行, 特别适合具有迭代和嵌套模式的分析算法, 极大地提高了建模处理的速度。除此之外, SAS公司最新推出的高性能分析解决方案还采用了“SAS Visual Analytics”技术, 即可视化分析, 让用户及时地查看分析结果。
Teradata公司针对大数据处理提出了统一数据架构 (Teradata Unified Data Architecture, UDA) [16]下的Aster大数据分析平台[17]。该平台继承了Teradata公司统一数据架构在数据管理方面的优势, 它与大数据的收集、处理等工作紧密相连, 为企业提供一个完善的数据源。UDA通过Hadoop实现数据存储管理, 通过Aster实现数据探索和分析, 通过Teradata实现统一的数据架构, 将存储、分析与整合相互结合, 实现大数据价值的一个完整的闭环。
商务智能专业厂商 (如SAS、Teradata) 凭借在数据分析领域的长期积累, 在大数据的分析建模方面仍然处于行业领导地位。但是, 这些产品的大数据处理能力往往依赖于高性能服务器的处理能力, 虽然他们也在向Hadoop等分布式平台迁移, 但是实际的效果还有待观察。
3. 互联网公司
大型的互联网巨头, 如国外的Google、Facebook、Amazon, 国内的阿里巴巴、百度、腾讯等, 基于自身海量的用户信息和互联网处理平台, 依托大数据提供精准营销和个性化广告推介等商业活动。十年前, Google发表的GFS (Google File System) [18]、Map Reduce[19]和Big Table[20]论文催生了大数据处理的事实标准Hadoop。目前, Google通过自身开发的Caffeine平台[21], 直接将索引放置在分布式数据库Big Table上。Google还向用户提供了大数据的虚拟服务器业务, 用户可以把数据上传到Google, 采用Google提供的Big Query[22]和Google Compute Engine[23]等服务和基础设施完成数据查询和分析。
Facebook目前运行着世界上最大的Hadoop服务器集群, 存储的数据超过了100PB, 每30分钟可以处理的数据超过了105TB。然而, 爆炸式增长的数据使Facebook的Hadoop服务器集群难以承受, 出现数据雪崩问题 (avalanche of data) 。为此, Facebook开发出两种全新软件平台处理大数据的挑战, 第一种叫做“Corona (日冕) ”[24], 它可以实现在数目庞大的Hadoop服务器之间运行大量的任务, 并且不用担心软件错误会导致整个服务器集群出现崩溃。第二种叫做“Prism (棱镜) ”[25], 它实现了不同地域服务器的数据自动复制和传输, 使Facebook遍布全球数据中心的Hadoop服务器集群的数据得到同步, 形成更加庞大的Hadoop数据集群。
云计算服务提供商Amazon推出了Amazon弹性Map Reduce (Amazon Elastic Map Reduce) [26]。弹性Map Reduce是一项能够迅速扩展的Web服务, 运行在亚马逊弹性计算云 (Amazon EC2) 和亚马逊简单存储服务平台上 (Amazon S3) 上。作为业界领先的云计算服务提供商, Amazon提供网页检索、日志分析、数据挖掘、金融建模等数据密集型的任务需要的弹性云服务, 动态地满足用户对于计算资源的需求。
相对于国外互联网企业在大数据技术上的不断创新, 国内互联网企业主要在大数据应用模式上创新。阿里巴巴利用旗下淘宝网的历史交易数据, 推出了“淘宝指数”[27], 商家可以参考该指数指导生产、制定价格和控制库存。百度面对大数据时代企业需求, 从数据、工具及应用三个层面规划大数据时代的企业战略。腾讯利用自身强大的社会网络通讯平台资源, 通过大数据技术挖掘社会网络中的商业价值, 实现了不同产品营销平台, 为用户推荐感兴趣的产品和内容。
综上所述, 当前的大数据技术领域以产业引领为主, 在大数据集中的领域推出相应的产品和服务。学术界主要围绕其中的难点问题展开基础性研究[2]。目前, 围绕大数据的科学研究、技术创新、系统开发和实际应用刚刚起步, 无论产业界还是学术界, 正处在群雄并起的“大数据春秋时期”。可以预计, 在未来五至十年, 大数据领域将会发展成若干核心团队、公司、典型应用的“大数据战国时代”。
二、大数据分析平台体系架构
大数据没有一个明确的定义, 是一个相对的概念, 取决于当前所具有的数据处理能力。如果一个用户所面对的数据超出该用户所拥有的数据存储、处理和分析的能力, 致使该用户不能有效地利用数据, 该用户就面对大数据问题。在大数据时代, 个人、企业和机构都会面临大数据的问题。建设面向服务的大数据平台, 为众多的中小企业和个人用户提供大数据处理和分析的能力, 将成为大数据产业发展的重要方向。
面向服务的大数据分析平台以区域性智能数据中心及高速互联网为基础设施, 以互联网服务体系为架构, 以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑, 通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务。
大数据分析平台的拓扑架构如图1所示。其中部署在多个地方的智能数据中心提供大数据存储及计算平台, 通过平台服务器提供系统调用功能。门户服务中心将整合所有的智能数据中心存储和计算资源, 并通过web应用服务器和Open API服务器以web调用和Open API调用的方式提供大数据存储、管理及挖掘服务。终端用户利用移动智能终端通过互联网访问门户服务中心, 使用其提供的大数据存储、管理及挖掘服务。
大数据分析平台的系统架构如图2所示。系统包含3个层次:平台层为整个大数据分析平台提供基础平台支持;功能层提供基本的大数据存储和挖掘功能;服务层为用户提供基于互联网的大数据服务。具体包括:
(1) 平台层:为大数据存储和挖掘提供大数据存储和计算平台, 为多区域智能中心的分析架构提供多数据中心调度引擎;
(2) 功能层:为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能;
(3) 服务层:基于Web和Open API技术提供大数据服务。
三、大数据分析平台关键技术
建设面向服务的大数据分析平台, 需要研究和开发一系列关键技术 (如图3所示) , 主要包括:
1. 平台层
(1) 大数据分布式存储系统:针对数据不断增长的挑战, 需要研究大规模、非结构化数据的存储问题, 突破大数据的存储、管理和高效访问关键技术, 当前需要构建至少PB级存储能力的大数据平台才能满足一般的科研和应用需求。
(2) 分布式数据挖掘运行时系统:针对大数据挖掘算法运行的挑战, 突破Map Reduce技术的局限, 研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统, 构建大数据运行时系统。
(3) 智能数据中心联合调度技术:针对大数据存储和挖掘的挑战, 研究多数据中心的智能联合调度、负载均衡技术, 整合多个数据中心的存储和计算资源, 构建基于多智能中心的大数据服务平台。
2. 功能层
(1) 高可扩展性大数据挖掘算法:针对大数据挖掘的挑战, 研究基于云计算的分布式大数据处理与挖掘算法, 构建高可扩展的大数据处理与挖掘算法库, 实现TB级数据的建模能力。
(2) 大数据安全与隐私保护技术:针对数据挖掘“软件即服务” (Saa S) 模式的需求, 研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术, 确保大数据挖掘过程中的数据安全, 保证用户的隐私不被泄露。
(3) 分布式工作流引擎:针对大数据挖掘分布式调度的挑战, 研究基于云计算的分布式工作流调度、负载均衡技术, 构建高效分布式工作流执行引擎。
(4) 交互式可视化分析技术:针对传统分析方法交互性和可理解性不足的问题, 研究启发式、人机交互、可视化数据挖掘新技术, 实现大数据挖掘的高度人机交互功能。
3. 服务层
(1) 基于Web的大数据挖掘技术:突破传统的基于单机软件的数据挖掘技术, 创新基于Web的大数据挖掘方法和流程, 实现易于使用的基于Web的大数据挖掘技术, 构建基于Web的大数据分析环境。
(2) 基于Open API的大数据挖掘技术:突破传统的基于软件的数据挖掘技术, 创新基于Open API的大数据挖掘方法, 研究大数据挖掘开放接口、开放流程, 构建基于Open API的大数据分析模式。
为广大用户提供大数据处理和分析的服务功能, 大数据分析平台要突破传统的基于软件和高端服务器的数据挖掘传统技术体系, 采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式。实现这一目标需要做如下创新:
(1) 系统架构创新:突破传统的基于软件和高端服务器的数据挖掘技术体系, 研发基于互联网和云计算的大数据存储、处理和挖掘的数据中心系统架构, 支持多用户、多任务的大数据分析环境;
(2) 服务模式创新:突破传统的一次性软件销售或软件租赁的高价格解决方案, 创新基于互联网的大数据存储、处理和分析服务模式, 为用户提供按需、廉价的大数据存储、处理和分析服务;
(3) 使用模式创新:突破传统的使用单机软件的方式, 创新基于互联网的大数据存储、管理和分析服务, 提供多终端 (台式机、笔记本、平板电脑、手机等) 、多途径 (浏览器访问, Open API调用等) 的用户使用模式。
四、大数据分析平台应用与产业化
商业应用是大数据分析平台的发展目标。随着我国企业信息化程度和水平不断提高, 越来越多的企业需要大数据分析的能力以提高竞争力。在互联网、电子商务、金融、电信、零售、物流等数据驱动型行业, 客户分群、客户行为分析、客户关系管理、市场营销、广告投放、业务优化、风险管理等企业核心业务越来越依赖于对数据的有效分析与挖掘。正如在《大数据:国家选择与产业方向》一书中所说, “大数据时代公司的价值, 与其拥有的数字资产的规模、活性成正比, 与其解释、运用数据的能力成正比”。因此, 如何从海量业务数据中挖掘有价值的信息和知识, 从而指导商业运营与决策、提高企业运营效率和盈利能力, 成为每个企业都将面临的重要挑战。
大数据分析平台基于分布式海量数据存储与计算环境, 提供图形化交互式数据处理和分析工具, 丰富的数据分析与挖掘算法, 以及交互式可视化分析工具, 通过互联网服务方式向用户提供服务。这种系统实现策略不仅符合大数据应用的发展趋势, 同时也满足中小企业和个人用户对于数据分析系统的可用性、时效性和低成本等方面的要求。
目前, 在大数据处理与分析领域, 国际上三支主要力量在不断地竞争与融合, 即大型互联网公司 (如Google、Amazon) 、传统商务智能公司 (如SAS、SPSS) 和传统IT公司 (如IBM、ORACLE、SAP) 。三方从各自优势出发, 不断增强针对大数据的分析智能性、计算扩展性和非结构化数据处理能力。尽管一些公司在上述领域取得突破并抢得市场先机, 但国际大数据产业整体上仍然处于起步阶段, 据IDC公司预测未来5年大数据分析产业年增长率高达9.8%, 到2016年全球产业规模将超过500亿美元。同时, 越来越多的大数据创新公司不断涌现并发展迅速, 也证明了该领域蕴含着巨大的发展潜力和广阔的市场前景。
大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即服务 (Saa S) 应用模式, 符合当前国际大数据产业的发展趋势和产业化应用要求。一方面, 系统通过互联网服务方式向用户提供高可用、高易用和一站式的海量数据分析服务, 可有效降低企业应用门槛和成本, 通过专业化服务外包满足企业个性化需求。另一方面, 由于是开放架构的系统平台, 商业用户和其他软件提供商可通过系统提供的互联网服务开发接口 (Open API) 开发面向行业商务智能应用的解决方案, 孵化新型咨询公司、软件公司和信息服务公司, 有助于形成以平台为核心的大数据分析产业生态环境。
摘要：本文针对日益增长的大数据分析与信息服务的应用需求, 提出基于数据中心和互联网、面向服务的大数据分析平台解决方案, 为开展大数据分析相关的研究和实践提供借鉴和参考。首先对国内外大数据技术的产业现状进行回顾, 然后给出基于数据中心和互联网的大数据分析平台拓扑架构, 讨论大数据分析平台的系统功能和关键技术, 最后阐述该平台系统的应用和产业化前景。
随着数据规模越来越大，如何将数据资源转化为有效生产力是一个重要的课题。《互联网周刊》特别采访到聚效广告董事长兼CEO杨炯纬，和我们分享对大数据的看法，以及在大数据之路上的探索历程。
大数据从哪里来？
谈起大数据的前世今生，已在数字广告业耕耘多年的杨炯纬深有体会：“整个大数据营销的发展都是围绕着数据资源基础以及广告主的需求而展开的，可以说聚效本身就是一个为满足客户对效果的要求，而去不断寻找和获得数据以及提高数据使用能力的过程。”
目前在精准营销中已经普遍被认同的企业第一方数据应用，也就是访客找回或者说“再营销”、“重定向”等手段，杨炯纬认为这是公认最有价值的数据来源之一。针对曾经访问过广告主网站人群的定向投放，一直是DSP们最重要的精准投放手段。而聚效广告在这一块的运用尤其出色。众所周知，聚效广告和诸多电商网站有着深入合作，基于电商网站每个访客对于每件商品的访问行为数据进行商品级别的个性化智能广告推荐，每天利用第一方数据组装展示的广告达到千万级别。正是基于对海量数据的实时收集和计算能力，实现了海量访客行为和海量商品之间的精准推荐匹配，产生了惊人的广告效果。
但是，第一方数据的应用存在着瓶颈：“有几个问题不能解决。首先如果是一个全新的、从来没有访客的网站，就是所谓的冷启动状态，无法用重定向。其次，一些用户需求特别细分、需求频次很低，一旦被满足，很长时间内都不会重新有需求，比如汽车、教育、机械等行业，这些用户做重定向展示广告的效果就不佳，但这些行业如果用搜索词来定向，效果就会很好。”
聚效也寻找过第三方数据供应商以获取数据，但实际检验下来效果差强人意。杨炯纬表示，主要还是这些数据的商业价值过于稀疏。市场上最好的数据是购物数据和搜索数据，社交数据的价值次之。这类最有价值的数据均掌控在百度、阿里、腾讯等大型企业手中，且并不开放，即使能拿到，数据粒度也很粗，用于效果营销还很不够。第三方广告平台商拿到的數据，一般靠安插网页代码或者从广告交易平台获得，大多为用户的媒体浏览行为，价值相对较低。
“为了拿数据我连控股权都卖了”
“我们服务了几千家的电商，电商的数据量非常足够，也很精细化。几乎可以说，中国对于用户购物行为的拥有量阿里第一、京东第二、聚效第三。但是，除此之外，在很长时间一段里，我们依旧是在沙里挖金子。”杨炯纬在肯定聚效实力的同时，也表现对数据的制约的苦恼，这也是聚效选择将控股权交给360的深层次原因。
在原本的购物数据优势之下，聚效获得了中国第二大搜索引擎360非常多的数据。杨炯纬笑言：“我是一个特例，为了拿数据我连控股权都卖了。我们拿到的是360最细粒度的数据，包括最有价值的搜索数据。我们这几月一直在研究360的数据，360的人群有很特殊的特征，有的用户从浏览器到导航、搜索引擎到安全软件再到手机卫士全部都用360的。我们对这部分人群的认知和画像就非常丰满和精确。”
交谈中，杨炯纬提出了一个很有意思的词——厚数据。在他看来，大家都在讲大数据，百度有搜索数据，淘宝有购物数据，别人都是“摊大饼”，比拼的是在一个维度上的数据优势，而聚效更像在一摞饼上切了一个角，讲究抓住特定人群多个维度的数据。
目前，在聚效上投放广告的广告主已经超过三、四万家，其中数万家来自于360点睛平台，所以聚效已经不仅仅是一个原有意义上的DSP，从广告主规模上已经是跟百度网盟，谷歌网盟类似360的全网营销平台。
聚效目前也在跟那些注重效果的品牌广告主共同搭建一些针对目标用户的营销模型，推出了消费者洞察模块。只要获得曾在网站里深度访问过的用户样本，聚效就能够运算出这些访客样本的Cookie在整个平台的人群画像是什么样，继而以这几万个人的人群画像特征为基础，在全网以更大的规模把最相似的消费者挑出来。
聚效与360合作之后，甚至可以不需要样本，只抓住搜索过品牌词和关键词的人的行为特征，再去寻找全网跟这些行为特征最相似的人群，就解决了受众是谁的问题。
效果导向的精准广告平台
在记者看来，聚效广告平台有三个关键词：自助、效果营销、中小广告主，这让聚效在各种广告平台中显得有一些特别。
聚效广告平台是全自助式的。对于海量的中小广告主而言，由于预算有限、对效果要求又高，加之没有庞大的专业服务团队来进行广告投放，因此一个平台的透明、简洁、以及智能化，对于广告主而言就尤为重要。在什么样的广告位上挑选什么样的受众？给他们看什么信息？出价多少是合适的？这对广告主而言并不全都能投放正确。而聚效对于一些特定行业的广告主，比如电商，广告主只需要将商品库上传，在后台选择营销目标是流量、注册还是订单，聚效就能够实现智能地挑媒体、智能出价以及实时生成个性化动态广告创意，这展示了聚效极强的技术能力。
为什么选择做效果营销，而不是品牌广告？杨炯纬表示，并非不愿意做品牌广告主，其实在聚效平台上，也不乏像耐克、西门子、洲际酒店等等知名广告主。但从聚效的立场和定位出发，聚效还是会坚持自己的效果导向定位，而目前的品牌广告并不完全适合他们进入。
在现在的市场环境下，大量的品牌广告主本质上对过程是没法控制的，程序化购买市场上对品牌广告主存在的作弊现象严重到令人发指。在不少做品牌广告主业务的DSP的收入模型中，有很多钱都花在了市场费用、销售费用、渠道成本上，真正的投放花费则少之又少。这时候，当广告主向广告公司要效果的时候，一部分公司就只能通过做假数据或者到其他渠道购买效果来蒙混过关。而正是由于这种主要依赖于关系和包装的商业模式，也使得实际的技术产品显得根本没那么重要。
对于中小企业主来说，这股风气从来没有刮起过。因为这个群体对效果很敏感：“这也是聚效选择从中小广告主入手的原因，越小的客户越重视效果，我做的越得心应手。尽管毛利低很多，但是客户获取成本和客户维护成本也是极低的。聚效对作弊零容忍、电信拦截和电信弹窗坚决不做。”自助的使用方式也使得这个平台完全透明，投放记录不可更改，只要登录后台就一目了然。
“我们相信品牌广告主不会永远被忽悠，欢迎品牌广告主到我的系统来玩，哪怕通过代理公司，只要广告主自己有聚效的账号，能登录平台看到真实的投放效果就行。我们目前只是专注做自己的事情，以后慢慢市场会发现有这么一家公司从没有作弊丑闻，会建立起信任。”事实上，当聚效的市场品牌慢慢建立起来之后，客户中已经不乏年投入过千万的品牌客户。
做效果广告需要极大的底气。杨炯纬透露，目前聚效广告的模式是，广告主按CPC出价，聚效的系统再转换成CPM到广告交易平台出价，这种模式下广告主的利益得到了最大的保证，如果没有实力，是绝对不可能用这样的模式，因为控制不好就会亏损。
记者从聚效的玩法中看到了互联网的思维，作为第三方的平台，不是仅仅服务大客户，而是解决长尾的这部分人群，用双赢的的办法服务好每个领域里中小型客户，而当产品越来越成熟之时，大中型客户也会接踵而至。
让大数据流动起来
杨炯纬表示，数据的采集是数字广告业最大的壁垒。目前还看不出来数据的流动性，也不知道什么时候才能让没有数据的公司买到足够有价值的数据。从数据壁垒上已经形成了一些拥有优势的公司，百度、腾讯、阿里都在其中，360和聚效也算是一家。
【大数据平台建设方案】推荐阅读：
民政数据平台建设方案09-20
大数据分析平台需求12-09
新能源大数据创新平台10-22
高职评估数据采集平台的建设与使用11-20
行业大数据建设方案05-28
移动服务数据管理平台12-08
p2p平台数据分析11-25
大数据品牌建设10-03
大数据分析实验室方案06-01
诚信平台建设方案09-28
