数据统计流程(精选8篇)
作为一名基层统计工作者,自己从事规模工业统计2年多的时间不算长,但是这两年却是规模工业统计发生深刻变革的两年,统计范围的变化,计算方法的变更,能源统计的变革。每一次制度改革,都关乎统计数据的质量,改革的好坏对于统计数据质量有着至关重要的影响。作为一名统计改革的亲历者,抱着抛砖引玉态度,提几点自己对数据质量控制的思考,希望引起大家的共鸣,甚至引出前辈、专家的大思考,对以后规模工业统计改革也能有所裨益。
统计数据质量是统计事业的生命,我想从基层统计工作的流程入手,只有每个流程的质量都得到保证,统计数据质量才会有保障,通过流程解剖统计数据质量存在的问题,寻求解决问题的办法。
笔者从事的是规模工业统计,就以规模工业统计为例。就规模工业来说,一张报表的完成基本上要经历报表收集—录入审核—反馈修改—汇总上报四个流程,规模工业最重要和最常态的报表是产值报表和财务报表,也就是我们行业通常所称的201表和202表,我就以此为例谈谈报表的四个流程,以此来揭示工作中存在的问题。
第一个流程是报表收集。201表省统计局要求的上报时间是下个月的4号中午12点之前,为了能够顺利收集各区 县和企业报表,我们市统计局要求他们分别在2号和1号之前上报,县统计局收集报表就更加靠前了,通常都安排在月底之前上报。然而企业断帐的时间却不尽一致,部分企业要到下个月的上旬才能出初步数据,有些集团公司或总厂由于要收集下面分公司或分厂的数据,就难免还要晚一点。这里问题就暴露出来了,一方面催着要报表,另一方面数据出不来,企业怎么办?要么先报个预计数应付一下,要么迟报或者拒报,但是迟报或拒报就会违犯《统计法》,面临处罚,所以通常企业都选择预计上报。众所周知,企业上报数据是我们统计数据的源头,源头上的数据把握不准,势必影响统计数据质量。但是如果要保证数据质量就要牺牲一些时效性,如何既保证准确性又不失时效性呢?这是当前基层统计工作面临的两难抉择。
统计报表的第二个流程是录入审核。这是保证统计数据质量的重要一环,县市和企业上报的数据准不准确,报表内有没有逻辑错误,报表与报表之间有没有互相匹配和验证,都要靠我们这个流程来发现和纠正。这个流程的数据质量如何控制?就要靠我们的基层统计工作者的业务素养和工作责任心。有些人认为,现在的报表处理都是通过电脑软件来进行,有电脑审核还会有什么错误审核不出来吗?统计工作者只要根据审核错误修改就是了,不需要太高的业务素养。其实不然,电脑并不是万能的,它只能根据程序中的公式来 进行机械审核,并不能发现一些细微差错和一些明显作假的报表。比如一个企业上报的产值报表,每个月的产值都是100万这样的整数,电脑是不会审核出什么错误的,但明眼人一看就知道,这类报表存在弄虚作假的嫌疑。还有一些县市上报的分企业数据并没有明显的错误,但是一进行汇总,问题就浮出来了,有的增加值突增突减,有的与用电量和财务报表中的主营业务收入不匹配等等,不一而足。
统计报表的第三个流程是反馈修改。这个流程其实就是对审核发现的错误进行纠正,是一个纠错的过程。这个过程相对来说比较简单,只要把电脑发现和自己发现的错误和疑问反馈下去,要求县市和企业对错误进行纠正,对疑问进行说明就可以了。虽然简单,但是实际操作起来也有学问在里面。通常来说,电脑审核出来的错误和疑问会比较多,如果把这些错误和疑问通通反馈下去,要下面的统计员修改,会给基层统计员带来很大的工作量,引起他们的抵触情绪,不利于工作配合。那么哪些错误属于笔误?哪些错误属于逻辑错误?哪些疑问需要解释说明?哪些疑问不需要解释说明?这就需要我们一一甄别、筛选。比如有些同期数审核错误,电脑会提示你:本年上报数为30069,去年实际数为3069,而累计数与去年上报数一致,没有错误,那明显就是多录入了一个0。再比如企业上个月已经说明新上一条生产线,产值同比成倍增长,本月产值成倍增长就不需要再要求企业重 复说明了。
统计报表的第四个流程就是汇总上报。这是统计数据出成品的环节,也是统计数据质量控制的最后一环,这一流程的控制直接关系到数据质量的优劣。这个流程分为两个过程,首先是把初步数据给领导汇报,领导同意之后再上报省统计局。通常领导看到数据之后会有许多疑问,增长过快或过慢是什么原因啊,哪些企业或者行业增长快,哪些企业或行业拖了后腿等等,针对这些疑问我们要做到心中有数,尽量对一些重点行业企业了解深入一点,这样给领导汇报时才能有理有据。有些统计工作者经常抱怨统计的外部干扰太大,影响了统计数据质量,笔者认为应该辩证的来看,更重要的是要反思我们的工作力度和工作方法,力度有没有到位,方法是不是正确。如果对于一个有疑问的数据,我们能够说出个所以然来,能够举一反三,拿出一些有说服力的根据来,我想也没有哪个开明的领导敢冒着违法的风险来干扰统计数据。
报表的基本流程就这些,通过对流程的解剖,也触及了当前一些影响统计数据质量的问题,针对这些问题,结合自己的工作实际,笔者来谈谈自己的几点肤浅的体会和建议。
一是如何解决报表数据准确性和时效性两难的问题。当前统计改革力度加大,但是改革给我这样的基层统计工作者的印象就是加任务,新的报表制度不断增加,旧的报表制度 又丢弃不了,改革似乎步入了一个不断加任务的怪圈。这无疑极大地增加了统计人员的工作量,使基层统计人员不堪重负。致使统计部门收集源头数据不但受到时间的限制,而且也受报表数量的制约,企业统计员抵触情绪非常强烈,有些企业统计员要么迟报,要么作假或者拒报,严重影响统计数据的时效性和真实性。所以要使统计数据准确性和时效性两全,就必须从统计制度改革这一源头上入手,改革统计调查方法,精简统计报表,缩减统计报表指标。具体到规模工业统计,笔者认为可以改革现有的全面统计方法,改用分行业分级抽样的方法进行。当前规模工业统计的范围仍然是主营业务收入500万元以上的企业,在煤炭、有色金属等价格飞涨的今天,随便买上几台机械,请几个人挖一个矿,年销售收入就能达到500万元,但是要求这些企业准确上报名目繁多的统计报表,几乎是不太可能的,何况这些企业多数是私人企业,上报统计报表在他们看来只会增加他们的成本,却不能给他们带来利润,是百害而无一利的事情,在资本家趋利避害的天性驱使下,统计工作难免不被边缘化。把这些企业纳入规模工业统计范围,对统计数据质量的影响是可想而知的。有些县市为了完成工业经济发展目标考核任务,千方百计增加规模企业数量,有的将大企业分拆为几个小企业,有的将几个小企业捆绑成企业集团,凡是能使规模企业数量增加的方法无所不用其极,严重干扰了统计数据质量。改用 分行业分级抽样的统计方法,既能从根本上解决这一问题,又能大大减轻基层统计工作人员的统计任务,对提高规模工业统计数据质量有着决定性的影响。
二是如何对规模工业报表进行审核。笔者认为应该从三个方面进行,一是表内审核,二是表间审核,三是汇总审核。表内审核就是审核报表的逻辑关系,比如本月加上月累计等于本月累计,比如资产等于负债加所有者权益,比如产值的增长与用电量的增长应该匹配,营业收入和营业利润,营业利润和应交所得税的变化趋势应该一致等等。表间审核就是将几张报表联系起来审核,比如产值报表的销售产值与财务报表的主营业务收入联系起来审核,虽然销售产值与主营业务收入的有可能出现较大差距,但是如果长期如此就可能有问题。再比如将产值报表与能源报表联系起来审核,看企业单位GDP能耗是否变化太大,一个企业在没有进行技术改造的情况下,单位GDP能耗应该是比较稳定的。三是汇总审核,汇总审核分为分行业汇总审核和分地区汇总审核两种。分行业汇总审核可以针对突增突减的行业查询到企业,看是哪些企业影响了该行业的增减,是不是情况属实。分地区汇总审核可以针对增减过快的地区,进行查询,看这些地区的增减主要受哪些企业的影响,这些企业的情况是不是属实。经过了这几步审核,数据质量基本上可以得到保障了。
三是如何排除外部干扰的问题。当前统计数据面临的外 部干扰主要是三个方面,一是地方领导的政绩观,二是部门的考核关。每逢领导换届,在体现领导政绩的时候,统计数据有得天独厚的优势,领导政绩如何体现?一个一个的数据当然是最形象和最有说服力的,自然而然统计数据就会面临干扰。到了年终省级部门考核市级部门考核,市级部门考核县级部门时,通常也是以统计部门的数据为准,因为统计数据是法定数据,这个时候那些平常从来不与统计部门打交道的部门,三天两头往统计部门跑,要求开证明的有之,要求改数字的有之,不胜枚举,统计部门一下从门可罗雀到门庭若市,真有范进中举的感觉。
统计部门要想排除这些干扰,首先要思想上绷紧实事求是这根弦,把统计数据质量就是统计事业的生命的认识提高到行动上来,切实保证统计数据质量。其次要做到自己心中有数,针对领导或者部门提出的质疑,要以事实为依据,以理服人。再次要充分利用《统计法》这一尚方宝剑,要懂法,要敢于用法,用《统计法》来维护统计数据质量。第四就是进行统计监审,上级统计部门对下级统计部门进行监审,上级统计部门组织地方统计部门之间互相进行监审,通过监审来曝光弄虚作假的行为,增强震慑力,提高统计数据质量。第五就是要科学评价各地之间的发展情况,取消名目繁多的年终考核。
海洋地质数据库是国家级基础数据库[1], 其建立的最终目的是实现数据的共享与重利用, 为推动我国海洋地质事业的发展而服务。从上世纪80年代, 我国关于海洋地质数据库的建设进入起步阶段。近10余年, 随着国家专项的支持, 海洋地质数据库建设进入快速发展阶段。其中数据库标准规范、元数据标准建设、数据库模式设计、服务系统设计与实现等方面已取得一定的成果, 但是海洋地质数据库数据处理这一基础环节, 工作繁杂、琐碎, 鲜有人问津。本文结合实际工作经验, 介绍海洋地质数据库数据处理过程, 以期望对相关工作人员有一定的参考价值。
海洋地质数据库数据处理主要是指充分利用各数据处理软件、数据库技术进行数据处理和管理, 完成我国海域海洋地质的调查数据、分析数据、成果报告、成果图件以及元数据的整理、编辑、存储。数据处理过程主要分为四部分:一是根据项目需求, 进行数据收集;二是对这些数据进行分组;三是对数据进行分类加工, 主要包括属性数据、空间数据、元数据的加工处理;四是必须严格遵守质量控制体系, 进行数据质量检查。
1 海洋地质数据库的数据实体
海洋地质数据主要包括调查数据、分析数据、成果报告、成果图件和元数据等, 如图1所示。
调查数据是指外业获取的原始调查数据;分析数据是指外业调查数据经室内分析获取的原始分析数据;成果报告为处理原始数据生成的综合研究文字报告和报告附图及报告附表;成果图件是经过专业软件处理得到最终成果图。
其中, 调查数据中的地质取样数据包括表层取样、柱状取样、水体取样、大气取样数据;地质钻探包括地质浅钻 (钻孔) 、钻井、录井、测井数据;地球物理分为:单波束测深、多波束测深、侧扫声纳、浅地层剖面、单道地震、多道地震、重力、磁力等数据;岸滩地质调查是指岸滩地质踏勘、岸滩剖面监测、岸滩地质取样等;沉积动力测量数据包括走航海流、定点海流、温盐深、浊度、现场粒度、悬浮体取样的数据。
地质和钻孔、录井样品分析数据包括岩性描述与送样、粒度分析、碎屑矿物鉴定、粘土矿物分析、全岩矿物分析等;资料解析是指重力、磁力资料处理结果解释、浅地层剖面、侧扫声纳剖面、地震剖面、测井等的解释数据。
文字报告、报告附图和附表是每个年度调查数据、分析数据和成果图件等在处理数据前后及过程中编织的报告、附图和附表, 是项目进行中年度成果的体现之一。
成果图件是海洋地质数据库的重要数据之一, 它直观地展示出海洋地质数据, 主要包括:沉积类型图[2]、地形图、地貌图、断面图、构造图、地质类型图、沉积厚度图、水文地质图、重力异常图、磁力异常图、天然气水合物资源系列图、古环境图、灾害系列图、沉积成因图、盆地分布图、矿产资源系列图、油气资源系列图、环境系列图、卫星遥感合成图、海岸带变化图等。
2 海洋地质数据库的数据处理
本文主要针对从数据收集到数据入库这之间的过程展开介绍。数据处理过程是指各种数据的处理和加工, 需要熟练掌握数据库技术、Arc GIS技术和各类处理软件的综合应用。常用的软件除了oracle和Arc GIS外, 还有excel、access、Map Info、PRJMDPPSEC.exe (平面绘制软件) 、Map GIS、Photoshop等。海洋地质数据库的数据处理过程如图2所示。
2.1 资料收集与分组
海洋地质数据库的数据按照不同的实体类型展开数据的收集并以数据集为单位进行分组。依据调查类型, 分配数据集名称及编号, 以数据集为单位进行数据的整理。将原始数据分解成以数据集为单元的子包, 每年度的每一类调查为一个数据集, 每一类分析为一个数据集, 每个年度成果报告为一个数据集, 每一幅成果图件为一个数据集。
2.1.1 调查与分析数据集内容
调查与分析数据集是调查与分析原始数据的分类集合, 应收集资料如下:
(1) 野外调查或样品实验分析过程中产出的原始报表及文档资料, 如原始记录、施工报告、资料处理报告、样品鉴定报告、实验分析报告等;
(2) 调查数据集的站位、测线或覆盖区的空间信息数据表;
(3) 调查或分析原始记录数据表;
(4) 多波束、侧扫声纳、浅地层剖面、海流等原始数字记录大对象如果不提交, 应在数据表中说明数字记录介质的现存馆所及索引信息。
2.1.2 成果图件数据集内容
成果图件数据集是专题研究的成果图件, 应收集资料如下:
(1) 成果图件的位图;
(2) 矢量格式的图件提交成果图件的矢量图, 格式为Arc GIS格式的规范化分类矢量图数据;
(3) 成果图件说明书文档。
2.1.3 成果报告数据集内容
成果报告数据集是项目的综合评价成果报告, 应收集资料为:成果报告文档, 要求word格式, 可以是多个word文档的组合。
2.2 分类加工
整理后数据集主要包括的内容有:excel表 (.xls) 、access库 (.mdb) 、元数据文件 (.xml) 、空间数据 (.shp图) 、图像文件 (.jpg) 等。从数据实体类型上看, 海洋地质数据库的数据类型基本分为三大类:属性数据、空间数据和元数据。一般地, 属性数据以excel表和access库来存储;空间数据以.shp图的形式存储, 其中站位信息和成果图件都属于空间数据;元数据以.xml文件为载体进行存储和发布。
2.2.1 属性数据的获取和加工
属性数据的数据格式通常为.xls/xls, 或.mdb, 其获取方式主要通过三个途径:直接收集获得 (原始资料中已存在) ;依据纸质资料按格式要求填写完成 (纸质资料生成电子资料) ;通过批量处理得到 (仅提取所需资料并直接生成属性数据表) 。
部分调查数据是船载仪器自动生成的数据, 例如原始导航数据, 其数据量庞大, 但只需要提取经纬度、时间、水深等信息并结合部分处理数据, 形成完全符合数据库要求的数据形式。因此通过数据的批量读取能够高效地完成数据加工, 其流程图如图3。
2.2.2 空间数据的处理加工
空间数据[3]是指点、线、面、体等图形数据和对应的属性数据的统称。空间数据入库时格式为.shp, 对于有站位信息的数据 (如走航测线、站位信息、覆盖区等) , 因不存在.shp文件, 需创建空间数据文件;对于成果图件, 如不符合入库标准, 需进行格式转换、数据分层、图面检查编辑、属性赋值、MXD编辑等处理。
2.2.2. 1 站位信息的处理加工
点、线、区的shp图创建在实际应用中存在多种方法, 下面只分别介绍其中一种。
(1) 点空间数据的过程:
1) 将excel文件 (.xls) 中的经度列、纬度列 (以度分秒表示) 转换成十进制度表示形式 (此过程可以通过批量处理来实现) ;
2) 打开window菜单下的Arc Toolbox, 点击Data management Tools→Layer and Table Views, 双击Make XY Event Layer, 选择坐标文件, X、Y Field, 并赋予空间参考系;
3) 在新生成的图层上右击, 选data→expot data, 导出成.shp文件。
(2) 线空间数据的过程:
1) 将走航测线的数据存储在.txt文件下, 利用项目组开发的小软件“平剖面绘制 (PRJMDPPSEC.exe) ”进行检查和画线, 生成“航迹线”, 最后“DXF输出”;
2) 如无错误, 则打开Map Info工具/通用转换器, 将.dxf文件转换成.tab, 然后继续用通用转换器将.tab转换成.shp;
3) 将转换后.shp文件加载到Arc Map中, 补充测线的属性信息。
(3) 区 (面) 空间数据的过程:
1) 在将区空间数据中边角的经纬度填写在.txt文件中, 按a, b, c......代表序号, 格式为如图4所示。
2) 打开Arc Map工具箱, 通过samples→data management→create feature from text file命令来创建新区图层;
3) 导出.shp文件的区空间数据。
2.2.2. 2 成果图件的处理加工
收集的成果图件格式为.wt/.wl/.wp、.mif、.jpg等, 矢量要素存在拓扑问题, 由于数据入库有一定差距, 因此需对图件进行加工处理, 统一为.shp格式的图件。
依据《海洋地质数据库空间数据结构》、《中国地质调查局数据库建设技术标准》、《海洋区域地质调查数据库数据处理与质量控制规程》等相关标准和规程, 制定合理的处理方案后对成果图件进行一系列处理, 其处理流程图如图5所示。
(1) 格式转换。
海洋地质数据库需要的空间数据格式为Arc GIS的.shp文件, 针对不同格式数据制定不同的转换方式。
1) 对于Map Info格式的原始图件, 在Map Info中定义投影、坐标系, 通过通用转换器, 将.mif数据转换为Arc GIS的.shp文件;
2) 对于.jpg格式的原始图件, 先在Catalog建立新的点线面图层.shp, 然后在Arc Map中定义投影、坐标系并进行配准, 其次对点线面要素进行绘制;
3) 对于Map GIS格式数据, 先转换为Map Info数据, 之后转换为.shp文件。
(2) 要素分层整理。
对于Map GIS、Map Info格式的图件直接转换得到的.shp格式图件, 图件已经分层, 只是分层与数据标准中的要素分层规定不尽一致, 因此分别提取各类型要素, 调整要素所在图层, 确保各要素对应的图层文件的正确性。
(3) 图面检查编辑。
此环节是在Catalog中根据相应的拓扑规则对图面的线数据进行拓扑检查, 保证线数据不存在悬挂、未封闭、重叠等情况。在图面检查修改完成后, 对图形中的面域填充做拓扑重建, 建立图形的拓扑关系, 通过拓扑错误检查无误后, 使其符合入库标准。
(4) 属性赋值。
对不同专题的数据图层, 依据《海洋地质数据库数据模型》的要求, 建立不同的数据属性结构并依次对要素赋属性, 同时需注意数据集编号依据空间数据结构中的编码规则编写。采集属性数据, 根据上述规范, 对所有图件进行属性赋值操作。
(5) MXD编辑。
由于转换格式而来的.shp文件并未保存原图形的符号、样式, 因此, 需要对转换后的.shp格式矢量文件进行图形图式还原。主要是对所有图幅要素的区、线、点、注记进行符号、颜色、大小等样式的定义。以海洋地质数据库空间数据标准中对图元显示规定的属性结构, 作为图件图式还原选取属性结构的依据。数据标准中未有规定的要素, 用Arc GIS符号库中的符号还原图形。
2.3 元数据的处理过程
元数据 (Metadata) 是描述数据的数据[4], 用于描述海洋地质信息的内容、结构、项目信息和访问方式等, 在一定程度上能够消除数据资源之间的语义独立性和异构性。元数据的处理流程图如图6所示。
首先制作元数据信息采集表;依据收集的内容, 利用“元数据编辑器”, 参照元数据编写要求, 编写相关元数据信息, 并输出.xml文件。除建立.xml文件外, 还要补充建立相应的内容解释文件 (.html) 、位置图片文件或仪器设备照片 (.gif或.jpg) 。其中, 图片加工可以利用Photoshop对图片进行处理, 调节图像大小适合显示或添加文字等。
3 数据质量控制
质量检查方式包括自查[5]、互查、核查和审查, 自查与互查是作业组内部的全面检查;核查是作业组负责人对作业组数据产品的全面检查;审查是项目组质检负责人对核查后数据产品的抽样检查。每级检查发现的问题要求进行全面修改, 并经复检后方可提交下一级检查。质量检查可以通过机助或人工判别方法进行, 其中基于拓扑规则的拓扑检查和导入地图模板的图形显示检查是最直观的质量检查手段。
质量控制以数据质量元素基本单元来实现数据的检查。数据质量元素包括数据完整性、逻辑一致性、定位准确性及专题正确性。数据完整性指数据包、数据集、数据实体和数据属性的存在或缺失程度;逻辑一致性指与数据结构及定义的符合程度;定位准确性指野外定位数据的准确程度;专题正确性指数据内容在专业领域的合理程度。表1显示了海洋地质数据库数据质量检查项和检查方法。
4 结论
本文的主旨是介绍海洋地质数据库数据处理过程, 主要内容如下: (1) 指出了海洋地质数据库的数据实体, 主要分为5大类:元数据、调查数据、分析数据、成果报告、成果图件。 (2) 给出了海洋地质数据库数据处理的详细过程, 主要分为4大过程:数据收集、数据分组、数据分类加工、数据质量检查;并展示了属性数据、空间数据、元数据的处理加工过程。 (3) 质量控制对数据的完整性、可靠性及可重利用性起着举足轻重的作用, 论文展示了海洋地质数据库数据质量控制的方式和质量元数据的检查项、检查内容及方法。
摘要:本文的主要内容是介绍海洋地质数据库数据处理过程, 其目的是对数据库建设的基础环节有更一步的认识, 以期对相关工作人员有一定的参考意义。文章先介绍海洋地质数据库的数据实体;然后通过数据分组和分类加工、属性数据的批处理、空间数据处理和元数据处理等方面详细阐述了数据处理过程;最后指出数据质量控制是数据处理过程中的重要环节, 是数据完整性、可靠性和可重复利用的根本保障。
关键词:海洋地质数据库,数据处理,空间数据,成果图件,数据质量控制
参考文献
[1]苏国辉, 魏合龙, 戴勤奋, 等.海洋地质数据库建设现状及经验[J].海洋地质前沿, 2012, 28 (12) :10-16.
[2]魏合龙, 戴勤奋, 林峰, 等.区域海洋地质数据库建设纲要[J].海洋地质与第四地质, 2004, 24 (1) :139-142.
[3]罗云启, 曾琨, 罗毅, 等.数字化地理信息系统建设与MapInfo高级应用[M].北京:清华大学出版社, 2003:132-140.
[4]Martin Fowler.Using Metadata[J].IEEES of software, 2002, 19 (6) :13-17.
关键词数字化地形图;质量控制
中图分类号P208文献标识码A文章编号1673-9671-(2010)081-0152-02
1数字化地形图的特点
数字化地形图数据采集的手段多样,可为人工手扶数字化、扫描矢量化、航空遥感影像的数字化或野外数字化实测,在这些应用中,十分注重数据采集的精度,图形元素的分类、颜色、线型的设置以及最后绘图的成图质量。其特点表现为:
1)地物点、地貌点的空间位置表示精确;2)成图计算机作业,色彩丰富,功能齐全,使地形图极具可视性,符号统一,线划均匀;3)成果便于保存、查阅和今后更新,可对数据进行深层次开发和利用,特别是可以方便快速地为城市建设提供各种用途的专题图;4)数据检查修改具有隐蔽性。
2测绘数字化地形图入库前的质量检查
由于数据采集的过程不规范或成图过程中的误操作,以及GIS数据的特殊要求,测量成果往往存在很多数据质量问题,如房屋没有封闭、线不连续、实体没有属性或者属性错误等等,因此在入库前必须进行严格的质量检查。
图1数字化地形图入库流程图
2.1图形实体检查
检查的内容主要有地物编码是否正确,实体属性是否完整,地物是否放错图层,符号、线型、线宽是否规范,线自相交检查,是否存在伪节点、悬挂点,高程注记检查,建筑物注记检查,面状地物封闭检查,重复实体检查,复合线重复点检查等。
2.2属性数据检查
主要检查房屋楼层、结构等数据是否录入,高程点属性值与高程注记是否匹配,等高线高程注记是否正确。
2.3复合线减肥检查
凡是用复合线绘制的实体,主要是等高线,如果复合线结点过密,必然造成数据臃肿,数据量加大,有必要对密集结点的复合线进行滤波处理。
3两种地形图入库流程
根据不同成图方法的基础资料,采用不同的作业方法。对于数字化测图的成果资料,已有一套DWG格式数据,需整理加工出一套Mapinfo数据即可。具体方法是:利用CASS7.1软件,对数据进行编辑和检查错漏,然后输出Mapinfo6.0。
作业流程如图1所示。
对于平板仪测图的成果资料,先采用扫描矢量化方法获取数据,再进行数据加工处理。具体方法是:测绘原图经扫描后,利用Geoway3.0软件进行数字化采集,检查修改后输出Mapinfo数据一套。经二级检查后输出AutoCADMap2000数据一套。作业流程如图2所示。
图2平板薄膜地形图入库流程图
4入库数据的质量检查矢量
数字化测图的最终目的是将地形图转入GIS系统的数据库,入库的数据必须根据GIS系统的要求进行检查,要确保数据的质量。数据质量主要包括:位置精度、属性精度、逻辑一致性、完整性、现势性。
4.1地理精度检查
地理精度检查主要包括:各种地图要素的正确性,各种地理要素的表示是否协调一致,注记和符号的表示是否符合图式要求,综合取舍是否恰当,图面是否清晰、美观,图廓整饰是否正确、完整等。其主要通过内业图面检查和外业巡视对照检查完成。
4.2位置精度检查
位置精度即坐标精度,在一定的坐标系统下,以坐标方式反映各种要素关系与地面实际情况相吻合的程度,包括位置描述的数学基础,图廓点、格网点、控制点的精度以及平面位置精度,高程精度和图幅边界的接边精度等。
1)数学基础主要检查所用坐标系统的正确性、图廓线坐标及控制点的正确性检验等。
2)平面精度和高程精度检查通过重复设站,测定各地物点的坐标和高程,与图上相同的地物点进行比较,确定地物点的平面位置及高程误差。
3)整饰质量检查。整饰质量检查包括:各种符号注记是否符合图式规范要求;线划是否光滑、清晰,线形是否符合规定;名称、性质、高程等注记是否正确,位置是否合理,字体、字号及方向是否符合规定,是否压盖地物及点状符号;各种地理要素关系是否正确,是否有压盖、重叠等现象。
4.3属性精度检查
属性精度主要反映属性数据的正确性,它涉及分类、代码、属性值以及注记名称的正确性。属性精度主要检查点、线、面的属性代码及属性值的正确性、唯一性,注记的正确性,数据分层的正确性。要逐层检查是否有多余的属性,逐层检查各属性表中的属性项项名、类型、长度、顺序等是否正确,有无遗漏或多项;检查各要素分层、代码、属性值是否正确或遗漏。
4.4逻辑一致性的检查
逻辑一致性指数据定义统一性与描述数据集之间固有的逻辑关系正确性。逻辑一致性检查包括:属性一致性、格式一致性、分层一致性、拓扑关系的正确性和多边形闭合等。要检查各层是否有重复的要素,检查有向符号、有向线状要素的方向是否正确;检查多边形的闭合情况,标识码是否正确;检查各要素的关系是否合理,有无地理适应性矛盾,是否能正确反映各要素的分布特点和密度特征。
4.5完整性的检查
完整性是指符合选取标准的数据是否全部选取,即该表示的是否都完整表示。完整性检查包括:数据分层的完整性、数据层内部文件的完整性、要素的完整性、属性的完整性等。
4.6现势性的检查
现势性是指数据库中数据与当前实际情况的符合程度。
4.7附件质量检查
包括控制资料、底图、检查资料、文档资料及其他附属资料的正确性、完整性检查。
5数据格式转换
5.1定制CASS7.0的图元索引文件INDEX.INT
所谓图元就是图形的最小单位,一个复杂的符号可以含有多个图元,图元索引文件记录了每个图元的信息,该文件格式如下:CASS7.0编码,主参数,附参数,图元说明,用户编码,GIS表名。
修改“用户编码”、“GIS表名”两项,把它对应到MapInfo数据相应的内容,就可以用软件“输出到MapInfoMif/Mid”的功能,实现数据转出。
5.2在SurpMap软件中修改和编辑数据
在SurpMap 软件中读入Mif/Mid数据,并挂接SurpMap符号库,检查图形属性数据是否完整和遗漏。如发现问题,利用相关的工具进行修改,修改好后,打印出图,套合原始CAD图纸做比较,如有问题再次修改,直到与原始数据套合准确无误。
6结语
地理信息系统以其形象直观、操作灵活、功能强大等特点,在许多领域得到广泛应用。它将几何数据与属性数据完美地结合起来,将传统的数据库带入可视化空间,为用户提供了清晰而形象的图形界面。而数字化地形图是GIS的基础数据库,为了使GIS在我国经济建设中更有效地发挥作用,必须使数字化地形图适应GIS的发展。
参考文献
[1]郝力.等.城市地理信息系统及应用[M].北京:电子工业出版社,2002.
[2]黄金锋,方锋,李长辉.城市基础地理信息系统数据集成应用问题[J].工程勘察,2003,2.
目前数据库设计一般分为6个阶段,即需求分析阶段,概念结构设计阶段,逻辑结构设计阶段,物理结构设计阶段,实施阶段,运行与维护阶段。
(1)需求分析阶段
需求分析阶段的主要任务是指通过充分调查现实世界要处理的对象, 详细了解计算机系统的工作情况, 明确用户的各种需求, 然后确定系统的各项功能。数据库系统不仅要按照当前的应用要求来设计, 而且必须充分考虑今后可能的扩充和改变。
(2)概念结构设计阶段
概念结构设计阶段的主要任务是将需求分析阶段所得到的用户需求抽象为概念模型, 而描述概念模型的具体工具主要是E-R 模型。
(3)逻辑结构设计阶段
逻辑结构设计阶段的主要任务是把概念结构设计阶段设计的基本E-R 模型转换为与选用DBMS产品所支持的数据模型相符合的逻辑结构。具体来说, 就是首先将概念结构转换为一般的关系、网状、层次模型, 然后将转换来的模型向特定DBMS 支持下的数据模型转换, 最后对数据模型进行优化。
(4)物理结构设计阶段
物理结构设计阶段的主要任务是为一个指定的逻辑数据模型选取一个符合应用要求的物理结构。具体来说, 就是首先确定数据库的物理结构, 即数据库的存取方法和存储结构;然后对数据库的物理结构进行评估, 评估的重点是存取时间的长短和存储空间的大小。
(5)实施阶段
实施阶段的主要任务是用RDBMS 提供的数据定义语言和其他实用程序将逻辑结构设计和物理结构设计的结果详细描述出来, 成为DBMS 可以接受的源代码;再经过系统调试产生目标模式, 最后完成数据的载入工作。
(6)运行与维护阶段
根据《中华人民共和国统计法》有关规定,企业应当按照国家有关规定设置原始记录、统计台帐,建立健全统计资料的审核、签署、交接、归档等管理制度,必须真实、准确、完整、及时地报送统计资料和数据。为加强企业能源统计工作规范,进一步提高能源统计数据质量,现将企业上报能源统计报表工作流程规范如下:
一、企业能源统计的重要性及从业人员基本要求
1、能源是企业赖以生存和发展的物质基础,是经济和社会发展的重要支撑和战略资源。企业的能源统计是企业能源管理的重要基础工作,是企业经济核算体系的重要组成部分,是政府能源统计监测的重要依据。因此,加强企业能源统计工作规范,完善企业能源统计制度和体系,提高能源统计数据质量有着非常重要的意义。
2、企业能源统计人员应具备如下专业技能和知识储备:(1)统计人员应具备一定的计算机操作技能、数据收集分析能力,并取得统计从业人员资格证书,持证上岗。
(2)统计人员应学习掌握省、市和本企业节能降耗有关文件及工作要求;了解企业所在地政府统计部门布置的能源统计报表制度和规定,并据此明确本企业应承担的能源统计任务;熟练 掌握应填报的各类报表的指标含义、计算方法、上报时间等填报要求。
(3)统计人员应了解企业生产流程及能源生产消费情况,熟悉企业主要能源消费品种和能源消费主要环节。
(4)统计人员应了解企业能源计量情况,熟悉不同能源品种的计量方式和标准。
二、搜集原始数据(记录)
1、企业能源统计原始记录是指基层单位记载最初能源活动过程和成果的表格、卡片、单据。企业应根据生产经营活动性质、规模以及能源管理和能源统计报表的需要,设置能源统计原始记录。
2、企业能源统计原始记录主要来源于企业采购部门、生产部门、设备动力管理部门、财务部门及能源管理部门等部门。企业应建立各部门间能源统计联系工作机制,确保企业能源统计渠道畅通,各部门间数据衔接一致。
3、企业能源统计原始记录主要包括:
(1)能源生产和销售方面的原始记录:产品验收入库单、检验(化验)单、产品销售发票等。
(2)能源购进、领用消费方面的原始记录:供货单位的销售发票、本单位的验收入库单、领料单等。主要能源品种消费数据来源如下:
煤炭的消费记录:根据班组、车间或中控室的煤炭实际消费 量的原始记录综合计算。
成品油消费记录:设有油库的企业根据领料单及车间领出未用盘存综合计算;其他企业根据供货单位的销售发票及车间领出未用盘存综合计算。
电、气的消费记录:有条件的企业应于每月定期抄表,并与供货单位的销售发票相互衔接;其他企业可根据当月供货单位的销售发票计算。
(3)能源库存方面的原始记录:盘存表等。企业在库存盘点时应综合考虑库存损耗、车间领出未用部分能源。盘点后,可能出现帐面数字与实际库存数量不一致的现象,应以盘点数量为准来调整帐面数字,差额作盘盈或盘亏处理。企业没有电、气的库存记录。
(4)折标系数:有实测折标系数的企业,应建立每个品种的实测热值原始记录;其他企业可采用各种能源参考折标系数。
4、原始记录必须真实可靠、填写标准,数据要求准确与完整,做到记录与实物、账卡一致,且应注明发生日期、经手人及审核人姓名,统一编号。
三、形成能源统计台帐
1、能源统计台账是指基层单位按照填报能源统计报表、进行能耗分析及满足能源管理与其他核算的需要而设置的汇总和积累资料的账册。企业应根据原始记录情况及报表要求设计能源统计台账表式和设置能源统计台账。统计台账可以根据企业生产 流程和管理方式的变化而作相应调整,但要保持相对稳定。
2、台账数据一般需通过统计过录表的整理而取得。统计过录表是由零散的原始记录汇总生成统计报表所需指标的中间表式。过录表的设计根据企业原始记录的类型和状况而定。过录表参考表样供参考。(附件一)
3、能源统计台账要求台账数据应与原始记录、过录表相互衔接一致,要按时、持续、准确,不能随意修改和空缺。台账要保持一个报告内格式固定。台帐可以电子介质或纸介质,以电子介质为优。
4、能源统计台账样式供参考。(附件二)
四、生成报表数据
1、根据收集的数据及统计台账,生成能源统计报表数据。(1)联网直报系统根据分品种能源消费自动计算能源合计和综合能源消费量;补充资料上年同期数由联网直报系统自动取数,无需填报。
(2)有实测折标系数的企业应采用报告期实测的加权平均折标系数;其他企业可采用参考折标系数,但要保证两年口径一致。
(3)统计周期是指统计报表的填报周期,周期起止时间一经确定不得随意更改。例如,确定1号至31号为当月《工业能源购进、消费与库存》的统计周期,则每月如此。严禁错月报送。
2、统计报表应以法定调查对象进行填报,严禁以下几种上 报方式:
(1)涵盖几个独立核算法人的集团公司整体上报。(2)互不关联,或者虽有关联,却都属于独立法人的打捆上报。
(3)都隶属于同一法人的各种经营活动,把非工业经济成份打包上报。
(4)任意调换法人企业,移花接木式上报。
(5)已非规模以上,或已非工业性质,却杜撰数据,伪造上报。
五、网上直报录入
1、登录网址http://dr.lwzb.zj.gov.cn/,进入联网直报系统,进入申请证书页面,下载安装证书。证书安装完成后,再次登录联网直报系统,键入自己的用户名和密码,点击【登录】进入直报系统,进行直报录入。
2、上报时间由国家统计局统一规定,不得更改。企业应在上报期间尽早完成网上直报录入工作。
3、申请安装证书及联网直报系统使用的常见问题。(附件三)
六、报表数据审核
1、完成网上直报录入后,点击页面下方【审核】按钮。(1)如果出现“审核通过”提示框,则点击【上报】按钮正式上报数据。
(2)如果出现“审核错误”提示框,则应根据错误说明,详 细填写说明后方可上报。其中,如出现红色背景的准强制审核类型错误,要求企业再次认真核实数据,如确实由于特殊生产情况导致此类审核错误,统计人员需联系当地统计部门业务人员解决问题,否则无法上报;如出现黄色背景的核实性审核类型错误,企业在确认数据无误的情况下可直接填写说明后上报数据。
2、统计人员需特别关注以下审核内容:
(1)本期综合能源消费量与上期或者同期比变动幅度是否较大,如变动幅度较大,应主要分析:企业生产经营过程中是否遇到特殊情况;宏观经济形势特别是行业发展环境是否对企业生产有较大影响;这种特殊生产情况是短期的还是将成为长期趋势。
(2)本期产值能耗(能耗除以产值)与去年同期比变动幅度是否较大,如变动幅度较大,应主要分析:价格是否有变动;如果价格无特殊变化,则分析产品产量增速与能耗增速关系,具体见第(3)项。
(3)企业主要耗能产品的生产速度与能耗变动幅度差异是否较大,如变动幅度较大,应主要分析:产品的多样化及高耗能产品产量比重增加等产品结构调整的影响;生产设备是否更新检修;节能技改项目影响等。
如需填写情况说明,企业应根据具体审核公式填写对应的详细情况说明,避免出现词不达意、答非所问的情况。
七、正式上报数据
1、数据审核完成后,由企业主管负责人审核确认后,才能 上报数据。
2、正式上报数据。如上报完成后发现填报数据有误,应及时与县(市)、区统计局联系,如在修改期内,则及时在网上直报系统中进行修改;如超出修改期,则在下月调整。
3、正式上报数据后,各级统计机构开始审核确认数据。在审核期间,企业统计人员应做好待查准备,保持联络畅通,及时完成各项查询任务和情况说明。
八、资料归档保存
1、能源统计资料包括:原始记录、统计台账、经审核无误的直报表、各类调查表和综合表、统计分析及计算机等磁介质储存的统计数据信息等。
2、纸质能源统计资料按报告分类汇总,装订成册,不得缺损和遗漏,签章存档,以备查阅。使用电子计算机管理的单位要做好能源统计资料的备份保存工作,确保数据不丢失。
张英:石狮、祥芝、永宁、蚶江、厦门马垅
董素清:烧灰、安海、东石、深沪、下伍堡
统计员职责:
1、做好各店销售审核;进、销、存明细,清楚掌握各店库存
2、根据日、周销售排行及时进行货品调配
3、掌握各店人员、货品情况进行信息反馈和总结
4、配合主管做好促销款式的安排、盘点、销售对比
5、每月初做好各店月销售,协同主管进行店铺评比、导购员工作考核
日工作流程:
根据店铺传真做销售 领取仓库发货单入销帐 根据所做销售进行产品对比,货源调配 做好明细帐检查、核实店内销售及银行存单 每月必做事项:
月初:(1——5号)配合主管对所属店铺进行实物盘点
每周一:做好上周销售总结、排行,计划货源调配
月末:整理、做好月销售排行、信息反馈、核实财务对帐单
直 营 部
在对数据进行采集以后,留给我们的就是室内处理的工作了。为了得到地下的地电情况,往往需要得到一系列的图件。在现阶段,由于处理解释的理论不成熟,仅仅停留在半定量半定性阶段,尽管现在有很多专家学者将地震的处理解释理论引进了瞬变电磁之中,但是总的来说还是有局限性的。发展研究属于瞬变自己的理论很有必要。牛顿说自己的成功是站在巨人的肩膀上,因此研究瞬变必须以现有的处理和解释手段为基础,摸透套路,了解其优缺点,才能完善自己。
1 主题
通过大量文献的阅读,现在主要归纳、分析、总结瞬变定性处理解释的一般步骤:
1.1 预处理
在大量的文献中,都提到这样的手段,不妨总结如下。
1.1.1 关断时间校正
蒋邦远称为斜阶跃波后沿影响校正,有坐标移动法(等效延时法)、解析法、量板法、数值计算法四种。
杨云见,王绪本,何展翔在文章中分析了关断效应的影响并对比了标移动法、Fitterman校正法、Eaton校正法三种校正方法的效果。对于全期段数据校正宜选Eaton法,对“晚期”段数据可选Eat on法,也可选坐标移动法;在选用Fitterman法时要注意是否满足使用条件。
白登海分析了关断效应对响应函数的影响,并提出了相应的处理方法和策略。
1.1.2 数据组合滤波
蒋邦远提出的三点滤波、六点滤波、卡尔曼滤波、函数拟合法五种方式。杜庆丰,管志宁,何朝明提出的方法主要包括强干扰信号剔除、测道圆滑、测点圆滑三种。张保祥、刘春华[2]采用三点自相关滤波公式用VB编制了衰减电压曲线编辑程序,来处理衰减电压V (t)/I曲线尾支出现波动。嵇艳鞠,林君,王忠[4]进行畸变分析和数值剔除。
1.1.3 弱信息增强处理
苏彦丁[8]进行了瞬变电磁资料中弱信号的提取的工作。
1.1.4 异常分离
1.2 数据处理
在经过上面的步骤后,就可以对数据进行处理了。
1.2.1 处理图件
以延时为纵坐标的多测道剖面和以延时为纵坐标勾绘的视电阻率断面图,按测道绘制视电阻率平面图等图件。
其中,某一测道的视电阻率:
式中,M为发射磁矩(即发射电流与发射回线面积之积);u为感应电动势。在得到对应测道的深度:
杨剑[3]提出了深度视电阻率断面图和等标高视电阻率平面图来绘制图件。
上述步骤后,可以用excel和surfer结合即可以绘制出图件。
1.2.2 处理软件
比较通用的数据处理与资料解释软件系统,比较有代表性的有美国Interpex公司的IXID v3电法数据处理系统;澳大利亚Encom公司推出的EMvisIon瞬变电磁法软件;中科院地质与地球物理所开发的TEMINT基于一维反演的电阻率成像软件;吉林大学地探学院开发的“GeoElec2tro电法数据处理系统”。
嵇艳鞠,林君,程德福,于生宝[7]ATEM-Ⅱ瞬变电磁仪数据处理软件的研制与应用,编写了软件包括三点平滑数字滤波(奇异值剔除)、斜阶跃波效应后沿校正、近似对数等间隔抽道、计算全区电阻率计算视深度等功能。处理软件采用了全区视电阻率进行计算和反演,比远区或近区视电阻率的近似计算方法更能完整逼真地反映地电断面结构,有助于定性定量解释。
1.2.3 资料解释
资料解释主要根据处理环节的图件来获得。
曹冰河[6]提出了时间谱法和等效电流环法进行瞬变电磁法成果资料快捷解释方法,从而做出定性的解释。通过多测道剖面上面的双峰异常和测道间的间距大小也可以来进行解释。
2 结束语
通过对瞬变电磁法勘探处理流程的综述与研究,对实际资料的处理解释有极大的现实意义。
摘要:近年来,我国经济的持续发展与新一轮的矿产普查热,推动了瞬变电磁法勘探在我国的长足发展,研究处理解释流程有很大的现实意义。
关键词:瞬变电磁,处理流程
参考文献
[1]蒋邦远.实用近区磁源瞬变电磁法勘探[M].北京:地质出版社,1998.
[2]张保祥,刘春华.瞬变电磁法衰减电压曲线编辑程序简介[J].物探化探计算技术,2001,(2):77-80.
[3]杨剑.瞬变电磁异常图示方法探讨及其应用效果[J].矿产与地质,2004,(8):376-379.
[4]嵇艳鞠,林君,王忠.瞬变电磁接收装置对浅层探测的畸变分析与数值剔除[J].地物理学进展,2007,(2):262- 267.
[5]杜庆丰,管志宁,何朝明.瞬变电磁数据预处理方法探讨[J].物探与化探,2006,(2):67-70.
[6]曹冰河.瞬变电磁法成果资料快捷解释方法[J].物探与化探,2004,(4):136-138。
[7]嵇艳鞠,林君,程德福,于生宝.ATEM-Ⅱ瞬变电磁仪数据处理软件的研制与应用[J].吉林大学学报(地球科学版),2003,(4):242-245.
[8]苏彦丁.瞬变电磁资料中弱信号的提取[J].山西建筑,2007,(5):114-115.
[9]杨云见,王绪本,何展翔.瞬变电磁法中的斜阶跃波效应及常规的几种校正方法分析[J].物探化探计算技术,2006,(5):129--132.
[10]白登海.瞬变电磁法中两种关断电流对响应函数的影响及其应对策略[J].地震地质,2001,(6):245-251.
关键词:高校数据中心;流程再造;模型
中图分类号:TP302文献标识码:B文章编号:1673—8454(2012)17—0009—05
一、引言
信息化建设是高校内涵建设的重要组成部分。在信息技术飞速发展的今天,越来越多的国际名校选择通过信息技术手段重新思考和彻底地重新设计学校的核心业务流程,从而更好地服务自己的用户,应需而变,迎合市场适应社会,获得更强的竞争力。那么在我国高校纷纷建设自己的数据中心、提供各种应用和服务时,是否应冷静思考高校的信息化建设应如何为学校未来的可持续发展提供更多的战略帮助?高校要转型,高校要发展,高校要国际化,这些目标的实现都离不
开信息技术支撑平台。本文拟通过调研上海高校数据中心建设现状,围绕高校核心业务流程再造的命题,基于高校数据中心物理层、数据层架构,设计出适合中小型高校流程再造的模型并加以分析论证。
二、高校数据中心
数据中心的概念很宽广,从体系架构的角度来看,分为物理层、数据层、应用层或服务层,各层之间并非独立,而是相辅相成,融为一体。普通用户只能感受到服务层或应用层的变化,作为信息技术人员,从不同角度谈论数据中心,将会呈现出不同的维度效果。
高校数据中心指在数字化校园的建设过程中,以电信级机房设备向校园各用户提供专业化和标准化的数据存放业务和相关服务的统一支持环境[1]。高校数据中心主要是为数字化校园建设的公共基础服务、各类应用服务提供全方位的运行和管理功能。高校数据中心主要定位于服务数字化校园建设。建设内容主要包括:物理层、数据层、应用层以及三者的集成。
(1)物理层建设:包括机房、系统、网络以及网络安全等底层建设。
(2)数据层建设:通过采取一定策略,使不同业务部门的数据实现集中与共享,实现数据备份与恢复,保障数据安全。
(3)应用层建设:开发和集成高校各应用系统,提供面向用户(教师、学生、员工等)业务流程实现和各类服务。
三、上海高校数据中心建设现状
从2009年开始,作者先后走访了十几所高校信息技术部门,全面了解各所高校信息化建设特别是数据中心的建设情况。围绕数据中心硬件架构、公共数据库、数据交换、数据安全、挖掘分析等问题和这些高校信息技术人员进行访谈。并与多家软件服务类公司技术或研发人员进行技术交流和探讨。访谈同时作者检索阅读了大量企业、高校数据中心建设,企业、高校流程再造等方面的文献、书籍并查阅了各大高校包括国外高校信息化建设专题网站,运用多学科理论、方法拓宽研究思路和研究方法。作者经过几年调研、思考和项目建设经验梳理和概括出上海高校数据中心建设四点现状:规划先行分步实施、硬件支撑全面保障、数据集成数据共享、挖掘分析决策支持。接下来的章节将围绕这四点现状以个案分析的形式展开。
1.教育部直属高校个案分析
以复旦大学为首,上海高校几乎都是在许多应用系统“信息孤岛”的现状中通过数据整合工具,在硬件条件不断完善的基础上经过若干年的信息化建设才将数据中心IDC(Information Data Center)从体系架构和实际应用中凸显出来的。高校数据中心的建设不是一个项目一次投入就完成的。像复旦这样的一流大学也是分阶段分期实施,第一阶段基础建设,第二阶段应用系统建设,第三阶段信息资源整合及服务集成。目前复旦处于建设的第三阶段。在数据集成方面复旦选用Oracle ODI中间件,前期由公司根据交换需求进行二次开发,2009年底开始由学校信息技术部门专人根据流程变化需要调整交换策略。在实施数据交换的过程中,他们发现交换难不在技术而在协调。要在全校范围内确定“标准”,应用系统往这个“标准”进行整改,才能确保交换顺利推进。复旦共享数据库先后经历三次改进,数据仍处于积累阶段,还未达到学校决策支持的最终目标。
调研过程中,我们也看到高校数据中心不同的应用场景。比如华东师范大学选择东软作为长期合作开发伙伴,坚持“一个库”工程。全校建立统一的公共数据库,分部门更新和管理生产数据。统一的公共数据库和统一的权限管理使得全校基础数据来源唯一,避免大量分置的重复数据,也避免了人工干预同步数据。但由于华东师范大学办学规模大,就平台使用人员来看,2012年在校用户(本专科生、研究生、教职工、教师及科研人员)就有近35000人,这还不包括校友、社会人员。公共数据库膨胀很快,曾出现过核心业务流程因并发用户的激增而宕机现象。笔者认为华东师范大学“一个库”工程打造数据中心战略并未失误。暴露问题并非坏事,摆在技术人员面前的是在高校公共数据库急速膨胀状况下如何从根源上优化基础架构、数据库性能或业务流程,这将是一个非常棘手的复合难题。
2.上海市属高校个案分析
上海大学数据中心2006年创建,基础架构投入力度大,超过许多教育部直属高校。数据中心机房无论网络布线、精密空调还是备用电源设备都按电信级标准建设。他们在数据中心高性能高可用的物理层架构基础上分步建立了比较完善的信息服务体系,形成了以教职工、学生生命周期管理的信息化初步模型。上海大学信息办徐主任认为,“应该尽量减少数据集成,因为有了交换,就会有数据的不一致。上海大学没有概念中的公共数据库,我们不提数字化校园,只提数字化和共享。”
在调研上海理工大学信息办过程中,我们了解到他们在搭建公共数据库过程中,数据来源相对单一,从而减少了数据清洗和人力协调的成本。上海理工大学在前几年应用系统数据积累基础上选择商用BI工具,用三至四月做了关于教职工人事、科研方面的主题分析,并尝试在数据挖掘方面深入下去,为学校领导层提供决策支持。
3.上海体育学院个案分析
上海体育学院是国家体育总局和上海市共建共管的体育高校。该校信息技术部门在上海体育学院信息化建设“十一.五”规划指导下,连续投入上千万,搭建了合理的硬件基础架构,完成了信息基础平台,人事、科研、学工等十几个应用系统建设任务,并利用整合工具逐步实现数据整合和共享,实现统一身份认证和单点登录,目前学校已进入信息化建设二期项目建设阶段。
上海体育学院信息化建设起步虽晚但起点较高。经过近五年的建设,数据中心IDC初具规模。其中物理基础体系架构已趋于完备,IDC防火墙,网络、光纤交换机,Web应用防火墙等硬件设备保障IDC机房网络、数据畅通以及关键应用服务的访问安全。三套存储设备、不间断备份、异地容灾的数据层架构全方位保障了数据中心的数据安全(如图1所示)。近50多台服务器,虚拟化实验、HA实施,不断提高其关键设备及关键应用的高可用。通过虚拟化技术的应用最大程度保障学院信息化建设过程对服务器等设备的需求,也使学校硬件经费投入产出利益最大化。学院IDC机房实行7*24小时不间断环境和系统监控,最大程度上保障数据中心应用服务稳定可靠。数据中心核心数据库有Oracle RAC、MSSQL Server、PostgreSQL,集中存放学校基础数据、共享数据,并根据建设项目的推进不断整合和优化。随着现代信息技术和高校数据中心的发展趋势,上海体育学院数据中心在机房建设、资源整合、数据整合、应用与服务上都有待进一步提高和完善。
四、高校流程再造
1.高校流程再造
高校流程再造是从企业流程再造BPR(Business Process Reengineering)衍生出来的。高校流程再造UPR(University Process Reengineering)是以高校用户需求为导向,以管理流程为核心,通过对高校业务流程进行根本性的再思考和彻底性的再设计,从而实现高校整体管理水平和办学效益的显著提高[2]。UPR是一项战略性的进行高校重构的系统工程。实施UPR成功的根本动力是高校长期可持续发展的战略需要。UPR借助工业工程技术、运筹学方法、管理科学、信息技术等多项现代社会人文科技手段,从业务流程、组织结构、高校文化等方面对高校进行系统重构。概括而言,UPR由以下要素构成[3]:
(1)从满足高校用户需求出发。高校用户有学生、教师、科研人员、员工、校友以及社会人员等。高校一方面要以市场为驱动,培养社会需要的人才;另一方面要对组织机构进行改革,提升学生、教职工满意度。
(2)以管理流程为中心。高校要将以任务为核心再设计为以过程为中心。要结合高校“服务驱动”的管理模式,对其核心业务流程进行分析改造。具体而言,就是分别对学生事务、教学、科研等核心流程进行跨部门的流程再造,这就是UPR的工作重点。
(3)要充分运用信息技术和人两个主要手段。没有深入地应用现代科学技术特别是信息技术,没有变革组织,严格地说不能算再造。信息技术已经改变传统教育理念和模式。高校应该充分发挥其作用,利用它改变高校业务流程,简化或优化流程。另外教职工管理队伍建设也是深化改革的关键,再造主要问题就在于人员组织与管理,充分调动员工在核心业务流程中的作用。
2.高校流程再造设想
以上海体育学院为例,实施高校流程再造将提高其综合竞争力,与国际接轨,是实现世界一流体育大学战略目的观念改变、流程改变和组织改变。根据高校流程再造基本原理,我们大胆设想高校UPR系统工程涵盖以下内容[4]:
(1)观念再造——树立现代高校办学理念。
(2)制度再造——构建现代高校制度。
(3)组织再造——建立以高校用户为中心的管理组织体制。
(4)高校流程再造——建立科学化的高校业务流程。
(5)办学策略再造——实行多元化、差别化的办学模式。
(6)技术再造——运用信息技术提高国际竞争力。
(7)高校文化再造——适应高校国际化文化管理趋势。
根据上海体育学院目前的办学理念和办学思路,已在观念、制度、组织、办学、文化等方面进行着改革和完善。无论是BPR还是UPR,都要靠信息技术手段来实现。鉴于当前高校信息化建设水平,在现有数据中心基础上进行流程再造是一个科学的选择。
五、构建基于高校数据中心的流程再造模型
本文研究的高校流程再造模型是从信息技术和流程管理角度切入,根据中小型高校人力资源、组织结构、管理思路、信息化建设基础等方面着手设计和建构的。设计不是照搬其他综合高校的成功案例,也不是目前高校的主流模型,是以中小型高校创建具有世界竞争力的一流大学为目的,基于中小型高校数据中心建设现状,面向流程再造,对高校信息化建设模型的重新思考和重新设计,对高校信息管理决策者、战略决策者而言既是挑战也充满机会。
1.构建目的
模型以中小型高校创建世界一流大学信息平台为目的。主要体现在以下几个方面[5]:
(1)适应性。更高的灵活性,无需昂贵的定制就能满足不同部门的独特需求;具备更多自动服务功能;在如何管理高校业务流程方面能提供更多选择。
(2)创新。让学生和老师可以更好地互动,以加速产生学术成果;能满足高校用户不断变化或独特需求的能力;总体成本随着时间推移不断降低。
(3)信息驱动。把信息更紧密地集成到协作过程中,改善沟通效果,实现领导层基于信息决策并采取行动。
2.构建背景
虽然中小型高校、特色专科高校办学规模,教职工、学生人数远远少于综合大学,但是其组织机构、信息管理应用系统数量却与综合大学相当,只是职能部门人数,使用应用系统并发用户数远远小于综合大学。通过前期对兄弟院校信息化的调研,我们发现高校应用系统硬件的平均利用率都很低,对未采取虚拟化技术的高校而言不仅浪费能源、设备,还消耗了对应的人力投入成本。以行政职能划分的金字塔型的各职能部门几乎都有自己的应用系统,如人事、科研、学工、教务等大大小小几十个甚至上百个信息管理系统。由于各种历史原因,这些应用系统都是从部门自身的管理角度出发,面向部门内部任务将手工处理流程自动化,更多地是从满足部门管理需求出发。在今天面向“服务”的新型办学管理理念的冲击下,这些应用系统无法或难以根据跨部门业务流程应需而动,已经无法支撑高校服务师生、员工、校友、社会的目标。流程再造势在必行,基于高校数据中心的流程模型构建势在必行。
3.建构思路
模型的建构思路来源于前提高校数据中心现状调研。绝大多数高校在打造数据中心的过程中,几乎都是采用数据交换工具整合各个应用系统异构数据。历经数年,标准制定,数据交换工具选型,数据分析,详细的数据抽取策略制定,数据交换过程不间断地监控等等。由于种种原因,这项整合工作周期长见效慢,对于信息技术部门人员而言,几乎要与高校每个职能部门、每个应用系统公司商务和技术人员协商沟通,整合工作推动效果差,不断反复,工作量大见效却小。以上海体育学院为例,全校六百多在岗教职工,信息技术部门专职人员六名,职能部门未设信息管理人员岗位,因此完成全院三十多个应用系统的数据整合工作难度较大。
2012年3月教育部发布《教育管理信息教育管理基础代码》、《教育管理基础信息》、《高等学校管理信息》等七个教育信息化行业标准[6],这为高校数据整合和公共数据库的设计提供了统一的标准。这时我们不能再将思路始终局限于整合、整合、再整合。消除“信息孤岛”,整合只是一定历史时期做的事,随着时间的推移,应该在一定的时间点结束“信息孤岛”生命周期。我们中小型高校可以创建适合自身办学规模的、覆盖全校基础数据的生产数据库,在统一的、单点的数据库上选择合适的技术工具、平台和手段再造学生核心业务流程,教师教学、科研业务流程等,突破职能部门界限,通过流程再造更好地为学生、教师、校友和社会服务,突破时空局限全方位体现高校办学竞争力。
4.模型分析
基于高校数据中心的流程再造模型并不是摒弃前期的信息化建设投入,而是从学院可持续发展的角度,调整和优化信息化建设思路,通过模型图(如图2所示),我们做一个简要的分析。
模型中未出现职能部门现有的应用系统,这说明需要减少或停止面向职能部门应用系统开发或维护投入。模型中未出现原来应用系统数据交换图示,这表明中小型高校在信息技术人员不足的情况下尽量减少数据整合成本,目的是消减信息孤岛。统一身份认证统一权限分配,减少单点集成和单点登录风险。模型中需要决策者痛下决心的是重新创建基于标准覆盖全校基础数据的生产数据库,后期的核心业务流程设计基于统一生产数据库实现。模型需选择新平台新工具再造高校核心业务流程。另外利用生产数据库空闲时间完成数据抽取,创建面向主题的数据仓库,让综合查询、统计与分析、决策支持、关联规则挖掘等大数据量计算操作与业务流程操作物理分隔。
5.模型的创新点
本文研究的基于高校数据中心的流程再造模型不是对其他高校信息化建设模式的复制,创新之处在于:它是面向中小型高校信息化建设情况量身定做的模型。模型根据新公布的七个教育信息化行业标准打造全校的“生产数据库”,提供唯一的数据入口,从而减少应用系统与“公共数据库”或应用系统之间数据交换和同步。模型不再希望今后信息化建设经费投入到职能部门内部的应用系统,而是要求在新构的生产数据库和新的统一的平台上重新设计和改造高校核心业务流程,让“服务驱动”的办学理念落到实处。
6.模型应用的关键点
本文研究的基于高校数据中心流程再造模型在实际中应用和验证,必须注意以下几点:(1)高校至上而下的观念重建;(2)科学有效的流程设计与重建;(3)流程再造工具、平台(基于统一的应用构建平台快速配置业务系统)的选型;(4)能提供整体校园解决方案,长期技术合作伙伴的选择;(5)持续投入与持续回报。以上几个构成模型成功应用的关键点,缺一不可,任何一点的失误都将导致整个流程重构的失败,因此要将基于高校数据中心的系统重构作为高校全局的系统工程来看待,否则将使前期投入得不到很好的回报,从而无法达到预期目标。
六、结束语
为了让上海体育学院早日成为国际化体育大学,学院信息技术中心需要转变自己的职能,从只关注开发和维护转变为信息战略决策者。职能转变后,更多的资源得以释放,才能集中精力搭建更加合理的数据中心,以实现一个更加灵活更加强大的系统应用平台,从而才能够更加充分支持学校、部门不同的需求。本文根据上海高校特别是上海体育学院数据中心现状研究基于高校数据中心的流程再造模型,突破了僵固的信息化建设模式。虽然前期投入比传统方式多,但由于运维效率提高会节省大量IT管理成本。更重要的是,基于标准、面向服务的业务流程和功能能帮助像上海体育学院这样的中小型高校迅速地与全球发展保持同步,加速学校的国际化进程。
本文的模型研究还处于论证阶段,作者希望能够将这种适合中小型高校信息化建设的模型不断深入研究下去,并以此得到同行专家的批评和指正。
参考文献:
[1]巫莉莉,黄志宏.高校云计算数据中心的构建解析[J].中国教育信息化,2011(19):11—13.
[2]杜栋.大学过程再工程探讨[J].黑龙江高教研究,2001(2).
[3]杜栋,童伟.大学流程再造(UPR)的研究与实施[J].黑龙江教育(高教研究与评估),2009(3):73—74.
[4]田苗.工商银行数据中心问题管理流程再造研究[J].东北财经大学硕士学位论文,2006(12).
[5]中兴大学应用Oracle PeopleSoft校园解决方案[EB/OL].http://www.soft6.com/trade/17/171920.html,2009—12—7.
[6]教育部发布《教育管理信息教育管理基础代码》等七个教育信息化行业标准[EB/OL].http://www.e—chinaedu.cn/ReadNews.asp?NewsId=4288,2012—3—26.
[7]刘丹阳.高校数据中心数据集成方案设计的方法研究[J].实验技术与管理,2011(4):256—258.
[8]童伟.基于大学资源规划(URP)的大学流程再造(UPR)[J].财会通讯,2009(11):149—151.
[9]何文华,李学俭.基于共享数据中心的高校学生事务业务流程再造研究[J].计算机应用与软件,2011(7):216—218,272.
[10]王迎霞.基于数据中心的决策支持系统在高校管理中的应用[J].中国教育信息化,2010(15):33—34.
[11]王德才.高校数据中心建设方案与体会[J].中国教育信息化,2008(13):42—43.
[12]唐蓉君,熊忠阳.高校数据中心建设探索与实践[J].中山大学学报(自然科学版),2009(3):244—247.
[13]叶建华,邓世昆,杨勇.高校数据中心存储系统的规划与构建[J].中山大学学报(自然科学版),2009(3):229—231.
[14]苏林忠.基于Oracle的高校数据中心建设方案的研究[J].河南师范大学学报(自然科学版),2011(7):138—141.
[15]黄蕾,刘浪.顾客满意的高校流程再造内涵研究[J].生产力研究,2008(19):91—93.
[16]王强.简析高校数据中心建设中的几个问题[J].中国教育信息化,2008(7):13—14.
[17]周轶.高校数据中心建设中的信息整合[J].中国教育信息化,2008(7):11—12.
[18]李富宇.高校数据中心建设中的规范遵循[J].高新技术,2011(9):16.
【数据统计流程】推荐阅读:
旅游数据统计07-18
就业数据统计方法10-20
近年来信访数据统计07-26
关于统计数据质量控制11-04
《监管数据统计表》填报说明(2013)07-15
WPS表格中筛选统计数据09-21
2024年11月金融统计数据报告07-15
关于粮食统计数据质量检查情况的报告09-12
管理统计学SPSS数据管理 实验报告10-11