城市地理信息多源数据处理研究
在列举了各种多源数据(资料)的基础之上,介绍了多源数据(资料)所需进行的预处理及其在地理空间信息提取及更新中的具体应用.针对不同来源的`数据(资料)探讨了可采用的半自动提取及更新技术,以此提高地理空间信息提取的效率及质量.
作 者:陈换新 严薇 刘晨帆 CHEN Huan-xin YAN Wei LIU Chen-fan 作者单位:陈换新,CHEN Huan-xin(信息工程大学测绘学院,河南,郑州,450052;中国人民解放军96633部队,北京,100096)严薇,刘晨帆,YAN Wei,LIU Chen-fan(信息工程大学测绘学院,河南,郑州,450052)
刊 名:测绘与空间地理信息 英文刊名:GEOMATICS & SPATIAL INFORMATION TECHNOLOGY 年,卷(期):2009 32(5) 分类号:P208 关键词:多源数据 预处理 提取 更新 综合利用★ 基于WebGIS的水利测绘数据空间信息发布
GIS所含的数据均与地理空间 (位置) 有关系, 以地理坐标的形式在地表进行定位, 是一种地理参考 (geo~referenced) 数据。按其表达形式与内容性质的不同, GIS中所包含的数据可划分如下。
按表达形式可划分为空间数据和非空间数据两种基本数据类型。空间数据或称图形数据, 可分为几何数据和关系数据两种。几何数据是描述地理实体本身的位置和形状大小的度量信息, 其表达手段是坐标值.用数字形式表示空间实体, 要选择合适的空间目标类型。从几何角度可把空间目标分为点状、线状与面状三种基本类型。
(1) 点状 (0维) 目标—在空间有确定位置, 但没有长度和面积的目标, 例如孤立的点 (标定一个几何位置) 、拓扑焦点或端点。 (2) 线状 (1维) 目标—在空间有确定位置, 并具有长度的目标, 其端点由两个点状目标确定。 (3) 面状 (2维) 目标—在空间有确定位置, 并具有长度和面积的目标, 它由若干个线状目标界定。
点状、面状、线状目标之间有严格的拓扑 (邻接、关联与包含等) 关系。0维目标只能是孤立的点、1维目标的交点或I维目标的端点;1维目标要终止于两个0维目标;1维目标是相邻两个2维目标的分界线;位于两个0维目标间的线段构成一个简单的1维目标;由若干个1维目标组成的任意区域构成一个简单2维目标。
非空间数据也称属性数据, 是各个地理单元中的社会、经济或其他专题数据。属性数据是GIS主要处理的对象, 是对地理实体更广泛、更深刻的描述。按照内容特性及主导功能划分, 可将GIS的数据划分为4类:
(1) 地理基础信息。 (2) 数字地形模型 (DTM) 信息。 (3) 资源与环境信息。 (4) 社会经济信息。
2 地理数据的多源性及处理方法概述
地理信息系统的迅速发展和广泛应用导致了地理数据多源性的产生, 为数据综合利用和数据共享带来不便。多源性具体的体现就是地理数据使用多种数据格式记录和存储。因为GIS处理的数据对象是空间对象, 有很强的时空特性, 获取数据的手段也复杂多样, 这就形成多种格式的原始数据, 再加上GIS应用系统通常以具体项目为中心来开发, 具有很强的专业性, 因而造成了很多GIS软件都有自己的数据格式。
格式转换是把原格式数据经过专门的数据转换程序转换成目标格式的文件并保存下来, 并将目标格式的数据作为系统所使用的直接数据源。这是当前处理多源数据的主要方法。使用格式转换方法的前提是要确知转换前后数据的文件格式。地理数据由空间信息和属性信息两部分组成。空间信息又包括空间定位信息和空间关系信息。进行地理数据的格式转换, 要确保空间定位信息、空间关系信息、属性信息三方面都能正确转换。
数据转换的缺点主要是, 由于缺乏对空间对象统一的描述方法, 从而使得不同数据格式描述空间对象时采用的数据模型不同, 往往转换后不能完全准确表达原数据的信息, 还需要人工的进一步修正和调整;另外, 当两种数据之间没有直接的转换工具时, 要借助于多种工具, 进行多步转换才能完成。
数据互操作模式是OGC (Open GIS Consortium) 制定的规范。OGC是为了发展开放式地理数据系统、研究地学空间信息标准化以及处理方法的一个非盈利组织。GIS互操作是指在异构数据库和分布计算的情况下, GIS用户在相互理解的基础上, 能透明地获取所需的信息。OGC为数据互操作制定了统一的规范, 从而使得一个系统同时支持不同的空间数据格式成为可能。根据OGC颁布的规范, 可以把提供数据源的软件称为数据服务器 (Data Servers) , 把使用数据的软件称为数据客户 (Data Clients) , 数据客户使用某种数据的过程就是发出数据请求, 由数据服务器提供服务的过程, 其最终目的是使数据客户能读取任意数据服务器提供的空间数据。
4 多源数据处理方法
本文选择尝试将CAD格式的地图数据转换成Shapefile格式的地图文件。Auto Desk公司的Auto CAD软件广泛应用于各个行业, 其数据文件格式DWG/DXF已成为工程图形的工业标准。一些把Auto CAD作为成图软件或使用Autodesk Map作为GIS平台的地图制作单位, 制作大量的DWO/DXF格式的CAD地图.CAD地图本身是一种矢量图形格式.我们的任务是把CAD地图转化为更为流行的Shapefile地图格式。
对于CAD地图的处理, 要先使用地图转换工具, 然后还要辅以人工进行修正处理。在选择地图转换工具时, 首先尝试用Ar GIS中的Arc Toolbox工具进行转换。但是Arc Toolbox的转换结果有的效果很理想, 有的则丢失了很多要素。对于这一现象, 笔者从CAD地图的DWG/DXF格式入手分析, 发现图形中的一次线条能够被正确转换, 而高次线条则不能被正确转换。之后笔者又尝试了多个大型GIS平台软件中提供的格式转换工具, 发现利用Mapinfo软件中的地图转换工具不仅可以将图形中的一次线条转换出来, 而且也能将高次线条转换出来。Mapinfo的地图转换工具将CAD地图的每一层转换出来保存为一个shapefile文件。最后处理CAD地图的格式转换工具就固定为Mapinfo软件。笔者在发现Mapinfo软件对CAD地图的优良的转换能力之前, 曾给出了另一种针对CAD地图中高次线条的解决方法。该方法是在Auto CAD软件环境中对图形中的高次线条进行重新矢量化工作, 即在高次线条上描出近似的一次线条来取代高次线条。这种解决方法的思路来源于栅格图到矢量图转化的矢量化方法, 不同点在于将矢量化的操作手法应用在矢量图上。
笔者总结出的处理CAD地图的方法如下。
(1) 使用Mapinfo软件中的格式转换工具将CAD图中的各个图层转换为线形的Shapeflle文件。 (2) 将生成的Shapefile文件中的线条分三类:表示点的线划、线形要素、面状元素的边界线。 (3) 在点的线划处描点, 建立点元素。 (4) 在面的边界线图上进行拓扑关系生成操作, 产生面状地图。 (5) 为三类要素添加属性表。 (6) 为地图添加投影, 或进行投影变换。
摘要:本文基于笔者多年从事城市地理信息系统的相关研究经验, 以城市地理信息系统多源数据处理为研究对象, 深度探讨了多源数据的概念范畴和数据处理方法, 论文首先概述了地理信息数据的数据范畴, 而后分析了地理数据的多源性机器处理方法, 在此基础上, 笔者详细探讨了常用的地理数据存储格式, 最后笔者以AUTOCAD数据到SHAPEFILE数据格式转换为例, 探讨了多源数据的具体处理方法, 全文是笔者长期工作实践基础上的理论升华, 相信对从事相关工作的同行有着重要的参考价值和借鉴意义。
关键词:城市地理信息系统,多源数据,数据处理,矢量,栅格
参考文献
[1]王家耀.空间信息系统原理[M].北京:科学出版社, 2001, 6~11:314~330.
摘要:伴随着GIS技术发展与地理信息共享要求,多源空间数据的集成研究既是亮点也是难点。多源空间数据呈现多语义、多尺度、多格式等显著特征,对数据的综合利用和信息共享带来不便。文章针对多源空间数据特征,探讨空间数据多源性的产生和表现,指出多数据格式是多源空间数据集成的瓶颈,对其集成过程中的格式交换、互操作及共享等三种主要技术进行了探索,并解决了其中的一些关键问题,为特定条件下的多源数据有效集成摸索出一条实用途径。
关键词:空间数据集成;互操作;共享
引言
地理空间数据不同于一般的事务管理的数据,其数据由于内容和来源的多样性、空间数据模型和GIS软件平台的差异性,造成了GIS系统之间空间数据集成的极大困难。空间数据是数据库建设和平台研制的基础,为GIS进一步研究工作提供支撑。但是空间数据的来源多样性,不同数据分散在不同地点和部门,使用不同的结构和标准,共享和有效利用也存在一定的困难。因此,本文旨在探究多源数据集成关键技术,把不同来源、格式、比例尺、多投影方式或大地坐标系统的地理空间数据在逻辑上或物理上的有机集中,从而实现地理信息的共享。
1 多源空间数据产生特性
1.1 空间数据多样性
目前,随着IT和GIS的紧密结合,3S技术集成的不断完善,使得GIS获取的空间数据资源获得急剧膨胀。同样,空间数据的获取途径多种多样,既可以继承現有空间数据,也可通过遥感或通过全站仪、GPS等工具实地测量,还有描述性文字、各种统计报表、与地理实体相关的属性信息等。另外,数据来源的多样性还表现在数据载体的多样性,如:传统的纸质地图、纸质表格等;存储在计算机硬盘或者移动存储器上的各种电子数据。
1.2 空间数据尺度差异性
在GIS领域尺度是一个无法回避的问题。空间数据根据尺度可以分为空间尺度和时间尺度,空间尺度我们可以通过比例尺的大小来确定,时间尺度是根据数据的采集时间来确定,不同的数据尺度会产生不同的数据类型。
1.3 GIS软件平台的差异性
现在随着GIS技术不断普及,国内外主流GIS工具软件蓬勃发展,由于不同的GIS软件的制作数据的标准不同,产生不同的数据格式和不同的存储方式。同时对于使用不同软件的操作人员也造成不便。
2. 多源数据集成途径
目前GIS多源空间数据集成主要有三种模式:一是:空间数据集成格式的交换,二是:空间数据的互操作,三是:空间数据的共享访问。
2.1 空间数据集成格式的交换
为了有效的组织各类空间数据、提高数据的传输和利用效率以及达到空间数据共享的目的,对相关空间数据按一定的标准、规范进行标准化,是空间数据库建设的基础和前提。目前,GIS行业公认的几种空间数据交换格式是数据标准化组织负责提出的明码交换格式。本文主要以MapGIS和ArcGIS的数据转换进行介绍。MapGIS到ArcGIS之间数据的转换有两种途径。途径一:首先,从MapGIS获得的点、线、面数据经过图形处理输出为明码中间格式E00,其次,利用ArcGIS提供的转换工具“Import71”将E00转换为ArcGIS识别的Coverage文件。最后,通过Export转化为Feature class。途径二:从MapGIS得到的数据直接转化为shape格式的数据通过Export转化为Feature class。途径二简单便捷线转换较为适合,途径一步骤相对复杂但是其基本保证数据转化的完整性。
2.2 空间数据的互操作
数据互操作模式是OpenGIS Consortium(OGC)制定的数据共享规范,GIS互操作是指在异构数据库和分布计算情况下GIS用户在相互理解的基础上,能透明的操作获取所需信息。伴随着IT技术的迅猛发展,空间数据引擎技术以及大型关系数据库日趋成熟和完善,不仅为多来源、多格式、多时相、多区域的海量地理空间数据的存储、管理、检索及共享提供了成熟的解决方案,而且也为多用户并发访问等技术难题奠定了基础。Oracle是目前最为流行的大型关系数据库管理系统,因为其在数据安全性与数据完整性控制方面的优越性,以及跨平台进行互操作的特点被广泛使用。在Oracle数据库中进行多源数据互操作,首先,数据库管理员设置用户的资源文件PROFILE以确定用户的存取限制,创建操作用户为其设置初始口令,用户登录可以自行修改,口令在数据库中加密存储。以便数据库管理员监督与管理。其次,数据库管理员为用户分配一定的角色,对用户的权限进行设置。然后,以关系型数据库Oracle 10g为后台存储中心对空间数据和非空间数据进行组织和管理,以ArcCatalog和ArcMap为客户端,通过空间数据库引擎(ArcSDE)对数据进行显示和互操作。
2.3 空间数据的共享
2.3.1 空间数据库共享访问
不同的生产实践部门对数据的关注度不同,因而各部门拥有各自独立的业务管理数据,使得数据的共享与利用难度增强,随着当前网络技术快速发展,为空间数据共享提供了多种可选方案。ESRI在2008年底推出的ArcGIS 9.3版本时,同时发布了ArcGIS Server REST API,提供REST风格的开发接口;面向ArcGIS Server发布的服务的简单开发接口。REST暴露的所有资源的操作都可以通过对应的GIS服务的端点或URL获得。通过URL,REST使发现工作和查找所需的信息更加容易。利用服务浏览器,用户可以浏览服务器内容,查看可用的地理信息系统网络服务,也可获取开发过程中的有用信息。
2.3.2空间数据的上传下载
多源空间数据海量性特征,使得一些用户采用分布式数据管理方法,这样对数据的统一管理来带一定的困难,从而使空间数据实时修改和更新发布不能快速有效进行。ArcGIS Server 9.3产品为空间数据共享作出一定的成绩。ArcGIS Server 9.3中可以通过发布GeoData Service服务将空间数据库发布在局域网或广域网中。数据管理员可以通过设置用户的不同权限选择性的为用户提供数据上传下载服务。GeoData Service提供创建本地数据复制移动;执行数据空间查询;同步编辑数据库等的数据连接。ArcGIS Server 9.3在发布GeoData Service数据库过程中可以提供三种操作方法:提取、空间查询、复制。在提取方法中不会影响原数据,复制方法选择过程会影响原数据。
通过GeoData Service发布的空间数据库备份类型可分为三种情况:Checkout/Checkin、One-way、Tow-way。Checkout指可以从Utilities本源数据库备份并创建本地组,管理员直接在本地组修改不需要连接服务;Checkin管理员修改完成后传递给Utilities本源数据库,不会发生人为与自动传输的冲突。One-way方式首先数据下载到本地的工作geodatabase同时必须其经常保持与本源数据库连通,其次通过工作geodatabase创建备份geodatabase,管理员仅通过一次编辑工作geodatabase来改变备份geodatabase数据的编辑。Tow-way两个不同的编辑组同时访问编辑同步传输均不发生冲突。
3. 结束语
空间多源数据集成是数据库建设和管理信息系统进一步研究的基石,本文针对地理信息空间数据格式的交换、互操作、以及数据共享访问三大关键技术对多源数据集成问题进行了探讨。有效地解决了不同格式数据资源的综合利用,提供了互操作性的数据存储方式,探究了多源数据共享并发访问,增强了GIS技术的应用范围。
参考文献:
[1] 闾国年,张书亮. 地理信息共享的关键技术问题研究[J],江苏省测绘学会2003学术年会专辑. 2003.
[2] 尹晓慧,宋庆斌,王利伟. 多源空间数据集成方法探讨[J],测绘科学 2009(34):59-60.
[3] 许辉熙,卢正,薛万蓉. GIS中多源空间数据集成方法研究[J],测绘与空间地理信息 2009 32(5):1-5
引言
近年来,随着科学技术的迅猛发展,我国在各领域、各方面都取得了长足的进步,农业也不例外,已实现了连续十一年增长。另一方面,由于我国人口众多,同时受气候特点、作物品种、种植习惯以及防治情况[1]等影响,我国农作物产量就人均量而言并不乐观。据联合国粮农组织估计,世界粮食产量常年因病害损失14%,虫害损失10%[2]。同样在我国,农作物病虫害也是影响农作物产量的重要原因之一。由于农田生态系统具有生态脆弱性,害虫的群落很容易对农田生态系统造成干扰,若不及时加以诊治,最终往往会导致爆发和流行病虫害的严重后果。随着全球气候逐渐变暖,病虫害对农田生态系统的威胁也会日益加重。我国作为农业大国,预防农作物病虫害、提高农作物产量、保证国内粮食安全形势依然严峻,有效应对农作物病虫害刻不容缓。然而,我国目前在农作物病虫害监测方面还有待加强,现有的应对方法依然十分落后,如人工抽样、农田调查等方式,这些方法准确性及稳定性较强,但是耗费了大量人力和财力,且存在代表性、时效性差和主观性强等弊端,已难以适应目前大范围的病虫害实时监测和预报的需求[3]。由于遥感技术可以在很大的范围内快速、准确地获得相关地貌信息,因此通过引入遥感技术,就可以达到有效改变传统农业管理模式的目的,起到对农作物病虫害的监测、农作物品质预报、农作物产量估计的作用。尤其是近年来随着世界范围精密仪器制造技术、测试控制技术的高速发展,遥感数据种类不断增多,这些数据为农作物病虫害提供了更多的数据依据,为农作物病虫害更准确、更快速的监测提供了宝贵的发展空间。
1 乘法性融合
乘积性融合法是应用最基本的乘积组合算法, 直接对2种空间分辨率的遥感数据进行融合, 其运算法则为:
式中:代表融合以后的波段数值 (i=1, 2, ……, n) ;代表多光谱图像中的任意一个波段数值:代表高分辨率遥感数据波段值。
2 Brovey变换融合法
B r o v e y变换融合法也称彩色标准化 (Color Nurmalization) 融合, 由美国科学家Brovey建立模型并推广而得名, 是目前应用十分广泛的一种R G B彩色融合变换方法。它保留每个像素的相关光谱特性, 并且将所有的亮度信息变换成高分辨率的全色图像融合。Brovey融合的方式公式定义为:
其中:Pan表示调整大小后的全色光谱图像的对应值, 分别表示调整大小后的多光谱图像对应值, 分别表示融合后多光谱图像的对应值。Brovey图像融合对图像的预处理要求较高, 融合前必须预先进行去相关处理和噪声滤波处理, 以便减小数据冗余和非光谱信息。
3 IHS变换融合法
IHS变换融合方法是融合多源遥感图像时最常用的方法。IHS变换属于色度空间变换, I H S变换由于灵活实用的优点而被广泛应用, 成为图像融合成熟的标准方法。
I H S系统能够准确定量的描述颜色特征, 因此在图像的数字处理与分析中应用较为广泛。为充分利用RGB系统与IHS系统两者各自在显示和图像控制方面的优越性, 需要经常在两者之间进行转换, 转换的模型有球体彩色变换、圆柱体彩色变换、三角形彩色变换和单六角锥彩色变换4种。
4 小波变换融合法的算法
小波变化在低频部分具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 被誉为分析信号的显微镜。
基于小波变换的图像融合的物理意义在于以下几点。
(1) 通常图像中的物体、特征和边缘是出现在不同大小的尺度上的。也就是说, 图像中的某些边缘或细节是在一定尺度范围内存在的。也正是因为如此, 任何一幅特定比例尺的地图都无法清晰反映所有特征的细节信息, 例如在较大尺度上, 大陆、山脉、海洋等大的特征是可见的, 而像城市街道等小的细节就在地图的分辨率之外;而在较小尺度上, 细节变得可见而较大的特征却不见了。图像的小波分解是多尺度、多分辨率分解, 其对图像的多尺度分解过程, 可以看作是对图像的多尺度边缘提取过程, 同时, 小波的多尺度分解还具有方向性。若将小波变换用于图像融合处理, 就可能在不同尺度上, 针对不同大小、方向的边缘和细节进行融合处理。
(2) 小波变换具有空间和频域局部性, 利用小波变换可以将融合图像分解到一系列频率通道中, 这样对图像的融合处理是在不同的频率通道分别进行的。而我们知道, 人眼视网膜图像就是在不同的频率通道中进行处理的, 因此基于小波变换的图像融合是可能达到更好的视觉效果的。
小波融合具有在提高图像空间分辨率的同时又保持色调和饱和度不变的优越性。在众多小波融合应用中, 最常用的融合是小波替代法, 它是将多光谱图像的细节用全色图像 (pan) 的细节来代替, 然后将剩余的图像进行融合, 数学计算公式为:
事实上, δp可以是Pan图像的空间细节, Panr是剩余的多光谱图像。
5 方法比较
对于高空间分辨率全色影像和低空间分辨率多光谱影像的融合而言, 目的之一是获取空间分辨率增强的多光谱影像, 而且不应使原多光谱影像的光谱特征产生变化。但实际上, 通过融合多光谱影像空间分辨率增强, 必然会产生多光谱影像光谱特征或多或少的变化。为保证地物在原始影像数据可分离性经融合后仍保持不变, 即融合影像仍具有可分离性, 以适于计算机影像判读和分类等后续处理, 高空间分辨率全色影像和低空间分辨率多光谱影像融合时, 应该在保持原多光谱影像的光谱特性变化小, 以至人眼察觉不到或不影响计算机后续处理的前提下, 尽量提高多光谱影像空间分辨率, 满足实际应用的要求。
通过前面对4种融合方法的介绍, 可以看出每种方法都要其各自的优点和缺点, 现通过列表对4种融合方法进行有缺点比较, 以便对这几种融合方法有更直观的认识。
H I S变换的优点是在纹理上有显著的提高, 同时在色彩上, 基本保持了多光谱的多光谱影像色调。保留了绝大部分的高空间分辨率影像的信息。缺点是光谱信息损失较大, 一次只能选择3个波段而不能选择全部波段作为融合的数据, 降低了遥感数据的利用率。
乘积运算优点是对于大的地貌类型, 如高起伏地区、荒漠区域类型增强效果是比较理想的。缺点是光谱变化大, 纹理不如高分辨率影像清晰, 此类融合方法对于表现细碎地貌类型是不合适的。
Brovey变换优点是多光谱图像的方空间分解为色彩和亮度成分进行计算, 锐化影像的同时能够保持原多光谱信息内容。缺点是只能抽取和选择多光谱影像中的三个波段参与变换, 使其他波段的信息丢失。不利于影像信息的综合利用。融合过程中包括归一化处理, 融合影像像元灰度值一般要比其他方法的小。没有解决波谱范围不一致的全色影像和多光谱影像融合的问题。
小波变换优点是信号分解重建过程不会产生信息的丢失和冗余, 有效地增强多光谱图像的空间细节表现能力, 保持图像融合前后的光谱特性。缺点是融合影像的整体外观就像经过高通滤波的影像效果, 颜色信息并未与空间特征自然的结合在一起, 另外一些小目标波谱信息会丢失。
参考文献
[1]同武勤, 凌永顺, 杨华.一种复合的多源序列图像融合方法[J].科技创新导报, 2008 (16) .
遥感技术凭借其具有的全球性、高动态、连续性、全天候、全天时、多样化数据获取特点,已被广泛应用于农业、林业、水利、测绘、交通、气象、海洋等领域。经过多年的发展,我国遥感信息获取、处理及应用技术取得了显著的成绩,逐步形成了气象、资源、海洋、环境减灾四大民用遥感卫星系列。在“863”计划、高分专项、陆海规划、“623”规划等大型课题的推动下,我国遥感应用研究进入了大型化、快速化的发展阶段。我国卫星遥感地面站接收的数据目前已经超过300 TB,很快将会达到PB级,并将以TB/天的速率增长。随着各个专项建设进度的不断推进,必将进一步产生大量的遥感影像资料,海量遥感数据和简单的数据服务方式之间矛盾突出[1,2]。随着互联网技术的发展,IT资源的使用、应用和服务模式不断地发生演变。云计算技术以其弹性服务、资源池化、按需服务、服务计费、泛在接入五大特点,成为近年来IT界的一个研究热点。
云计算已经成为目前用来解决高性能计算、海量数据存储、分布式应用、异构服务集成、按需提供服务等问题的主要途径。云计算遥感应用方面,也有许多积极的探索,ESRI、Google、中国科学院遥感应用研究所、中国科学院计算技术研究所等都进行了探索性和基础性的研究工作,证实了云计算技术应用于遥感领域的可行性。基于云计算技术,可将遥感数据、信息产品、处理技术与计算资源打包成类似公共设施(如自来水和电力等)的可计量的服务,提供给用户通过网络或移动终端随时随地按需使用,解决遥感应用中的数据、技术、设备、成本和人员的瓶颈,实现遥感信息技术在政府和公众日常业务中的普及应用[3]。
本文充分利用了云计算技术所具有的按需计算能力及动态可扩容能力,设计了一种适合于遥感数据管理和分发部门的数据共享分发系统,并在HDFS,YARN,Xen Server等开源云计算软件的基础上实现了基于云计算的多源遥感数据服务系统原型系统。该系统为用户提供原始数据、计算能力以及业务按需组装调度能力,使得用户在不直接接触原始数据的前提下,以使用数据服务的方式分享数据的使用价值,降低数据使用成本,提高数据的使用共享率。
1 数据服务方式
云计算提供了一种按需计费、按使用量计费的服务方式,这种方式恰好适用于数据费用较高的卫星遥感数据的分发共享[4,5]。常规的遥感数据付费下载一般按照数据的长久使用权考量的数据费用,云计算基础的上述特点可以提供一种按次使用,非长久持有的数据付费方式。这种数据付费使用方式下,原始数据的保有权一直留存在数据分发单位,不会丧失,同时可以降低数据使用的单价,有利于扩大数据的共享使用范围。尤其,对于科研性质的原始数据使用,这种情况下项目资金有限,并且数据的使用时间有限,上述模式将是一种更佳的选择,如图1所示。
实现上述的遥感数据服务模式,需要提供数据分发服务和算法注册服务,让用户能够提交自己的算法在系统内部获取原始数据完成计算,并下载计算后的结果,按照数据使用数量和业务执行次数进行计费。本文设计的基于云计算的多源遥感数据服务系统就是对这种遥感数据服务模式的一个探索。
2 系统总体功能
针对遥感技术发展带来的海量数据存储和处理需求,构建基于云服务的多源载荷数据处理与应用原型系统。系统建设内容包括海量数据归档与存储、遥感数据处理任务分布式并行计算、基于云服务的多源载荷数据处理应用集成技术。
海量数据归档与存储用于解决海量遥感数据条件下难以保证数据的海量吞吐量、难以动态无限扩容且造价高的问题。
遥感数据处理任务分布式并行计算解决海量数据条件下高性能快速计算需求。
基于云服务的多源载荷数据处理应用集成技术解决多源载荷数据处理应用多样,快速集成困难的问题。
结合业务需要,综合上述技术内容设计的基于云服务的原型系统应当具备以下功能:
(1)实现数据处理算法和多源载荷应用示范产品等系统软件模块的集成框架,支持新算法注册及远程算法调度,为多源载荷数据综合处理及管理、多源空间信息综合互补应用提供系统集成服务;
(2)实现基于分布式云存储技术的国产遥感卫星数据的存储管理。基于可靠性要求和访问控制需要,提供虚拟文件系统组织与管理、数据副本管理、负载均衡、数据完整性检测、数据迁移与恢复和存储集群管理等分布式云存储服务功能;
(3)提供分布式并行计算服务,为多源载荷数据综合处理及管理、多源空间信息综合互补应用技术开发的模块、软件提供并行化计算服务;
(4)提供符合工业标准的通信协议以及模块集成接口,以便二次开发人员开发新的特定的通信协议,以及实现多源载荷应用示范软件的集成;
(5)提供门户服务系统,对外提供产品分发定制、处理流程监视、产品数据展示、新算法注册的入口及示例程序演示等功能。
3 系统体系结构
基于云服务的原型系统在云平台的基础上提供多源遥感数据间辐射校正、国产遥感影像正射校正、多源空间数据融合、高分辨率光学影像的无云产品生产、作物面积监测、森林火灾综合监测、土壤含水量协同反演、地理数据动态更新、海洋灾害监测与应急、土地变化信息提取、应急安全监测功能,构建农业、林业、水利、测绘、海洋、安全等领域应用示范服务能力。上述服务以及对上述应用示范产品的数据分发服务直接面向云端用户使用,对应于云计算的云端应用服务层(即SaaS)。
数据管理分系统、并行处理分系统向多源数据处理应用示范软件提供数据归档、数据检索、数据提取、并行任务调度、任务管理、算法注册等服务,对应于云计算的基础平台服务层(即PaaS)。
集群管理服务由基础设施层(即IaaS)提供,通过在操作系统层之下虚拟化的方式对集群主机硬件状态进行监视和控制(包括计算能力分配、动态内存管理、在线迁移等),能够进行服务部署,并对平台上部署的服务进行监控。
基于云服务的原型系统架构方案如图2所示。
4 系统组成
从基于云服务的原型系统应当具备的功能出发,将原型系统划分为数据管理分系统、并行处理分系统、应用服务分系统3个分系统。基于云服务的原型系统组成方案如图3所示。
数据管理分系统提供分布式数据管理能力,提供对结构化数据、非结构化数据等海量数据的归档、检索及提取服务,并对云服务原型系统中其他模块屏蔽存储方式等信息,降低了数据处理及各类典型应用模块的开发难度,提高了原型系统的扩展性。数据管理分系统可存储多个数据源提供的原始数据,提供TB级以上数据的存储服务能力,在系统运行过程中,数据管理分系统需要统一管理所有应用示范的各类资源的编目信息、各类遥感数据产品、多源载荷应用示范产品等数据。
并行处理分系统实现对已集成多源载荷应用示范软件的多任务并行处理功能。并行处理分系统根据各个节点资源情况动态分配处理节点,通过将生产任务指派到不同的数据处理节点实现任务的并行处理,同时实现分布式文件存储位置感知功能,将生产任务尽可能的指派给数据所在节点,减少了计算节点之间数据的迁移,从而达到降低整体数据I/O量提高生产效率的目的。
应用服务分系统是基于云服务的原型系统各类产品的分发与订制门户。应用服务分系统主要任务是数据分发及产品生产任务定制。数据分发功能完成多源遥感数据产品以及农业、林业、水利、测绘、海洋、区域等综合应用示范产品的分发,为用户提供产品数据的查询检索、浏览等服务。产品生产任务定制提供对农业、林业、水利、测绘、海洋、区域等综合应用示范产品的生产任务定制服务,同时应用服务分系统还提供算法注册功能,实现多源载荷数据处理应用的集成功能。
5 系统集成方案
基于云服务的原型系统软件提供集成框架,为多源载荷应用示范软件提供生产任务的并行化调度服务。基于云服务的原型系统软件并行化调度工作由并行处理分系统负责,通过感知数据存储位置及计算节点任务负载信息实现任务并行化调度均衡。
多源载荷应用示范软件在原型系统中直接集成于并行处理分系统,部署于分布式计算节点。多源载荷应用示范产品生产任务的定制通过应用服务分系统提交生产订单的方式实现。生产任务首先由并行处理分系统接收,并行处理分系统再将生产任务调度给部署于某一个数据计算节点上的相应的多源载荷应用示范软件进行生产。
多源载荷应用示范软件生产开始时依据订单内容从数据存储节点提取所需数据,生产结束时将生成的产品归档到数据存储节点形成闭环。多源载荷应用示范软件归档后的产品数据通过应用服务分系统进行检索和分发。
多源载荷应用示范软件与各个分系统之间的接口考虑支持服务调用方式、文件订单方式、数据自动触发等形式综合提供,以提高系统的可集成度。
多源载荷应用示范软件与原型系统软件的集成方案如图4所示。
6 关键业务流程
系统关键业务流程按其功能可分为四个功能上关联而又相对独立的子流程,下文将详细介绍每个子流程的功能及具体过程。
(1)遥感业务注册组装流程
系统用户可以上传业务算法,与系统内部算法组装成特定的业务流程,并提交平台进行生产。用户算法由应用服务分系统直接推送到并行处理分系统,生成流程调度文件,在产品生产过程中自动实现业务流程在多个业务算法之间的流转。算法推送采用数据感知技术,将业务算法推送到距离数据最近的生产节点,减小数据访问过程中的带宽占用和时间消耗。
(2)遥感数据云存储流程
遥感数据云存储流程描述了遥感卫星数据或系统产品数据归档入库的流程。首先,拷贝到生产工作空间的数据被数据管理分系统扫描到并提取元数据信息。数据管理分系统将数据元数据入库到关系数据库,将数据归档到分布式云存储系统。最后将元数据信息推送至应用服务分系统,进行新产品或数据信息的发布。
(3)遥感数据云处理流程
遥感数据云处理流程描述了应用示范软件根据用户订单中对产品的需求,获取相关数据进行加工,运行用户指定业务流程生产用户所指定产品的流程。首先,应用服务分系统依据用户选择的产品业务流程以及输入的生产参数信息,生成产品生产订单,并将产品生产订单发送到并行处理分系统。并行处理分系统自动感知数据位置,分配适当的生产节点进行产品生产。产品生产完成后,首先等待后台用户对生产结果进行核查,防止原始数据被直接作为产品被用户下载。最后,向应用服务分系统发送生产完成报告。
(4)遥感数据应用服务流程
遥感数据应用服务流程描述了应用服务分系统获取相应产品数据进行分发的流程。该流程开始时,首先用户向应用服务分系统输入数据需求,应用服务分系统返回符合条件的数据列表。然后,用户在数据列表中选择需要的数据,生成数据订购单。应用服务分系统向数据管理分系统发出数据提取请求,数据管理分系统提取完数据后,发送数据提取任务单完成报告,应用服务分系统更新订单完成状态,用户下载所需数据。
7 原型部署方案
基于云服务的多源遥感数据服务系统原型系统集成基础遥感数据处理软件及用户注册业务软件,并向其提供数据归档、提取、并行任务调度以及产品展示、分发服务,同时提供云存储和云计算基础设施。应用服务分系统和并行处理分系统及数据管理分系统部署于同一台计算机,GIS地图服务器单独部署于1台计算机,用来存储遥感数据元信息、应用示范产品元数据及空间信息。云存储和云计算基础设施使用5台计算机,提供云存储和云计算服务。主节点使用1台计算机,从节点使用4台计算机,从节点部署Xen Server提供计算虚拟化支持。为了减小分布式并行计算过程中算法移动带来的额外时间开销,各种示范应用软件算法在每个云存储节点上分别部署一套。
基于云服务的原型系统部署方案如图5所示。
8 系统原型实现
系统数据分发界面原型如图6所示,业务运行流程监控界面原型如图7所示。
9 结语
计算机技术的发展给遥感数据处理及服务带来了更广阔的想象空间。尤其是云计算技术快速发展的今天,人们也在不断地探寻遥感与云计算技术的结合方式,探寻云计算技术可以给遥感技术带来何种优势[6,7,8,9,10]。
本文提出的基于云计算的多源遥感数据服务系统充分集成了云计算技术云存储、云计算、云服务的特点,提供了一种遥感数据共享的新方式,即提供原始数据及计算能力的方式,降低数据使用的门槛,提高数据的共享广度。然而,本文提出的设计仍然需要进一步的改进和探索,才能使这种方式更好地为遥感数据使用、共享领域带来真正的效益。
摘要:在分析了遥感影像数据及数据使用现状的基础上,综合考虑了云计算技术在遥感应用领域使用的必要性和可行性,设计了基于云计算的多源遥感数据服务系统。阐述了基于云计算的多源遥感数据服务系统体系结构及关键业务流程,包括遥感数据云存储、遥感数据云处理、遥感数据应用服务及遥感业务注册组装等。最后,通过原型系统的实现验证了系统设计既能保护原始数据的安全,又能降低数据使用的成本,同时还能够提高数据的共享率和用户使用率。
关键词:遥感数据处理,云计算,遥感数据服务,海量数据管理
参考文献
[1]赖积保,罗晓丽,余涛,等.一种支持云计算的遥感影像数据组织模型研究[J].计算机科学,2013,40(7):80-83.
[2]赵晋霞,李明辉,马赛潇.海量海洋遥感影像数据库建设研究[J].海洋测绘,2012,32(3):44-46.
[3]任伏虎,王晋年.遥感云平台技术研究与实验[J].遥感学报,2012,16(6):1331-1336.
[4]刘异,呙维,江万寿,等.一种基于云计算模型的遥感处理服务模式研究与实现[J].计算机应用研究,2009,26(9):3428-3431.
[5]石永阁,边馥苓.基于云平台的遥感信息公共服务研究[J].地理信息世界,2011,9(3):26-29.
[6]杨志和,胡虚怀,郭观七.海量遥感数据处理架构与并行算法研究[J].计算机应用与软件,2014,31(4):281-284.
[7]赵颖辉,蒋从锋.遥感影像的高性能并行处理技术研究[J].计算机技术与发展,2014,24(7):201-205.
[8]付天新,刘正军,闫浩文.基于Map Reduce模型的生物量遥感并行反演方法研究[J].干旱区资源与环境,2013,27(1):130-136.
[9]李先涛,曾志,张丰,等.基于集群的海洋遥感图像融合并行计算策略[J].计算机应用与软件,2012,29(1):84-87.
本文提出存储论模型和结构方程模型的混合模型,基于上海市某区的交通事故统计数据案例,针对事故应急救援时所需要救援物资以及应急准备阶段多个医院的协同救援物资存储策略进行分析。首先对应急事件救援物资储备的模型和跨部门的组织协同效果、应急救援物资储备效率的影响因素两方面文献进行梳理和评述,从而寻求本文研究的出发点; 结合调研所得的资料算出应急事件的概率和密度函数以及模拟相关数据,根据需求连续随机的存储模型计算出理想的存贮量,并根据在文献梳理中所得到的观测变量的分类筛选提出假设,从而得出本文研究的结构方程模型; 然后进行问卷调查,在对采集的数据进行探索性因子分析、信度效度的检验和验证性因子分析,以证明问卷设计合理的基础上进行结构方程模型的整体模型路径系数运算,得出影响应急救援物资协同储备的因素; 最后根据所得的数据结论提出政策性的策略建议,并且分析论文中的局限性以及进一步研究的展望。
1文献回顾及评述
根据研究的两个切入点,本文分别梳理了两方面的文献: 应急资源的存储储备以及协同的影响因素。
1.1应急资源存储储备
国内外学者从不同角度,根据不同的目标建立不同的模型对储备进行优化计算,其中,被考虑得最多的因素就是经济成本。郭晓光等[2]构建了以经济成本和社会效益损失最小化为目标的区域应急物资库存总量以及区域内各等级应急物资储备节点库存量的分配模型。程昭[3]基于突发事件发生后应急资源消耗速率恒定和对应急资源总的需求量恒定两个假设,提出了两个使得加权时间最短或加权成本最小的最优化应急资源调度模型。除了经济成本外, 不确定性和时效性也是非常重要的目标。Petrovic等[4]研究了不确定环境下的链状生产型供应链,分别从分散控制与集中控制角度给出了库存最优订货量的确定模型。张毅等[5]根据应急物流库存控制特征,通过平衡库存的时间成本建立了时效性最佳的应急物资订货批量分段函数模型。
除去单一资源单点储存的模型,也有不少学者从各种合作的角度进行了研究。刘春林等[6]根据连续应急问题的特点给出了应急时间最早前提下出救点数目最少以及限制期条件下出救点数目最少的应急模型。而戴更新等[7]针对多资源应急多点出救问题的特点,通过引入连续可行方案的概念,给出了多资源应急问题的数学模型。徐寅峰等[8]研究在物资储备有容量限制且需求未知的情形下,考虑多种物资之间具有替代性时应如何决定各物资的储备量。 邵宏等[9]从多元化信息储备的角度转变储备方式 ( 由实物化转为信息化) ,从而实现储备资源共享, 提高储备资源的利用率。
应急资源储备文献的学科背景大多数是应急物流的环境,研究的方法基本都是按照现有的存储模型,按照各种情景下的模型嵌套以及按照各种目标侧重点的储存模型优化。其主要存在的问题在于, 大多数研究仅仅是对现有模型的进一步推导优化, 其检验的方式大多用数据仿真验证,很少有放到实际的环境下检测其可靠性和实地适用性。而且这些模型的应用环境限定严格,没有考虑到实施模型中遇到的制度障碍,难以得到实际应用。
1.2协同的影响因素
对于协同因素的研究,尤其是应急事件中协同的影响因素有很多分类的方法,本文主要针对Manoj等[10]的分类方法,将影响因素分为技术因素、社会因素以及组织因素3个角度进行文献梳理。技术因素中最突出的特征在于对于信息的管理。Tushman等[11]就提出了信息的处理能力和处理框架将影响组织协同的绩效,而组织的协同的机制的设计以及其灵活性则决定了信息处理的能力。Naim[12]认为信息技术的使用将影响信息和资源的共享,从而提高社区在应对灾害事故时的协同以及有效性。Chen等[13]指出不仅仅是信息的技术,信息获取的准确性和时效性同样对于应急协同至关重要。Quarantelli[14]认为事件的严重性、时间发展趋势的不确定性以及事件时间压力和紧迫性会对应急协同的效果产生影响。 Comfort等[15]则较全面地概括了这一维度,认为事件的严重程度、拥有资源的种类和量、相关法律的数量以及应急战略的复杂程度都是应急事件协同的影响因素。从组织的角度研究协同影响因素的文献最为丰富。Schneider[16]指出,合乎标准的沟通渠道将有利于对应急事件的准备以及响应。组织间的差异性也被多次提到,包括组织文化的差异性、层级的差异性、应急规范和标准的差异、突发公共事件应急阶段差异等[17]; 另外,组织的权限,包括是否存在多重权威、权限的分配方式 ( 集权还是分权) 以及组织的指挥都将影响着协同效果[18]。可以说,从组织角度分析应急协同的内容最多,方法涵盖面也较广,组织间的交互作用,例如组织间的关系和经验的相互学习以及利益冲突等也具有一定的影响。除去这3个因素之外,例如应急部门对灾难的情景意识,包括分配情景、潜在情景以及对职责和角色以及贡献的理解等, 将提高应急部门的协同准备[19]。
协同的影响因素的文献的学科背景大多数是灾难行为学的角度,其次是管理学的角度,再次是公共行政的领域,主要有3类方法: 实证研究、案例研究和文献归纳。其主要有以下3点问题: 一是, 对于事故性应急事件的研究则相对较少。事实上, 事故性应急事件更符合一定的概率分布,更加可控。 二是,国内的研究主要在于文献归纳类的研究,实证类的研究相对较少,理论依据和建设性不足。三是,大多数的研究单纯地列举了可能影响应急协同的因素,或者仅仅进行排序,没有考虑到其影响因素之间的内在关系,其深度有待进一步加强。
1.3研究差异
总体而言,对应急资源的存储储备以及协同的影响因素这两方面的研究内容范围广,研究方法多样,但是两类文献相对独立,都只从单学科的角度分析其对于应急救援物资协同的建议。应急物资储备的文献中,仅仅从数学的角度算出可靠的模型, 而并不注重对与实际政策的契合性; 而协同因素的研究也仅仅是政策角度的建议。在一定的环境下, 只有将两方面的研究契合,才能做到建议的丰满性, 表明现有研究的学科交叉程度还不够。基于以上文献梳理,本文的研究方法是以实地调研为基础的实证研究,研究对象为上海市某区的交通事故应急救援物资协同储备问题,为应急管理的实践部门提供可行性的解决方案。
2模型仿真模拟
交通事故应急救援物资的储备,从根本上来说是一个仓库的存贮论问题,主要包括4个元素: ( 1) 需求。在交通事故这类应急事件中需求是非确定性的 ( 随机的) ,但是经过大量的统计以后会得出一定的概率分布规律,符合一定的函数模型。 ( 2) 补充 ( 订货或生产)[20]。在应急事件中,补充的途径一般为订货 ( 除了RH - 阴性血型类型的稀有物资) 。( 3) 费用。在交通事故应急救援物资的费用中包括存储费 ( 仓库、设备、工资费用) 、订货费和缺货费 ( 应急事件中不允许缺货,一般默认缺货费无穷大) 。 ( 4) 存储策略。根据实际调研所得, 该区应急救援物资的存储策略一般运用的是s ( s, S) 策略,即当存储量x > s时不补充,当x≤s时补充存储,将存储量补充到S。
总体而言,根据以上信息,交通事故应急事件救援物资的存储问题所涉及到的存储的模型是一个需求为连续的随机变量时的存储模型。设单位成本为K,单位存储费为C1,单位缺货费为C2,需求r是连续的随机变量,密度函数为f ( x) , ( x为伤亡人数) ,目标主要为损失的期望值最小。本文选取相关的 ( s,S) 型储存策略模型[20],得使损失期望值最小的模型:
根据模型所需输入数据,本文对该区应急办有关物资储备的部门进行了实地的调研,但是由于有关物资费用的敏感性,所以相关数据不可得。获取到的相关信息包括: 一是该区2011—2012年重大交通事故的伤亡统计数据; 二是交通事故中所需要动用的应急救援物资。本文以该区应急救援站所需要的典型物资进行演示计算,具体如表1所示。
元
其中,救援物资的单位成本为访谈的大概数值, 单位储存费是以一个储存仓库为基础的基本保养维修费用。单位储存费则按照单价成本的5% 估计值计算。而单位缺货一般是不允许缺货,为无穷大, 这里为模型计算,暂且按照2011年中国交通事故直接经济损失和交通事故的死亡人数的比值计算。
首先是关于密度函数的计算,根据郭晓光等[6]对地震灾害的密度函数的拟合可以发现,灾害发生后需救助人口数x的概率分布函数f ( x) 近似符合指数分布。本文根据已有的数据,用SPSS软件进行密度函数f ( x) 的拟合运算。结果显示指数函数的拟合度最高为0. 985,并且显著性水平小于0. 05, 为可以接受的水平。根据表格中的参数,公式为:
交通事故的最小有效的伤亡数目是1,0 ~ 1区间没有意义,所以积分下限为1。公式 ( 2) 拟合出来的函数经过归一化就是所需的概率密度函数。对于负指数形式的函数而言,假设拟合出来的形式为g ( x) = a·e- λ·x,经过归一化得到的概率密度函数为:
其中,a为公式 ( 2) 中的线性部分2 323. 632, λ 为指数部分2. 65。把公式 ( 3 ) 代入期望值最小的模型后有如下表达式:
求解公式 ( 4) 可以得到最优的S值:
按照这个公式的推到过程看,s实际上是最优存储量除以每个死亡人员对物资的需求。把所得结果乘以2012年该区交通事故的死亡人数再除以该区一共拥有的4个应急救助分站,可得每个站的储存量大约数值如表2所示。
进行模型计算后,笔者再次到该区进行了实地调研,深入应急救援物资的储备部门进行面对面访谈。然而调研结果表明: ( 1) 现实情况中应救援物资的存储量不足,并未达到模型所演算出来的量。 ( 2) 更为严重的是,该区域资源分布较为分散,多源物资之间的调度渠道不畅通。这两个问题的核心是应急资源的协同储备不足将会严重影响应急事件的救援效果。据此,本文将通过调查问卷形式对影响协同储备程度的因子进行探究,从而探索出导致应急救援物资协同储备效率的掣肘之处。
3研究假设
协同作为一种行为学的研究范畴,在任何组织中都是适用性的,然而,应急物资的协同储备因素由于其应急事件的时效性和紧迫性,又有着其不一样的特点。根据Gattiker等[21]的研究,协同程度的改进将给增加整体的效益程度; 另外,Naim[12]发现信息和资源的共享能正向影响社区之间的协同程度, 从而进一步改善公共部门的应急准备能力缩短社区的应急响应时间。基于此,本文阅读大量的理论文献,针对应急事件的情境得出6个影响应急救援物资协同储备的因素,并基于此提出本文的研究假设。
在Marincioni[22]的研究中,影响信息沟通共享的因素包括环境设定的因素 ( Environment Setting) ,而在灾害的应急事件中环境设定则体现为事件因素。 Tushman[11]的研究中,子系统的不确定性将影响最终的信息共享机制。同时,Quarantelli[14]认为事件的时间压力和紧迫性是应急事件救援有效性成功与否的关键因素。Comfort[15]认为灾害事故的重要程度将影响到应急响应的有效性。基于此,本文提出如下假设:
H1a: 事件因素对信息沟通共享有正向作用。
H1b: 事件因素对协同储备能力有正向作用。
同样,根据Marincioni[22]的研究,影响信息沟通共享的因素中,资源的丰富程度也决定了对于应急事件的信息沟通共享因素。在Chen[13]关于应急支持的因素中,资源的相关政策、物流管理、应急救援队伍以及一系列的法律法规机制4个维度的缺失说明了严重的短缺。另外,Comfort[15]认为拥有资源的数量和种类将影响到应急响应的有效性。基于此, 本文提出如下假设:
H2a: 资源因素对信息沟通共享有正向作用。
H2b: 资源因素对协同储备能力有正向作用。
Naim[12]认为,信息技术的应用将通过对信息沟通共享以及资源共享,从而进一步影响社区的协同能力,从而提高公众对灾害事故的应急能力。另外, 胡平等[23]指出,部门的电子化平台建设和电子化应用是影响政府信息沟通共享水平的机构因素之一。 基于此,本文提出如下假设:
H3a: 技术因素对信息沟通共享有正向作用。
H3b: 技术因素对协同储备能力有正向作用。
Chen[13]关于应急支持的因素中,多重权威和大量人口的介入因素影响了协同的有效性。Hong[18]指出权限的分配方式 ( 集权还是分权) 和信息处理的能力共同影响着应急的效率。基于此,本文提出如下假设:
H4a: 部门权限对信息沟通共享有正向作用。
H4b: 部门权限对协同储备能力有正向作用。
在Marincioni[22]的研究中,应急事件的信息沟通共享因素还包括了部门间的交流沟通方式。胡平等[23]认为,部门间的往来经历作为部门间关系的一种,提高了部门间的相互信任程度,从而进一步提高了跨部门信息沟通共享的水平。Schneider[16]指出,合乎标准的沟通渠道将有利于对应急事件的准备以及响应。基于此,本文提出如下假设:
H5a: 部门交流对信息沟通共享有正向作用。
H5b: 部门交流对协同储备能力有正向作用。
最后,Simatupang[24]把信息共享机制作为供应链协同的3个维度之一,其中,库存政策、库存成本及实际库存情况等信息的共享是最重要的标杆之一; 除去工具的使用和信息内容的共享之外,信息共享的频率也决定了信息共享机制的有效性。基于此,本文提出如下假设:
H6: 信息沟通 共享对协 同储备能 力有正向 作用。
4应急救援物资协同储备影响因素实证分析
对应急救援物资协同储备的影响作用进行深入调研分析,问卷采用的变量和题目均来自于已有研究的成熟量表 ( 资源因素[13]、事件因素[14]、技术因素[25]、部门权限[26]、部门交流[27]等5个变量; 信息沟通共享[28]包括应急信息反馈的及时性,应急信息传递的有效性和应急信息共享的通畅性等3个题目; 协同储备能力[29]包括多源物资调度的沟通协同能力、情感协同能力和战略协同能力等3个题目) 。本次调研总共发放了372份调查问卷,问卷发放对象为参与过应急突发事件协同处置的政府工作人员,回收了154份,有效问卷数量为133份。问卷的基本描述性统计数据比较均衡,由于篇幅有限, 在此不再列举。
本文首先对问卷中涉及的变量进行探索性因子分析: 在变量间的相关性上,KMO样本测度值为0. 869,同时Bartlett半球体检验小于0. 001,说明适合做因子分析。21个观测变量的公因子方差全部大于0. 6,说明每个因子分析过程所丢失的信息较少。 总方差中累计百分比为76. 019,说明问卷问题可以解释研究问题的76% 。在信度分析中,总体的Cronbach's Alpha系数为0. 932,被认为是信度非常好,7个变量的系数均高于0. 7,为高信度,方差贡献率均高于50% 。因此,表达应急救援物资储备协同的影响要素中的7个变量的信度和效度都在可接受范围内。其中,自变量一共有5个因素、15个观测变量。 经过对15个观测变量进行验证性因子分析,通过对软件的参考意见进行误差关系的关联,所得的结果是: 为3. 427,RMESEA为0. 14,NFI为0. 81,TLI为0. 80,CFI为0. 86,GFI为0. 80,PGFI为0. 51, 均在可接受的标准范围内。因此,在同一潜变量下的可观测变量之间存在一定的关联关系是符合逻辑的。经过将计算得出组合信度、收敛效度和区分效度进行整理比较,每个潜变量的组合信度均在0. 7以上,说明该测量模型的组合信度较为理想。所有观测变量的因子载荷系数的T值大于1. 96的临界值,表明在5% 置信区间内具有统计显著,收敛效度较为理想,见表3所示。潜变量相关矩阵的结果显示,因子间两两相关系数均小于相应的因子AVE的平方根,因此所有的潜变量都存在较理想的区分效度,见表4所示。
注: *** p < 0. 01,**p < 0. 05,*p < 0. 1
最后,本文对整个结构方程模型进行了路径系数的检验。数据显示,H1a、H3a、H3b、H4a、H5a、 H6都被证实,即事件因素、技术因素、部门权限部门交流对信息沟通共享机制有正向影响,技术因素和信息沟通共享机制对协同储备能力有正向影响; 而H1b、H2a、H2b、H4b、H5b未被证实。在这里得出一个规律,同一个假设下的a假设一般成立,而b假设则不成立,见图1所示。因此,本文进一步提出了第二阶段的研究假设: 信息沟通共享作为一个重要的中介变量,而事件因素、资源因素、技术因素、部门权限和部门交流这5个因素通过影响信息沟通共享从而进一步影响协同储备的能力。
为了进一步证明中介变量的作用,进行第二阶段的实证检验。实证结果显示,除去H2a未被证实外,H1a、H3a、H4a、H5a、H6均被证实,见图2所示。
根据Baron等[25]的解释,中介变量是自变量对因变量发生影响的中介,是自变量对因变量产生影响的实质性的、内在的原因。通俗地讲,就是自变量通过中介变量对因变量产生作用。在本文的结构中,事件因素、技术因素、部门交流因素以及部门权限因素对协同能力这一应变量的正向影响都并不显著,但是这4个因素对信息共享机制因素的正向影响是显著的,并且信息共享机制因素对协同储备这一应变量的正向影响因素也是显著的。所以,信息共享机制在这里扮演了一个中介变量的角色,即: 事件因素、技术因素、部门权限和部门交流4个因素通过影响信息沟通共享从而进一步影响协同储备的能力。其中,根据路径系数的大小可以得出排序结论,即影响信息沟通共享机制的因素按其影响大小排序,分别是: 技术因素、部门交流、事件因素和部门权限。
5结论与展望
本文首先对运筹学中关于需求是随机连续的情况下的存贮模型进行了优化演算,并且根据上海市某区的实际交通事故发生的概率密度函数推算出该地区应急救援物资的大概资源储备量; 随后经过问卷调查和数据的定量分析得出结论: 事件因素、技术因素、部门权限因素以及部门沟通因素均可以通过影响信息沟通共享机制,从而进一步正面影响应急救援资源的协同储备能力。根据以上研究结果, 本文提出以下一些建议:
( 1) 应急资源储备量要通过应急事件发生的概率密度函数科学估算,多源物资协同程度是应急储备是否合理的关键。
( 2) 提高应急救援物资体系的技术水平。应急救援物资体系技术水平的提高不仅在于高科技的运用和对共享信息的数字化平台建设等,还在于各部门的应急技术是否能真正有效整合。
( 3) 增加应急救援物资储备部门之间的沟通频率。应增加日常非应急的情况下应急救援物资储备部门之间的交流频率、内容广度,标准化一些专业术语。
( 4) 增加应急救援物资存储单位之间的权限的交叉性。当应急救援物资存储部门之间的权责交叉越大、授权程度越高以及同质性更强,则应急物资储备的效率也就越高。
( 5) 加强建设信息沟通共享。信息沟通共享不仅仅自身对协同储备具有很高的相关性,而且作为一个非常重要的中介变量影响着协同储备的效果。 现存的应急救援资源储备部门的数据信息都是物理隔离,彼此共享的程度非常低,所以在这一方面的共享还有待加强。
关键词:地理信息,智慧城市,数据
目前, 我国已经加强了对智慧型城市建设的注重程度, 但是从整体情况来看, 我国在智慧型城市的研究与开发还处于发展阶段, 在发展过程中还存在许多问题有待解决, 特别是缺少地理信息数据, 因此需要加强在地理信息数据方面的研究, 加强对智慧型城市建设的探索。
一、智慧型城市生存的核心
智慧型城市是一个新兴起的城市模式, 其主要服务于企业、政府、个人, 对城市中居民的生活方式进行适当的改变, 促进城市的发展, 进而提高人们的生活质量。
智慧型城市是一个复杂的系统, 在该系统中, 地理信息数据与其它信息相互作用, 从而使城市运行变得更加科学合理。由此可见, 在智慧型城市设计中, 要将信息共享、融合以及服用作为智慧型城市发展的基础。
现今, 我国城管理中的基本就是在非公共管理上构建一套垂直管理系统, 在实际操作中, 缺少标准信息和数据两者之间的相互操作, 很难构成一个只智慧型生态系统。曾有研究人员认为, 只要通过互联网将城市中涉及到的所有应用系统连接起来, 就可以构成智慧型城市架构, 这一构想在物理网络上来看是可行的, 但是在实际应用中无法表现出智慧城市应当具有的服务能力, 这对智慧型城市的形成与发展都会造成不利影响。因此, 研究智慧型城市中, 要加强对智慧型城市标准化的分析与应用, 从而使智慧城市可以在不同信息数据之间相互操作和连通, 促进智慧型城市的发展, 完善智慧型城市的功能。
地理信息数据是智慧型城市形成与发展核心内容, 而地理信息数据的准确性, 则直接关系智慧型城市发展的合理性。因此, 在发展智慧型城市过程中, 必须要通过合理的手段, 获取城市地理信息, 从而确保智慧性城市的健康发展。
二、以地理信息数据作为智慧型城市的核心
对一个城市进行分析, 掌握城市是否健康, 必须要对城市中的交通、环境等多个方面内容进行深层次的研究与分析。在分析城市过程中, 最有效的方式就是就是合理的安装传感设备, 通过传感设备, 可以直接完成对城市动态情况的监测。但是, 在具体操作过程中, 因为会涉及到技术、隐私等更多方面的问题, 所以直接监测行为在实现上面临着较大困难, 在具体操作中只能另辟蹊径, 通过地理信息数据分析城市的动态变化情况, 掌握城市的动态发展方向。
例如, 通过手机基站位置和车辆GPS定位, 对数据进行收集, 虽然是针对城市中生活的人的行动进行研究, 但这种数据收集并不会对用户的隐私造成侵犯, 因此研究上不会引起用户的反感, 通过将用户基站和GPS等地理信息数据可以对用户在日常生活中的行动进行准确反应。城市研究人员在对城市的研究过程中需要对城市中所涉及到的数据进行详细分析, 应当将不同城市在发展过程中呈现的地理信息数据与城市的相关动态两者之间构建合理的联系, 丰富的地理信息数据与先进的技术是分析环节中不可或缺的两项因素。丰富的地理信息来源可以减少智慧型城市在发展过程中遇到的问题, 研究人员在智慧型城市的设计与选取上, 要对应用算法进行详细分析, 因为这将会对分析结果最终的可靠程度造成一定程度的影响。
三、智慧型城市区域特征明显
城市是人们生活和工作的主要空间, 高度关注研究城市发展的人员也在这一空间内生活, 因此在对智慧型城市进行详细的分析与研究过程中, 研究人员要依据自身在城市生活中的感受, 对研究对象所定位的城市和周边城市进行分析, 正因为这一点导致以地理信息数据为中心的智慧型城市具有十分明显的区域特征。在美国一些现代大都市都是研究人员在分析过程中的首选研究对象, 例如, 美国的纽约和洛杉矶;我国的科学研究人员通常会选择北京、香港、上海这些处快速发展过程中的大都市作为智慧型城市研究对象;欧洲的情况与美国和中国的情况存在较大差别, 主要将小城市作为研究对象。智慧型城市在发展过程中往往都具有较为明显的区域性特点, 这种一数据为中心的智慧型城市研究对我国人员的研究来说, 具有得天独厚的优势。首先, 我国具有丰富的城市资源, 现阶段我国城市水平已经接近60%, 我国人口数超过百万的城市占世界超百万人口数的20%左右, 丰富的城市资源促使海量的地理信息数据生成, 对智慧城市进行研究提供了坚实的数据基础。其次, 经济技术的快速发展, 使我国地理信息产业的发展得到了明显的促进, 这使研究变得更加简单合理, 确保地理信息产业的信息化建设持续发展, 从而促进智慧型城市的形成。最后, 无论是在民间还是政府, 都可以对现代城市环境的改善与发展起到一定的促进作用, 其中比较明显的作用就是可以大幅度提高城市的管理水平及效率, 此外, 国家和地方各省对构建智慧型城市也有实际性的投入, 为我国科研人员在智慧型城市的研究上提供有利支持。
结束语:
智慧型城市的形成与发展需要以地理信息数据为中心。近几年, 我国城市在地理信息基础设施上的建设越来越完善, 人们对智慧型城市的需求也变得更加强烈, 我国智慧型城市的发展受到不同领域科研人员的关注与重视。无论是资源、环境、信息科学等各个领域中, 智慧型城市都逐渐成为了人们所感兴趣的领域点, 特别是在数据科学高速发展的背景下, 要以地理信息数据作为智慧型城市发展基础核心力量, 确保智慧型城市能够得到持续发展。
参考文献
[1]焦煦, 朱文英, 黄瑞峰.基础地理数据在智慧城市建设中的分析与应用[J].国土资源信息化, 2012, 02:55-61.
[2]熊伟.面向智慧城市的测绘地理信息服务模式[J].测绘科学, 2014, 08:39-43.
【城市地理信息多源数据处理研究】推荐阅读:
智慧城市地理信息09-27
城市化高中地理教案05-24
白城市城市生活垃圾处理的调研报告10-14
基础地理信息数据06-10
我国城市垃圾分类收集处理现状综述11-04
论城市化与城市信息化07-20
城市污水处理厂试运行06-06
城市污水处理情况的调研报告10-15
创建文明城市信息11-15