数据监控系统解决方案(精选8篇)
采供血信息系统从开始正常运行,就将随着时间的推移,不断地积累数据。在采供血机构中一切基于业务流程的活动都以这些数据为基础。在系统运行中常常会不可避免地遇到一些问题,如人为误操作、硬件损毁、电脑病毒、断电或是天灾人祸等造成网络系统瘫痪、数据丢失,这会给采供血机构、献血者和用血者带来难以弥补的损失。避免这种损失的最佳途径就是为系统进行可靠的数据备份。备份方案
1.1 备份策略 建立一套完整的备份策略,是做好备份的先决条件。(1)备份周期:根据数据的重要程度和需要,可以选择每周、每日、每时进行备份;(2)备份介质:使用的存储介质如磁带、磁盘等进行备份;(3)备份方案:目前常用的方案有双机备份、磁带备份、异机备份等方案,备份方案的选择是备份策略中最关键的一步;(4)自动备份和手工备份:自动备份是指计算机按预先设定好的时间自动启动备份作业,手工备份是指程序员不定时的人工启动备份作业;(5)检查备份数据的完整性:数据库在使用过程中有时会由于某种原因而造成索引损坏或数据丢失。由于不能对实时库进行检查,所以在数据备份后通常要对备份数据库进行完整性检验。
1.2 常用备份方案
1.2.1 双机备份 双机备份分为双机冷备份和双机热备份两种。双机冷备份为一台主机实时工作,一台备用机等待备用。这种方案最大的问题是无法实现实时数据备份。对于采供血机构的工艺流程对于数据连续性要求很强,基本无法使用备用机工作。双机实时热备份为双机镜像和共享磁盘阵列两种方案。双机镜像方案是准备两台在软件和硬件配置都要完全一样的服务器,分为一主一备,并互为镜像。将主数据库服务器上的表、文件、数据库或全部内容通过专用连接通道镜像到备用服务器上。当主服务器发生故障时,由主服务器迅速装载事务处理日志到备份服务器。备份服务器将接管事务处理日志继续完成主服务器的操作。优点是简单、便宜;缺点是降低系统效率,对数据维护的能力与共享磁盘阵列方案相同,都无法防止逻辑上的错误,如人为误操作、病毒和数据错误等。共享磁盘阵列方案为两台主机共用一个磁盘阵列。优点是不降低系统性能,为目前较为流行的主流技术,但要求磁盘阵列具有较高的可靠性。
目前较为先进的备份方案为多主机集群方案,多台主机都在同时分别工作,当其中一台主机故障,其它主机可以接管故障机的任务。这种方案在“理论上”十分完美,可以避免冗余服务器的闲置浪费,但在系统方案设计中,仍要考虑一台主机故障后,全部任务交给备份机,备份机是否有能力承担全部任务,因而硬件冗余能力必须大于系统负载,故冗余硬件能力的闲置在理论上是不可避免的。双机备份方案主要有三种模式:Mutual backup(双机同时工作相互热备份)模式虽然可各自执行各自的作业,但在出现故障时,前端客户机的工作需重新开始;Hot standby(双主机固定热备份)与Muster-Slaver(双机主从热备份)的区别在于原MASTER主机修复后是否从SLAVE恢复到MAS-TER。由于目前所有的热备软件均不能解决数据库的故障,数据库的安全和可靠性仍需单独维护。另外,数据库的切换时间与数据库的数据量及进程的复杂性有关,所以应尽量减少数据的切换、数据库的回滚及系统重新启动等。
1.2.2 异地备份 选择1台与主服务器配置相近的备用服务器,建立1个与主服务器数据库同名的数据库。利用系统本身提供的异地传送工具,通过设置定时由计算机自动地把主服务器数据库中的数据传送到备份数据库上。如果主服务器系统出现故障时,启用该服务器通过网络做临时性单机运行。一旦主服务器系统瘫痪,只要重新在主服务器上安装操作系统或重装数据库,就可以利用异地传送工具把备用服务器上的数据传回至主服务器,确保数据安全恢复。这种方案近似于手工完成备份和恢复工作。优点是简单,可根据服务器的瘫痪情况控制数据的恢复程度。缺点是不能实时备份主服务器数据。
1.2.3 磁带备份 磁带备份就是将数据库中的数据备份到磁带上。磁带备份长期以来一直是首选的数据存储备份技术。磁带介质不仅能提供高容量、高可靠性、可管理性、容易携带和保存,并且价格便宜。常用的硬件设备包括磁带机和磁带库。磁带库是一种框式封闭机构,由数台磁带机、机械手、数十盘磁带构成。它能够提供基本自动备份和数据恢复功能,可以实现连续备份、自动搜索磁带。在备份软件方面,通常使用操作系统本身所提供的备份功能。缺点是磁带质量常常影响存储效果。我站数据备份方案
2.1 血站信息系统的特点(1)工艺流程性强。整个流程包括献血者档案管理、血液采集、检测、搬运、制备、包装、发出、报废、销毁、血费收取、血液返还等,环节众多,纷繁复杂,对于信息的一致性要求极高。(2)判定机制健全、严格。为保证提供血液安全、有效,保证献血者和用血者身体健康,信息判定机制对于各种情况的判断要非常细致,对信息的完整性要求很高。(3)业务信息时效性强。
2.2 数据备份方案 根据我站信息系统的特点,笔者采用了具有容错功能的服务器,选用双机热备、磁盘阵列技术的硬件设备配置方案为主,异机备份为辅的数据备份方案。
2.2.1 硬件环境 两台服务器采用IBM xSeries225,单PII-II2.8CPU,512M,本地硬盘36.4G,分别装有10/100M网卡。服务器通过光纤集线器与一个IBM磁盘阵列柜相连,以共享其36.4G的磁盘空间作为双机热备服务器组。一台联想T200服务器作为异机备份服务器。
“识时务者为俊杰”,作为综合布线产品工作的一份子,上述的形势和变化为笔者的工作及所服务的企业指引了方向,综合布线产品已不再是为了连通和配线,而追求的是精益求精地服务于工程。
为了进一步地说明上述见解,笔者将通过以下几个方面来阐述。
1 屏蔽布线&集束双绞线
2009年,屏蔽布线在数据中心的优越性得到了重视,其源头是2009年开始宣贯的《电子信息系统机房设计规范》(GB 50174-2008)和中国工程建设标准化协会信息通信专业委员会综合布线工作组于2009年发布的《屏蔽布线系统设计与施工技术白皮书》。其动力有两个方面:
(1)更高速率的传输要求
数据中心的带宽应该比大楼内水平布线高出一个数量级,即万兆以太网的水平。IEEE已经明确下一代以太网速度为100Gbps,思科公司也在2008年制定了针对这个方向的数据中心3.0战略。
根据这样的推理,数据中心采用的综合布线产品等级应该选定为:在末端连接主机、服务器、存储设备的传输线(区域配线子系统、设备缆线)中,万兆级的双绞线与光纤共同构成了主要的传输介质。
这里有一个指标应该得到重视,即在IEEE 802.3an标准中,综合布线6类布线系统在10G以太网中所支持的长度应不大于55m,但6A类和7类布线系统支持长度仍可达到100m。
(2)对安全和电磁干扰的考虑
对电磁兼容性的关注以及制定相应标准的动力源自个人计算机、局域网等电子设备的快速增长及持续增加的数据速率。现代电子系统多以计算机或微处理器为基础,通常会对系统中的高频信号产生有害影响,这些影响来源于另一系统接口电缆中的传导电流或电磁场导致的电磁感应。另外,采用数字电子设备的系统含有电流和电压高速交换电路,也会导致较高的高频电磁辐射。
数据中心的高效率和高可靠性便对基础的物理传输介质提出更高的要求,屏蔽布线便成为理想选择。
这里同样有个非常重要的观点,在过去的15年里,屏蔽布线工程的争论在中国可谓一波三折,采用——排斥——推动,中国工程建设标准化协会信息通信专业委员会综合布线工作组于2009年发布的《屏蔽布线系统设计与施工技术白皮书》在热点讨论里明确了在正常良好接地情况下,屏蔽系统抵制外界耦合噪音的能力是非屏蔽系统的100~1000倍,即使在屏蔽层没有接地或接地不良的情况下,屏蔽布线系统抵御能力仍然可为非屏蔽布线系统的10倍以上。
除了上述两个动力,屏蔽布线还为数据中心带来了工程的美观:从实施的角度,数据中心的布线尤其讲究美观,这意味着线缆的绑扎要超出GB 50312-2007要求的每间隔1m绑扎一次,而是30cm绑扎一次,所有的缆线保持横平竖直,那么如何避免缆间串扰和数据中心环境的电磁干扰是必须要考虑的问题。如果采用屏蔽布线不仅可以解决上述问题,还可以支持高密度安装的能力,即集束双绞线。
集束双绞线最大的好处是节省了安装空间,数据中心规模越大好处越明显。试想每个机柜预留8~12台服务器,每个服务器考虑4个电口,意味着每列机柜的安装线槽需容纳4×12×8=384根双绞线,这是相当可怕的。1根屏蔽双绞线外径大约7.4mm, 6×4P的集束双绞线外径是21.2mm,可以节约穿线时间和敷设空间,如图1所示。
数据中心对温、湿、尘的要求比较高,如果在使用中发生服务器数量的增加或用途的改变,现场打线或熔接必然对现场的环境造成不良影响。为了进一步提高施工和维护时间,预端接的集束双绞线和光缆便应运而生,如图2所示。
2 光纤布线&预端接光缆
光纤布线是数据中心中的另一个重头戏。数据中心的布线服务于IP网、存储网、KVM系统三个部分。由于存储设备和核心交换机一般被放置在相隔较远的地方,所以形成以服务器为终端向上延伸的两套星型拓扑结构。
存储系统类型多种,SAN最为典型。光纤通道是存储系统的首选,不仅在配线子系统与万兆双绞线,更是在关键的主干传输通道均以光纤为主。由于设备缆线已经具有万兆以太网传输能力,因此主干光纤的传输能力至少应达到万兆以太网,并能够满足今后的四万兆以太网及十万兆以太网传输要求。
预端接光缆的选用为数据中心带来的好处已有描述,在此要补充的是单模和多模光缆的并用。根据上述分析光纤通道是必不可少的,如果仅仅采用单模或多模光纤,对有源设备的整体成本将有较大的影响。而数据中心布线的特点是根数多、米数少,作为基础物理传输介质相对于有源设备在相同周期的投入是比较少的,所以应该全面考虑单模和多模光缆的选用。事情往往是两面性的,其后果是线缆的根数更多,试想如果有30个机柜,每个机柜预留1根12芯单模光缆和1根12芯多模光缆,2×30=60根光缆。由于光缆是以不大于12芯为单元束状或带状生产,24芯与72芯的光缆外径基本相同,所以24芯光缆内同时包括单模和多模光纤将是最理想的数据中心光纤布线。
3 信息保护&防火布线
由于中国的综合布线市场同时受到欧洲和美系标准的影响,存在着两种阻燃缆线,但是这两种缆线都是以人的逃生、火势不蔓延为目标,采用阻燃、低烟和毒性小的缆线材料。典型系列是美国的CMx线缆高阻燃缆线和欧洲的FR/LSOH低烟无卤缆线。
GA 306和IEC标准对防火的要求不仅有阻燃还有耐火:
《阻燃及耐火电缆.塑料绝缘阻燃及耐火电缆分级和要求.第1部分:阻燃电缆》GA306.1-2007,等同于IEC60332系列。
《阻燃及耐火电缆.塑料绝缘阻燃及耐火电缆分级和要求.第1部分:耐火电缆》GA306.2-2007,等同于IEC60331系列。
所谓耐火即要求缆线在火焰中保持线缆上完整,其指标为:在火场的750℃时能够继续工作30~90分钟(共分30分钟、60分钟、90分钟三个等级)。其目的是给消防报警和应急广播提供指挥疏散的可能性,也给计算机的正常关机和应急数据备份提供时间,重在信息的保护。
数据中心的数据越重要,对每次的强行关机所造成的损失就越大。如果采用耐火级缆线将为数据的备份提供充足的时间,挽回巨大的经济损失。
【关键词】网络数据;存储备份系统;解决方案
随着社会的发展,科技水平的提高,网络技术应用于各个领域,同时网络结构也趋于复杂,从而影响着网络数据的安全与共享。网络数据存储备份系统要不断完善与发展,才能适应社会发展的需求。本文将通过对DAS、NAS与SAN技术的分析与研究,提出网络数据存储备份系统的解决方案。
一、DAS、NAS、SAN技术的概况
(一)DAS、NAS、SAN技术的涵义
DAS即直接附加存储或磁盘阵列,DAS将直接连接在服务器或客户端的数据存储设备上,它的中心为服务器,通过服务器或客户端实现存储,主要是由硬件组成的。NAS即网络附加存储,NAS具有特殊性与独立性等优势,它是一种专用的数据存储服务器,它具备独立的系统软件,从而保证存储的优化,同时其具有共享功能,能够提供跨平台的文件。NAS的中心为数据,通过存储设备和服务器的分离,实现了对数据的集中管理,进而利于宽带的高效释放。SAN即存储局域网,SAN是一种共用的、高速的专用存储网络,其存储设备主要分布在服务器的末端。SAN是一种专用的高速光纤网络,其光纤通道是由PRID陈列连接形成的,同时SAN的架构需要专用的光纤交换机与集线器[1]。
(二)DAS、NAS、SAN技术的比较
关于DAS与NAS技术的比较主要表现在以下几方面:在安装方面,DAS的安装相对复杂,一般情况下需要两天时间;NAS的安装相对便捷,通过独立安装,在十分钟左右便可以完成。在文件共享方面,DAS不具备跨平台文件共享的功能,因此,各个系统平台的文件存储需要分别进行;NAS具备跨平台文件共享的功能,因此可以实现文件共享。在操作系统方面,DAS不具备独立的存储操作系统,其应用依赖于服务器或客户端,因此,DAS极易造成网络的瘫痪与数据的丢失;NAS具备独立的存储操作系统,从而能够保证其宽带的释放,利于网络的正常运行。在存储数据结构方面,DAS的数据存储模式相对分散,因此,不利于网络管理人员的管理,同时也增加了维护的费用;NAS的数据存储模式相对集中,因此,其便于网络管理人员对数据的集中管理,其维护的成本也相对较少。关于NAS与SAN技术的比较主要体现在以下几方面:在设计理念方面,NAS拥有专用的数据存储设备,同时可以直接联网,是一项独立的系统存储平台;SAN需要存储在局域网,不具备独立的设备。在安装方面,NAS安装十分便捷,即插即用;SAN的安装需要在服务器或存储设备上添加光纤网卡。在文件共享方面,NAS具备跨平台文件共享的功能,因此可以实现文件共享;SAN具有独立的数据存储池,因此,不同系统平台的数据可以在同一存储设备中进行存储。在存储距离方面,NAS可以满足长距离、不同区域数据存储的需求;SAN的存储距离由光纤传输距离决定,因此,SAN可以进行短距离的数据存储。
二、网络数据存储备份系统的解决方案
网络数据存储备份系统采用NAS存储技术,其具有以下特点:网络快,其网络访问为双千兆以太网;容量大,其容量为4U高度和10颗热插拔的硬盘;实现了文件共享,并可以跨平台、跨主机;安全性,其具有权限安全管理功能,并能够对系统进行全天候的监控。
(一)NAS的系统存储
在E-mail存储方面,其系统存储完全能够满足万人用户的需求,NAS在E-mail存储中其容量可以达到200GB。在光盘数据下载方面,NAS的数据传递可以满足100个并发的需求。
(二)NAS的系统安装与维护
在硬件安装方面,NAS的系统安装可以保持原有网络不变,将其连接到网络的交换机上,在连接电源便实现了安装;在软件安装方面,NAS的系统安装可以在局域网的服务器上进行安装,在软件运行后,NAS将被自动搜索,再打开设置窗口,便可以对NAS进行设置。同时,NAS系统中可以安装防病毒的相关软件,进而保证其数据的安全性[2]。
(三)本方案的优点
本方案有众多的优点,主要优点如下:
应用了负载均衡技术,NAS根据并发量的不可控性,应用了负载均衡技术,从而数据的读取由负载均衡软件控制,并提升了并发访问的速度。
NAS自身的优势,如:安全性、便捷性与扩展性等,NAS可以即插即用,其安装十分便捷,其管理不需要专业的人员,在应用过程中,减轻了服务器的负荷,保证了网络的高效,其安全性与共享性能够保证数据的安全,即便网络存在故障。
具有较快的响应与较多的并发用户。NAS的独立性与优化性,主要体现在其系统存储平台的独立与存储操作系统的优化,从而NAS利用网络数据传输率的提升,利于用户响应时间的降低。在并发用户较多的情况下,NAS的性能愈加突显,它能够满足较多的并发用户的需求。
实现了跨平台的文件共享。NAS的跨平台文件共享,节约了用户的费用,可以对不同文件格式的资料进行存储,同时也可以在不同的系统上对数据进行访问。
同时具有便捷性与安全性。NAS在安装与维修方面十分便捷,不仅不需要辅助的软件,还不需要网络服务的停止,并且在安装时,不需要改变网络架构,进而利于用户投资与成本的控制。NAS可以保证数据的完整性与安全性,主要是将源数据变成了日志文件,从而利于文件系統的恢复[3]。
总结:综上所述,网络数据存储备份系统的完善直接关系着系统数据的安全,文中分析了DAS、NAS、SAN存储技术,其中NAS技术具有诸多的优势,因此,网络数据存储备份系统解决方案中运用了NAS技术,形成了跨平台的网络数据存储系统,这一方案具有实用性、可靠性与扩展性等,不仅控制了成本,还提高了网络的性能。
参考文献:
[1]赖晨捷.华能太仓电厂数据存储备份系统解决方案探讨[J].电力技术,2010,2(04):26-27.
[2]戴园生.钢铁企业网络数据存储系统解决方案的探讨[J].国际研讨会,2013,(02):136-137.
一、现有微机传输系统存在的问题
现有微机传输系统是2000年10月15日投入使用的,其通过一根同轴电缆将4台工控机连成一个网络,工控机网卡与同轴电缆经三通连接传输公共信息,在使用过程中经常会出现信号传输中断,公共信息丢失,致使统计报表不能完整打印,延误计算每台锅炉的每小时耗煤量、热负荷、热效率,特别是运行中公共信息传输中断给运行人员带来不便。
二、整改目的为了1#、2#、3#及4#锅炉DCS系统数据正常传输,公共信息显示完整,统计报表打印及时,更好的利用微机控制系统,对原控制系统传输进行整改。
三、具体方案
网络发展日新月异,根据我公司目前DCS系统原有硬件配置,合理更换部分硬件以完善原有功能。
1、更换1#、2#、3#炉及工程师站工控机网卡(带水晶插孔)。
2、用网线取代同轴电缆。
3、用八孔交换机连接4台工控机及4#炉主控。
由此即解决了现存问题,又解决了一台打印机供两套系统报表的打印工作,一举两得。
生产技术科
一,用户概况
河南师范大学是一所建校历史较长的省属重点大学。学校北依巍巍太行,南滨滚滚黄河,位于京广、太荷 铁路交汇处的豫北名城新乡市,坐落在广袤的牧野大地、美丽的卫水之滨。其前身是始建于 1923年的中 州大学和创建于 1951年的平原师范学院。新中国成立后,由于院系调整,学校先后更名为河南师范学院 二院、河南第二师范学院、新乡师范学院。1985年始称河南师范大学。
二,设计要求
河南师范大学现有的应用及大致需求如下: 1.老校区所有应用系统共十几个,将所有的数据集中存储备份在存储数据中心。
2.老校区需要全 SAS 高速存储系统支持。3.老校区所有数据需要在本地做全部同步式备份。4.在另一新校区中建立老校区数据中心的灾难备份中心。
5.据初步统计,众多应用系统中共有 oracle 服务器 x 台, sql 服务器 y 台, linux 服务器 z 台(用户数
据保密。
6.据初步统计, 大约有 m 台重要服务器需要做 P2V 备份方案, 并要求灾难发生时能快速 V2P 恢复(用
户数据保密。
7.老校区本地数据备份到本地另一存储空间, 有部分数据需要实现 CDP 级别备份, 剩下所有实现基
于时间策略的增量备份即可。三,方案描述
本方案设计本着最大化存储利用率、对数据分重要性程度进行设计的原则,对前端各大应用系统服务器及 其数据进行分类,大约 10TB 数据进入上图中 “ 老校区主存储中心 ” ,该存储中心配置考虑: 1.基于数据重要性和数据量考虑,配置基于 SAS 和 SATA 混合的网络存储系统。
2.对重要性高的数据和读写性能要求高的数据存入 SAS 硬盘阵列中, 对于其余数据则存入 SATA 硬 盘阵列中,最大化提升数据中心的性价比。
3.配备两台 12盘位 NAS+IPSAN统一网络存储 ReadyNAS 3200, 每台配置 8块 600GB SAS硬盘。
对大学内视频及其相关应用的数据大约有 50TB 数据量, 则考虑存入 “ 老校区视频及相关应用主存储 ” , 该存 储中心配置考虑: 1.视频及相关应用数据量庞大,安全性要求相对低一些,配置基于纯 SATA 的网络存储系统。
2.目前, NETGEAR 的 ReadyNAS 统一网络存储提供全球领先的全速企业级 2TB SATA配置, 可以 最大程度保证视频及应用数据的大量高速存储。
3.配置两台 12盘位 NAS+IPSAN统一网络存储 ReadyNAS 3200,每台配置 12块 2TB SATAII全 速企业级硬盘。
另外, 考虑到主存储数据的安全性, 需要在本地近线备份所有重要数据, 建议设计 “ 老校区主存储备份中心 ” , 将主存储中心的 10TB 数据近线备份到此,相关考虑如下: 1.基于主存储数据的安全性和增长性考虑,建议在主存储备份中心配置基于 SATA 高性价比网络存 储。
2.考虑到主存储数据近线备份的多副本保存, 建议在主存储备份中心配置两倍于主存储中心的容量。
3.配置两台 12盘位 NAS+IPSAN统一网络存储 ReadyNAS 3200,每台配置 12块 1TB SATAII全 速企业级硬盘。
考虑到老校区重要数据的安全性,除了在本地做近线备份之外,建议在新校区建议远程的灾备中心,以确 保当老校区主存储数据中心发生不可预知的灾难时,可以借
助新校区灾备中心的备份数据及时恢复所有学 校的重要业务及数据,灾备中心建设考虑如下: 1.基于老校区主存储备份数据量的考虑, 建议在新校区建立的灾备中心在两倍容量与原数据量大小。
2.考虑到数据量很大,建议老校区到新校区数据备份线路采用千兆光纤,并结合文件及数据块增量 备份策略一起保证数据灾备的成功率。
3.配置两台 12盘位 NAS+IPSAN统一网络存储 ReadyNAS 3200,每台配置 12块 2TB SATAII全 速企业级硬盘。
在各应用系统服务器数据保护方案建设中, 建议配置与 NETGEAR 有紧密合作的 Symantec 备份恢复解决 方案 Bcakup EXEC, 在该校园数据中心备份方案中, 考虑 oracel 数据库服务器和 sql 数据库服务器及文件 被打开执行备份的成功率,主要配置有如下组件: 1.Windows 系统主备份服务器 2.Oracle 数据库备份 Agent 3.SQL 数据库备份 Agent 4.打开文件备份功能选件
在各项 Symantec BE备份功能与 RALUS for ReadyNAS配合工作下,可以实现下图描述的服务器系统数 据备份流程: 另外,考虑到部分重要服务器在灾难发生时的恢复问题,建议配置 NETGEAR 全球领先的 P2V 及 V2P 备 份恢复解决方案,该方案结合 VMware ESX(i可以对重要服务器实现以下全球领先的方案: 裸机恢复解决方案
传统的备份机制大都是以数据保护为核心,而忽略了系统及生产服务的保护,当系统发生灾难时,您必须 准备好所有的系统设置信息,并且耗费时间重新安装及设定系统,然后才能进行数据的恢复,最后生产才 有可能正常运行。
实际上我们需要保护的数据有下图所示的各种类型 : 我们创新的裸机恢复解决方案以快速恢复业务生产为前提, 完整保护系统及业务数据, 在系统发生灾难时, 依据独创的 iSCSI 远程启动技术,可以将系统及业务直接在 ReadyAS 存储设备上运行,然后可以在业务 运行的情况下将 ReadyNAS 设备备份的系统及业务数据恢复到原业务主机上。
另外,如果原生产主机设备根本就无法开机了,仍然可以采用最新的 P2V(物理机到虚拟机转换将备份 在 ReadyNAS 存储设备的系统及业务数据直接转换为虚拟机平台可以启动的整体数据, 保证系统在虚拟机 上启动系统并运行业务,如下图所示三种情况下,系统及业务的快速恢复方案。
NETGEAR 裸机恢复解决方案优势: 1.提供系统、应用及数据保护于一体 2.提供一个基于主机的数据复制方案 3.采用文件数据的完整性和一致性传输的方式 4.针对卷进行复制备份
5.基于 SAN 架构,提供 LAN-free 备份模式
6.充分结合 Microsoft VSS和专业数据库代理,保证文件系统和数据库安全备份 7.创新的基于 P2V 虚拟机启动和 iSCSI 远程启动方案
8.ReadyNAS 存储完美支持 VMWARE 虚拟化认证 N+1容灾备份解决方案
在如今的网络环境中,大都会有多种类型的服务器存在,提供不同类型的服务,这些服务器的业务都需要 实施数据保护措施,而意外的情况永远都无法预料,有可能是硬盘损坏,也可能是硬件主板损坏、也可能 是人为操作失误或病毒破坏等、也可能一台服务器出故障、也可能是多台服务器同时出故障。针对这些难 以预料的意外情况,是否有最为简单的容灾方案呢? NETGEAR 推出最新的 N+1容灾备份解决方案, 不论出现上述哪种意外情况, 也不论有几台设备同时出现 故障, 都可以通过事先部署的一台容灾服务器从 ReadyNAS 存储设备上将备份的数据启动起来, 以最短的 时间保证业务正常运行。
NETGEAR N+1容灾备份解决方案优势: 1.服务器主机系统及业务数据整机 CDP 备份到 ReadyNAS 存储设备 2.基于数据块的差异备份,确保快速保证数据变化的一致性 3.容灾服务器上部署 VMWARE ESX(I平台
4.发生灾难时,快速将备份在 ReadyNAS 上的数据通过 P2V 转换为容灾服务器可用数据系统及业 务数据的恢复可通过 V2P 在线实现
虚拟化远程容灾解决方案
对于校园数据网络的业务系统容灾光有本地的 N+1有时还不够安全, 有一些由不可抗力因素造成的业务系 统瘫痪可能会导致本地整个机房都无法运行,势必需要在远程异地构建一个容灾中心,在关键时候将关键 业务数据及系统进行接管。通常该需求会受到两个方面的限制:数据量大和网络带宽窄。
NETGEAR 远程容灾解决方案采用创新的 CDP、P2V、块差异备份、数据高压缩及 UDP 优化处理等技术, 保证远程容灾实现的快速安全,并且业务的接管可以通过异地虚拟机来实现。
NETGEAR 虚拟化远程容灾解决方案优势: 1.利用本地 CDP 和在线 P2V(真实机到虚拟机转换技术,虚拟化容灾解决方案把本地服务器的 运行环境(系统、应用、数据和系统配置等复制到容灾中心。
2.基于磁盘块差异备份技术,保证传输的数据量尽可能少 3.远程容灾中心的所有业务接管都是采用虚拟机来实现 4.在 WAN 中传输最高压缩比可达 4:1,并通过 UDP 优化处理 CDP 连续数据保护方案
CDP(Continuous Data Protection即连续数据保护方案,可在数据发生任何变化时将数据有效地保护起 来, CDP 技术将过去只有一次数据镜像、备份或副本的数据保护技术,演进为最新的可以有很多个数据镜 像、备份或副本的数据保护技术。该技术方案可以保护不同历史时间点的数据副本,而且在原始数据损坏 或丢失时,可以在最短时间内进行任意时间点的数据恢复。
NETGEAR CDP连续数据保护方案不仅涵盖了各类灾难保护(包括人为故障、病毒、软件故障、硬件故障 等灾难,而且能够针对不同主机服务器、数据库、存储的环境提供全面的数据保护, CDP 连续数据保护 方案可以将 RPO(恢复点目标和 RTO(恢复时间目标降到最低。
NETGEAR CDP连续数据保护方案优势: 1.基于 SAN 网络的文件级别的备份
2.基于数据块的差异备份,确保快速保证数据变化的一致性 3.配合数据库代理,确保数据库数据实时备份
4.通过网络中 CDP 管理服务器管理不同时间点的副本
综上方案描述,从主存储中心、近线备份、远程灾备、数据库服务器备份以及 P2V 和 V2P 备份恢复方案 的各项建议,为河南师范大学数据中心和灾备中心的建设提供了最为全面的方案建议。
方案优势
NETGEAR 领先的存储品牌 ReadyNAS ,以创新的技术和产品 ReadyNAS 3200交付用户使用,并且配合 一系列增值的解决方案,为用户打造最有竞争力的、具有投资保护价值的整体数据存储和保护的方案。
1.最佳性价比的本地、近线和远程灾备整体解决方案
百分点银行大数据应用解决方案
银行大数据时代面临的挑战
1、银行离客户越来越远。在互联网交易链条中,银行所占比重越来越低,这使得银行越来越难以知道客户的消费行为;互联网金融的出现,在未来可能会超过以银行为中心的间接融资和以交易所为中心的直接融资模式,这会使得银行逐渐被边缘化。本质上是因为银行对于客户的了解程度,相对越来越弱。
2、客户不断流失难以挽回。市场竞争越来越激烈,银行意识到客户满意度的重要性,并将提升服务作为工作目标。在具体的操作过程中,银行关注产品特点,从服务质量、客户感知进行调查,试图找到解决办法。但是客户满意度却一直停留在原有水平。客户流失率也在不断上升。本质上是因为银行服务同质化。
3、客户维系成本不断攀升。随着互联网金融各类“宝宝”们冲击银行存款,抬升融资成本,银行越来越难以找到低价优质的资金,客户维系成本也不断攀升。银行客户维系陷入“理财收益高,客户多,收益下降,客户跑”的怪圈。本质上是由于银行无法对客户需求进行及时响应,只能通过价格这一唯一工具进行营销。
银行越来越意识到数据作为核心资产的地位,希望借助大数据的技术,聚合客户在银行内外的种种信息,深入洞察每个客户在银行内外的方方面面,以了解其兴趣、偏好、诉求,从而提供每一个客户个性化的产品与服务。
百分点银行大数据解决方案
百分点基于六年来专注于大数据的应用实践,为银行业提供端到端的整体解决方案,帮助银行实现海量多源异构数据的采集、整合,并运用大数据文本分析和数据挖掘技术,深入挖掘客户特征、需求,从而为银行向客户提供差异化服务和个性化产品、产品创新等提供数据支撑。整体解决方案如下:
银行业大数据应用
1、用户实时行为分析
互联网金融及第三方支付的出现,让银行用户流失严重,同时也更加不了解用户的需求。通过在银行官网、APP上部署采集访问用户实时行为的代码,让银行可了解用户在网上的行为特征、需求,拉近银行和用户的距离,从而为更精细化的服务提供数据依据。实时行为包括:
用户分析:新增、活跃、沉默、流失、回流
渠道分析:渠道来源、渠道活跃、渠道流量质量 客户留存分析:留存用户(率)事件和转化分析
客户体验度量:使用时长、地区分析、终端分析。。访问原因探查:访问时间、访问频次、停留时长、访问路径
2、个性化服务和资讯推荐
根据客户使用银行产品和服务的历史信息及在银行官网/APP上留下的实时信息,利用大数据文本分析和挖掘技术,分析客户的长期、短期偏好和需求,预测当下和潜在偏好和需求,为客户推荐个性化服务或资讯。
3、精准营销
面对银行存量客户交易不活跃,新客获取渠道少,渠道流量质量差等各类问题,百分点银行精准营销方案以用户出发,识别每个客户在银行内外的上网特征、金融产品消费偏好、金融渠道偏好、金融风险偏好、互联网消费偏好、互联网内容偏好、社交网络等信息,将用户特征匹配银行产品特征,从而将更合适的产品信息精准推送到合适的用户(群)。
新客的获取:基于采集的企业内外数据,在充分分析银行产品和服务特征的基础上,分析客户特征,从海量用户(互联网、App、邮箱等)中精确匹配到适合银行产品和服务的高价值、高净值客户,通过实时竞价广告(RTB)、EDM(个性化邮件营销)、搜索营销(SEM)等手段将产品和服务资讯推送给匹配的客户,帮助银行快速获取高价值客户。
存量客户营销:帮助银行从产品或者从客户出发,分析产品或客户的特征,运用口碑扩散模型、look-alike模型等,为产品找到合适的老客户,或者为老客户找到合适的产品,从而实现老客户的再营销,提高客户满意度,增强客户黏性。
4、产品分析
对银行所有产品进行画像,形成统一的产品画像体系,从而对产品的特征、产品的销售情况、利润情况、新产品研发等提供参考。
产品全方位信息视图:通过产品画像体系,可以对具体产品的各项指标有个全面、直观的了解。主要特征包括: 基本信息:统一的产品号、产品名称、产品定义、产品上线时间、产品经理等信息。 产品的种类
按对资产负债表的影响分类:资产类产品、负债类产品、中间业务类产品。
按服务对象分类:对公产品、对私产品。
按业务特质分类:国际业务、信贷业务、结算业务、投资银行业务、信用卡业务等。 评价信息:产品积分、贡献度、当前评价信息和评价历史。
销售渠道:柜面渠道、网上银行渠道、手机银行渠道、直销银行渠道等。产品规模:产品余额、产品客户数、单位时间内销售额、户均持有产品数等。
5、产品创新
通过对特定数据进行提取和分析、产品核算,清晰对比各类客户的产品覆盖率、产品使用率、产品黏度、产品收益,结合互联网舆情和友商的竞品信息,进而针对不同的客户群提出差异化的产品创新需求。
6、产品评价
根据产品后评价指标建设评价模型,实现对产品的系统评分。获取每个产品各指标数据,采用等级评分法等方法对数据进行标准化处理,反映每个产品的每项指标在组内产品中的排序。评价指标包括:产品预期偏离度指标、产品综合效益指标、产品规模指标、产品质量指标等。
7、风险防范支持
风险防范重点关注个人客户在银行体系内外的负面信息,银行体系内的负面信息包括:信用卡逾期、贷款逾期、黑名单信息等,银行体系外的负面信息包括:P2P/小贷公司等黑名单信息、公检法的诉讼案件信息、国家行政机关处罚信息(工商、税务、一行三会、协会等)以及网上负面舆情(虚假宣传、误导消费者)等,从这些数据出发,全面评估个人客户在银行的风险等级,为银行的风险防范提供决策支持。
8、客户服务
帮助银行从采集的客音数据、问卷调查、互联网舆情等数据分析客户的抱怨、诉求和需求,从而为客户制定有针对性的服务策略。通过分析客音数据,挖掘客户对产品的诉求和抱怨信息,在后续和客户接触时,提供更符合客户预期的信息。
基于360°用户统一视图,客服人员能全方位了解客户的基本信息、购买历史、投诉历史等,从而可以给客户推荐更合适的产品。
百分点银行大数据解决方案的价值
1、为银行建立用户数据中心,让银行更深入的了解用户,帮助银行实现以用户为中心的战略转型。
2、通过完善的大数据平台和针对性的大数据业务应用,提升银行用户体验,拉动银行收入,以及更有效的控制银行风险。
关键词:医疗CT,光纤通信,SPARTAN6
引言
伴随着科技的飞速发展, 人类对医疗卫生的重视程度也越来越高, 对医疗器械的现代化程度要求也越来越高, 然而作为全球高新技术产业竞争的焦点领域, 我国的医疗器械产业发展相对落后, 从整个产业链来看, 我国医疗器械基础薄弱, 缺乏核心竞争力, 与欧美等国家差距较大;从整个市场来看, 国内医院的大型医疗器械设备基本被西门子, GE, 东芝等大型跨国公司垄断。
CT:电子计算机X射线断层扫描技术, 由于其较好的成像能力和诊断能力是每个医院不可缺少的医疗诊断设备。然而长期以来我国的CT系统都主要依靠进口, 无自主研发能力。本文提出的一种医疗CT数据采集系统解决方案是目前国内仅有的几家能够自主研发CT系统的某公司的核心部分。
1 系统方案
在临床诊断过程中要求诊断设备对病人的伤害越小越好, CT (计算机X射线断层扫描技术) 采用X线成像原理, 要求对病人的辐射剂量越小越好。因此, CT扫描时间极短, 单位时间内采集到的数据量大。CT数据采集系统就需要在短时间内将大量数据传送到数据重建柜进行数据的重建。由于短时间内要进行大量的数据传输, 因此数据率就大, 整个系统的频率就高。本系统采用XILINXSPRTAN6 LXT系列FPGA进行整体的方案实现, 采用源同步LVDS差分信号进行近端数据传输, 采用自定制光纤协议进行版级之间的数据传输, 采用基于IEEE802.3Z的标准UDP以太网进行数据的远距离传输。整个系统的主要部分在单块FPGA内纯逻辑实现, 不调用软核, 不外挂芯片, 功耗较低, 频率高, 速度快。本系统的核心模块包括:源同步模块, 标准以太网模块和自定义光纤通信模块 (如图1) 。本文重点介绍整个数据采集系统的实现原理及具体方式。
2 源同步模块
2.1 同步方式的选择
在数字信号传输的过程中, 根据数据和时钟的关系通常可以将系统的同步方式分为三种:系统同步方式, 自同步方式和源同步方式。系统同步方式指传输数据的双方工作在同一系统时钟下, 不需要进行复杂的时钟恢复过程, 因此采用系统同步的方式进行数据传输实现简单, 但是系统同步不适用于较高数据率的传输。自同步方式指在数据发送端经过数据的编码调制将时钟嵌入到数据中, 在接收端通过CDR电路对时钟和数据进行再恢复, 自同步方式适用于高数据率的远距离传输, 但其实现过程较复杂, 成本较高。CT数据系统近端的数据传输采用源同步方式, 源同步指发送端将数据和时钟对应于某一特定关系进行传送, 在接收端通过接收相应的时钟对数据进行再恢复。源同步的方式通常采用LVDS低压差分信号进行数据的传输, 抗干扰能力较好, 数据率最高能够达到1Gbit/s, 满足近端数据的传输要求。
2.2 编码方式的选择
在高速数据传输的过程中由于数据率较高, 为了保证较低的误码率, 通常需要对数据进行编码和差错控制。本系统采用基于IEEE802.3标准的CRC-32编码及8B10B编码。在FPGA中, 采用并行CRC算法能够充分提高数据的编码效率, 本系统在采用主频时钟125M的情况下, 能在仅有32ns的延迟下将一组任意长度的数据进行编码并传送。采用串行源同步方式进行数据的传输, 经过8B10B编码以后保证了数据的直流平衡, 并且能够利用编码以后的K码进行数据帧的识别, 有效保证了数据帧的完整性。
2.3 源同步模块的具体实现
本C T数据采集系统采用SPARTAN6 FPGA进行数据源同步的发送和接收。本小节具体介绍源同步数据的接收部分, 数据的发送部分的实现方式基本相同。在源同步的接收端, 将IOB配置成双端模式, 通过IOB接收来自发送端的时钟和数据, 将接收到的LVDS双端信号经过IBUFGDS模块变为单端信号。由于SPARTAN6的IOB中自带IDELAY数据延迟模块和ISERDES数据串并转换模块, 因此将单端的时钟信号输入到IDEL AY模块进行时钟的延迟控制和ISERDES串并转换, 然后再将该时钟通过BUFIO2输入到BUFPLL进行倍频得到接收端的快时钟和供内部使用的慢时钟。数据的对齐则是通过状态机控制其IOB中的SERDES模块和IDELAY模块, 数据的接收是通过BUFPLL得到的快速时钟, 数据的处理是通过BUFPLL得到的慢时钟。
3 标准以太网帧的实现
3.1 方案论证
传统的以太网通信通常会有10M, 100M, 1000M, 甚至更高的速率, 在CT数据采集卡中, 传统的100M以太网无法满足要求, 必需采用1000M甚至更高的以太网进行数据的传输。用FPGA实现以太网最简单的方法是使用FPGA的软核或者自带的硬核, 比如通常我们所说的NOISII, EDK, 嵌入在FPGA里面的A R M等, 甚至我们可以采用传统的FPGA+ARM的方式来达到我们所要求的设计目标。为了最大限度的降低成本, 本设计采用SPARTAN6 LX45T进行数据的采集, 在FPGA中实现以太网, 最先考虑的是用软核去实现, 软核实现不需要深入了解底层原理及具体的通信协议, 相对简单。但软核有个不足, 软核的速率达不到我们的要求, 据有关资料显示, 基于spartan6系列的软核实现以太网, 主频不到100M, 通信速率远远达不到1000M, 因此要在spartan6中实现标准1000M以太网只能采用纯逻辑的方式进行数据桢格式的转换。
3.2 以太网标准及实现手段
传统的OSI七层体系 (如图2) [4]:应用层, 表示层, 会话层, 运输层, 网络层, 数据链路层, 物理层;TCP/IP的结构体系分为:应用层, 运输层, 网络层, 数据链路层和物理层, 实现完整的以太网通信必须具备完整的4层结构体系。完整的以太网协议簇庞大, 用纯逻辑实现整个协议簇将消耗大量的FPGA资源, 且工作量大, 仿真工作复杂。考虑到CT数据采集的特点, 采用点对点的以太网通信并不需要绝对完整TCP/IP协议簇, 采用自定制的方式将达到我们的设计要求且实现方便。因此, 采用MAC地址固定, IP地址自获取的方式 (接收arp广播并提取对方IP, 将对方IP最后一位加1, 设定为FPGA端的IP地址) , 不另外编写ICMP等协议, 将大大减少项目开发的时间。
对于FPGA底层, 采用运输层接入用户数据, 按照标准以太网形式将数据封装成完整的UDP数据格式, 向下再封装成IP数据报形式:增加IP数据报的版本号, 生存时间, 原地址及目的地址等信息, 向下再封装成MAC数据帧, 增加数据的MAC地址及CRC校验等信息。在实现完整的四层以太网的过程中均采用HDL语言进行描述, 不调用IPCORE。
为了充分利用FPGA并行处理的优势, 增加数据处理的速率, 数据通常采用并行的方式进行打包和编码。但是光纤通信传输的是串行数据, 一对, 两条, 一收一发的方式。因此, 借助于FPGA的ROCKET IO模块, 将并行的数据输入到FPGA的GTPIP CORE将数据串行化及8B10B编码等, GTP就相当于传统意义的PHY, 在内部完成了PCS (物理编码子层) 和PMA (物理媒介适配层) , 从PHY出来的信号直连MDI接入现成的光模块, 光模块经过光电转换将电信号转换成光信号在链路中进行传输。
4 IEEE802.3z光纤协议的实现
自协商协议:
由于在以太网通信过程中, 有10M的、100M、1000M甚至10G的, 为了支持多种不同标准的混合通信, I EEE802.3Z提出了一套自协商协议 (Auto-nego) , 通信的双方通过互发各自的通信能力信息, 进行协商, 从而达到最佳的通信模式, 且只有当自动协商完成以后双方才能进行通信。自协商通常用于通信速率、流量控制, 状态等信息的交互, 其基本单元为一个16bit的寄存器, 通过配置这个寄存器达到协商的目的。如下图所示:rsvd为保留位, 默认为0, D5为全双工标志位, D6为半双工标志位, 为1时有效D7和D8和流量控制相关, RF1、R F 2表明通信双方自协商的结果。D14为应答标志位, NP为下一页标志位, 通常用于协商更为具体的内容, 在本数据采集系统中将其置为0 (图3) 。
在本系统的设计过程中, 由于数据量大, 且连续, 因此采用传统的Annex31B标准进行流量控制及重传基本不可能, 数据的可靠性只能靠系统的设计及链路的链接进行加固, 且用FPGA实现流量控制较复杂且需消耗大量的逻辑资源, 因此我们不进行流量的控制, 数据直接编码进行实时传送。又由于上行数据量大, 下行数据量较少, 因此, 上行链路采用UDP协议进行以太网格式的传送, 下行链路直接用串口替代。这样做还有一个好处就是将数据和指令进行了完全的分离。具体实现过程如下:
本设计用6个状态实现自动协商的过程:IDLE, READY, CONF, ACK_CONF, SYNC, AUTO_OK;上电复位以后, FPGA进入IDLE状态, 连续发送IDLE指令, 使对端能正确识别FPGA的通信速率, 当接收到3个以上的对方IDLE反馈以后, 状态机跳转到READY状态, 发送配置准备状态, 表明FPGA方已准备进行配置, 在收到3个以上的PC反馈过来的配置准备状态指令以后, 提取对端的通信模式的信息, 写入FPGA的寄存器, 然后将其D14置1, 作为反馈 (FPGA的实际通信能力也许并不和对方对等, 这样设计简化了自动协商的过程, 消耗的逻辑资源更低) , 表明FPGA和PC具有相同的通信能力, 一直发送反馈, 直到接收到PC反馈的具有3个连续相同的配置能力的配置指令的字符, 则跳入到SYNC, 发送到同步指令, 如果收到对方的3个连续的SYNC指令表示自动协商成功, 否则协商失败, 重新跳入到IDLE进行协商, 当跳入到AUTO_O K状态则可以进行用户数据的发送, 如图4为自动协商的过程。
5 实测数据分析
5.1 CT数据采集系统要求
在医疗诊断过程中, 尤其是医疗影像成像系统中对诊断设备的成像精度有着较为严格的要求, 对设备的故障率有着严格的控制, 在医疗CT中, 数据采集系统作为纽带连接着前端探测器和数据重建柜, 其传输误码率将对整个系统的性能起着关键性作用, 在实际应用中, 探测器离数据重建柜大概有4米左右的距离, 单次曝光平均数据率最高达800Mbit/s, 每次成像曝光达1000多次, CT数据采集系统要求从探测器接收数据, 实时无误差的传送到数据重建柜。
5.2 测试手段及可行性分析
以太网传输性能测试的最实用简单的方法是采用网络测试仪等相应的测试仪器, 但应用于测试网络丢包的仪器往往价格昂贵, 且产品性能不一。在本CT数据采集系统中, 不采用相关的仪器进行数据的完整性测试。本测试采用在FPGA底层自动发送固定数量的含有特征值的大数据包, 通过wireshark接收并计数观察发送的数据包与收到的数据包个数是否相等, 如果相等则无丢包现象;观察wireshark接收到的数据包是否有CRC错误判断是否出现了误码 (出现误码则wireshark接收到的相应数据帧将变红) 。在经过大量测试可知:CT数据采集系统不停转发探测器数据包, 并经过8米光纤传输到数据重建柜, 在发送百万组数据包的情况下数据无丢包现象, 且只有1~2组数据出现误码, 满足设计的要求。wireshark抓包结果如图5 (此测试源IP固定, 数据量为100万组) 。
6 结语
采用纯逻辑以太网UDP协议, 根据CT数据传输的特点采用自定制的方式进行CT数据采集系统的开发在保证数据可靠性的前提下降低了整个系统的成本, 且消耗的逻辑资源较少。具有开发周期短, 上层软件开发简单等优势。
参考文献
[1]汤琦, 蒋军敏.Xilinx FPGA高级设计及应用[M].北京:电子工业出版社
[2]谢希仁.计算机网络 (第五版) [M].北京:电子工业出版社
[3]Gary R.Wright, W.Richard Stevens等著.TCP/IP详解 (卷1) [M].陆雪莹, 蒋慧, 等译.谢希仁, 校.北京:机械工业出版社
[4]www.xilinx.com;Xapp1064
戴尔的新数据中心解决方案(DCS)部将把公司的按订单生产的业务模型从PC扩展到大规模的服务器群。戴尔公司副总裁兼DCS部总经理Forrest Norrod说,DCS将利用最好的电源与冷却技术、网络技术、主板、机箱和封装来优化整个数据中心。
Norrod说,戴尔希望只向业界最大的网络公司、企业界前十或二十家超大模型数据中心销售服务,潜在的客户包括金融公司、在线零售商、政府与学术机构、石油公司以及Amazon、Google、微软和Yahoo等主要互联网公司。
他表示,此前,拥有大型数据中心的公司不得不设计自己的网络,采用通用产品。现在,戴尔将为他们提供优化的网络设备、存储和架式服务器。尽管客户数量很少,但仅前二十几家公司拥有的服务器数量就占近10%的市场份额,市场前景非常巨大。目前,戴尔已经接受了十几家客户的预定,已经向一半预定的客户发布了样机或产品级设备。
【数据监控系统解决方案】推荐阅读:
系统信息数据集中监测06-06
数据库审计系统10-07
政府大数据分析系统07-26
商品大数据分析系统09-20
数据库安全审计系统10-08
APP数据分析系统11-02
土地利用数据管理系统11-13
共青团数据采集系统09-20
铁路网上售票系统数据库设计09-17
浅谈高速公路数据通信系统09-28