sql企业仓库管理系统(精选10篇)
客户键
•客户名称
•年龄
•性别
•电子邮件
•城市
•地区
•国家
相应的 Analysis Services 维度应具有七个属性:
•客户(整型键、以“客户名称”作为名称)
•年龄、性别、电子邮件、城市、地区、国家
数据中存在一种自然层次结构,{国家、地区、城市、客户}。出于导航目的,应用程序开发人员可以选择创建第二个层次结构:{年龄、性别}。商务用户并没有看到这两个层次结构行为方式之间有何区别,但是,自然层次却可以从深谙层次关系的索引结构(对用户隐藏)中受益。
新维度结构的最大优势在于:
•维度不需要加载到内存中。因此,维度可以非常巨大(经测试,Beta 2 可支持上千万名成员)。
•用户可以添加和删除属性层次结构,而不必再重新处理维度。属性层次索引结构属轻型结构,在后台计算,并不影响多维数据集查询。
•重复的维度信息被去除;使得维度更加轻巧。
•由于引擎为并行处理创建了机会,因此维度处理信息性能得到了改进。
维度类型Analysis Services 中包括两种维度类型:常规层次类型和父子类型。Analysis Services 2005 新增了一些重要的新维度结构。其中有些结构的名称是临时的,但是,这些名称都是 BI 文献中较为通用的。
•角色扮演:维度扮演着一些重要角色,具体哪些角色要依上下文而定。例如,[时间] 维度可能会被 [订购日期] 和 [发货日期] 重用。在 2005 中,扮演着某些角色的维度只需存储一次,便可多次使用。这样便可使所需的硬盘空间和处理时间降至最低。
•事实:事实或“退化”维度与事实(如事务编号)具有一一对应的关系。从本质上讲,退化维度不能用于分析,但可用作标识,以定位特定的事务,或识别组成聚合单元的事务。
•引用:维度并不能够直接和事实数据表发生联系,但可通过另一维度间接发生联系。这方面的原型示例有 [地理位置] 引用维度,它同时关联了 [客户] 和 [销售团队] 两个维度。引用维度可能由数据提供程序提供,并包括在多维数据集中,不必再修改事实数据。
•数据挖掘:数据挖掘维度支持从数据挖掘模型(包括群集、决策树和关联规则)生成的维度。
•多对多:这些维度有时被称为多值维度。在大部分维度中,事实能且只能连接一个维度成员。多对多维度解决了多维度成员问题。例如,银行储蓄客户可以有多个帐户(支票、储蓄);一个帐户可以有多个客户 (Mary Smith、John Smith)。[客户] 维度有多个成员,这些成员都与一个帐户事务相关联。在维度不能够直接关联事实数据表时,2005 多对多维度支持复杂的分析,并扩展了维度模型,使之超越了传统的星形架构。
量度组和透视Analysis Services 2005 引入了“量度组”和“透视”,以用来简化分析数据库的设计和部署。在 Analysis Services 2000 中,鼓励用户构建多个物理多维数据集。每个多维数据集相当于一个特定的维度,通常还相当于一个特定的关系事实数据表。虚拟多维数据集以一种对商务用户透明,而对开发人员设计又不太复杂的方式,合并多个事实数据表。
在 2005 中,最通用的方案将具有一个包含一个或多个“量度组”的物理多维数据集。量度组中的事实数据具有特定的细化程度(由维度层次的交叉点定义)。查询根据需要被自动定向到不同的量度组。在物理层上,分区(与 Analysis Services 2000 分区类似)在“量度组”上定义。
大型应用程序将为用户提供大量的维度、量度组,而且还会给导航带来难度。在“多维数据集编辑器”的“透视”选择卡中定义的“透视”可以创建一个多维数据集的子集“视图&rdqu
一、公司现状
该公司没有物流中心, 它们主要通过设立的13个仓库与家具制造商和进口商进行物流活动。该公司的大部分家具从亚洲进口, 最终运送到顾客手中, 据资料统计, 每个仓库每天进出库的家具超过150件。以下是公司物流活动现存在的问题:
首先, 由于错误的装卸搬运方式直接导致该公司家具生产量的下降。因此正确的装卸搬运方式已成为该公司面对的一个重大挑战和节约企业经营成本的重要环节。在不同的仓库进行货物流通时, 还应考虑货物运输路线和日常盘点等因素, 可根据以上因素建立相关的职能部门, 并对其进行规划管理。
其次, 导致经营成本增加的主要三个因素是:
1.货物搬运造成的破损
不必要的搬运是导致货物破损的主要原因, 其损失的费用对该公司的财务已经构成了威胁。据估算由于货物破损, 客户返还的货物就已达到所有出货量的10%, 被返还的大部分货物放在库房, 因而又增加了货物的修理的费用。
2.额外费用的支出
货物的滞期费和每日日常支出的费用都增大了公司的经营管理费用的开支。滞期费是由于仓库设施设备运作效率低而导致货物延迟装运出库所损失的费用, 滞期费的产生不仅增加了运营成本, 还延误了客户订单所要求的时间。每日津贴费 (集装箱搬运时, 由于不及时卸下所损失的费用) 是常见的, 主要原因是日常缺乏对集装箱进出量的统计。
3.货物流通效率低
不恰当的规划将会延缓货物与信息的流动, 从而增加运营成本。物流中心仓库从表面上看是为储存商品之用, 但实际上这个区域是商品采购、运输、加工和配送的中转站, 也是物流中心的中心枢纽。它对提高物流中心的整体效益有着重要的影响。所以说仓库规划合理与否关系到整个物流中心的作业效率。
二、优化具体措施
仓库优化设计是在以灵活性、精益生产、相关理论的基础上, 实现设计的最终目的:使该公司提供高质量的服务, 缩短订单响应时间, 提高货物流通速度, 最大限度地利用仓储空间, 合理规划存储系统来提高物流运作效率。由于几乎所有家具公司都是从同一供应商进口产品的, 因而成本和服务成为关键性决定企业经营成败的要素, 要提高这两方面的竞争优势可以通过优化仓库管理来实现:
1.最大限度地提高储存效率, 由于家具可储放在不同的仓库, 这就应考虑在不同作业方式的前提下, 充分利用仓储空间和设施设备。
2.最大限度地减少经营成本, 并优化装卸搬运设备的配置, 尽量减少处理破损的货物, 消除不必要的操作步骤, 减少额外费用支出, 最终达到物流成本的下降, 提高企业经济效率。
3.最大限度地提高存货周转库存的做法, 通过FIFO的库存管理技术, 提高库存管理速度
当前, 全球家具业产品供应链的的不断迅速变化, 现在的解决方案并不一定适合不断变化的需求。客户对新产品的进入的需求模式也可能不完全适应优化仓库。因此公司实施的解决方案必须可以支持不断变化的业务。
三、操作步骤
仓库优化有两个主要阶段分别为规划阶段和执行阶段如下图:
1.规划阶段
通过每个受影响的单位代表组成职能小组, 以确保项目的成功完成。团队组织是跨越功能边界的, 它包括人员的安全, 仓储, 信息技术, 金融, 交通, 及高级管理人员。
数据收集是第一步, 也是很重要的环节, 它将有助于确定规划因素, 如空间的需求, 产品销售率和库存水平。因为不同的季节, 产品的生产线及销售量都是不同的, 所以根据不同的季节确定不同的规划因素是非常重要的。
下一步是指派产品优先储放, 靠近出入口和接收出入库。优先货物储放考虑的评价基础上销售率, 也就是说对于在产品质量相同的情况下, 销售速度快的产品要靠近出入口。
2.下一阶段执行仓库管理优化的过程
这里对仓库空间的要求和库存管理要求分为三大类实现仓库管理优化:本季节所需的峰值清单, 高峰期所需空间临时溢出的情况, 以及所需空间执行先进先出制度。
库存水平不仅指实际的货物储存量还应当考虑到货物储存高峰期时的库存量。货物储位空间需要受到货物的库存水平影响。根据其实际库存和高峰期库存的差额, 估算出每个产品总存货其中在旺季会增加从3%到15%的储存量。由于货物出入库的方式是先进先出, 为了方便货物出入库, 要求货物在仓库内流通时分配给货物一定的额外空间。
在仓库经理的指导下, 根据每个产品类别可知哪些产品可堆叠, 这样对以后货物的进出库就不会带来损失。堆叠规则的主要标准是先对产品质量和重量进行分析, 通过分析可使仓库的有效利用空间提高到85%以上, 并能保证货位有充足的储位空间充足。当空间有限时, 可用其他一些方法来解决这个问题。结合产品季节上的异同, 将对其产品进行归类分组, 合理的规划方法是把每一类相邻, 并减少整个空间, 以用来处理高峰季节的溢出空间的需求。
因此执行阶段对仓库进行完整的布局主要包括产品定位, 空间布局 (基线, 先进先出, 溢出的空间) , 和质量控制及分期领域。然后是开发作业程序与满足客户需求.第三个阶段主要问题是培训员工, 提高员工关于如何照顾货物, 保持货物先进先出和提前储存的作业能力, 例如通过15分钟的客户窗口预约系统, 客户服务人员可以提前安排卡车。这就减少了等待时间及其相关费用并确保该订单的快速反应以满足客户的需求。
四、优化结果
公司在3个月内, 通过对仓库进行优化管理获得了一定得效益。货物占有总仓库的面积减少了28%, 租金节省了约36%, 经营运作的有关费用也有所下降。优化改进后的仓库有足够的能力来维持高峰库存情况的出现, 并将先前已经造成产品储存高峰期所需空间不够情况解决, 实施的新回升聘任制也消除每日津贴费, 降低了经营管理成本, 提高了企业的经济效益。
通过建立一个精干、敏捷的系统可达到仓库优化管理的目标, 在这个系统中, 的规划要素对仓库的优化管理是非常重要的, 确定的规划要素的具体做法和这个家具公司一样。在这个过程中不管是仓库空间因素或使用的其他方法, 该公司的战略价值必须是确定的, 并必须有人正确的参与, 这样该项目才能够取得成功。
参考文献
[1]Donald J.Bowersox, David J.Closs, M.Bixby Cooper.Supply Chain LogisticsManagement[M].ChainMachinePress.2007:225~229
[2]Reid, Kevin, James, Don:A case study:Reducing the cost per order and improving productivity within a chemicals distribution center[J].JCT CoatingsTech.2004, 1 (10) :94~97
关键词 钢铁;成本;数据仓库;商业智能
中图分类号 F2 文献标识码 A 文章编号 1673-9671-(2010)112-0185-01
1 数据仓库技术特点
为了更好的使用数据仓库技术,我们首先要明确数据仓库能够做什么,与常规的ERP业务系统有何差别。广义的数据仓库技术又称商务智能,英文为Business Intelligence。从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。
1)数据库是面向事务的设计,数据仓库是面向主题设计的。
数据库是为捕获数据而设计,数据仓库是为分析数据而设计。ERP等数据库系统通常是一个联机业务系统,随着业务的发生在不断的创造业务数据。数据仓库等商业智能工具一般不会主动的创造数据,而是收集整理已有的业务数据进行分析、展现。数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。
2)OLAP委员会对联机分析处理的定义为:使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。目标是满足决策支持或多维环境特定的查询和报表需求,它的技术核心是“维”这个概念,因此OLAP也可以说是多维数据分析工具的集合。
3)数据挖掘是通过归纳的方式,在海量数据中主动找寻模型,自动发掘隐藏在数据中的价值信息。
2 钢铁企业启动成本数据仓库开发的前提条件
1)较为完整稳定的成本相关数据来源。ERP等业务系统已经较为成熟,能够产出较为全面完整的业务数据,数据质量能够得到保证,否则数据仓库这样一个分析系统就会成为无源之水。在钢铁企业中主要体现在:①有一个完整稳定的计量管理体系,各生产工序的产耗等基本成本信息能够完整收集并有较高的可信度;②企业的成本管理系统及相关产副品存货、能源、销售等业务系统能够自动及时的收集成本相关业务数据。
2)明确的成本分析主题需求。ERP这类业务系统一般是先有业务,然后再构建系统,目标通常较比明确。而数据仓库作为一个分析系统是在已有的数据基础上进行提炼,从中获取有用的信息和知识,其目标往往是不明确的。这就需要在数据仓库开发前对成本数据甚至相关业务数据有一个整体的把握和认知,从中提炼分析主题。
3 成本数据仓库建设的一般路径
成本数据仓库建设的一般路径-整体规划,分步实施,由易到难,逐步深入。成本数据仓库建设不可能一步到位,它是随着企业的管理水平和业务人员的分析能力而逐步扩展,由基础的成本数据分析到成本专题分析,再到成本数据挖掘,成本分析层次逐步提高。
1)基础应用-综合成本分析平台。在成本数据仓库引入初期,可以考虑先将开发成本报表系统,它是BI的低端实现。①成本报表是需求通常比较明确,源头数据范围主要集中在成本管理数据,开发难度较低;②通过建立综合成本分析平台,满足财务管理部门日常成本分析的需要,提高财务人员工作效率,使财务人员从大量重复的常规手工成本分析报表中解脱出来,使数据仓库的效益尽快发挥出来;③将报表从ERP系统中转移到数据仓库,可以有效降低在线业务系统的运行负荷,使ERP和数据仓库做好各自善长的事情;④数据仓库报表系统并不是ERP报表的简单复制,它是对成本管理数据的重新审视,从中多维分析角度构建成本分析主题。
2)中级应用-成本专题分析。在数据仓库的运用比较成熟以后,可以针对成本管理领域的难点问题梳理出成本专题,建立专门成本分析数据集市。钢铁企业成本管理中常见专题分析如下:①针对质量成本损失建立质量成本数据集市;②针对钢铁产品品种决策问题,建立明细产品成本计算和盈利能力分析数据集市,为品种结构战略分析、接单生产组织和品种拓展以及公司用户管理和差异化定价提供决策支持;③为解决成本标准制定问题,建立成本指标分析数据集市,为基层生产与管理人员提供现场成本管理工具。
3)高级应用-自主分析、数据挖掘。在培养一批能够熟练运用系统分析工具的业务专家后,有一些企业已经开始进入高端BI,叫做数据挖掘。通过使用OLAP和数据挖掘工具,从业务数据中提炼知识。通过将先进的数据挖掘技术引入到钢铁生产成本管理领域,可以从大量的钢铁生产成本历史数据中获得潜在的规律和发展趋势,以指导钢铁生产,降低产品成本。数据挖掘的方法很多,目前比较常用的有关联法、聚类法、相关性分析和偏差分析等。常用的技术有数理统计分析、神经网络、专家系统、智能代理、决策树和遗传算法等。
4 成本数据仓库建设中应注意的问题
1)数据源质量风险:源头系统数据缺失,数据异常。①严格执行源头数据源头调整原则,系统逐级确认;②数据仓库系统采用合理的数据清洗规则,异常数据报警反馈机制,并提供异常数据修正机制。
2)需求确认风险:需求不明,需求无法按时定案,反复改动、调整,影响系统开发进度。①紧密围绕项目目标,进行必要的需求控制,避免需求泛滥;②建立跨部门的项目工作小组,各部门专人负责,明确责任;③细化需求分析节点,渐进式分阶段的实施与必要的项目总结机制保证。
3)系统平台风险:选型不当,性能无法满足。①系统平台选择注重成熟性和可扩展性,满足业务系统扩展、公司规模扩张和产品发展的需要;②设备采购与项目开发同步进行,需要保证项目过程中每个节点所需配套的设备采购情况按时到位。
参考文献
[1]数据仓库.(Building the Data Warehouse),W.H.Inmon 著,机械工业出版社出版.
[2]杨文灏.数据仓库、OLAP和数据挖掘的比较分析[J].金融电子化,2008,2.
关键词:仓库管理,信息化,物资
仓库管理现代化是将现代科学和社会科学相融合应用于企业仓库,提高管理和服务水平。通过信息技术将各个操作环节合理连接、合理综合物流产业,拓宽仓储业功能领域,从而带来更多的经济效益。实现仓储现代化是将仓储设施、管理手段、先进方法综合运用,三者相互协调才能最大限度的实现现代化管理方式,若缺少其中的任何一项,都不能实现现代化。
1实现煤矿仓库管理现代化的重要意义
煤炭工业要逐步采用新技术、新装备、新工艺,改变煤炭工业的技术面貌,加速煤炭工业的建设,满足国家对煤炭的需要、还要结合人才的培养,人力资源的开发和科研事业。根据上述目标来考虑仓库管理现代化的问题。逐步普及一般机械化,改善炮采工作面的装备,搞好采掘综机化、运输连续化、提升联动化和洗选自动化等,要求仓储物资的品种规格日益多样复杂;在供货的时间上,要求仓库送货发货更加及时准确;在维修保养上,要求仓库的维护保养做到科学合理,以保证仓储物资的完好。如果,煤矿物资供应管理部门不能为煤炭生产建设提供和储备数量众多、品种齐全、质量合格、技术先进、供应及时的生产资料,煤炭工业的现代化也是不可能顺利实现的。
2仓库管理现代化的特点
为了实现仓库管理现代化。企业一方面花钱培养仓储业务技术人员,鼓励这些人把仓储管理作为自己终身的职业;另一方面,又投入了大量的人力、物力、财力,研究和发展仓库管理现代化,并已取得较大的进步。主要特点有:
2.1在仓库的建筑上,大量采用高层立体仓库
高层立体仓库是一种设置有高层立体货架,将过去的水平储存物资的仓库改成高层化,并配备有一整套机械化自动化的搬运装卸设施的新型仓库。高层立体仓库的出现,是国外一些发达国家扩大仓库储存能力的要求,同时也是土地价格昂贵的矛盾发展的产物。
2.2搬运装卸设施机械化自动化程度越来越高
许多发达国家的仓库,已经解决了搬运作业中体力劳动的问题。仓库从货物的装卸、分析、码垛、拆垛到输送,实现了机械化、自动化操作。一般的叉车、龙门吊、堆垛机、汽车吊等,正在被形式多样、更为灵活、功率更大的叉车和堆码机等所代替。
2.3电子计算机广泛用于仓库的管理
国外许多仓库,特别是高层立体仓库,都由电子计算机控制,从仓库储存计划的编制、记帐、制表、开票,以及物资的出入库等,都由计算机代替,这就大大提高了仓库管理的迅速性和正确性。
2.4注重物资仓储合理化和经济效果
在仓库管理上,尽量做到库存少(甚至无库存)、周转快、方便用户、加速流通。同时还把过去那种物资的包装、装卸、保管、运送分隔开来的作法,改变为将这几个环节有机地联系成一个物流体系,并且,运用线性规划使搬运装卸和货物堆放合理化,运用现代库存理论制订最佳存货管理决策,以最大限度地节约流通费用。
3电子计算机在仓储业务管理方面的应用
3.1应用电子计算机进行仓储业务管理
可以大大减少数据处理的层次和书面资料及文件的往业,取消庞杂的账册,提高仓储管理的及时性和准确程度。使用电子计算机进行仓储业务管理,一般要求具备以下功能:
3.1.1建立账目功能就是利用电子计算机仓储能力强而可靠的特点,将库存明细账目,随时记录在磁盘或磁带上,以备查询、调用。
3.1.2入库功能是利用电子计算机输入设备,如光电输入机、键盘输入或卡片读入机等对入库物资进行记录,从而形成新的账目文件。
3.1.3出库功能当用户申请提取库存时,经批准后,在库存明细表中查询有无此种物资,如有,则在账目中消去调出量,并将有关信息登入,从而建立新的记录。
3.1.4查询功能查询功能是为了方便于仓库管理人员或货主、用户了解库存明细表及账目的情况。电子计算机能很方便地用各种查询手段来查询记录,并能迅速地整理成有序的表格,显示或打印输出。
3.1.5结算功能仓库管理工作,在月末、季末、年末都要进行必要的账目结算。采用电子计算机进行结算、速度快、准确无误。
3.2保证货物移动和信息流动的一致性是库存采用电子计算机进行控制的前提条件
应用电子计算机进行仓库作业管理时,只需用某种方法识别它,并随之将信息送给计算机,就可以实现货物在库内发生移动时由计算机跟踪,既从货物开始识别到出库为止的全部管理。
3.3电子计算机为出库、用户、社会提供有关信息
电子计算机是现代化信息处理的有效手段,运用电子计算机进行信息处理可以达到及时、准确、使用、经济的要求。
3.3.1电子计算机提供信息可作为仓储计划决策的依据。要使仓储计划制定得比较准确,复符合实际,就需要大量的、可靠的信息作为依据,而电子计算机对仓储管理中发生的出、入库物资的品种、数量、进货时间、出库频率以及库中结存等各类数据都有详细的记录。
3.3.2电子计算机提供信息可以对仓储生产过程进行有效的控制。在仓储生产过程中,计划任务情况、进度安排情况以及完成情况等一系列信息是经常流动的,故被称之为信息流。
4现代化仓库的特点
4.1现代化仓库可以节约大量的土地
现代化的高层货架能合理地利用空间,使单位面积存放物资的数量得到提高。
4.2现代化仓库可以节省劳动力
由于现代化仓库采用了电子计算机等先进的工作手段,并采用了高效益的巷道堆垛起重机等设备,使仓库生产效率得到了很大程度的提高,减轻了工人劳动强度,劳动条件得到改善。
4.3现代化仓库出入库作业速度快、准确性高
由于现代化仓库采用了先进的控制手段和作业机械,以最快的速度、最短的距离取送货物,缩短了物资出入库时间,提高了仓库的存储周转能力。
4.4现代化仓库有利于物资的保管
由于是采用了货架———托盘系统,使用了托盘系统,使搬运作业更安全可靠,也避免了物资包装得破损、散包等一些事故。现代化仓库有良好的密封功能,为调节库内温湿度做好物资的保管保养提供了良好的条件。
4.5现代化的仓库有利于提供企业仓储管理水平
采用了计算机管理以后,加快了处理各种业务活动的速度,缩短了出库的时间。若仓库计算机与企业计算机系统联接,则整个企业的生产销售及库存都得到及时的控制和安排,有利于提高整个企业的管理水平。
一、数据仓库是企业CRM的核心
面对日益激烈的市场竞争,客户越来越成为企业最重要的资源,企业要理解客户、影响客户就必须通过不断地获得与客户相关的信息,了解客户,进而为客户提供个性化服务,从而提高客户的满意度和持久度,为企业创造利润。然而在企业中客户数据可能存在于订单处理、客户支持、营销、销售、查询系统等各个环节或部门,产生这些数据的系统是专门为特定的业务设计的,并拥有关于客户的部分信息,因此企业要想成功实施CRM首先必须把这些分散的客户信息集成起来,这涉及到CRM如何与企业现有的系统进行连接,目前一种普遍的做法是将CRM与数据仓库相结合,建立时需要考虑以下几方面的因素:
1、CRM中数据仓库的是客户数据的集成。CRM数据仓库的建立需要把企业内外的客户数据集成起来。从这些不同信息源中对个别顾客进行分析、识别,并寻求这些顾客间的相互关系,如有一些顾客可能有亲属关系。就客户数据集成来讲,主要包括两个方面:其一,企业需具有对顾客进行匹配和合并的能力。其二,记录的匹配和合并的完整性和准确性是很重要的。此外,如果把本不应合并的记录合并了,这时对客户的看法也是歪曲的。这些不完整、不准确和不可靠的匹配都会导致不准确的分析结果和决策,导致企业费用的增加和利润的减少。因此,对于CRM客户匹配和建立完整准确的数据仓库来讲,姓名和地址这两个信息片断是很重要的,没有姓名和地址所进行的客户匹配是不充分的。
2、保持已有客户和添加新客户与别的类型的数据仓库有着诸多不同,CRM数据仓库的维护更具有挑战性。CRM中的数据仓库是逐渐更新的,而不是一次性完全更新的。这主要基于两个方面的原因:数据仓库所利用的信息源中的历史数据经过一段时间后可能被擦掉;在每次更新时,都重新进行客户记录匹配和重新建立数据仓库的做法工作量太大,不可行。比较合理的做法是,在保留已有数据的基础上,每次更新时都加入新的数据。首先识别新数据是关于新客户还是关于数据仓库中已有客户,如果是新的客户数据,就要给这个客户一个独立的标识,在数据仓库中插入一行,如果是关于已有客户的数据,就要对这些客户记录的相关信息片断进行更新。把客户数据仓库的更新与销售数据仓库的更新做一个比较。每个既定的时间点,新的销售数据被加入到销售数据库中。在此过程中,不需要把新数据与已有数据进行匹配,不会对已有的数据进行修改。这种更新是全新数据的载入,比上面所讨论的客户数据的更新要简单。
3、建设和维护企业CRM数据仓库的工具选择。建设和维护企业CRM数据仓库有两种类型的工具。其一是转换工具,其二是清理工具。前者满足了一般数据仓库的建设和维护需求,通常熟悉的数据仓库工具属于这个行列,它的主要功能是数据抽取、转移和数据载入。但它没有姓名和地址清理、模糊匹配和合并的功能,与已有的数据库的同步化能力比较弱,客户合并的能力也很弱。其主要目标是为OLAP服务,而不是详细的客户水平的数据。后者则可以满足一些特别的需求,但没有提供通常的建设和维护数据仓库的功能,即没有提供抽取、数据载入和更新、元数据管理的功能,其核心工作是清理和匹配。尽管转换工具和清理工具的功能在某些环节上有着交叉,但它们大部分功能是互补的。因此在建设CRM数据仓库的时候,对这两种工具都是需要的,以实现数据和元数据层次的集成,而这种集成常常很费时间,成本也较高。
二、数据仓库企业CRM系统的构建
数据仓库是CRM的灵魂,在CRM中充分发挥数据仓库的作用是CRM系统成败的关键之一,企业利用数据仓库和数据挖掘技术加强客户关系管理势在必行。通过企业CRM数据仓库的建立,实现全部客户数据的集中存储和管理,使不同部门接触客户后的经验能立即与其它部门分享,从而支持整个企业的相关数据分析,提供面向整个企业的决策功能。同时随着信息技术的不断发展,各企业通过建立多种与客户交流的渠道,将面对面、电话接洽、E-mail、Fax或信函以及Web访问协调为一体,以提供更快速和周到的优质服务吸引和保持更多的客户。
以数据仓库为基础的企业CRM系统构架如图所示:
从图中可以看出以数据仓库为基础的企业CRM系统包括三个层次:
1、信息采集系统。数据仓库是企业CRM的基础,可以满足系统对各方面数据的要求,包括客户基本信息、产品、交易信息、反馈信息等等。这些数据可以分为两部分:一是前台数据即来自企业外部的数据,包括客户基本信息(如客户姓名、年龄、性别、地址、联系电话等)、客户行为信息(如客户订货情况)等等,这些信息是海量的,而且是分散的,企业可以通过多种渠道(展销会、Web、电子邮件等)完成CRM数据收集。另一部分数据是来自于企业内部日常运作过程中所产生的信息流,称为后台数据,包括企业产品信息、服务信息、资产数量及其分布情况等等。它们可能分布在不同的硬件、数据库、网络环境中,为不同的业务部门服务。从结构上看,它们是相对独立的,这部分数据一般通过企业内部网络链实行信息的共享与集中。因此,与前台海量数据相比是比较集中的,也比较容易获得。通过信息采集系统企业前台与后台数据被抽取到CRM数据仓库中,利用数据仓库的星状资料模式(Star Schema)的思想,建立数据仓库模型,把数据集成一个统一的整体,得到提供面向全局的数据视图,再以此为基础进行抽取、集成与转换,并以客户信息数据仓库的形式存储。
2、客户服务支持系统。企业建立CRM系统的目标之一是要留住客户,在很多情况下,客户的保持和提高客户利润贡献度依赖于提供优质的服务。因此,客户服务和支持对企业来说是极为重要的。客户服务支持为客户提供了客户服务热线、服务网站等功能。它是企业提高客户满意度、忠诚度从而达到留住老客户、发展新客户的一个重要手段。从数据流向来看,此时的数据应该是双向的。从功能上来看,客户服务支持系统一般包括了客户账号管理、服务合约管理、服务请求管理、联系活动管理以及客户普查等功能。通过这些功能,服务人员能快速地查询客户的服务合约确定客户的服务级别,并创建、分配客户的服务请求。服务人员还可以随时查询与客户的联系记录以及服务请求的执行情况。此过程也将充分利用CRM数据仓库的信息,如客户呼叫中心在为客户提供服务时需要实时查询客户基本信息(信用情况、账户情况等)。客户服务系统为客户的服务过程包括用户的反馈信息也将被CRM数据仓库所记录,以作为今后提高服务响应速度、改善客户服务,提高客户满意度,对服务人员进行考核的依据。
3、信息分析系统。如果对于企业CRM系统而言信息采集是一个起点,那么对所获得的信息进行分析则是支持企业决策的依据。企业CRM系统除了将各个渠道得来的数据,整理成全面、完善的CRM数据仓库之外,还应具备对信息进行分析的能力。在这里的信息分析有两个方面的含义,一是对客户行为的分析,目的是发现客户的偏好,预测客户的个性化需求,以便于企业设计符合客户需求的产品或服务,协助企业制定针对性的营销策略;另一个是对客户反馈信息的分析,目的是通过对“过程”、“客户状态”、“客户满意度”和“客户成本”的评估、检测和分析,帮助企业及时、准确、全面地掌握自己的客户服务水平、销售服务机会等情况。
事实上企业在日常的营运过程中储存了大量详细的客户轮廓的信息和客户交易厅行为的历史数据,这些数据经过抽取、转换和装载过程,形成数据仓库,通过对这些数据的分析来发现隐藏在数据后面的真实情况,并将客户行为数据与其他相关的客户数据集中起来,对客户进行统一的规划,能帮助企业以科学的手段快速地分析、模拟和预测客户的个性化需求,进而设计符合客户需求的产品或服务,为市场分析提供依据。此外,借助于数据仓库的数据清洁与集中过程,将客户对市场反馈信息自动输入到数据仓库中,建立在数据仓库基础上的数据挖掘和多维数据分析,则能够提供强大的市场分析功能。数据仓库为企业提供了综合运行不同平台上的业务数据,能进行不同产品或服务的盈利性分析和风险性分析,以最大限度地增加企业利润和利润占有率。
摘 要:本文通过实例分析了SQL注入攻击原理,根据本人平时的工作总结,系统地阐述了如何防范SQL注入攻击、SQL 注入攻击检测方法和SQL注入攻击后的补救措施。希望对档案管理网站开发人员和档案管理网站管理人员有一定的启发,提高档案管理网站的安全性。
关键词:SQL;SQL注入;SQL注入攻击;数据库;档案管理网站
随着计算机和网络技术的日益发展,网络化、数字化成为档案管理发展的重要方向,档案管理网站建设成为其中很重要的组成部分。在网站建设过程中,由于网站开发人员的能力和管理经验参差不齐,部分网站开发人员在编写代码的时候,没有对用户输入数据的合法性进行严格判断和过滤,使网站存在不同的安全隐患,容易遭受不同程度的SQL注入攻击[1]。目前档案管理网络安全系统主要以防火墙为主,而防火墙只是对访问对象进行认证,而对于网站本身存在的软件问题,入侵者依然可以在遵守防火墙访问规则的前提下实施攻击,防火墙并不能有效解决SQL注入攻击问题。所以研究档案管理网站的SQL注入攻击与防范措施是摆在档案管理网站开发人员和网站管理人员面前的一个急需探讨的重要课题。
1 SQL注入攻击概述
1.1 SQL注入攻击概念。SQL(Structured Query Language)是一种用来和数据库交互的文本语言,我们也把它叫做结构化查询语言,使用它可以对数据库进行管理。
SQL注入,就是在客户端通过把SQL命令插入到Web 表单递交或页面请求的查询字符串,最终达到欺骗服务器执行恶意的SQL命令,即通过递交参数构造巧妙的SQL语句,从而成功获取想要的数据[2]。一旦SQL注入成功,就形成了SQL注入攻击,轻则导致重要数据的泄露或篡改,重则导致整个服务器受他人控制,一旦服务器被挂木马或者病毒,就会造成整个服务器瘫痪。
由于档案管理网站要对大量数据进行管理,因此离不开数据库,而目前常用的数据库有Oracle、Sybase、DB2、MS SQL Server 等,这些数据库均是基于SQL 语句的标准数据库,所以SQL注入攻击具有广泛性、技术难度不高、危害性大等特点。
1.2 SQL注入攻击的原理。SQL注入攻击原理就是利用某些数据库的外部接口把用户精心编写的、具有特定含义的数据合理地插入到实际的数据库操作语言当中,从而达到入侵数据库的目的[3]。产生SQL注入攻击的主要原因是程序对用户输入的数据没有进行细致的过滤,导致非法数据的导入。
登录在网站设计中是很重要的一个部分,下面以登录验证中的模块为例,来说明SQL注入攻击的具体实现方法。在Web应用程序的登录验证程序中,一般有用户名(username)和密码(password)两个参数,程序会通过用户所提交输入的用户名和密码来执行相关的授权操作。其原理是通过查找user表中的用户名(username)和密码(password)的结果来进行授权访问,典型的SQL查询语句为:
Select*from users where username=‘adminand password=‘smith
如果分别给username和password赋值“‘admin or 1=1- - ”和“123”,那么,SQL脚本解释器中的上述语句就会变为:
select*from users where username=‘adminor 1=1- - and password=‘123
该语句中“- -”表示注释语句,即“- -”后面所有的内容为注释内容,系统不再执行。Where条件部分由逻辑或运算连接的两个判断条件,只要一个条件成立,整个SQL语句就会成功执行,而1=1在逻辑判断上是恒成立的,所以在该SQL语句中,不管用户名和密码对不对,该语句都可以正常执行。至此,入侵者恶意构造的SQL语句就得到了正确执行,实现一次SQL注入攻击。
同样道理,如果程序没有实施类型强制,通过在输入数据时构造SQL语句,还可以删除数据库中的数据表,造成大量数据丢失。例如:
Update subject Set score=? Where name=‘xiaoming
如果成绩的值被恶意输入为:99;Drop Table users#
这时该SQL语句就会变成下面的语句:
Update subject Set score=100;Drop Table users #where name=‘xiaoming
系统一旦执行该语句,其中的SQL语句Drop Table users,就会将“users”表从数据库中删除。
2 如何防范SQL注入攻击
SQL注入攻击防范方法目前已经有很多,总结起来有以下几个方面:
2.1 加强对用户输入的验证。当服务器接受用户端提交的数据时,要先对用户端数据的合法性进行严格检查,使恶意数据不能直接被嵌入到SQL语句中。
使用恰当的验证对用户端输入的数据进行检查,最大限度地保证符合定义的标准过程,是否满足预设定的类型、长度或大小、数值范围和格式等。在SQLServer数据库中,有比较多的用户输入内容验证工具,可以帮助管理员来对付SQL注入式攻击。
利用存储过程可以实现对用户输入变量的过滤,拒绝接受一些特殊的符号,如上面例子恶意删除数据表那段代码中,只要存储过程把那个分号过滤掉,这个恶意SQL代码就没法执行了。所以可以直接把这些类似的特殊符号过滤掉,即使在SQL语句中嵌入了恶意代码,也不容易形成SQL注入攻击。
2.2 屏蔽系统出错信息。一般对数据库操作出现错误时,系统会提示错误提示信息。入侵者根据错误提示很容易得到有关数据库的相关信息,从而进行恶意SQL注入攻击。例如有以下错误信息:
Microsoft OLEDBProviderforODBCDrivers(0x80040E07)[Microsoft][ODBC SQL Server Driver][SQL Server] 将nvarchar值“sonybb”转换为数据类型为int时发生语法错误。
根据这个出错信息,有点数据库常识的人就可以获得以下信息:该网站使用SQL server数据库,用ODBC 连接,连接账号名为sonybb。获得这些信息对入侵者下一步的SQL注入提供了重要数据,方便他们恶意构造SQL语句,顺利实现SQL注入式攻击。
2.3 SQL 语句参数化。SQL语句参数化是指用占位符或绑定变量来向SQL查询提供参数的方法,是一种更加安全的动态字符串构造方法,而不是把用户输入的变量直接嵌入到SQL语句[4]。因为参数化查询可以重用执行计划,SQL语句所要表达的语义不会改变,参数化方法可以杜绝大部分的SQL注入攻击。然而,SQL语句参数化存在一定的缺点,它只能参数化数值,不能参数化标识符或关键字。
2.4 加强管理员登录页面所在路径的强壮度。由于管理员具备对整个网站的管理权限,管理员一般通过后台成功登录后就可以对整个网站进行管理。因此入侵者进行SQL注入很重要的一步就是猜测管理员的后台入口。一旦入侵者破解了管理员的后台入口,就可以行使管理员的一切权力,对整个网站进行掌控,很轻松地管理数据、修改数据、删除数据。因此,要加强系统管理后台登录目录的保密工作,不要把登录页面放在admin、login等常用目录名下。
2.5 对重要数据信息采用非常规加密方法。目前在程序中对口令等重要信息加密都是采用md5 函数加密方法,即密文=md5(明文),此处推荐在原来md5 函数加密的基础上再增加一些非常规的加密方法,即在md5加密的基础上再附带一些没有规律的数据,如密文md5(md5( 明文) +654321) ,最终增加重要数据的保密性。
2.6 限制管理员登录方式。采取内网认证码方式和设定专属IP 登录后台系统措施,限制管理员登录方式,即使入侵者进行了 SQL注入攻击,获得了管理员的登录方式,只要使用电脑的IP地址不对,同样也无法进入后台管理页面。
3 SQL 注入攻击检测方法
一旦网站出现问题,需要网站管理人员经常对网站的相关方面进行查看,除了查毒杀毒以外,更重要的要观察网站是否受到了SQL注入攻击,然后才可以及时采取相应的措施,使网站损失达到最小。网站遭受SQL注入攻击,一般都会留下一定的“痕迹”。SQL注入攻击检测方法主要有数据库检查、IIS日志检查和其他的一些相关信息判断。
3.1 数据库检查。如果使用SQL注入攻击软件工具Domain、NBSI 和HDSI等进行攻击,一般都会在数据库中生成一些临时表。通过查看数据库中新建表的结构和内容是否有异常,可以判断是否曾经发生过SQL注入攻击。
3.2 IIS日志检查。在Web服务器中如果启用了日志记录,则IIS日志会记录访问者的IP地址、访问文件等信息,SQL注入攻击往往会大量访问某个存在SQL注入点的动态网页,日志文件数量会急剧增加, 通过查看日志文件的大小以及日志文件中的内容, 可以判断是否发生过SQL注入攻击。
3.3 其他相关信息判断。SQL注入攻击成功后,入侵者往往会添加用户、开放相关的远程终端服务以及安装木马等,可以通过查看系统管理员账号、远程终端服务器开启情况、系统最近日期产生的一些文件等信息来判断是否发生过入侵。
4 结束语
防范SQL注入攻击是保证档案管理网站安全的一个重点。本文通过实例分析SQL注入攻击原理,根据本人平时的工作总结,系统地阐述了如何防范SQL注入攻击、SQL 注入攻击检测方法和SQL注入攻击后的补救方法,希望对档案管理网站开发人员和档案管理网站管理人员有一定的启发。由于SQL注入攻击的种类繁多,灵活多变,很难用一种固定的方法全部解决SQL注入问题,如何更加有效地防范更高级别的SQL注入攻击则是以后有待解决的问题。
参考文献:
[1]王云.Web 项目中的SQL 注入问题研究与防范方法[J].计算机工程与设计,2010.
[2]彭赓.基于改进网络爬虫技术的SQL 注入漏洞检测[J].计算机应用研究,2010.
[3]高洪涛. SQL注入攻击途径及策略分析[J]. 网络安全技术与应用,2011(3).
[4] Justin Clarke .SQL注入攻击与防御[M] .北京:清华大学出版社,2010(6).
作者单位:李建荣,何保荣:河南牧业经济学院软件学院;
秦奕:武汉音乐学院
1. 数据的抽取。
由于数据仓库是一个独立的数据环境, 它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面。
2. 数据的存储和管理。
数据仓库遇到的第一个问题是对大量数据的存储和管理。这里所涉及的数据量比传统事务处理大得多, 且随时间的推移而累积。数据仓库的组织管理方式决定了它有别于传统数据库的特性, 同时也决定了其对外部数据表现形式。要决定采用什么产品和技术来建立数据仓库核心, 则需要从数据仓库的技术特点着手分析。从当今的技术发展来看, 面向决策支持扩充的并行关系数据库将是数据仓库的核心。
3. 数据的表现。
实际的应用中, 客户需要通过对数据的统计来验证他们对某些事物的假设, 以进行决策。与数理统计相似, 数据挖掘与数据仓库也没有直接的联系, 而且这个概念在现实中有些含混。数据挖掘强调的不仅仅是验证人们对数据特性的假设, 而且它更要主动地寻找并发现蕴藏在数据之中的规律。市场上许多数据挖掘工具并不是真正寻找出数据的规律, 而是验证尽可能多的假设, 最后由人来判断其合理性。因此, 在当前的数据仓库应用中, 有效地利用数理统计就已经能够获得可观的效益。
二、客户数据仓库模型设计
1. 数据结构图。
星型和雪花结构是在数据仓库中最为广泛的数据结构, 它们的主要优点是能提供多维的模式, 并能实现对数据的快速查询和连接。星型结构是非范式、以查询为中心的模型, 这种模型的最大优点是能够提供所谓的星连接, 通过一步连接就可以获取大部分所需要的信息, 并能很快得到输出结果, 这种模型里信息可分为两大类:事实表和维表。
2. 概念模型设计。
概念模型设计是建立数据仓库的第一步, 是主客观之间的一个桥梁, 是客观世界到机器世界的一个中间层次。描述概念模型最常用的方法是E-R图法, 运用E-R图可以清晰的表示客户、订单和产品之间的关系。
3. 数据结构图。
星型和雪花结构是在数据仓库中应用最为广泛的数据结构, 它们的主要优点是能够提供多为的模式, 并能实现对数据的快速查询和连接。星型结构势非范式的, 以查询为中心的模型, 这种模型的最大优点是能够提供所谓的星连接, 通过一步连接就可以获取大部分所需要的信息, 并能很快得到输出结果, 这种模型里信息可分为两大类:事实表和维表。
4. 逻辑数据模型设计。逻辑模型式通用化的数据模型, 它的典型产品是实体关系图, 用于描述现实世界中实体和实体间的关系。
(1) 客户数据。少量的客户数据不足以提供有关客户偏好和消费的真实、实时的信息。从客户数据的来源来看, 客户数据有一部分可以从企业现有的操作型系统获取, 如ERP, SCM, HR系统但这对有效的客户智能实现是远远不够的。大多客户知识的发现需要集成至少5年甚至更长时间的客户数据。因此, 能对客户智能起到全面支持作用的数据环境必须包括集成的客户数据和该客户的历史数据。
(2) 产品数据。产品数据包括下面几个方面:产品类别信息:包括类别ID和名称;产品价格信息:产品ID, 单价等;产品材料信息:材料ID, 名称;供应商信息:供应商ID, 名称, 供应价, 供应日期。
(3) 订单信息数据。订单信息包括下面几个方面:订单固有信息:包括订单ID, 日期等;客户信息:包括客户ID, 名称等;产品信息:包括产品名称, 设计属性等。
5. 数据仓库的物理设计
(1) 表空间设计。表空间设计主要是为了把逻辑意义的区分开, 也为性能考虑, 所以可以在表名前加前缀作为区分表所在的区。
(2) 归档设计。由于数据在数据仓库中的频繁加载、删除, 以及插入的操作, 如果选用归档模式会使数据仓库产生大量日志。如果归档将严重影响性能, 而且数据仓库对数据恢复的要求不高, 所以采用非归档模式。
(3) 安全性设计。数据库中所有法人用任务表全部放在一个用户下, 以方便在各个区之间加载转换, 再建一个用户用于展现, 对所有的业务表只有只读权限。
(4) 参数设计。由于数据仓库经常删除、插入, 很少更新的特点, 相对一般业务系统, 加大块的大小, 增加preused和减少prefree。
(5) 备份恢复。这里采用每2天一次冷备份和一周一次逻辑备份。可以接受恢复两天前的数据, 然后通过ETL重新从源数据库中获取最新数据。
参考文献
[1]Bjqrn W.H ennestad, i nfusingt he organizationw ithc ustomerk nowledge, Scandinavian journal of management, 1999 (15)
[2]A drian Payne, A Strategic Framework for CRM, available at:http://www.dmreview.com, 2000
[3]曾妮丽陈亮童怡:商业智能中数据仓库的设计[J].商业现代化, 2007 (2) :28-29
0 引言
对于信息系统的发展, 美国管理信息系统专家诺兰 (Richard·L·Nolan) 通过对大量企业或组织发展信息系统的实践和经验进行总结, 提出了著名的信息系统进化的阶段模型, 即诺兰模型。这些年来, 国内众多企业的信息化体系逐步建立, 处于诺兰模型中“数据管理阶段”, 信息系统从支持单项应用发展到在逻辑数据库支持下的综合应用。
经过多年的信息化建设, 中国三峡集团已建成全集团范围涵盖“工程建设、生产运行、金融服务、集团管控”等方面的多个信息系统。随着这些系统相继投入运行, 系统中累积了海量的生产经营数据。如何对这些数据进行深层次挖掘, 全面地对其进行分析, 以提升公司管理水平和工作效率, 保障各级用户决策更加科学和迅捷, 从而提高公司竞争力, 成为关注焦点之一。为此, 需利用新的信息技术, 结合实际的管理需求, 设计开发关键绩效指标系统。
1 系统设计与实现
整个系统建设包括应用主题设计、数据仓库设计、应用程序设计以及系统测试等。
1.1 应用主题设计
应用主题设计是系统建设的关键之一。中国三峡集团的战略定位是以大型水电开发与运营为主的清洁能源集团, 主营业务是水电工程建设与管理、电力生产、相关专业技术服务。公司的主要投资在于工程建设 (含移民工程) , 主要利润来源于电力生产和其它专业服务。因此, 在建设系统过程中, 以核心业务为主线, 选择工程建设、移民管理、电力生产、人力资源、资产财务为核心主题, 梳理了5大类、22小类 (如表1) , 共约800余项关键绩效指标。
1.1.1 工程建设
中国三峡集团所有的工程投资均利用拥有自主知识产权的工程管理信息系统 (TGPMS) 进行管理。截止目前, 管理合同超过几万份, 管理投资额达数千亿人民币。KPI系统以简驭繁, 紧抓工程管理核心, 分别从工程成本、合同、财务、计划、进度、物资、设备、质量、安全等方面构建起工程项目管理的关键绩效指标模型。
1.1.2 移民管理
移民管理信息化是中国三峡集团信息化建设的特色之一。公司主持设计开发了移民管理信息系统, 系统包含规划成果、计划与进度、实物指标、安置实施、投资资金、移民档案及电子资料管理等几部分。实物指标管理是移民管理的核心, 是串起移民管理其它业务的主线。移民管理关键绩效指标的侧重点在于实物指标的统计与分析, 分析指标由农村部分、城集镇部分和专项部分三类构成, 具体包括, 电站建设征地涉及的行政区划、人口、房屋、土地和林木等情况;围堰水位淹没区和正常蓄水位主要实物指标分阶段对比, 包括淹没户数、淹没人口数、房屋面积和林木数量;电站建设征地基础设施指标, 包含工矿企业、交通设施、电力设施、电信设施、广电设施、水利设施等。
1.1.3 电力生产
中国三峡集团利用电力生产管理信息系统管理葛洲坝、三峡、向家坝、溪洛渡几大水电站。截至目前, 系统管理的工单超过十万份, 隶属于生产信息流、物流、资金流三大业务流, 还囊括了电力生产管理、流域梯级调度自动化等业务单元。通过信息系统与生产自控系统的集成应用, 撷取出水情实况与水能利用、电力生产实况、售电情况、安全管理、装备与技术五类大数据构成电力生产关键绩效指标模型, 具体包括发电量、水情流量、水能利用率、上网电量、上网电价、电费回收率、安全指标、可靠性指标等。
1.1.4 人力资源
中国三峡集团应用的人力资源管理系统覆盖全集团所有在职人员。人力资源管理数据包含人员基本信息、人员变动、劳动合同、薪酬管理、数据稽核和福利管理六个类别。人力资源关键绩效指标由人员结构、员工管理、人工成本三类构成。人员结构指标包括年龄、工龄、学历、职称、职务、职业资格;员工管理指标包括招聘、调配、离职、合同、培训、绩效、档案;人工成本指标包括薪酬、福利等。
1.1.5 财务管理
财务管理关键绩效指标包含集团财务指标概况、经营情况、资金管理、社会责任和产权管理等五类。具体包括, 年度考核和任期考核指标、盈利能力、资产质量、债务风险、经营增长、预算执行、银行存款、大额收支、带息负债、缴纳税金等。
1.2 数据仓库设计
数据仓库设计是系统建设的又一关键因素。数据仓库设计包括系统框架设计、物理模型设计、维度设计等。
1.2.1 系统框架设计
系统框架必须具有良好的扩展性, 避免在后续的系统扩展中出现因结构不合理而造成的资源浪费或投资损失。中国三峡集团KPI系统框架结构如图1。
1.2.2 物理设计
物理设计除了建立用于支持数据仓库维度模型的各种物理结构外, 还定义了物理模型的命名标准、在数据仓库环境中建立维度模型的物理实现、建立索引和分区策略等[1,2]。
1.2.3 维度设计
维度模型是专门支持联机分析处理 (OLAP) 的数据模型。由于是面向分析的, 所以维度建模过程不同于传统业务系统的建模过程。在该过程中, 建模人员致力于根据业务需求定义阶段所确定的业务指标及其分析方法, 确定事实表的粒度、相关维度、属性、指标下钻路径、事实等一系列维度模型元素。一旦维度模型建立完成, 便可确定源数据到目标数据的映射图, 从而为后期ETL (抽取、转换和加载) 设计与开发提供有价值的信息[3,4]。
以电力生产中的水情与发电为例, 将时间作为维度, 可以分析当年实际发电量汇总统计值、完成年度发电计划的百分比, 以及与去年同期比增长或降低的百分比 (如图2) 。
1.2.4 ETL设计
ETL设计与开发主要完成从源数据到目标数据的抽取、转换和加载过程[5]。在ETL设计与开发阶段, 需深入到业务系统内部去获取数据仓库所需数据, 需定义源数据、目标数据, 数据抽取、转换和装载策略等。ETL需做到以下几点:
(1) 加载必须能够支持访问不同的数据库和文件系统。
(2) 数据的抽取、转换和加载必须满足时间要求, 能够在规定的时间范围内完成。支持各种转换方法, 各种转换方法可以构成一个工作流。
(3) 支持增量加载, 只将自上一次加载以来变化的数据加载到数据仓库。
1.3 系统开发
应用软件开发过程采用标准化的工作流程。在软件开发前, 制订了严格的软件开发流程和规范, 每个页面、报表都严格遵循所制订的开发流程和标准。
另外, 软件设计开发过程中还采用配置管理工具对整个建设过程产生的成果进行版本管理, 包括各种设计文档、测试文档和源程序等。
1.3.1 应用程序规范
为保证系统功能满足用户需求, 以文档形式对应用程序各方面进行详细定义。包括访问角色、不同角色的应用模板、指标表现形式、报表格式、用户界面风格及布局以及特殊指标的计算公式等。最终形成功能规范说明书, 从而规范应用程序开发工作。
1.3.2 应用程序开发
根据需求调研阶段编制的需求分析报告和功能规范说明书, 借助数据仓库前端开发工具, 完成应用程序的开发与配置工作。主要任务包括建立BI分析模型、即席查询视图、仪表盘、报表、用户权限配置等。
1.4 系统测试
为保证应用软件的质量, 组织人力对软件进行了各项测试, 包括单元测试、集成测试和确认测试。
2 系统应用情况
目前, 系统应用已覆盖中国三峡集团所有单位。系统为公司各级用户的决策分析提供了工具。另外, 通过运用该系统, 对已经投入运行的业务系统中数据的及时性、准确性、完整性起到了一定的促进作用。
3 几点体会
中国三峡集团关键绩效指标系统建设, 历经多年, 为公司信息化资源的深度开发利用打下了坚实基础。系统建设过程中, 持续推进了各项业务的管理创新;统一了各类专业信息系统的数据规范、存储方式及调用接口;理清了公司相关单位的信息资源及需求;在系统建设方法、建设历程和深化应用中创造了一定的价值。KPI系统作为公司核心业务分析的重要数据来源, 为管理决策提供了大量客观、科学的结果型数据, 有效提高了集团公司管控能力。在建设中, 有如下几点体会:
(1) 治理源头, 夯实基础。中国三峡集团的KPI系统数据来源于多个不同的专业信息系统, 呈献给各级用户的是高度集中的结果型数据。要保证这些数据准确、完整和及时, 必须抓好各业务系统的基础应用。而抓好这些系统的基础应用, 必须梳理并建立与业务系统相适应的各项业务流程, 建成有效的数据责任体系, 将各项数据的录入、修改、审核等操作落实到具体的岗位。如果企业的业务系统基础应用没有到位, 在KPI系统建设方面投入再大, 花的功夫再多, 其结果也只能是徒劳, 建设好的KPI系统只能是一只好看的空瓶子而成为摆设。如果企业的业务系统应用已经高度成熟, 这时再建设KPI系统, 成功的概率就大很多。
(2) 选准指标, 分步实施。KPI系统的指标设计必须深入到公司生产经营活动的方方面面, 只要信息化触角延伸到的地方, 都需要系统建设人员详细调研, 从而较为全面的了解支撑各项重点业务的核心要素, 了解各级用户的实际需求, 提炼出用于全面反映公司生产、经营的关键绩效指标。特别需要说明的是, 指标的选取不能贪多求全。
(3) 统一思想, 齐心并力。系统建设过程也是业务部门和信息部门统一思想, 统一认识的过程, 参建各方应齐心协力, 保证信息资源的系统性、完整性, 这是保证系统建设成功的关键。中国三峡集团KPI系统建设正是由于得到了公司各部门及单位的大力支持, 才基本构建起覆盖公司主要业务的综合信息平台, 避免了低水平的重复, 以统一的数据汇总系统取代了各专业系统的综合查询, 减少了信息孤岛。
(4) 选好平台, 事半功倍。工欲善其事, 必先利其器。根据系统的建设要求和公司各应用信息系统的部署特点, 因地制宜, 选用好合适的技术平台也是系统建设成败的关键。公司根据自身信息化发展的特点, 在系统规划阶段选用了基于业界领先的全套数据仓库和企业版商业智能分析软件, 着手建设公司数据仓库和关键绩效指标系统。
4 结语
中国三峡集团公司KPI系统从设计、开发, 到集团范围内推广应用, 再到进一步补充完善, 已经走过几个年头。KPI系统最大的不足是它无法独立存在, 而是依赖于大量有效的原始数据。从全球来看, 商务智能领域成功案例也不多。由此可见, KPI系统的建设不是一个项目, 而是一项工程, 需要长期的坚持和不断的扩充维护, 从业务领域着手, 结合业务部门和IT部门协同制定数据框架, 将商务智能作为企业战略的一部分来看待, 确保商务智能在企业中的战略地位。只有这样, 系统才能不断发展, 才具有生命力, 发挥其应有的价值。
参考文献
[1]Inmon, W H.The data warehouse and data mining.Communications of the Acm, 1996, 39 (11) :49-50.
[2]Inmon W H, Welch J D, Glassey K L.Managing the Data Warehouse.New York City:John Wiley&Sons, 1996.
[3]孟海东, 李丹丹.基于数据场的量化关联规则挖掘方法设计[J].新型工业化, 2012, 2 (9) :12-17.
[4]Alex Berson等著, 贺奇等译, 构建面向CRM的数据挖掘应用, 北京:人民邮电出版社, 2001.
[5]张波.计算机网络管理技术及发展趋势探析[J].软件, 2013, 34 (6) :70-71.
[6]叶国权, 杨淼淇, 贾冬梅.蛋白质组学元数据仓库的管理与维护[J].软件, 2012, 33 (5) :17-19.
[7]苏乐明.关于对Oracle数据仓库应用技术的研究与实现[J].软件, 2012, 33 (5) :105-106.
[8]罗蓉.浅析就业指导数据仓库的设计与实现[J].软件, 2012, 33 (6) :38-40.
[9]王彦慈.银行业务数据仓库数据导入的分析与设计[J].软件, 2012, 33 (9) :147-148.
[10]董新玉, 陈惟珍.三维实体有限元可视化前处理系统开发[J].软件, 2012, 33 (4) :64-68.
关键词:砝码检测;自动化;C#;SQL Server
中图分类号:TP274 文献标识码:A文章编号:1007-9599 (2013) 05-0000-02
1引言
随着信息技术的迅猛发展,计量信息化、数字化已是计量事业发展的必然趋势。目前大多数质量计量实验室的砝码检测工作仍以人工操作方式为主,工作效率低且容易出错。如何利用信息技术实现砝码检定工作的信息化和自动化具有重要意义。
在砝码检测方面,国内已有少数研究者开展相关工作,开发出适于自用的检测系统,为砝码检测自动化做出了重要贡献,但在通用性和功能完备性等方面仍有很多工作有待改进和完善。本文对自主开发的砝码自动化检测系统的技术手段和相关功能进行了介绍。
2系统设计和软件开发
2.1系统构成。砝码自动化检测系统主要由作为检测设备的电子天平和质量比较仪、串口服务器、计算机和自主开发的软件系统构成。本系统采用MOXA NPort 5610 RS-232机架式串口设备服务器,即可将实验室现有的多台测试设备(电子天平或质量比较仪)连入以太网。再将多台计算机及外围设备连入以太网,即可实现多台设备和多台计算机之间的点对点通讯。
2.2通讯技术。本实验室现有的几台测试仪器均带有RS 232 串口,采用串行通讯技术即可实现计算机与检测仪器的通讯,从而可实现在计算机上对测试设备进行操作,包括开机、重启、读数、归零、去皮等多项操作。.NET Framework 4.0类库包含了SerialPort 类,可以方便地实现所需要串口通讯的多种功能,本系统通过C#的串行通讯类实现了计算机与测试设备的通讯。
2.3软件设计
2.3.1面向对象技术。采用面向对象技术有如下几个好处:一是与人类习惯的思维方法一致;二是稳定性好;三是可重用性好;四是可维护性好。封装、继承和多态是面向对象开发技术的主要特征。
2.3.2开发工具。C#是一种简单、现代、面向对象、类型非常安全、派生于C和C++的编程语言,其设计与现代开发工具的适应性要比其他语言更高,它同时具有Visual Basic的易用性、高性能以及C++的低级内存访问性。C#是使用.NET的一种面向对象的新语言。Visual Studio 2010是一个全面集成的开发环境,用于编写、调试代码,把代码编译为程序集进行发布。基于最佳考虑,本文采用C#语言作为软件开发工具,以基于.NET Framework4.0的Visual Studio 2010作为开发环境进行软件开发。
2.3.3数据库管理。在基于数据库的自动化测试系统中,很重要的一部分工作是对实时采集的数据进行显示、查询、统计、生成报表分析等。这其中涉及的最主要的任务就是对数据的读取和写入,即与数据库系统进行交互。数据库可保存在本地服务器上,也可保存在远程服务器上,为其它计算机提供数据服务和文件服务。本系统在开发之初即定位于开发一个界面友好、功能完善、通用性强、可扩展的商业软件,为了满足不同用户的需求,本系统同时兼容了Microsoft Access(桌面型数据库)和Microsoft SQL Server 2008(服务器型数据库)两类数据库,为用户提供单机版和网络版两种选择。我们采用ADO.NET组件,可以很容易地实现C#语言与数据库的交互。
2.3.4软件系统结构。本系统软件采用模块化设计,主要由五大部分组成:主程序、操作模块、数据库模块、设置模块和帮助模块。
3系统主要功能
3.1用户管理。可添加、删除用户,并设置用户的级别,分为管理员、操作员和观察员三个用户级别。管理员具有最高权限,可操作软件的所有功能;操作员权限有限,不能进行用户管理和参数设置(包括通用设置和串行通讯设置)等高级设置,但可以进行测试及数据库管理工作;观察员只具有对数据库进行浏览的权限。
3.2砝码检测。砝码检测是本系统的核心部分,首先,进行参数配置,然后连接测试设备(电子天平或质量比较仪),准备开始检测工作。首先进行必要的检定信息输入工作,然后根据选定的测量模式进行数据采集,系统将自动对数据进行处理和计算,然后对计算结果进行合格判定及周期数据对比,最后根据国家计量检定规程的相关规定进行检定结果的合格判定。检定工作完毕后,可将原始记录保存到数据库,并可随时进行浏览和查询。具有完善的报表输出功能,可生成word形式的原始记录文件,并打印结果;另外可根据原始记录的结果,生成标准格式的检定证书或检定结果通知书,并打印输出。记录打印后,除非经过授权,否则不能修改和删除,以保证记录安全可靠。
3.3参数设置。该模块提供了两项功能:通用设置和数据采集设置。在通用设置子模块中,可对数据库类型和版本、数据库登录的用户名和密码及测试数据的文件格式等通用参数进行设置和保存。在数据采集子模块中,可对串行通讯的各项参数,如串口号、波特率、校验位、数据位等参数进行设置,并保存到配置文件,为测试设备的正确连接进行前期准备。
3.4帮助功能。在此模块中,用户可查看用户手册和此软件的相关信息。
4系统主要特点
(1)自动化程度高
当基本信息输入后,系统可自动进行砝码自动最大允许误差、标准砝码折算质量修正值的查询;在数据采集完毕后,系统可自动完成相关计算,自动判断结果合格与否,自动生成原始记录,自动生成检定证书或结果通知书。(2)强大的数据库管理功能。用户可根据不同的条件和需要,选择合适的数据库(Access或SQL Serve)。可方便的对数据进行保存、浏览、查询、备份、输出等操作。(3)系统安全性。本系统设有完善的安全保密机制,对各種数据的操作均设有一定的权限,实现多级安全控制,非法使用者不能操作。针对不同级别人员采用严格的权限、口令设置,权限控制到按钮级,保障统一;采用电子签名技术,保证了证书的真实性。(4)强大的报表功能。可保存和输出标准格式的原始记录和检定证书。(5)容错能力强。设有自动检错功能,对输入数据的合理性进行检查,防止输入错误,具备完备的提示功能,极大地提高了用户操作的安全性和可靠性。
5结束语
设计并开发了一套砝码自动化检测系统,该系统界面友好、容易操作,极大简化了砝码检测工作流程,可实现实验仪器控制、数据采集、处理和计算、数据库管理和报表输出等功能。该系统提高了砝码检定的工作效率,实现了砝码检测数据的信息化管理,具有广阔的应用前景。
参考文献:
[1]高建斌.基于面向对象程序设计的砝码检测系统的开发[J].计算机光盘软件与应用,2011(11):208-210.
[2]高建斌,萨志娟.VB在砝码检测中的应用[J].中国计量,2009(12):85-86.
[3]阚小妹,刘国华.电子天平的砝码自动检定系统设[J].计量技术,2006(6):45-48.
[4]张强,蔡建德,印青.测绘仪器检定自动化系统研制与开发[J].光盘技术,2001(1):18-19.
[5]马春雷.基于GPIB的示波器校准仪自动化检定系统的设计与实现[J].宇航计测技术,2008(6):42-44.
[作者简介]王健(1976-),男,工程师,博士。研究方向:计量测试与控制。
企业人事管理系统是将计算机技术、 网络技术、 信息技术融为一体的高科技高效率管理系统, 可以智能化的分析、 归类企业人事档案数据信息, 为管理层提供了便利。 只有让企业中的人感受到人事管理系统是以人作为最本质的出发点来设计开发的, 才算我们开发的人事管理系统达到了预想的目标。
最近几年来, 人事管理系统的升级化一直得到人们的关注, 一方面, 企事业单位愿意购买这方面的软件, 另一方面, 开发人员也乐此不疲的想要开发出更实用的管理系统。 这两者的相辅相成健康地引领着我国人力资源管理的稳步发展。数据表明, 国外发达国家约有90%的数据工作通过计算机完成, 人事管理方面, 更是高达80%至100%的计算机信息处理率, 相比国外发达国家, 我国在人事管理系统方面的发展还是稍稍逊色一点。
2 人事管理系统分析
本系统使用Microsoft Visual Studio 2010 作为开发工具, Visual Studio 2010 支持Windows Azure, 能够实践当前最热门的Agile/Scrum开发方法, 强化团队竞争力。 搭配Windows 7, Silverlight 4 与Office, 发挥多核并行运算威力。 支持最新C++标准, 增强IDE, 切实提高程序员开发效率。 本系统拥有友好的窗口界面, 用SQL Server 2005 来存储员工的信息。 利用C#语言开发能够很好的连接到数据库, 一切更新都能够同步到数据库, 有很好的即时性。
本系统主要设计了5 个功能模块, 登录功能模块、 员工基本信息管理功能模块、 考勤管理功能模块、 请假管理功能模块、 工资管理功能模块。
3 人事管理系统设计
3.1 数据库设计
3.1.1 表的设计
一共设计了7 个表, “表1 guanliyuan表” 存放的是管理员的用户名和密码;“表2 password表” 存放的是所有员工的用户名和密码, 包括管理员的;“表3 岗位基本工资表” 存放的是各个岗位和其基本工资的对应关系, “岗位编号” 字段作为主键;“表4 签到签离表” 存放员工签到签离时间和每天的签到扣除;“表5 员工基本信息表” 存放员工的基本信息, 性别、 姓名、 文化程度、 出生日期、 部门编号、 员工编号、 岗位编号、 联系电话、 名族、 毕业院校、 婚姻状况;“表6 月工资统计表” 存放员工的基本工资、 请假扣除、 考勤扣除、 医疗保险、 住房公积金、 养老保险、 实发工资;“表7月请假表” 存放所有员工的请假情况和请假扣除, 未请假的员工存放的则是 “无假条报告”。
3.1.2 系统ER图设计
对于ER图的设计, 首先, 管理员能够管理员工, 一个管理员可以管理多个员工的基本信息, 一个员工的基本信息也可以被多个管理员管理, 这是多对多的关系。 员工拥有签到签离和请假的权利, 员工可以多次签到签离, 员工与考勤是一对多的关系。 但规定一个月一个员工只能请假一次, 那么员工与请假之间就是一对一的关系。
其次, 一个管理员可以计算多个员工的考勤扣除、 多个员工的请假扣除、 多个员工的实发工资, 但每一个普通员工的考勤扣除、 请假扣除、 实发工资必须由一个管理员负责到底, 也就是说如果任何环节出现错误, 还是得由原来计算审核这些数据的管理员来修改, 管理员与这些员工的考勤扣除、员工的请假扣除、 员工的实发工资之间就是一对多的关系, 如图1 系统ER图所示。
3.2 系统总体结构设计
普通员工可查看自己的基本信息、 查看签到签离和请假是否通过、 可以申请假条、 查看月实发工资。
管理员能对普通员工的基本信息进行增删改查, 可以根据员工签到的批注来计算考勤扣除, 可以根据请假情况来计算请假扣除。 最后根据考勤扣除和请假扣除来计算员工本月实发工资。 相比之下, 管理员流程图设计的比普通员工流程图设计的功能要多很多, 这也是符合现实的。 一般一个公司里的员工只需要知道自己的信息有没有错, 自己的工资有没有错, 别的东西他也不会很关心。 而管理员就不一样了, 他得管理好他管辖范围内所有员工的信息。 当有员工联系到他时, 他要重新审核一些扣除的计算, 修改这些费用, 满足员工的合理要求。
4 人事管理系统功能实现
4.1 登录功能实现
根据登录身份查不同的数据库表, 对比用户名和密码是否都正确, 正确则可以进入主界面。 员工和管理员的登录, 用户bbb是普通员工, 用户cjx是管理员, 如果cjx不选择登录身份的话, 默认情况下, 是以普通员工的身份进入系统的。
4.2 主界面功能实现
主界面核心代码:
4.3 考勤管理功能实现
实现将员工的月考勤扣总和除保存到 “月工资统计表”。计算月考勤扣除核心代码:
4.4 工资管理功能实现
实现将审核过的员工实发工资保存到 “月工资统计表”中。 本月工资计算核心代码:
5 结语
本系统中做的比较成功的部分是月实发工资的计算, 只有在月考勤扣除和月请假扣除都统计完全的情况下才能计算。然而, 月考勤的扣除又依赖与每日考勤扣除的计算。 这些都是一环扣一环的。 再者, 月实发工资是不需要管理员实际计算的, 是又后台计算, 管理员做的工作仅仅是审核月实发工资, 省时又省力。
参考文献
[1]邵超, 张斌, 张巧荣.数据库实用教程SQL Server 2005[M].清华大学出版社, 2011.
[2]John Sharp.Visual C#2010从入门到精通[M].周靖, 译.清华大学出版社, 2012.
[3]Silberschatz A.z数据库系统概念[M].5版.杨冬青, 等, 译.机械工业出版社, 2006.
【sql企业仓库管理系统】推荐阅读:
制造企业仓库管理10-15
农业企业仓库管理工作计划10-20
施工企业仓库管理制度02-11
烟花爆竹企业仓库安全管理12-26
企业CRM系统中数据仓库的应用设计09-16
仓库管理工作总结-仓库管理月总结报告01-13
成品仓库管理制度及仓库管理员岗位职责07-13
仓库管理理念09-28
规范仓库管理01-30
仓库管理措施02-05