浅析基于云计算的分布式数据挖掘系统设计与实现论文

浅析基于云计算的分布式数据挖掘系统设计与实现论文（共11篇）

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇1

为了实现对基于云计算的分布式数据挖掘系统设计，其中，数据挖掘算法设计是关键，本文提出一种基于分布式自适应特征调度和高阶累积量后置聚焦的数据挖掘算法，假设数据信息流为，数据信息流通过噪声滤波，得到数据流聚类相似性函数表示为，其是一组准平稳随机的时间序列，对数据库中的存储信息流进行能量谱密度特征提取，得到输出数据x(t)的第n 个宽频带分量，分布式自适应特征调度模型表示为：基于二元假设模型，构建数据库存储结构的检验统计量，通过经验模态分解执行数据库存储结构的区域的自适应筛选和更新，得到：云计算环境下分布式数据的数据挖掘的本体结构为一个五元组，其中，C 为云计算环境下分布式数据的概念集，I 是云计算环境下分布式数据的字符串实例集，通过四阶累积量切片进行数据库存储结构的特征压缩处理，降低存储的特征维数和数据冗余，结合高阶累积量后置聚焦，得到数据挖掘输出特征的四阶累积量切片：式中，表示存储空间的频谱特征伸缩尺度，可见，采用高阶累积量后置聚焦，有效提高了数据的精度。嵌入式Linux的内核下数据挖掘系统设计描述

在上述进行了算法设计的基础上，进行数据挖掘系统的软件开发设计，基于云计算的分布式数据挖掘系统总体模型中，采用ST 超低功耗 ARM CortexTM-M0 微控制器，系统建立在嵌入式Linux 的内核平台上，系统包括程序加载模块、数据存储模块、数据缓存调度模块和数据通信传输模块等，通过配置CAN_IMASK 寄存器，采用LabWindows/CVI 进行数据远程控制和信息通信，基于云计算的分布式数据挖掘系统给用户提供一个简单、统一的系统调用接口，系统可配置4 路组联合Cache，基于云计算的分布式数据挖掘系统的寄存器系统时钟120 MHz。嵌入式Linux 的内核下数据挖掘系统通过VISA 软件接口发送Flash 设备上的文件系统内核到HP E1562D/ESCSI 数据硬盘进行数据存储，调用s3c2440_adc_read()函数，进行程序加载和基于云计算的分布式数据挖掘系统的嵌入式控制，使用Qt/Embedded 作为GUI，利用开源Linux 操作系统的丰富网络资源，实现数据挖掘系统的远程通信信息传输和控制。仿真实验

为了测试本文设计的基于云计算的分布式数据挖掘系统在实现数据挖掘中的优越性能，进行仿真实验，分布式数据信息采样的时宽为10 ms, 分布式数据的随机采样率为KHz，调控因子λ=0.25。根据上述仿真环境和参数设定，进行基于云计算的分布式数据挖掘系统的数据挖掘和处理性能分析，首先进行数据挖掘的输出时域波形采样，结果可见，采用本文算法进行数据挖掘的准确度较高，为了对比性能，采用本文方法和传统方法，以数据挖掘的准确配准性为测试指标，得到对比结果。实验结果表明，采用该方法进行基于云计算的分布式数据挖掘，数据挖掘的准确配准性能较好，系统的可靠性较好。结束语

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇2

关键词：云计算,数据挖掘,平台架构,设计和实现,探究

1 引言

近年来, 随着科学技术的飞速发展, 大量的数据被存储到计算机等存储介质当中。通常情况下, 所存储的数据多是复杂的、数据量较大的等。因此, 难以通过人工而直接获得。尤其是在科研或是商业发展领域中, 需要对海量的数据进行分析, 从而找出更多有价值的信息。为解决上述问题, 很多研究人员聚集在一起, 研究出一种新型的数据挖掘技术。

近来, 由于计算机技术、云计算技术的飞速发展, 大量的数据都存储到了网络当中, 而这些海量的、复杂式的数据信息给数据挖掘系统的实现带来很多的难题, 如数据相对复杂, 现有的计算能力难以达到技术要求, 而可以借助云计算数据挖掘技术可提升处理复杂数据的能力。

2 云计算数据挖掘系统架构设计的分析

2.1 目标系统模型

在云计算环境下, 构建目标系统为各种终端用户提供高透明化的界面服务, 并且在此基础上也提供了开放式的接口支持。这样一来, 用户不仅能够通过终端访问用户访问来使用系统, 也或是利用其它应用程序调用开放式接口间接式的应用系统服务。不管遇到上述哪一种情形, 用户都无需对系统实现而担心其存储能力, 只需考虑要选择何种算法进行处理, 最后通过任务形式部署给系统获得所需的挖掘结果。除此之外, 云计算环境下的数据挖据平台中得模块都是利用用户界面和开放式接口提供服务的。其中, 由开放式接口提供的服务均为外部可见服务。而当涉及到高级权限使用功能时, 可通过用户界面直接调用开放式接口服务功能。

2.2 功能层次框架设计

2.2.1 算法层

该层主要是利用下一层所提供的统一数据源来调用相关算法及对接口进行合理的管理。由于不同算法的执行顺序和得到的结果有所不同而分开的。例如数据清洗算法服务, 它是针对具有噪声数据的数据及在应用数据挖掘算法前需要进行接口服务调用, 把清洗后的数据利用数据层再储存到云计算平台中, 为后续数据挖掘工作提供更好的服务;数据挖掘调用服务, 在应用该服务之前, 将已清洗的及不需要清洗的数据利用数据挖掘技术统一对数据进行调用。

2.2.2 应用层

和其它层相比, 该层的抽象性较强, 它是把海量数据挖掘涉及到的数据、算法等之间的内在关系描述成任务, 同时提供提供应用调用服务和维护接口等。

2.2.3 用户层

该层主要为用户提供身份验证和授权等功能。

2.3 设计关键点

2.3.1 插件系统设计

插件是结合相应的应用程序开发接口规范而实现的一种程序。其中, 任何一个插件都是由三大部分构成的, 即扩展点、业务逻辑、调用下层扩展点, 并且这三者都是由相同的负责模块管理帮顶包跟各种服务所构成的。另外, 每个绑定包涉及到一个服务说明接口与多个服务调用接口两种类型的接口。要求绑定包接口必须满足相关规范要求, 若把插件防止到平台的某个特定目录下, 能够识别和加载该动态。除此之外, 算法实现不同于以往针对特定个数、排列数据而实现。它是在满足实现算法的基础上, 利用抽象数据提供更多的兼容性。尽管这种算法实现存在很大的难度, 但其算法的复用性有了显著提升。

2.3.2 开放接口设计

通常情况下, 开放接口主要被应用数据挖掘平台的开发使用。利用上述接口, 开发者能够更好地利用数据挖掘平台提供的资源及数据服务。为实现开放接口高效性、直观性的目的, 其平台接口主要应用的是表述性状态转移接口, 英文缩写为:REST。该类接口的优势在于为无态型。也就是说, 在同一个局域网中, 浏览器中的缓冲装置可替代服务的重复调用。这样一来, 不仅能够有效减轻服务器的运行负担, 而且若用户量过多造成底层服务影响整个系统的运行, 而此时可利用横向服务器数量的增加扩展线性的吞吐量。因此, 利用云计算平台, 能够为用户提供无穷大的数据吞吐能力, 满足系统的性能要求。

3 云计算数据挖掘平台架构的实现

3.1 开发环境

Google的云计算开发环境主要为App Engine。当遇到重载或是数据量非常的情形时, 也能轻松构建安全的应用程序。这是因为此环境的优势在于可提供动态服务、自动扩展等。

3.2 开发思想和技术

3.2.1 原型开发模型

首先, 需进行快速分析。在相关人员和用户的共同合作下, 可准确确定出系统的需求, 再结合原型的特征描述需求, 来满足开发原型的需求。其次, 原型的建构。在经过分析的基础上, 结合需求快速建构一可行性较高的系统。在此情况下, 需要有相应的软件工具提供可靠的技术支持, 同时不考虑系统细节方面的具体要求。再次, 原型的运行。此环节是为及时发现问题, 从而快速消除问题的一个关键环节。最后, 对原型的评价。原型运行的前提下, 对原型的特性予以科学性的考核, 对运行结果能否满足用户期望而进行分析。而针对该过程中存在的错误或是增添的新要求等, 提供合理性的修改建议和意见。

3.2.2 基于 WSGI 规范的开发

通过分析可知, 在基于WSGI规范基础上的开发具有很多的优势。其根本目的是提升系统的可用性和实现跨平台性操作。因此, 基于WSGI规范的实现远比传统的C/S模块使用简单的多。用户通过对浏览器来访问系统, 同时增加了用户的终端的可选择性。此外, 由于WSGI规范是在Python的语言环境下而实现的。而该种语言属于一种跨平台性开发语言。这样一来, 不管是把已开发的系统放置到云计算平台上还是在本地开发应用都是极其方便的。

3.3 开发步骤

3.3.1 算法模块插件系统

算法模块主要涉及到数据集清洗算法、数据挖掘算法、结果可视化算法等多种。而一个完整的执行过程必须在原始数据集的噪声及不规则数据的情况下借助数据集清洗算法把数据集统一进行整理。也或者是由异狗、分布式等数据源中转化而得到, 再自动生成规则的数据集。将这些规则的数据集利用数据挖掘算法予以处理, 进而获得数据挖掘结果信息, 再经过可视化算法的处理, 最终将数据信息传递给用户。其中, 任何一个环节数据的调用都必须利用REST接口而实现, 并且接口间的数据信息转换和传递都是采用XML格式。特别是近年来, 由于数据挖掘平台各种算法模块插件的出现, 这样一来, 云计算平台下的数据挖掘平台所提供的功能也会逐步增多。

3.3.2 数据集访问模块

该模块的实现和上述算法模块插件系统实现具有很多相同点。它也是通过插件方式进行维护和调用的。尤其是在访问数据集的过程中, 其访问模块文件被索引处在被用户调用的状态。而和算法模块插件系统的不同之处是在调用数据集访问模块前, 系统自动把数据机实例文件解析成若干个元数据组合及物理访问地址, 最后把此类数据组合成字典类型结构的参数传递到数据机访问模块中。

4 结束语

总体来说, 在云计算平台下的数据挖掘系统逐步趋于完善, 增强了数据规约的功能, 从而更好地解决异构数据访问的问题。同时在App Engin开发平台上, 设计出一套更为完善的数据挖掘系统, 提升了云计算和数据挖掘技术结合的可靠性与高效性。文章主要针对基于云计算的数据挖掘平台架构设计与实现予以深入的研究, 并且对今后云计算环境下的数据挖掘系统的延伸发展予以展望, 希望能够通过论述对读者产生一些积极影响。

参考文献

[1]杨庆平.基于云计算的数据挖掘平台架构及其关键技术研究[J].中兴通讯技术, 2013, 19 (1) ;122-123.

[2]黄章树.基于云计算服务模式的数据挖掘应用平台的构建[J].电信科学, 2012, 28 (1) ;138-139.

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇3

关键词：物联网；云计算；环境监测系统

引言：随着我国经济的发展，环境问题不可小觑，虽然已经制定了政策抑制环境污染但形势还是非常的严峻，我们国家为了提高环境监测能力，完善统计以及监测的方法，提高环境统计的准确性和及时性，并且能够让环保部门以及人民看到环境的发展与控制，所以全面发展应用物联网加强建设环保工作是我们国家走可持续性发展道路的重要战略政策。

一、物联网与云计算

上个世纪末，我们国家的传感网开始研究，环保也是属于传感网的应用于研究的范围之中，虽然说国家为了改善环境监控环境花了很大的努力以及金钱建立起了污染源在线监控设备中心，并在二零零九年在无锡建立起了传感中心，虽然是在国家的大力扶持之下，物联网的初步体系已经构建好，但是在环境保护方面还是属于稚嫩的，不够完善。物联网是新一代的技术，虽然在我们国家起步非常的晚，但是在国家的大力发展下，能够应用的范围非常广泛，例如交通、仓储物流、农业、家具、环境等方面，把物联网应用在环境监测能够及时快捷的掌握最新的环境情况，并且实现智能化和自动化。在监测环境的过程中会获得大量的数据，并且需要把这些数据有效快速的进行计算，这个时候就要采用云计算，云计算技术是一个非常大型的计算服务中心，他能够通过互联网提供给用户不同的信息，这样就可以使得有关部门直接得到想要的资讯，不用另外投入资金建立数据，所以说将物联网和云计算结合在一起对环境的监测十分的有利。

二、环境监测系统

2.1、环境监测系统的对象

环境监测系统检测的对象主要有水、水产品、噪音、绿色植物、森林、放射性物质和一些重点保护的自然区，还有一些污染源头造成的环境污染，例如重金属企业的工业污染，医院里的病毒污染，交通的尾气污染，城市用水的污染等等污染因素，这些因素导致环境的下降，所以说要监测这些影响环境的因素，特別是重金属工业污染、大气污染和水污染，因为这些污染很大程度的影响了我们的生活水平和生活质量。

2.2、环境监测系统的手段

环境监测系统检测的手段一般是从物理、化学、生物这三种比较传统的监测手段，但是随着物联网的运用，物联网技术改变了物理、化学、生物三种传统的手段，使得监测的手段更加的智能化和自动化。物理手段是通过各种光线谱色谱来环境问题，化学手段是通过电离、电位差等方法来分析各种污染物的浓度，生物手段是通过观察以及测定生物环境的数据，物联网就是用环境监测系统联合云计算，自动在源头采集需要的环境大数据进行有效快速的计算，并且把数据传到环境监测系统中。

2.3、环境监测系统的特点

环境监测系统有三个特点，分别是持续性、跟踪性和复杂性。因为我们生活的环境中有看的见的看不见的污染源，这些污染源跟随着时间而变化，并且会随着外界环境的变化，所以说环境的监测一定要持续，否则测到的可能只是某个时间的数据，没有说服力；环境监测的过程较为复杂，要确定目标然后设计方案采集样品，采集样品后还要进行运输以及实验室的实验处理，为了使得产生的结果有准确性和代表性那么在这个过程中要全程跟踪；在上面我们介绍到环境监测系统检测的对象主要有水、水产品、噪音、绿色植物、森林、放射性物质和一些重点保护的自然区，还有一些污染源头造成的环境污染，例如重金属企业的工业污染，医院里的病毒污染，交通的尾气污染，城市用水的污染等等污染因素，所以说环境监测非常的复杂。

2.4、环境监测系统的结构

环境监测系统的结构分为三个，他们分别是网络层、应用层和感知层。网络层是衔接应用层和感知层，主要有互联网等网络组成，负责把从各种地方收集到的数据处送到云计算的数据的一个网络层面；应用层处于环境监测系统的最顶端，它与云计算和用户，把得到的数据给云数据分析得出的结果给用户；感知层是整个环境监测系统的最底层，是采集第一手数据的层面。

2.5、环境监测系统的功能

环境监测系统的功能有综合管理系统、大气监测系统、噪声监测系统、污染源管理系统、水体监测系统。综合管理系统负责系统各种智能服务为保护环境的策略做一个依据，大气监测系统主要检测大气方面的管理，噪声检测系统主要监测并且预测噪声，污染源管理系统主要负责各种污染源的远程管理和计费管理，并且统计分析污染源的各种数据，水体监测系统能够检测并且预测水的质量，能够控制水量，提供应急管理系统。

三、设计环境监测平台注意事项

3.1、利于操作性

在设计环境监测系统的时候要注意应该要制定统一的界面，这样方面每个用户的使用，不会因为找不到想找的登入口或者其他而不利于操作员的操作。

3.2、技术稳定性

在设计环境监测系统的时候要注意采用可靠地技术，并且有一套安全建设体系，流畅灵活的事故解决方案，使得整个平台能够更稳定的进行，不会时不时的闪退，造成数据的混乱，这样不会给系统的管理者带来管理上的麻烦。

3.3、系统的统一性

在设计环境监测系统的时候要注意根据系统工程的原理来进行，并且统一的指导保证资源的综合，资源的整理以及技术，这样才能够保证环境监测平台的系统性和统一性。

四、总结

我们国家环境监测的最终目的是为了能够全面控制环境，物联网环境检测系统就目前来说还是稚嫩的，以后的发展趋势就是把物联网和云计算有机的充分的结合在一起，怎么样利用云计算庞大的数据和超强的运算能力，怎么样利用并且挖掘对环境检测系统收集到的数据等等问题都需要科学家们进行深入的研究，这是一个漫长的道路，但是后续研发出可执行的方案后将会有非常庞大的市场价值。

参考文献：

[1]崔曼，薛惠锋，卜凡彪，赵小平. 基于物联网与云计算的环境监测系统研究[J]. 西安工业大学学报，2013，07：577-582.

[2]齐丹. 基于云计算的环保物联网污染源在线监控系统设计与实现[D].学，2012.

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇4

网络营销的职能是传统市场营销组合4P理论(包括产品、价格、销售渠道和促销)基础上发展的.主要的职能包括网络品牌、网站推广、信息发布、销售促进、销售渠道、顾客关系和网上调研，而且各个职能之间相互联系、相互影响、相互促进，通过各个职能之间相互共同作用实现网络营销的整体效果.网站推广、顾客关系、信息发布、网上调研和顾客服务属于基本职能，是网络营销资源的投入和表现，而销售促进、在线销售和品牌形象是网络营销效果的体现.

网络营销系统是利用信息技术构建的为实现网络营销的基本职能而建立的信息系统，系统的总体功能是以营销为手段而开展的各种业务活动，包括以顾客为中心的各种营销策略.

伴随互联网技术的发展，数据库技术、云计算、大数据等信息技术不断推陈出新，网络营销系统不再是一个独立的单机系统结构，而是一个云服务、信息技术、网络营销应用、社会保障和技术标准构成的整体系统结构.

引入云计算建立的网络营销系统体系，可以实现以云服务为中心的共建和共享，而且可以实现与其他部门协作的人才、管理、技术的保障，信息技术的支撑，从而实现资源共享与协作.整个基于云计算的网络营销系统主要包括的内容如下：

(1)信息技术支撑系统.

主要包括计算机网络技术和数据库技术.计算机网络技术是网络营销系统的基础设施，一般由政府投资完成.目前我国网络基础设施投入大量的资金，建立了骨干网，也相应建立各种专业网站，例如产品交易网、中国农产品销售网、中国服装网等，然而这些专业网站比不上人们对淘宝网、阿里巴巴等第三方平台网站的熟悉，政府部门引导或者整合产品网络营销策略，可以利用搜索引擎营销策略、网络广告联盟、网站链接等网络营销手段开展产品的促销，营造与服务或产品相关的网络社区，引导客户积极参加，从而吸引潜在客户的参与，实现与顾客沟通零距离、零时点，形成一种全新的网络营销体系.同时数据库技术建设在网络营销系统中占有相当重要的地位，利用各种信息资源渠道，建立产品、客户、市场供求等数据库资源，以市场数据库为主线，分别建立客户关系管理数据库和产品数据库，从而推动顾客关系管理系统得以快速发展.

(2)保障系统.

保障系统主要包括组织、人力资源和资金.任何一个信息系统的建设和使用都离不开组织领导的协调和重视.在网络营销系统中组织不仅要高度重视网络基础设施建设，特别是网络信息平台的搭建，同时必须有效利用国家的相关政策、法律法规等，促进和引导系统得以顺利实现.利用科研院所、高等院校等优质科技资源和市场经营组织与企业的关系，搭建统一的网络营销系统平台，也可以积极组织相关企业和部门，建立一个网络营销协会，从而提升网络营销系统中组织的作用和地位.

资金是网络营销系统得以实现的保障.网络基础设施的建设、信息平台的搭建、网络硬件的配置都离不开政府或者信息主管部门的资金投入.同时还必须将计算机网络、信息资源平台和云计算等技术进行整合，从而形成完善的信息资源网.积极有效利用信息资源，强化信息的服务水平，制订相关的投资和优惠政策，拓展渠道筹集资金，从而实现基于云计算的网络营销系统.

人力资源的建设在网络营销系统中不可被轻视.发挥“团队精神”，重视“协同作战”的项目管理机制，加强专业技能人才和管理人才的培养，一方面可以对现有的员工进行培养，通过培训、提供交流平台、设置奖惩制度等方式，激发员工学习积极性，提高员工的基础业务能力及专业技术能力;另一方面可以与相关研究机构、高等学校、培训结构等合作，建立培训基地和研究基地，从而实现联合培养.

(3)技术标准系统.

技术标准系统主要包括质量安全标准、安全检验检测和安全认证标准.在网络营销系统中，企业从生产到消费整个流程必须实行标准化，提高系统的技术标准、质量和安全标准，主要包括以下几个方面.

第一，具有健全的管理机构.产品的标准化是发挥市场经济的基础，也是提高企业竞争力的重要保障.通过各种途径实现产品经营者、监管者及消费者认同产品标准化的重要性和统一性作用;而且相应的产品标准化工作管理机构，制定产品质量标准、产品安全和质量认证标准时，认真组织协调，对于产品标准的组织实施、检测检验、评估认证等进行集中统一管理.

第二，完善地方特色产品标准.为了提高本地特色产品的市场竞争力，充分考虑地方特色产品标准与国家标准、国际标准的衔接问题，提高产品的质量安全标准.在制定特色产品标准体系中，安全标准、生产标准和质量标准必须执行国家相关的标准，同时要与国际的有关标准衔接，而对于本地特色产品的品质、包装规格等质量标准必须符合地方特色标准体系，还要兼顾特色产品技术发展趋势和水平，保证相关标准得以实施.

第三，技术标准与品牌产品相结合.技术标准的制定可以推动品牌产品的建设，也是增强产品市场竞争力的主要途径.面对日益激烈的市场竞争和产品品种日益丰富化，无品牌或品牌知名度不高的产品在市场竞争中一般处于劣势，很少被消费者熟悉和信赖.但是品牌产品的建设是一个长期积累和渗透的.过程，必须以质量安全标准为前提，通过制度建设和管理，严格质量安全认证管理和监管确保品牌的建立.

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇5

以云计算的网络平台为开发建设基础，借助专业的开发工具及软件对云计算系统进行程序开发。其中PHP、NET是使用频率较高的开发软件，以ASP.NET为例，在利用该软件开发基于云计算下的网络教学平台时，利用操作系统中的云平台所提供的云计算技术来进行计算应用的。云计算系统是构建云计算服务平台的主要元件。在网络教学平台开发中，可以将学生对网络教学的需求看作云计算平台中的服务需求，网络教学平台通过向学生提供各种的相应的云服务来满足学生的需求，同时这种由网络教学平台发出的云服务会随着学生需求的调整和改变而在出现一定范围内的服务拓展或衍生服务。纵观云计算服务的.形式，大致可以分为三种，第一种是软件即服务形式，Software-as-a-service，简称SaaS；第二种是平台即服务形式，Platform-as-a-Service，简称PaaS；第三种基础设施即服务形式，Infrastructure-as-a-Service，简称IaaS。由于这三种形式的针对性不同，服务层次的有所差异，因而这三种形式实际呈现出一个上下级的金字塔关系，SaaS出现顶层，供应商Sales Force.com是该层的标志性存在，另外在线CRM也是该层服务的最大特点；中间一层是PaaS，操作系统Azure是类型云服务模式的中的典型，同时操作系统Azure也是微软基于云计算而设计开发的一款云操作系统；最后IaaS处于金字塔的底层，服务器、硬件等物理资源是该层的主要服务内容。

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇6

分布式网络系统中的数据访问设计与优化*

张均东，任光，陈健

(大连海事大学轮机工程学院，辽宁大连 116026)

摘要：

在基于局域网的大型分布式仿真和控制系统中，包括数据库服务器在内的各计算机之间的信息交互方案的设计是系统性能优异的关键，尤其是在计算机数量较多或待交互的单位时间信息量较大时更为重要。计算机间的信息交互涉及各机间的共享数据的读取、存贮和更新等方面的内容，需采取有效的系统规划、实时通讯和快速数据库访问等手段解决。本文全面论述了有关内容，给出了有效的解决方案。

关键词：网络系统、信息交互、优化设计

1 前言

随着计算机和网络技术的不断提高，使用基于局域网的，分布式的计算机系统对大型、综合或复杂的工业过程和运行环境进行系统仿真与运行模拟以及控制已越来越普遍。由于这样的仿真与控制系统一般规模庞大或过程复杂，单独一台计算机无法完成整个系统任务，需要多机参与，构成计算机网络，通过网上信息交互共同协调完成整个仿真与控制任务。各机之间信息交互的方式、频率和数量决定了整个网络系统的综合性能。由于在这样的系统中，机间的信息交互一般都非常频繁，各机都要面临数据更新、系统运行、结果存贮等过程的快速性问题，因此有关的设计是非常重要和关键的。

2 系统规划与设计

无论是仿真还是控制系统，合理的系统和数据规划至关重要。通过系统和数据规划可以优化系统设计，解决各机任务均衡，资源充分利用等问题，在兼顾可靠性、安全性和故障可诊断性的同时充分发挥系统的整体效率和性能，并容许具有一定的可扩展性。

目前有许多分布式仿真和控制系统采用以数据库为中心的设计方案。在这种设计方案中，网上的交互信息通过数据库来进行，首先由产生交互信息的机器存入数据库，然后由需要该交互信息的机器从数据库中读出来完成一个信息交互或更新过程。由于该信息交互通过一个中间环节即数据库来进行，因此在网上的计算机数量较多或程序要求的数据更新较多较快时，易造成数据冲突和网络堵塞，极易导致系统运行迟缓或死机，成为整个系统性能的瓶颈。

当然以数据库为中心的分布式仿真和控制系统也有其优点，其编程思路比较简单清晰，容易被人理解和掌握。对于网上信息交互量不多的系统，可以采用以数据库为中心的`系统，同时可以通过数据规划合理地分配各计算机的任务，使用一些编程技术来降低网上的信息流量，提高系统的性能。例如在程序中应尽量使用全局变量创建公用数据库连接，避免每次不必要的数据连接重建时间。

如果系统较大、网上信息交互量较多或对系统实时性和可扩展性要求较高时，应采用实时网络数据通讯的设计方案。在以数据库为中心的系统设计方案中，由于数据的变化首先要存入数据库，然后被其它程序访问才能刷新，经历了数据库存取这一中间环节。如果网上有多个应用程序都需要知道该数据的变化，则都必须通过数据库访问才能更新。这样就浪费了许多网络资源，容量造成瓶颈。在采用实时网络数据通讯的设计方案中，通过网络实时通讯来解决网上各机器间的数据交互与刷新问题，其中对于多台机器都需要的数据变化通过网络广播的方式，以定时和数据变化实时触发传送的机制向所需机器通知该数据已发生变化和具体的数值;对于只存在两台机器之间的信息交互可采用点对点的方式进行通讯。通讯的数据格式和组织可以自行定义。因此，与以数据库为中心的方案相比，该设计方案减少了因数据刷新所需的多次访问问题，大大减少了数据流量，同时网络传输还可以增加数据正确性和合法性校验，为操作者或系统管理员及时提供系统信息和出错信息，便于系统故障诊断和系统调试。

如果把各子系统初始化数据都保存在服务器的数据库中，则各机一起启动时，由于都需要建立数据库链接，读取其中的初始化数据，容易造成起动时间过长的现象。为此，对于不必要存于服务器的数据可存于本地数据库中，本地数据库可采用ACCESS数据库。对于一般不变的系统初始化数据也可以备存到本地数据库中，供日常程序起动时使用。如果系统的初始化数据进行了更新，可以编制一段程序，根据数据库服务器的数据库版本号来更新本地数据库。无论何种方案，数据库的访问总是不能避免的，如何提高数据库的访问速度非常值得研究。

3 提高数据库访问速度(以SQL数据库为例)

客户机程序一般采用VC++，VB

，PowerBuilder，Delphi等支持访问数据库的集成开发环境进行开发。在编写客户端程序时，一般通过ODBC(Open Database Connectibvity) API，RDO(Remote Data Objects) [5]，ADO(ActiveX Data Objects) [5]访问数据库，查询或修改数据库中的数据。其中ODBC API是被人们广泛接受的用于数据库访问的应用程序编程接口。具有访问数据库速度快效率高，但编程复杂的特点;远程数据对象(RDO)对ODBC API函数进行了封装，为编程人员提供了一个访问远程数据库的高级接口，在程序中通过该对象可轻松对数据库进行远程访问。组件对象(ADO)不仅继承而且发展了RDO，它不但具有访问远程数据库的能力，而且还具有访问其它数据提供者(不一定是数据库，可能是其他文件或其他应用程序所提供的数据)的能力。在VB中可很方便的使用RDO和

ADO来访问数据库，但访问数据库效率不高，速度较慢，灵活性也差。为了满足系统的要求经常需要提高访问数据库的速度，具体方法有：

3.1 使用ODBC API函数

由于ODBC API函数的入口参数表中有些参数需要传递指针，而VB不支持指针，因此在VB中调用ODBC API函数会有一定的限制。另外，VB的字符串内存存储格式与C语言不同，而ODBC API函数是用C语言开发的，这也限制了VB和ODBC API

函数之间的数据交换。为此需要开发一个动态链接库(Dynamic Link Library - DLL)，编制二个API函数分别以获取参数指针和支持数据交换，从而实现在该动态链接库的支持下，在VB中直接调用ODBC API函数的目的。

可以使用VC++6.0开发动态链接库。VC++6.0可开发三种类型的动态链接库：Win32 DLL、常规 MFC DLL、扩展 MFC DLL。其中Win32 DLL、常规 MFC DLL可被任意Win32编程环境(包括Visual Basic 6.0

版)加载使用。常规 MFC DLL在发行时必须附带MFC42.DLL库，而Win32 DLL可单独发行[3]。如果只提供给VB编程环境使用，可建立Win32 DLL即可。

具体的开发步骤为：利用VC++6.0编程环境的AppWizard创建一个简单Win32 DLL工程，工程名为SQLAPI，在此基础上加入自己的代码。代码如下：

#include “stdafx.h”

#define DLLEXPORT

extern “C” __declspec( dllexport) //定义导出宏

BOOL APIENTRY DllMain(HANDLE hModule,DWORD ul_reason_for_call,LPVOID lpReserved)

{ return TRUE; }

DLLEXPORT long __stdcall GetAddress(void * Address) //按地址传送

{ return (long) Address; }//将地址强制转换为长整形

DLLEXPORT long __stdcall strCopyToByte (char * BytesAddress,char * strAddress)

{ return (long) strcpy(BytesAddress, strAddress); }//

将字符串传送到指定地址

经编译链接生成SQLAPI.DLL动态链接库，将其拷贝到C:WINDOWSSYSTEM(对于Windows) 或C:WINNTSYSTEM32(对于Windows NT 或)目录下，这样就可在VB中调用这两个API函数实现对ODBC API的调用。ODBC调用的一般流程为：

1连接至数据源：分配环境句柄、设置环境属性、分配联接句柄、联接数据源和设置联接属性。

2初始化应用程序：分配语句句柄、设置语句属性，必要时进行数据绑定。

3建立和执行SQL语句：a) 建立SQL语句，或使用硬编码的SQL语句。b) 如果SQL语句含有参数，将每个参数绑定至应用程序变量。c) 用SQLExecDirect执行该语句。如果语句要多次执行，则进行语句准备，并用SQLExecute来执行。

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇7

在信息技术发展的推动下, 各高校教务、科研以及办公等业务都通过信息技术的方式开展, 导致高校对于各类信息系统以及数据存储空间等需求量都越来越高, 数据中心的规模也不得不随之不断扩大。为了保障服务顺利开展, 业务办理过程具有较高的安全性, 各高校对于数据中心安全性、可靠性的要求也越来越高[1]。可见, 传统的高校数据中心已经无法跟上时代的步伐, 适用性也越来越差。为了改善高校数据中心现状, 可以通过云计算、虚拟化等方式对服务器、存储以及网络进行全面整合。

1 高校数据中心建设现状

虚拟化技术对于高校数据中心的优化、简化起到了重要的作用, 利用虚拟化技术以及云计算能够完成IT基础设施环境的功能, 并改善现有数据中心构架以及管理模式。但当前各高校建设数据中心依然只简单的利用虚拟服务器代替物理服务器, 忽略了对数据中心内存、网络以及应用交付系统等方面的协调和改善, 虚拟化技术所具有的优势并得到充分发挥。当前各高校数据中心在运行过程中依然存在诸多问题, 例如:连续性和灵活性较差、维护管理成本较高等。数据中心若只进行服务器的虚拟化而忽略其他硬件资源相应的调整, 信息系统与硬件资源之间就会出现脱节现象, 无法满足应用系统的需要, 严重影响了信息系统的正常运行。因此, 结合云计算技术, 可以实现存储系统以及网上支付系统, 而且能够统一的管理硬件资源, 合理分配个硬件应承担的任务, 屏蔽底层硬件细节, 降低了研究与应用的复杂性。将硬件系统模块化, 使其具有较高的独立性, 较低的耦合性。应用系统所需要的计算、存储等资源都可以实现按需获取, 保证了业务的高效性、连续性以及可用性。利用云计算技术建设高校数据中心能够有效解决服务器在虚拟化过程中所带来的问题。

2 基于云计算高校数据中心建设要点

2.1 资源池

高校数据中心建设过程中可通过虚拟化的手段, 将数据中心软件资源以及硬件资源整合成为一个虚拟的资源池, 可以有效简化硬件资源的管理和调度, 资源可以实现按需获取, 同时空闲的资源会自动释放, 这一技术是云计算数据中心建设中的一项关键技术和基础。资源池化的实现能够将离散形的硬件资源管理方式转为虚拟化的资源共享, 管理工作会更加便捷、效率更高。资源池化能够根据应用系统的需要来进行分配, 实现按需获取。另外, 资源池化还可以实现各类业务的快速部署, 合理分配动态资源。

2.2 资源动态管理

资源动态管理是云计算高校数据中心建设十分重要的一点。数据中心的核心在于如何管理应用数据。数据是信息的一种形式, 管理的效率直接决定着使用的效率。不同的用户对不同的数据有着不同的关注度和使用度。用户希望获取的仅仅是其所需求的, 因此对于存储资源和管理资源的时候, 要动态的区分这些对于用户不同的贡献度。动态管理资源可以有效提高硬件资源的利用率。同时也使得数据中心能够更灵活的满足应用需求。数据中心可利用分布式资源调度等功能来实现资源的动态管理。

2.3 动态扩展

资源与需求是在不断地变化的。为了满足应用需求, 数据中心的资源也必须根据应用需求动态地扩展以满足当前最新的应用需求。实现动态化、个性化的管理。在扩展当前资源池的时候, 要保证当前正在进行服务的前提下进行。为了预防扩展过程中, 出现新旧平台建设的不衔接问题, 可以数据中心模块化, 提高各个数据中心模块的独立性, 降低模块之间的耦合性。每个模块都具有计算、网络、存储方面的资源, 使得各个模块可以相对独立的工作, 减少扩展时的相互影响, 提高后期建设和维护的效率。

3 基于云计算的高校数据中心的设计与实现

3.1 计算系统

实现计算资源虚拟化的一种可靠方式是服务器虚拟化。在各大高校中, 目前应用较为广泛的是通过v Sphere来虚拟化平台。它是目前市场上唯一可供生产环境使用的服务器虚拟化套件。虚拟化技术创建了高效而灵活的存储池, 不仅简化了虚拟机的存储操作过程, 还可直接利用存储基础架构的各项功能, 为在虚拟环境中使用和管理存储系统提供了最有效的方式。系统设计首先考虑的是功能的完善, 其后是性能的改进。评判一个系统设计是否合理在于能够满足用户的需求。其次, 是一个系统的可扩展性和容错性。能够在用户需求不断变动的情况下, 做出改进。系统的整体架构不应有较大的改变, 以使用那个各类业务不断增长的需求[2]。

3.2 网络系统

基于云计算的数据中心其网络系统与传统的数据中心相比, 网络资源的调用方式主要是面向云服务的, 并不是面向复杂的物理底层设施来进行设计。网络虚拟化能够将数据中心其网络设备的调用方式脱离物理位置以及物理状态, 这是基于云计算的构架中IT资源池化的关键环节。高校数据中心由于其所承担的业务及应用特点等决定了其网络系统的形式, 即必须要将传统的校园网接入考虑到其中, 同时还应当估计数据中心的网络接入。在设计高校数据中心网络系统时可采用超大规模的数据中心交换机作为核心, 另一方面, 还可通过对虚拟机系统平台内配备的软交换机的交换方式进行改进来提升虚拟化网络其运行质量。

3.3 存储系统

云计算的数据存储方式为分布式存储, 对服务器的稳定性要求降低了, 但对存储的可靠性以及性能都有着更高的要求, 存储器作为数据中心的核心及运行的基础, 其性能优劣、质量好坏都会对系统产生全面的影响, 不断发展和完善存储系统是整个数据中心建设过程中的重点环节。一方面应当根据运算量充分考虑适宜的存储容量, 另一方面应当重点考虑系统的I/O性能。为了完善云计算数据中心的存储系统建设, 可以采用EMC公司的VNX存储系统来进行建设。

3.4 安全应用交付系统

实现安全应用交付系统对于高校数据中心来说是十分有效的一道安全屏障。安全应用交付系统, 简称SSA, 是指将客户的关键应用高效、安全、智能、可靠的发布到用户端。采用负载均衡、应用加速、Web应用安全、连接优化等技术。在极大提高数据中心核心业务系统的可用性、效率和安全性的同时, 降低数据中心基础设施投资成本、维护复杂度和能源消耗。在虚拟机安全产品的选择上也应当慎重考虑。在这一方案中, 可以采用Deep Security, 这是综合了保护服务器以及应用程序功能的安全系统, 通过与虚拟机管控中心的整合, 提升了资源计算的效率。

3.5 云管理平台

云管理平台作为对整个数据中心进行资源管理和调配的平台, 管理各个资源池工作负载交付, 也是实现Iaa S关键环节之一。云管理平台所具备的功能应当能够针对不同资源池提供统一的管理接口, 实现对架构中各个资源池的集中管理, 其功能主要包括资源管理、资源监控以及故障检测、数据统计等等管理工作。云管理平台构建方式可以在v Sphere为云计算系统所提供的基础设施构架上通过第三方软件来实现两者的对接。

4 结束语

基于云计算的高校数据中心与传统的数据中心相比较, 业务处理更高效、更简化, 但对于硬件设备以及各系统的设计实现要求都更高。只有根据实际的业务需求, 通过对计算、网络交付应用以及存储等系统的合理设计和不断完善, 才能建设具有更高业务处理能力的高校数据中心, 更好地服务于校园内的师生用户。

摘要：基于云计算的高校数据中心依靠其自身具备的优势成为研究和发展的主流, 能为用户提供更为便捷和多样的服务。文章以高校云计算数据中心为目标, 探讨了数据中心建设现状, 总结了在高校云计算数据中心设计实现过程中所需要注意的要点, 最后提出了一套适用于高校教务服务的云计算数据中心的实现方案。

关键词：云计算,数据中心,虚拟机,高校服务

参考文献

[1]李璐颖, 张云勇, 房秉毅.云计算在网络中的应用[J].电信技术, 2011 (10) .

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇8

介绍了计算机联锁系统利用工业总线构成通信网络,实现了CPU与控制模板在物理上分开.实现集中联锁分散控制的.功能.并阐述了系统优势.

作者：张大涛 Zhang Datao 作者单位：中冶京诚工程技术有限公司信号与通工程技术所,100176,北京刊名：铁道通信信号英文刊名：RAILWAY SIGNALLING & COMMUNICATION 年，卷(期)：2009 45(2) 分类号：U2 关键词：计算机联锁系统工业总线集中联锁分散控制

★ JAVA的文件类和I/O系统简介Java

★ A/O工艺处理某矿区生活污水运行实例

★ Lon总线多点I/O智能节点的开发

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇9

随着企业业务的高速发展, 越来越多的企业业务面向项目化管理。在企业的每一个项目运行过程中, 项目经理需要能够充分协调资源, 进行详细的计划安排、实施与跟踪、多部门的沟通协作、风险的控制等, 以保证每个项目能够在预定的时间、预算和质量要求下达到的最终成功。然而由于每个项目都相对独立, 每个项目都要通过一定的流程和环节, 往往容易导致项目管理的混乱。而基于云计算模式的应用服务非常适合于项目管理, 因为这种模式可以让工作的启动变得相当容易, 由此也使项目本身能够快速启动并平滑推进。而且, 项目结束也就意味着相应管理工作的结束, 根本没必要留有一个项目管理服务器以及相应的软件许可证, 更不用说要高薪聘请一个全职的项目管理专家了。

1. 云计算

云计算是这几年IT领域的新热点, 它的一个通用定义是将计算任务分布在大量计算机构成的资源池上, 使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。目前云计算包含三个层次的服务:基础设施及服务 (Iaa S) 、平台及服务 (Paa S) 、软件及服务 (Saa S) [1]。在云计算模式中, 互联网的计算架构由“服务器+客户端”向“云服务平台+客户端”演变[2]。云计算也是一种理念, 由云服务提供商来提供具体的硬件配置和更新, 用户使用服务就像使用水和电一样, 只需要一个终端完成输入输出, 所有的业务和数据处理都由网络完成, 而用户不必考虑这些数据和服务在什么地方, 只要按照流量和服务向运营商支付费用即可[3]。根据这一理念, 建立一个基于云计算的项目管理系统, 企业可以通过它管理自己的项目, 而不必要自己专门去投资建立, 同时平台和软件都有专业技术人员进行维护和更新, 这样大大节约了企业投资和维护设备。

云计算 (Cloud Computing) 的出现, 对于建立统一、开放、灵活的项目管理系统, 减少硬件投入提供了一个新的解决方案。目前国外的Google、IBM、Amazon和Microsoft等大型的IT公司纷纷建立自己云计算平台[4,5], 国内的如联想、百度等企业同时也纷纷推出了“云服务”、“云存储”等新的业务。通过这种方式用户无须购买服务器, 只要购买相关“服务”就可以建立一个高效的企业项目管理系统。

具体来说, 运用云计算技术建立项目管理系统有以下优势:

1) 经济性。云计算的基础设施通常是由第三方提供, 用户不需要为了架设企业项目管理系统而一次性购买昂贵的设备。同时减少了客户对硬件和软件维护更新的投入。

2) 专业性。云计算平台由大型IT企业专业人员进行维护和更新;企业项目管理系统由开发者根据企业反馈信息实时维护和更新;企业专注于项目管理应用。

3) 灵活性。“云”的使用规模可以动态伸缩, 满足应用和用户规模增长或减少的需要, 同时又不会造成资源浪费。

4) 可靠性。云计算平台由大型专业IT企业建立, 由大量商用计算机组成机群向用户提供数据处理服务, 利用多种硬件和软件冗余机制, 这使得它适合于业务连续性和灾难恢复。

5) 共享性。众多用户分享资源, 并且避免单一用户承担较高的费用或者资源无法被充分利用。综合以上优势可知, 应用云计算技术建立企业项目管理系统完全可行, 而且与一般的企业项目管理系统相比更有利于降低企业成本, 非常适合中小企业使用。

2. 基于云计算的企业项目管理框架结构的设计

2.1 系统平台体系结构

本文充分考虑云计算的特性, 根据实际需求设计了企业项目管理系统框架结构使其具有良好的可扩展性。图1是云计算模式下企业项目管理系统角色关系图, 平台提供者提供硬件平台的同时负责系统和硬件的更新, 软件开发人员利用硬件平台开发出项目管理系统平台并负责软件更新和维护。企业用户只需要付费使用项目管理系统而并不用考虑硬件和软件的维护。

由于本系统为互联网应用, 因此采用了B/S三层体系架构, 三层架构即表示层、业务逻辑层、数据存储层。客户端通过浏览器访问表示层, 显示用户界面;Web服务器负责业务逻辑处理, 并且实现与客户端、数据存储服务器的交互;数据存储服务器负责管理静态、动态数据。

2.2 系统功能模块

根据需求分析, 本系统平台分为若干个功能模块, 如图2所示。

1) 用户管理系统建立在开放的云计算平台上, 基于安全性考虑系统采用授权访问控制来对用户的访问权限进行管理。由软件提供者给获得授权的企业分配一个系统管理员用户, 系统管理员用户可以根据下属用户的工作进行相应权限的授权。

2) 项目管理管理系统中项目, 包括项目的基本信息, 如标题、开始时间、结束时间、参与人员总数等。

3) 项目成员管理管理指定项目中的成员, 包括给指定的项目分配和删除成员。

4) 任务管理管理指定项目中的任务, 包括给项目划分任务, 并指定任务的基本信息, 如标题、开始时间、结束时间、任务负责人等。

5) 更进任务进度任务负责人登录系统, 对自己所负责的任务进度进行维护。

3. 基于云计算的项目管理系统的实现

为验证基于云计算的企业管理系统架构的合理性, 系统采用J2EE技术和mysql 5.0数据库开发完成项目参与人员只需要通过WEB浏览器就可以完成项目管理的所有环节。系统开发完成后, 上传应用程序到云计算平台, 每个企业获得系统管理员账号后可以通过指定的网址访问应用程序, 创建项目, 并对项目中的任务进行管理。如图3所示, 管理登录系统, 对项目sky中的任务进行管理。

4. 结论

本文采用J2EE技术设计了企业项目管理系统, 与传统项目管理系统相比, 中小企业基本上不再需要拥有使用项目管理系统所需的基础设施, 也不需要支出维护成本, 而仅仅是租用并访问本系统就能够实现对本企业项目的有效管理;而系统开发者会根据使用企业反馈的信息, 通过专业的技术手段, 不断的维护和更新系统, 保证他们所提供的服务可以安全可靠有效地运行, 促进了项目管理系统的网络化和专业化, 大大提高了本系统的性价比。

参考文献

[1]Youseff L., Butrico M.&Da Silva D. (2008) 'Toward a UnifiedOntology of Cloud Computing'Proc.Grid Computing Environ-ments Workshop, 2009:1-10.

[2]袁国骏.浅谈云计算及其发展应用[J].实验室科学, 2009 (2) :103-105.

[3]张秀菊, 闫彦, 杨建军.基于云计算的港口综合管理信息系统的研究[J].科技创新导报, 2010 (8) :29-30.

[4]Amazon.Amazon elastic compute cloud (Amazon EC2) [EB/OL].2009.http://aws.amazon.com/ec2/.

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇10

广播遥控监测系统的发展历经10余年, 该系统最早建于2001年, 受当时技术现状影响, 系统架构庞大, 终端采集设备结构复杂, 硬件集成度不高, 稳定性不好, 导致故障率较高。部分设备和元器件老化过时, 备件很难购买, 价格被市场垄断, 给系统运行和维护造成了较大的困扰。随着嵌入式电子技术和云处理技术的发展, 研制一套新型的广播电视遥控监测系统显得非常迫切。本文从系统整体架构设计入手, 提出了终端瘦采集和中心云处理的两级结构模式, 采用微处理器作为采集终端的核心硬件, 使终端设备高度集成化, 极大提升硬件系统的稳定性。同时根据需求可设立区域中心和更高级别的数据中心, 采用数据集群和云处理技术, 对采集的海量监测数据进行可视化分析, 实现海量广播监测数据的交汇分析, 为不同职能部门提供定制化数据分析显示需求, 为广播电视覆盖和监管提供更加及时可靠全面的服务。

1系统架构

新型的广播监测系统不论在系统架构上还是系统整体软硬件方面都重新进行了改造和设计。硬件方面, 引用最新的微处理器技术, 最大范围内简化遥控终端设备的结构, 提升系统稳定性, 为硬件安装和维护提供便利;软件方面, 按照无人值班的形式进行设计和配置, 监测终端和区域中心、上级调度部门之间均可实现遥控监测, 软件扩展功能从终端移植到区域中心服务器上, 广播监测数据通过可视化分析系统集中显示。

改造后的监测系统分层如图1所示。系统物理架构分为两部分, 通过内部专网实现连接, 一部分为远程遥控采集终端, 另一部分为本地控制管理软件系统, 整个系统的软件部分采用C/S和B/S混合架构, 划分为采集服务软件和可视化数据分析软件, 两者的服务器均部署在区域中心, 系统响应更快, 具有更好的用户体验。

改造后的监测系统具有以下特点:

1.应用嵌入式技术简化终端设备, 大幅提高系统稳定性, 显著减轻维护量的同时增强系统后端的管理能力。

2.建立集中存储的数据管理机制, 将各终端分散的监测数据回传至采集服务器进行集中存储, 通过宽带网络实现大数据的汇聚并进行综合分析, 消除终端的“信息孤岛”现象。

3.引入基于录音文件的语音评估系统, 对各频次语音数据进行自动评估, 输出判断结果及置信度, 提高系统智能化程度。

4.建立集管理、分析、显示功能于一体的可视化综合软件平台, 兼容原有软件系统的同时极大增强了数据统计展示功能, 并且具有良好的易用性及可拓展性。

2系统设计原理

根据广播监测技术特征及云计算技术[1]的特点, 采用Hadoop系统实现云采集平台Saa S层的构建, 系统拓扑如图2所示。客户端通过Web服务器向采集系统发出业务请求, 受理后将具体的要求提交给云集群服务器, 由其对采集服务软件下发命令, 并将采集终端回传的结果反馈至客户端。

2.1云集群服务器

云集群服务器[2]位于云计算的最上层, 每个区域中心都可以将所辖终端作为一个采集集群, 由中心内的云集群服务器负责该集群的资源管理及任务控制。主要实现以下作用:

1.作为Hadoop系统的主控节点, 对集群中所有系统资源统筹管理, 提高系统的响应效率。云集群服务器负责记录任务分类规则及数据存储位置, 对内存及I/O进行集中管理, 对集群中的所有采集终端进行实时控制, 维护系统的终端状态信息表。

2.响应Web服务器的业务请求, 检索终端状态信息表, 获取可用终端, 并建立客户端与各采集终端的通信, 实现数据传输。

2.2采集终端硬件设计

采集终端的硬件组成如图3所示。基于改造成本等因素, 采集终端沿用了原有的天馈线及接收机系统, 同时采用了基于ARM和DSP双处理器构架的新型网络数据采集卡, 替代原来使用的工控机、调制度测量板卡、频偏测量板卡等, 系统可靠性、稳定性更好。前端设备的减少提升了系统后端的聚合能力, 增强对终端的管理功能, 能够更加直观、实时, 更有针对性地监测。

微处理器架构功耗很低, 整个硬件系统的开销较小。网络数据采集终端采用1U机架式设计, 极大减小了硬件体积, 便于安装到机柜。由于只有一个电源控制开关, 远程维护操作只需重启机器即可, 省去了繁琐的人工交互环节。

同时, 原有系统的拨号网络已不能满足现有的监测要求, 基本都改成宽带网络。通信能力的增强使得遥控监测系统的数据传输及并行处理性能得到有效改进, 为分散、大量的监测数据汇聚分析提供物理支持。

2.3采集服务软件设计

采集服务软件是基于C/S架构的业务处理应用软件, 使用TCP、UDP协议通过专网与采集终端通信, 可以控制多个采集终端, 主要实现数据采集回传与任务管理。

采集服务软件的开发有几个关键点:

1.采集服务软件与采集终端的通讯机制、采集服务软件与可视化数据分析软件的通信:采集服务软件与采集终端主要是通过UDP、TCP协议进行通讯。UDP协议传输实时性数据如音频码流, 指标数据等;TCP协议主要用于遥控采集终端设备进行远程操作。在采集终端远程数据中, 指标数据和操作数据是较短的, 这类数据我们使用SOAP将其封装成HTTP服务, 供可视化数据分析软件调用。

2.采集终端的音频数据是大数据, 基于SOAP的HTTP服务也不适合用于传输这类大数据量, 因此, 系统在每个采集服务软件端同时实现了音频服务器的功能。该音频服务器实现了优先级请求处理, 在确认有连接需求时向用户客户端直接转发音频数据包。客户端采用Direct Show Filter技术实现了音频接收插件, 该插件嵌入windows media player, 通过COM注册的方式, 易于集成到网页中。

3.任务执行调度:在同一时间, 不同的远程主机或任务有可能并发访问同一个采集终端, 造成设备占用冲突。为解决该问题, 我们引入了优先级队列循环执行调度机制, 设计了一个主体任务框架来实现。其基本框架包含任务总调度管理类、扫频任务类、录音任务类、指标任务类及录音任务类等。其中任务总调度线程Task Main负责启动并协调各任务线程的进入和退出。各任务线程从总线程中得到任务参数后, 执行各自任务并将结果入库。图4为采集服务软件的任务调度流程。

4.心跳检测技术:系统采用心跳检测技术来控制系统硬件的异常情况。集群主控服务器周期性地通过节点控制器接受虚拟机的心跳包和块报告, 以此判断虚拟机的存活状态。收到心跳包说明工作正常;若特定时间t内没有收到心跳包信息, 则认定宕机, 不再发送新的I/O请求。对于宕机的虚拟机, 系统将不断进行检测并报警至可视化系统界面。

3可视化分析软件建模实现

3.1系统流程

改造后的遥控监测系统中, 所有监测业务数据全部集中在区域中心服务器, 这些大数据的实时获取为系统的可视化分析提供了前提。运用语音评估、图形化以及动画化技术[3], 将海量数据绘制成高精度、高交互性的直观图表, 并允许实时改变查询参数, 对数据进行定性观察及定量分析。图5为系统数据流程。

1.智能语音评估

传统的指标测量方法只能判断信号的传播特性, 如调制情况、噪声大小等, 但在信号质量很好的情况下, 依然无法甄别其话音质量。引入语音信号智能评估技术后, 就可以真实反映信号话音质量, 大幅提高系统自动评判的置信度。

语音评估引擎采用网格计算平台设计, 能够高效处理海量监测数据。该引擎将各级计算服务统一封装后, 配置成标准的网格服务, 并提供标准调用接口。应用软件发出调用命令后, 语音评估引擎自动调度计算任务, 对每个录音文件进行解码、特征提取等预处理后, 智能评估话音质量和效果并打分, 同时给出置信度结果。

智能语音评估中的关键算法是信号源与噪声的音频特征提取技术[4]。为满足语音评估的要求, 录音采用无压缩的PCM方式编码。解码出的PCM帧数据进行快速傅里叶变换后取得频谱数据, 通过滤波整形后提取出音频特征, 最后经过迭代匹配给出参考分数。经过海量监测样本训练后, 滤波器组的准确率会不断提高。图6即为该算法的原理。

2.数据分析步骤

可视化分析软件调用采集服务, 无需数据库存储操作, 实时显示终端当前设备状态及任务信息;已经入库的调幅度、电平及频偏等指标数据经过优选后, 通过图形化计算转化为直观的曲线图, 并能根据查询条件自适应时间轴显示;语音评估引擎调用服务器上的录音文件, 进行智能语音评估及置信度评估, 并以曲线形式反馈至可视化软件前台界面。表1为数据分析的步骤说明。

3.2软件架构

可视化分析软件采用B/S模式, 系统架构如图7所示, 采用Flex+Fluorine Fx+C#+Database框架[5]的多层架构模型实现, 共分为表示层、业务层及数据层。各层软件模块采用不同语言开发, 通过标准化松耦合, 系统可维护性大幅提高。

系统架构各层的主要内容如下:

1.表示层:采用Flex作为前端表示层开发语言, 提供采集终端状态显示、数据图形化统计和分析、在线监听及各类功能界面。Flex提供了丰富的GUI控件, 能够创建高交互性富客户端[6], 并显著提高Web客户端的响应速度, 同时具有平衡计算负载的能力。这种特点能够减轻界面绘制工作量, 专注于功能实现。

2.业务层:系统后端业务层采用C#语言开发。开源项目Fluorine Fx[7]是专门针对.NET平台与Flex通信提供的AMF协议通信网关, 它提供了一种在.NET框架下对Flex的远程数据服务和实时数据调用的技术。引入Fluorine Fx架构后, 可视化数据分析软件Web服务器前台能够以广播方式与多个客户端建立连接, 同时发送多组并行数据, 并将结果返回给客户端展示;后台能够与各节点采集服务软件建立通讯连接, 实时接收回传数据。

语音评估服务器接受.NET服务器调度, 响应基于Flex客户端的请求并自动评估各频次录音文件, 评估结果入库后返回给客户端。

3.数据层:用于建立不同的存取机制实现对业务数据的存储和管理。各区域中心数据库服务器存储音频、指标及语音评估等监测数据, 为系统上层提供数据支持。

3.3数据统计分析

监测业务数据大致分为3类:一是监测网基础数据, 如运行图及音频录音文件等;二是信号指标数据, 如信号电平、调幅度值等;三是报警类数据, 包括指标报警及设备报警。可视化数据分析软件自动轮巡各采集终端, 将监测业务数据汇总后, 统一显示在主界面, 包括设备状态显示、指标数据显示及异态报警指示灯等。

每个采集终端可进入数据分析页面, 查询详细图表数据, 包括总体情况统计、模拟接收机、指标数据查询曲线、语音评估分数情况圆图及报警数据查询柱状图, 如图8所示。

经过测试, 运行图刷新、频谱图及在线监听等实时操作基本无延迟, 响应及时;指标及报警数据查询能主动判断开始结束时间, 并自动缩放显示时间轴, 保证查询时滞小于1s;语音评估结果3分以上合格率统计时滞小于1s, 用户体验良好。

系统录音文件存储为wav格式, 每个录音文件时长在1分钟左右, 文件大小约1300kb, 一个采集终端每天回传的录音存储约1.5Gb, 默认保存30天。1T硬盘能够满足20个采集终端的音频存储需求。

测试过程中, 1台集群服务器同时部署1个集群主控软件及12个采集服务软件, 每个采集服务软件内存占用大约60M, CPU总负荷在5%左右, 系统资源占用很低, 能够独立承担省级数量的终端采集任务。

4结束语

针对现有遥控监测系统硬件维护成本高、交互性和扩展性差、功能单一等问题, 我们基于云计算及最新的嵌入式技术, 对软硬件架构体系进行了重新架构, 设计并实现了一套全新的可视化云监测系统。该系统使用当前流行的富互联网开发语言Flex和中间件开源库Flourine Fx进行开发, 解决了现有监测系统界面表现力差, 实时监测响应速度慢等问题。通过引入智能语音评估系统, 在信号指标判断的基础上进行综合评判, 提高了在线远程监管能力, 将监测提升到一个新的层次。同时系统预留了相关的接口及协议, 具有高度的可扩展性, 方便后续进行维护升级。该套系统已投入实际使用, 目前运行稳定, 故障率大大降低, 可靠性大幅提高, 为广播监测业务开展提供了有力的技术保障。

参考文献

[1]GROSSMAN R L.The case for cloud computing[J].IEEEComputer Society, IT Professional, 2009 (11) :23-27.

[2]吴朱华.云计算核心技术剖析[M].北京:人民邮电出版社, 2011.

[3]郭文政.通用数据挖掘系统平台的设计与实现[D].南京信息工程大学学位论文.2011.

[4]Seo J S, Jin M, Lee S, et al.Audio fingerprinting based onnormalized spectral subband moments[J].IEEE Signal ProcessingLetters, April.2006, 13 (4) :209-212.

[5]吕海东, 陆永林.基于Flex和Blaze DS推技术实现WEB方式实时监控系统[J].自动化技术与应用2010 (1) :34-40.

[6]许勇.王黎.Flex+ASP.NET Web应用开发实战详解[M].北京:清华大学出版社, 2010 (10) .

浅析基于云计算的分布式数据挖掘系统设计与实现论文篇11

云计算是伴随着移动互联网、物联网的发展而出现的一种IT相关资源整合模式,它既是多种技术(虚拟化、网络、分布式计算、面向服务模式以及Web2.0)的整合共享,也是一种商业计算模型[1]。基于云计算的移动学习平台研究已有很多:如黄成云等[2]的基于云计算的移动学习系统设计,李树波[3]的基于云计算的移动学习网络平台构建研究,任远鹏[4]的基于Hadoop的移动学习模型设计与实现,王琴等[5]的基于移动云计算的移动学习研究。上述研究都是围绕如何使用已有的云计算技术来搭建移动学习平台,未考虑移动学习任务的突发性。在使用网络进行学习过程中,学习者与学习内容往往会出现二八规律,即80%的学习者集中学习20%的网络课程和相应内容,同时在复习、考试时访问量会骤增,这就需要系统能动态扩展,而云计算正好具有按需分配功能。因此,本文根据学习规律设计了一个基于云计算的动态可扩展的移动学习模型。

1 系统设计

1.1 系统功能模块

基于云计算的移动学习平台功能模块包括客户端与云端两部分,主要功能有课程学习、课件中心、在线练习、在线考试、用户管理、课件管理、考试管理等模块。由于移动学习平台功能模块多,聚合了大量的应用和服务组件,导致编译、部署困难、数据库连接耗尽、新增业务困难等问题。基于上述问题,采取拆分的解决方案,把整个大应用拆分为多个小应用,采用面向服务的分布式计算应用架构,将模块独立部署,降低系统的耦合性,将复用的业务拆分出来,独立部署为分布式服务。对学习、考试任务流程灵活编排和组合,新增业务只需要调用这些分布式服务,不需要依赖具体的模块代码,而当模块内业务逻辑变化时,只要接口保持一致就不会影响业务程序和其它模块。本文采用Web Service来整合及构建分布式移动学习平台,并借助发布—订阅模式的消息队列通信完成模块间合作。

1.2 系统整体架构

基于云计算的移动学习系统主要包括知识管理、学习业务管理、考试等系统。其中,学习业务模块与考试系统模块是两个非常重要的子系统,显著特点是任务性和集中性。

根据学习业务与考试业务特点,结合云计算服务模式,本文构建的基于云计算的动态可扩展移动学习平台架构分为4层,如图1所示。

(1)移动学习平台应用层。即系统的业务实现,包括课件管理、在线练习、课程管理、题库管理、考试等子系统。

(2)云计算中间件层。包括数据库、中间件等软件资源,中间件以及并行处理和集群处理等。

(3)基础设施虚拟化层。主要是系统运行所需的服务器、存储设备和网络设备。

(4)管理层。包括账户管理、运维管理以及监控、策略、仲裁和准备4个模块。

这种架构模式正好和云计算的软件即服务、平台即服务、基础架构即服务相对应。通过虚拟化技术的基础设施层向上提供动态可扩展物理资源池,本文采用VMware vSphere虚拟化技术。

通过云计算中间件层调度服务器集群、缓存服务、负载均衡、数据库服务等,对资源进行动态调度,满足应用的弹性伸缩。文献[6]~[8]对云计算资源调度进行了研究,本文采用文献[7]提出的改进遗传算法的云资源调度算法。

缓存技术采用Squid作为服务器的前置缓存;负载均衡技术采用高性能的HTTP和反向代理服务器Nginx。

应用层则由网络学习系统以及考试系统构成,利用现有技术保证系统操作便利和界面友好。采用页面静态化、数据的分类存储等系统优化策略。系统数据主要包含结构化数据与非结构化数据。结构化数据存储采用数据库集群技术与库表散列。非结构化数据像课件、音视频、案例库(由图片、文字组成)等采用基于对象的云存储存放。

管理层完成用户账号管理、平台运营管理和4个点对点模块,监控模块主要记录学习者访问资源状况以及系统资源利用率,实时监控云计算对应三层的运行状态,并及时向策略模块反馈,满足资源的弹性需求。策略模块能够设置教学策略、同时对系统资源负荷进行预测,对于那些访问频率高的学习资源进行预调度以保障其高并发性需求。仲裁模块主要根据策略来改进资源分配,根据不同学习行为设置不同的资源使用方式。

2 系统实现

2.1 环境搭建

通过学习安排、资源准备和压力测试等流程,验证系统平台架构的合理性。移动学习系统验证平台主要由云端管理服务、客户端集群管理服务、客户端应用服务以及前台代理服务组成。移动学习平台初始化环境如表1所示。

2.2 仿真实验

使用LoadRunner工具对系统进行压力测试,并发300个用户登录系统进行集中学习,并查看事务的响应时间。响应时间随着并发压力的增大而不断增大,这表明用户访问系统开始变慢。压力测试脚本运行后,学习事务的响应时间逐步加大,2′30″达到较高的响应时长50s。

随着指标的不断攀升,系统的策略模块开始启动,为移动学习系统增添新的服务器资源;通过系统监控模块可以看到,压力测试脚本在3′30″达到峰值,然后事务响应时间随着新启动资源不断下降,结果显示新增资源启动30s后即可有效均衡负载,保证了用户的良好体验。Load Runner测试结果如图2所示。

3 结语

基于云计算的可扩展移动学习系统可解决高并发带来的系统瓶颈问题,监控与策略模块的运用提高了学习系统的调度与响应能力。本文给出了动态可扩展云计算的移动学习平台总体架构和技术特点,并进行了系统实现与仿真实验,为快速灵活满足业务变化提供了可靠的系统结构模型。

参考文献

[1]许守东.云计算技术应用与实践[M].北京:中国铁道出版社,2013.

[2]黄成云,左明章,荣先海.基于云计算的移动学习系统设计[J].现代教育技术,2010(8):102-105.

[3]李树波.基于云计算的移动学习网络平台构建研究[J].软件导刊,2010(12):115-117.