财务动态管理论文提纲

论文题目：基于Spark技术的经济动态管理系统的研究与实现

摘要：大数据的产生推动了科技的发展,使得财务系统的有了新的契机,同时也使得应用系统在数据存储和分析方面有了更高的要求,所以研究大数据相关存储及分析处理技术刻不容缓,在此背景下,逐步出现了Hadoop、Spark等大数据技术。本文主要研究如何将Saprk等大数据技术融入到传统的企业财务管理系统,最终构建出面向用户、面向管理、面向分析的新型财务管理类系统,解决当前企业财务数据冗余杂乱、数量多源采集、数据共享能力差、数据查询缓慢、分析困难等多个问题。此外,本文建设的基于Spark技术的经济动态管理系统大数据处理模块中大表连接查询的操作较为频繁,而在Spark中,由于大量不符合连接条件的数据进入了Shuffle阶段,导致频繁的I/O操作,使得Join操作性能较低,所以本文将针对Spark大表间等值连接的进行研究与优化。本文具体的研究路线分为三步,首先依托已经成熟的Spring MVC框架以及Web相关技术构建经济动态管理系统,完成传统的、数据量较小的关系型数据的处理分析需求。之后,加入Hadoop、Spark等大数据技术,完成经济动态管理系统中批量数据处理以及实时数据分析的需求。最后,提出一种利用BloomFilter预先过滤大部分不符合连接条件的数据以降低进入到Shuffle阶段的数据的方式来优化Spark自带的Join算子,提升连接效率。

关键词：Spark;SpringMVC;Join算子;BloomFilter

学科专业：工程硕士（专业学位）

摘要

ABSTRACT

符号对照表

缩略语对照表

第一章 绪论

1.1 研究背景

1.2 研究目的与意义

1.3 国内外研究现状

1.4 本文主要工作

1.5 本文结构安排

第二章 相关技术简介

2.1 Spring mvc框架

2.1.1 MVC概述

2.1.2 Spring MVC相关简介

2.2 Hadoop框架

2.2.1 HDFS

2.2.2 Map Reduce

2.3 Spark技术

2.3.1 Spark的特点

2.3.2 Spark生态圈

2.3.3 Spark的数据集RDD

2.3.4 Spark中Stage的划分

2.3.5 Spark集群的工作流程

2.4 数据仓库

2.4.1 数据仓库的特征

2.4.2 基于大数据的数据仓库关键技术

2.5 本章小结

第三章 系统的需求分析与总体框架设计

3.1 需求分析

3.1.1 现状分析

3.1.2 功能需求

3.1.3 性能需求

3.1.4 其他需求

3.2 系统概要设计

3.2.1 设计原则

3.2.2 系统目标

3.2.3 系统总体框架设计

3.2.4 功能模块设计

3.2.5 数据仓库设计

3.3 本章小结

第四章 系统关键技术Spark Join算子的实现与优化

4.1 大数据连接算法

4.1.1 等值连接算法

4.1.2 数据倾斜时连接算法

4.1.3 任意连接算法

4.2 Spark大表等值连接算法的实现与优化

4.2.1 算法概述

4.2.2 Spark Join实例分析

4.2.3 Bloom Filter工作原理

4.2.4 优化后的算法

4.3 算法分析

4.3.1 代价分析

4.3.2 结论分析

4.4 实验测试与结果分析

4.4.1 测试数据

4.4.2 对比测试及分析

4.5 本章小结

第五章 系统功能模块设计与实现

5.1 系统的详细设计与实现概述

5.1.1 系统功能模块

5.1.2 开发环境介绍

5.1.3 系统的搭建

5.2 信息录入模块集的设计与实现

5.2.1 初期录入模块设计与实现

5.2.2 我的业务模块设计与实现

5.2.3 信息录入模块集功能效果图

5.3 数据查询模块集的设计与实现

5.4 数据分析与管理模块集的设计与实现

5.4.2 项目状况模块设计与实现

5.4.3 综合驾驶舱模块设计与实现

5.4.4 Spark Join算子在系统中的应用设计与实现

5.5 本章小节

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢