基于大数据的职位数据可视化平台设计初探

职位数据可视化平台是采用分布式爬虫技术从各大招聘网(前程无忧、智联招聘等)采集职位数据，使用大数据和人工智能技术对这些数据进行建模，分析。最后采用数据可视化技术对分析结果进行展示。为各行业各领域求职者提供知识图谱构建服务，为高校的学科体系和人才培养提供优化方案，为高校学生的职业规划提供帮助。

一、数据可视化技术概念及特点

（一）数据可视化技术概念

关于数据可视化技术的研究主要集中在数据之视觉表现形式，所谓数据视觉表现形式具体指的是：某一种概要形式所提出出来的相关信息，具体包括对应信息单位的各种变量以及属性，且涵盖多个领域，例如：人机交互技术、计算机辅助技术、图像处理、计算机图形学等等，主要依托于图形图像进行分析、统筹以及处理。数据可视化主要采用的图形形式包括：曲面图、平行坐标图、矩阵图、散点图等等，基于大数据技术的支持，可以集中提取海量数据中所潜在的、有价值的数据信息，并以直观性的图形图像来辅助数据挖掘、分析，这样有利于广大用户更好地理解数据信息的本质内涵，从而掌握对自身有用的数据信息。

（二）数据可视化技术特点

通常来讲，优质的数据可视化技术应当具备这些特点：(1)新颖。数据可视化技术一方面应当是一个非常有效的数据渠道，另外一方面还应当具有一定的新颖性，要符合时代特征以及需求。以“职位数据可视化平台”为例，该平台可谓是一个比较新的视角对数据进行观察、分析、挖掘等等，不仅可激发用户的激情，也可以引导用户达到一种新的理解高度。[1](2)充实。数据可视化技术为人们提供了获取数据信息的有效途径，满足人们的实际需求，例如，职位数据可视化平台，使用大数据和人工智能技术对这些数据进行建模、分析，并帮助在校大学生明确学习方向，提前掌握企业、社会当下所需要的各项技能，培养自身综合素质。严格来讲，未能到达这个目标的数据可视化就是失败的。对于可视化技术来讲，信息传递能力是判断它是否成功的关键，是整个设计的关键驱动力。(3)高效。数据可视化技术应当具备一个非常清晰的目标，可以是为用户传递一些信息，也可以是为用户提供一种比较特别的角度从而表达信息。因此，当用户对信息访问时，要尽量的直截了当。例如，“职位数据可视化平台”的数据存储，主要解决问题就是如何将分布式爬虫产生的海量职位数据进行存储(要保证速度，高性能、高可靠)。拟采用分布式的、面向列数据库Hbase存储。(4)美感。在对图形图像设计时，主要服务目标是如何有效表现信息，所以在其实际处理过程中，任何无助于表现信息的微小因素，在实践中都可能成为其应用的潜在阻碍，会影响可视化效果、降低效率。所以，图形设计方面，直观来讲所展现的数据越少，所表现的信息则会越丰富。

二、基于大数据的职位数据可视化平台技术路线概述

本项目技术路线如图1所示。

（一）基础支撑层

主要提供物理硬件支撑，使用多台高性能Linux服务器，保证提供稳定的服务。

（二）数据存储层

将使用scrapy-redis分布式爬虫端持续不断地爬取数据传入kafka集群，清洗程序不断地向kafka消费并清洗数据，并将数据实时推向分析程序，存入HBase、Elasticsearch。大数据、机器学习分析完毕后将分析结果存入Redis、MySQL。

（三）分析层

分析层包括实时分析、统计分析和趋势走向三方面。

实时分析：实时端讲究实时，速度，高反馈，我们将采用Elasticsearch高性能搜索服务器(只保存当前的实时数据)，对当天的实时薪资、职位分布、技能需求等进行实时分析，并将实时结果存入Redis和MySQL中。统计分析：对海量的历史职位数据进行分析统计。将从HBase(因为统计分析的是海量历史职位数据，对实时性要求并不是太高，所以HBase速度、性能都应该可以满足)里面读取历史的职位数据，进行分类，统计，分析如公司常见业务、公司学历、公司类型等。并将分析结果存入MySQL。趋势走向：对海量历史职位数据预测未来数据。我们将采用机器学习TrensorFlow，根据自定义算法模型，以HBase海量历史数据输入，使用python配合梯度下降、岭回归、线性回归等预测未来薪资、学历、职位分布地点的走向等。并将预测结果数据存入MySQL。

（四）应用层

提供数据服务。该层将分析层的实时分析、统计分析、趋势走向的结果数据提供给前台展示。数据可视化展示：将使用数据视觉技术，对数据进行建模显示。[2]

三、结语

综上所述，以期望通过设计与开发“基于大数据的职位数据可视化平台”，实现海量数据存储、职位智能推荐、职位需求预测等等目标;从而为各行业各领域求职者提供知识图谱构建服务以及职业规划方面的帮助。

摘要：本文基于大数据技术背景，对职位可视化平台设计进行探讨，着重从数据可视化技术概念以及特点入手，并充分结合可视化系统架构需求，对职位数据可视化平台项目的技术路线进行了全面分析，以期望将海量职位招聘数据可视化，绘制知识、技术能力需求图谱，帮助在校大学生明确学习方向，提前掌握企业、社会当下所需要的各项技能，培养自身综合素质。

关键词：大数据,职位数据,可视化平台设计

参考文献

[1] 梁文楷,陈佳欢.就业大数据服务平台设计[J/OL].中国科技信息,2019(15):80-81.

[2] 夏禹.基于FreeMarker、ECharts以及SSM的数据可视化平台[J].电脑编程技巧与维护,2019(07):91-92+99.