大数据技术简介论文

大数据技术简介论文（精选8篇）

大数据技术简介论文 篇1

2017年清真食品行业大数据报告

【报告类型】网络大数据调研、行业/市场研究报告 【交付时间】7-10个工作日，提供预订，目录供参考 【报告定价】￥5000.00（共五部分）

【发布机构】中国互联网大数据研究院（ICIBD）、鹿豹座数据研究院 【报告格式】WORD/PDF/PPT版（限一份）

【报告特征】数据客观、准确实用、便捷易懂、图文演示

【售后服务】1年2版，目录范围之内提供1次内容补充/数据更新。【联系单位】鹿豹座平台 / 怒蛙网络

【工作时间】周一至周六（早08:30——晚18:00）

数据来源与研究方法：

1、中国互联网信息中心（CNNIC）、中国互联网协会等互联网权威机构的数据与资料；

2、国家统计局、海关总署、国家发改委、工商总局等政府部门和官方机构的数据与资料；

3、行业协会、行业内相关平台获取最新的一手市场资料；

4、搜索引擎大数据、电商大数据、权威平台大数据等互联网巨头提供的大数据资料；

5、中国互联网大数据研究院（ICIBD）对清真食品产品长期监测采集的数据资料；

6、研究院与数据中心专家通过小组讨论、桌面研究等方法对核心数据和观点进行反复论证；

7、清真食品行业公开信息，行业资深专家公开发表的观点；

8、清真食品业内大型企业及上、下游企业的季报、年报和其它公开信息；

9、各类期刊数据库、图书馆、科研院所、高等院校的文献资料；

10、对清真食品行业的重要数据指标进行连续性对比，反映行业发展趋势。

数据报告目录：

第一章 清真食品行业分析 1.1清真食品概述 1.1.1清真食品的定义 1.1.2清真食品的分类 1.1.3清真食品的特点

1.2中国清真食品行业发展环境分析 1.2.1宏观经济环境 1.2.2产业政策环境 1.2.3市场消费环境 1.2.4食品行业环境

1.3清真食品行业发展分析 1.3.1中国清真食品发展历程 1.3.2国内外清真食品品牌概况 1.3.3清真食品行业发展现状 1.3.4清真食品行业存在的问题 1.3.5清真食品行业发展趋势 1.3.6清真食品行业新事物萌芽观察

1.4清真食品行业SWOT分析

第二章 清真食品市场分析 2.1中国清真食品市场现状

2.1.1 中国清真食品市场规模分析 2.1.2 中国清真食品市场占有率分析 2.1.3 中国清真食品市场区域分布 2.1.4 中国主要清真食品品牌市场份额

2.2中国清真食品销售分析

2.2.1 清真食品中国市场销售量分析 2.2.2 清真食品中国市场销售额分析 2.2.3 中国主要清真食品品牌销售额 2.2.4 中国主要清真食品品牌零售价

2.3 清真食品竞争分析

2.3.1清真食品市场竞争格局分析 2.3.2国内外清真食品品牌竞争聚焦 2.3.3国内领先清真食品品牌竞争力分析

2.4 清真食品市场供需分析

2.4.1中国清真食品市场需求分析 2.4.2中国清真食品生产量分析

2.5 清真食品市场前景分析

2.5.1 2017-2022年中国清真食品供给预测分析 2.5.2 2017-2022年中国清真食品零售规模预测 2.5.3 2017-2022年中国清真食品市场规模预测

第三章 清真食品消费者分析 3.1 清真食品消费者定位

3.1.1 清真食品消费者年龄分布 3.1.2 清真食品消费者地域分析 3.1.3 清真食品消费者收入构成 3.1.4 清真食品消费者职业特点 3.1.5 清真食品消费者的生活态度

3.2 清真食品消费者偏好分析 3.2.1产品价格偏好 3.2.2产品质量偏好 3.2.3产品品牌偏好 3.3清真食品消费者行为分析

3.3.1消费者获取清真食品信息的渠道 3.3.2消费者网络行为分析

3.3.3清真食品消费者购买行为分析 3.3.4清真食品潜在消费者分析

第四章 清真食品宣传分析 4.1清真食品广告投放概况

4.1.1 2016年中国清真食品广告投放总体概况 4.1.2 2016年清真食品网络媒体广告投放概况 4.1.3 2016年清真食品电视媒体媒体广告投放概况 4.1.4 2016年清真食品户外媒体广告投放概况

4.2清真食品网销渠道分析

4.2.1网销渠道建设：官网、手机站、官方商城、B2B旺铺 4.2.2电商店铺渠道/微商销售渠道

4.2.3自媒体营销渠道：官方微博、官方微信等

4.3清真食品宣传推广策略 4.3.1互联网宣传推广 4.3.2影视节目赞助/植入 4.3.3电视媒体投放 4.3.4电商渠道推广 4.3.5户外广告投放 4.3.6事件活动策划

第五章、清真食品经典案例分析 5.1**品牌简介/定位 5.2**品牌战略/营销策略 5.3**发展现状/广告投放情况 5.4**案例总结

清真食品数据报告简介：

近年来，我国清真产业总体来讲呈现长足的发展态势，年均保持10%以上的增速。2014年至2015年，中国与新丝路经济带沿线国家进出口贸易额超过5000亿美元，其中清真产业占据份额同比增加约16%。

大数据技术简介论文 篇2

1 多媒体数据压缩编码的必要性和可能性

1.1 必要性

数字化后的多媒体数据的体积是巨大的。例如:通常情况下, 一幅A4幅面的RGB彩色图像的数据量约为25MB;如果以CD光盘音质 (采样频率44.1kHz, 量化精度为16位, 双声道) 记录一首5min的歌曲, 其数据量约为50MB;又如PAL制式电视信号, 分辨率为768 ×576, 每秒25帧的真彩色图像, 每秒需要产生约30MB的数据量, 对于650MB容量的光盘来说, 只能存储大约20s的数据。如此庞大的数据量, 如果不进行压缩, 则会给多媒体信息的传输、存储以及处理造成巨大的困难。因此, 在音频、视频等多媒体信息的处理及应用过程中, 必须对这些多媒体信息进行数据压缩, 从而减少数据量, 使之适应计算机的数据处理能力和网络的数据传输能力, 并且同时尽可能保证其质量能满足人们一般的主观满意度。

1.2 可能性

多媒体数据之所以能够进行压缩是因为原始数据存在大量冗余 (多余的成分) , 数据压缩的目的就是尽可能地消除这些冗余, 从而减少数据量。数据冗余的类型可分为客观冗余和主观冗余两大类。客观冗余是由于原始数据表示上的不完善而产生的冗余, 是数据内部所固有的, 例如在一组字符串中, 某些字符会重复出现多次, 或者说某些符号比其他符号出现的概率更大, 那么这些冗余部分便可在数据编码中除去或减少以避免数据的重复存储;数据中间通常尤其是相邻的数据之间, 常存在着一定的相关性, 如图片中常常有色彩均匀的背影 (空间冗余) , 动态图像的相邻两帧之间可能只有少量的变化, 声音信号有时具有一定的规律性和周期性 (时间冗余) 等等。因此, 有可能利用某些变换来尽可能地去掉这些相关性以降低数据量。主观冗余是由于人的感官功能不完善, 对某些信号不敏感, 使得一部分原始数据对人来说显得多余而产生的, 例如人类对某些频率的音频信号不敏感, 那么有无这些频率的音频, 在听觉上影响不大, 就可去掉这些不敏感的成分 (听觉冗余) ;另外, 人眼存在所谓的“视觉掩盖效应”, 即对亮度比较敏感, 而对边缘的强烈变化并不敏感, 如果对表现边缘的数据进行压缩, 也可减少数据量 (视觉冗余) 。总之由于数据冗余的存在, 在对多媒体数据进行编码时, 就可以将冗余信息去掉, 这使得数据压缩成为可能。

2 数据压缩技术评价

衡量数据压缩编码方法的优劣主要有3个指标:

(1) 压缩比, 即压缩前后的数据量之比, 一般来说, 压缩比要在一定的质量主观满意度基础上尽可能的大。

(2) 算法的复杂性和运算速度, 实现压缩的算法要简单, 以便在有限的硬件资源上加快压缩解压缩的速度, 尽可能地实时压缩解压缩。

(3) 失真度, 即解压后数据的恢复质量要好, 尽可能地完全再现原始数据。

3 数据编码方法及其分类

数据压缩技术随着通信技术和计算机技术的发展日臻成熟, 适应不同应用的编码方法不断产生, 多媒体数据压缩方法根据不同的依据可产生不同的分类。

一般根据解码后数据是否能够完全无丢失地恢复原始数据, 将压缩方法分为无损压缩和有损压缩两大类。 (1) 无损压缩, 也称为可逆压缩、无失真编码等。无损压缩方法利用数据的编码冗余进行压缩, 保证在数据压缩中不引入任何误差, 在还原过程中可完全恢复原始数据, 多媒体信息没有任何损耗或失真。典型算法有哈夫曼编码、香农-费诺、算术编码、LZW编码等; (2) 有损压缩, 也称不可逆压缩。有损压缩方法利用了人类视觉对图像中的某些频率十分不敏感的特性, 采用一些高效的有限失真数据压缩算法, 允许压缩过程中损失一定的信息, 大幅度减少多媒体中的冗余信息, 虽然不能完全恢复原始数据, 但是所损失的部分对理解原始图像的影响较小, 却换来了大得多的压缩比, 例如变换编码、预测编码等。通常情况下, 数据压缩比越高, 信息的损耗或失真也越大, 这就需要根据应用找出一个较佳的平衡点。

第二种分类方法是按具体编码算法来分, 大致可分为预测编码、变换编码和统计编码三种。 (1) 预测编码 (Predictive Coding) 这种编码器记录与传输的不是样本的真实值, 而是真实值与预测值之差。预测值由预编码图像信号的过去信息决定。由于时间、空间相关性, 真实值与预测值的差值变化范围远远小于真实值的变化范围, 因而可以采用较少的位数来表示。 (2) 变换编码 (Transform Coding) 在变换编码中, 由于对整幅图像进行变换的计算量太大, 所以一般把原始图像分成许多个矩形区域, 即子图像。对子图像独立进行变换。变换编码的主要思想是利用图像块内像素值之间的相关性, 把图像变换到一组新的“基”上, 使得能量集中到少数几个变换系数上, 通过存储这些系数而达到压缩的目的。 (3) 统计编码。最常用的统计编码是哈夫曼编码, 出现频率大的符号用较少的位数表示, 而出现频率小的符号则用较多位数表示, 编码效率主要取决于需要编码的符号出现的概率分布, 越集中则压缩比越高。哈夫曼编码是一种无损压缩技术, 在语音和图像编码中常常和其他方法结合使用。如图1所示。

3.1 常用无损压缩编码

行程编码, 又叫游程编码, 是数据压缩最简单的方法之一。它的主要思路是将数据流中连续出现的字符用单一的符号来表示, 即把一系列的重复值用一个单独的值加上一个计数值来代替。例如:有这样一个字母序列:

aabbbbcccccceeeee

它对应的行程编码是 (2, a) (4, b) (6, c) (5, e) , 在存储时, 就没有必要存储每个字符, 只需将某个字符存储一次, 再加这个字符的出现的个数来表达, 显然减少了所存储的总字符数。可以看出, 游程编码算法的压缩比主要取决于原始数据的分布状况, 压缩比不稳定且压缩比不太高, 但该方法具有简单直观编码解码速度快的优点, 时间复杂度也较好, 尤其对二值图像的编码非常好。

哈夫曼 (Huffman) 编码, 哈夫曼编码是D.A. Huffman在1952年发表的论文“最小冗余度代码的构造方法”中提出的。它采用不等长的数据编码法, 根据数据中各字符出现的频率进行编码, 出现频率高的字符赋以较短的代码, 而出现频率低的字符赋以较长的代码, 从而保证了文件的大部分字符由较短的编码构成。其算法过程就是构造一个最优二叉树的过程, 以下是其一般编码过程:

a.将单个符号作为二叉树的叶子节点, 统计各符号的出现频率作为各符号的权值, 按照其大小进行排序。

b.找出权值最低的两个节点, 并建立它们的父节点, 父节点的权值等于两子节点权值之和。

c.将父节点作为自由节点, 将两个子节点从自由节点中删除。

d.重复以上步骤直到只剩下一个自由节点, 将该自由节点作为树根。

e.规定将“1”赋给权值小的节点, 将“0”赋给权值大的节点。

f.从树根至各树叶经过的路径所得到的“0”、“1”序列即为该树叶节点的编码。

算术编码, 它不是为每个符号产生一个单独的代码, 而是使整条信息公用一个代码, 其核心思想是累积概率思想。其基本原理是将被编码的信息表示成0和1之间的间隔, 即对一串符号直接编码成[0, 1) 区间上的一个浮点小数, 在传输任何符号之前, 符号串的完整范围为[0, 1) 。当一个符号被处理时, 这一范围就根据分配这一符号的区间变窄, 间隔变小, 信息越长, 编码表示它的间隔就越小, 表示这一间隔所需的二进制位就越多。算术编码的过程, 就是根据信息源符号串发生的概率对码区间进行分割的过程。

LZW编码, LZW编码压缩算法使用字典库查找方案, 读入待压缩的数据与一个字典库, 开始库是空的中的字符串对比, 如果有匹配的字符串, 则输出该字符串在字典中的索引, 否则将字符串插入字典中, LZW编码具有压缩效率高实现简单的优点, 是使用最广泛的无损压缩方法之一。如WinZip 等压缩软件工具均以LZW 算法为理论基础。

3.2 常用有损压缩编码

预测编码——根据离散信号之间存在一定关联性的特点, 利用前面一个或多个信号对下一个信号进行预测, 只需对实际值和预测值的差进行编码和传输, 由于时间、空间相关性, 真实值与预测值的差值变化范围远远小于真实值的变化范围, 因而可以采用较少的位数来表示, 以减少数据量。其中, 典型的压缩算法有:DPCM (差分脉冲调制) 和ADPCM (自适应差分脉冲调制) , 较适用于音频数据的压缩。

变换编码——变换编码的任务。变换编码的任务是要使预测值尽可能接近实际样值, 也就是要寻找一种尽可能接近原信号统计特性的预测方法, 通过相差来除去图像信号的相关性, 从而达到数据压缩的目的。变换编码不是直接对空域图像信号进行编码, 而是首先将将原始图像分割成若干个图像块, 对每个子图像块进行某种形式的正交变换, 生成变换域 (频率域) 的系数矩阵, 经滤波、量化、编码和传输到达接受端后作解码, 经逆变换后综合拼接, 恢复出空域图像。由于在此过程中的滤波、量化等环节均会损失信息, 所以变换编码是一种有损压缩编码方法。实践证明, 无论对单色图像还是彩色图像, 对静止图像还是运动图像, 变换编码都是一种非常有效的方法。变换编码一般有快速算法, 能实现实时压缩和解压;常用的变换主要是正交变换, 其种类很多, 如K-L变换、DCT 和DST 变换等以及用途广泛的小波变换。

3.3 混合编码

混合编码方法是指对同时使用2 种或2 种以上的编码方法混合进行编码的方法, 以达到高效压缩数据的目的。例如JPEG、MPEG标准都采用混合编码。

4 多媒体数据压缩编码的标准

目前, 国际广泛认可和应用的通用数据压缩编码标准主要有:JPEG 、H.261 、MPEG 。

4.1 JPEG 标准

JPEG 是一种基于DCT 的静止图像压缩和解压缩算法, 它由国际标准化组 (ISO) 和CCITT 共同制定。它是把冗长的图像信号和其它类型的静止图像去掉, 甚至可以减小到原图像的百分之一。JPEG 压缩是有损压缩, 它利用了人的视觉系统的特性, 去掉了视觉冗余信息和数据本身的冗余信息。在压缩比为25:1 的情况下, 压缩后的图像与原始图像相比较, 非图像专家难辨“真伪”。

4.2 H.261 标准

H.261 由国际电报电话咨询委员会 (CCITT) 通过的用于音频视频服务的视频编码解码器标准 (也称为Px64 标准) , 它主要使用两种类型的压缩:帧中的有损压缩 (基于DCT) 和帧间的无损压缩编码, 并在此基础上使编码器采用带有运动的DCT 和估计DPCM的混合方式。

4.3 MPEG 标准

MPEG 实际上是指一组由ITU 和ISO 制定发布的视频、音频、数据的压缩标准。它采用的是一种减少图像冗余信息的压缩算法, 提供的压缩比可以高达200:1, 同时, 图像和音响的质量也非常高。MPEG 版本主要有MPEG-1 、MPEG-2 、MPEG-3 、MPEG-4 和MPEG-7 。MPEG-1 标准制定于1992 年, 是针对1.5Mbps 以下数据传输率的数字存储媒体运动图像及其伴音编码设计的国际标准。同时, 它还被用于数字电话网络上的视频传输, 如非对称数字用户线路 (ADSL) 、视频点播 (VOD) 、教育网络等。MPEG-2 标准制定于1994 年, 是针对3 ～10Mbps 的数据传输率制定的运动图像及其伴音编码的国际标准。它广泛用于数字电视及数字声音广播、数字图像与声音信号的传输、多媒体等领域。MPEG-3 最初为HDTV (高清晰电视广播) 制定的编码和压缩标准, 但由于MPEG-2 的出色性能已能适用于HDTV。

因此MPEG-3 标准并未制定。MPEG-4 于1998 年11 月公布, 它主要针对一定比特率下的视频、音频编码, 更加注重多媒体系统的交互性和灵活性。MPEG-7 的应用范围很广泛, 既可应用于存储, 也可用于流式应用。未来它将会在教育、新闻、导游信息、娱乐、等各方面发挥巨大的作用。

5 结束语

文章主要讨论了多媒体数据压缩技术的必要性和可能性、介绍了几种常用的数据压缩的方法和数据压缩的标准。在日趋成熟的通用数据压缩领域, 只要能在思路和技术上不断创新, 也许可以找到新的突破口, 谁又敢断言, 在未来不会出现新的压缩算法, 不会出现新的哈夫曼!再者, 在硅芯片计算机技术快接近其物理极限的将来, 又会出现什么样的新型计算机, 其拥有不可思议的速度和存储容量, 那么多媒体数据体积巨大的问题将不再是难题。

摘要：介绍了数据编码和压缩的基本原理及其技术评价;对常用的压缩编码方式以及编码的标准进行了概述。

关键词：多媒体数据,压缩编码,数据压缩

参考文献

[1]刘建.多媒体技术基础及应用[M].机械工业出版社, 2008.

[2]赵子江.多媒体技术基础[M].机械工业出版社, 2007.

[3]钟玉琢.多媒体技术基础及应用[M].清华大学出版社, 2006.

大数据——战略.技术.实践 篇3

大数据是一个当今的热点话题，主要是因为我们的世界正在经历信息革命。数字信息或“大数据”如今已是Zettabyte数量级（1ZB=1000000000TB），并且还在以每10年100倍的速度持续增长。在未来15年内，大数据总量将超过1yotta-bytes（相当于1000000000000TB），甚至连个人的私有数据也将达到1Petabyte（相当于1000TB）。数据的增长所引发的模式变革已经渗透到世界的各个方面，包括科学、工程、医疗、教育、金融、安全、国防、商业，甚至政治，而人类面临的巨大挑战是如何把爆炸式的数据增长转化为爆炸式的知识增长，进而造福整个世界。因此，每个人都应当或多或少对大数据有所了解。然而，目前大多数关于大数据的书是为专业人员写的，对于非专业人员的一般读者来讲可能有些难度。

本书的作者考虑到一般读者的需求，既面向IT专业人士，又照顾到专业外的广大读者，通过多种表现形式，力图使得本书尽可能通俗易懂。作者以综述的方式概述了大数据的趋势，它的系统构架、管理、分析和企业应用，并且提供了很多相关的参考资料，包括产品、书籍和技术论文索引等，来方便读者的延伸阅读。对比以往的大数据专业书籍，这种方式是本书的与众不同之处。尽管相对简短，但本书涵盖了关于大数据的诸多论题。

本书适合多种类型的读者，包括想对大数据有大概了解的，想了解大数据系统和软件应用的，想学习大数据基本概念和方法的，以及想通过大数据提高企业生产力的。这些读者都能够受益于本书。

大数据技术简介论文 篇4

大数据是对全球的数据量较大的一个概括，且每年的数据增长速度较快。而数据挖掘，主要是从多种模糊而又随机、大量而又复杂且不规则的数据中，获得有用的信息知识，从数据库中抽丝剥茧、转换分析，从而掌握其潜在价值与规律。所以大数据时代下的数据处理技术要求更高，要想确保数据处理成效得到提升，就必须切实加强数据挖掘技术教学工作的开展，才能更好地促进数据处理职能的转变，提高数据处理效率，优化学生的学习成效。以下就大数据时代下的数据挖掘技术教学做出如下分析。

1大数据时代下数据挖掘技术的基础教学方法分析

数据挖掘的过程实际就是对数据进行分析和处理，所以其基础就在于数据的分析方法。要想确保分析方法的科学性，就必须确保所采用算法的科学性和可靠性，获取数据潜在规律，并采取多元化的分析方法促进问题的解决和优化。以下就几种常见的数据分析教学方法做出简要的说明。一是归类法，主要是将没有指向和不确定且抽象的数据信息予以集中，并对集中后的数据实施分类整理和编辑处理，从而确保所形成的数据源具有特征一致、表现相同的特点，从而为加强对其的研究提供便利。所以这一分析方法能有效的满足各种数据信息处理。二是关联法，由于不同数据间存在的关联性较为隐蔽，采取人力往往难以找出其信息特征，所以需要预先结合信息关联的表现，对数据关联管理方案进行制定，从而完成基于某种目的的前提下对信息进行处理，所以其主要是在一些信息处理要求高和任务较为复杂的信息处理工作之中。三是特征法，由于数据资源的应用范围较广，所以需要对其特征进行挖掘。也就是采用某一种技术，将具有相同特征的数据进行集中。例如采用人工神经网络技术时，主要是对大批量复杂的数据分析，对非常复杂的模式进行抽取或者对其趋势进行分析。而采取遗传算法，则主要是对其他评估算法的适合度进行评估，并结合生物进化的原理，对信息数据的成长过程进行虚拟和假设，从而组建出半虚拟、半真实的信息资源。再如可视化技术则是为数据挖掘提供辅助，采取多种方式对数据的挖掘进行指导和表达[1]。

2大数据时代数据挖掘技术教学要点的分析

2.1数据挖掘技术流程分析

在数据挖掘教学过程中，其流程主要是以下几点：首先做好数据准备工作，主要是在挖掘数据之前，就引导学生对目标数据进行准确的定位，在寻找和挖掘数据之前，必须知道所需数据类型，才能避免数据挖掘的盲目性。在数据准备时，应根据系统的提示进行操作，在数据库中输入检索条件和目标，对数据信息资源进行分类和清理，以及编辑和预处理。其次是在数据挖掘过程中，由于目标数据信息已经被预处理，所以就需要在挖掘处理过程中将其高效正确的应用到管理机制之中，因而数据挖掘的过程十分重要，所以必须加强对其的处理。例如在数据挖掘中，引导学生结合数据挖掘目标要求，针对性的选取科学而又合适的计算和分析方法，对数据信息特征与应用价值等进行寻找和归纳。当然，也可以结合程序应用的需要，对数据区域进行固定，并在固定的数据区域内分类的挖掘数据，从而得到更具深度和内涵以及价值的数据信息资源，并就挖掘到的数据结果进行分析和解释，从结果中将具有使用价值和意义的规律进行提取，并还原成便于理解的数据语言。最后是切实加强管理和计算等专业知识的应用，将数据挖掘技术实施中进行的总结和提取所获得的数据信息与评估结果在现实之中应用，从而对某个思想、决策是否正确和科学进行判断，最终体现出数据挖掘及时的应用价值，在激发学生学习兴趣的同时促进教学成效的提升。

2.2挖掘后的数据信息资源分析

数据信息资源在挖掘后，其自身的职能作用将变得更加丰富，所以在信息技术环节下的数据挖掘技术随着限定条件的变化，而将数据挖掘信息应用于技术管理和决策管理之中，从而更好地彰显数据在经济活动中的物质性质与价值变化趋势，并结合数据变化特点和具体的表现规律，从而将数据信息的基本要素、质量特点、管理要求等展示出来，所以其表现的形式十分丰富。因而在数据挖掘之后的信息在职能范围和表现形式方式均得到了丰富和拓展，而这也在一定程度上体现了网络拟定目标服务具有较强的完整性，且属于特殊的个体物品，同时也是对传统数据挖掘技术的创新和发展，从而更好地满足当前大数据时代对信息进行数据化的处理，并对不同种类业务进行整合和优化，从而促进数据挖掘技术服务的一体化水平。

2.3大数据背景下的数据挖掘技术的应用必须注重信息失真的控制

数据挖掘技术的信息主要是源于大数据和社会，所以在当前数据挖掘技术需求不断加大的今天，为了更好地促进所挖掘数据信息的真实性，促进其个性化职能的发挥，必须在大数据背景下注重信息失真的控制，切实做好数据挖掘技术管理的各项工作。这就需要引导学生考虑如何确保数据挖掘技术在大数据背景下的职能得到有效的发挥，尽可能地促进数据挖掘技术信息资源的升级和转型，以大数据背景为载体，促进整个业务和技术操作流程的一体化，从而更好地将所有数据资源的消耗和变化以及管理的科学性和有效性，这样我们就能及时的找到资源的消耗源头，从而更好地对数据资源的消耗效益进行评价，最终促进业务流程的优化，并结合大数据背景对数据挖掘技术的职能进行拓展，促进其外部信息与内部信息的合作，对数据挖掘技术信息的职能进行有效的控制，才能更好地促进信息失真的控制[2]。

3数据挖掘技术在不同行业中的应用实践

学习的最终目的是为了更好的应用，随着时代的发展，数据挖掘技术将在越来越多的行业中得以应用。这就需要高校教师引导学生结合实际需要强化对其的应用。例如在市场营销行业中数据挖掘技术的应用这主要是因为数据挖掘能有效的解析消费者的消费行为和消费习惯，从而利用其将销售方式改进和优化，最终促进产品销量的提升。与此同时，通过对购物消费行为的分析，掌握客户的忠诚度和消费意识等，从而针对性的改变营销策略，同时还能找到更多潜在的客户。再如在制造业中数据挖掘技术的应用，其目的就在于对产品质量进行检验。引导学生深入某企业实际，对所制造产品的数据进行研究，从而找出其存在的规则，并对其生产流程进行分析之后，对其生产的过程进行分析，从而更好地对生产质量的影响因素进行分析，并促进其效率的提升。换言之，主要就是对各种生产数据进行筛选，从而得出有用的数据和知识，再采取决策树算法进行统计决策，并从中选取正确决策，从而更好地对产品在市场中的流行程度，决定生产和转型的方向。再如在教育行业中数据挖掘技术的应用，主要是为了更好地对学习情况、教学评估和心里动向等数据进行分类和筛选，从而为学校的教学改革提供参考和支持。比如为了更好地对教学质量进行评估，就需要对教学质量有关项目进行整合与存储，从而更好地促进其对教学质量的评估，而这一过程中，就需要采取数据挖掘技术对有关教学项目中的数据进行挖掘和处理，促进其应用成效的提升[3]。

4结语

综上所述，在大数据背景下，数据挖掘技术已经在各行各业中得到了广泛的应用，所以为了更好地满足应用的需要，在实际教学工作中，我们必须引导学生切实加强对其特点的分析，并结合实际需要，切实注重数据挖掘技术的应用，才能促进其应用成效的提升，最终达到学以致用的目的。

参考文献：

大数据技术Hadoop面试题 篇5

15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。(错误 )

分析：Nagios是集群监控工具，而且是云计算三大利器之一

16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。(错误 )

分析：SecondaryNameNode是帮助恢复，而不是替代，如何恢复，可以查看

17. Cloudera CDH 是需要付费使用的。(错误 )

分析：第一套付费产品是Cloudera Enterpris，Cloudera Enterprise在美国加州举行的 Hadoop 大会 (Hadoop Summit) 上公开，以若干私有管理、监控、运作工具加强 Hadoop 的功能。收费采取合约订购方式，价格随用的 Hadoop 布大小变动。

18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。(错误 )

分析：rhadoop是用R语言开发的，MapReduce是一个框架，可以理解是一种思想，可以使用其他语言开发。

19. Hadoop 支持数据的随机读写。(错 )

分析：lucene是支持随机读写的，而hdfs只支持随机读。但是HBase可以来补救。HBase提供随机读写，来解决Hadoop不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题：表可以很“高”，有数十亿个数据行;也可以很“宽”，有数百万个列;水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提高高效的数据结构的序列化、存储和检索。

20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。(错误)

此题分析：

NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。

1)文件写入

Client向NameNode发起文件写入的请求。

NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

2)文件读取

Client向NameNode发起文件读取的请求。

21. NameNode 本地磁盘保存了 Block 的位置信息。( 个人认为正确，欢迎提出其它意见)

分析：DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。NameNode返回文件存储的DataNode的信息。

Client读取文件信息。

22. DataNode 通过长连接与 NameNode 保持通信。( )

这个有分歧：具体正在找这方面的有利资料。下面提供资料可参考。

首先明确一下概念：

(1).长连接

Client方与Server方先建立通讯连接，连接建立后不断开，然后再进行报文发送和接收。这种方式下由于通讯连接一直存在，此种方式常用于点对点通讯。

(2).短连接

Client方与Server每进行一次报文收发交易时才进行通讯连接，交易完毕后立即断开连接。此种方式常用于一点对多点通讯，比如多个Client连接一个Server.

23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。(错误 )

hadoop只能阻止好人犯错，但是不能阻止坏人干坏事

24. Slave 节点要存储数据，所以它的磁盘越大越好。( 错误)

分析：一旦Slave节点宕机，数据恢复是一个难题

25. hadoop dfsadmin Creport 命令用于检测 HDFS 损坏块。(错误 )

26. Hadoop 默认调度器策略为 FIFO(正确 )

27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。(错误 )

分析：首先明白什么是RAID，可以参考百科磁盘阵列。这句话错误的地方在于太绝对，具体情况具体分析。题目不是重点，知识才是最重要的。因为hadoop本身就具有冗余能力，所以如果不是很严格不需要都配备RAID。具体参考第二题。

28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。(错误 )

29. 每个 map 槽就是一个线程。(错误 )

分析：首先我们知道什么是map 槽,map 槽->map slotmap slot 只是一个逻辑值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是对应着一个线程或者进程

30. Mapreduce 的 input split 就是一个 block。(错误 )

31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。(错误 )

32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( 错误)

hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。

33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。(错误 )

分析：

首先明白介绍，什么ClusterID

ClusterID

添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。

二次整理

有的同学问题的重点不是上面分析内容：内容如下：

大数据技术简介论文 篇6

在未来都将广泛的应用大数据技术相关的专业，因此毕业生可根据自己的兴趣特长，在不同的环节，在不同的方向选择就业。当然这是一个只有“年轻”的专业，虽然前景一片大好，事实是经验不足，学生实践的机会相对来说都比较少。

数据科学与大数据技术专业是一门普通高等学校本科专业，属于计算机类专业，基本修业年限为四年，授予理学或工学学士学位。

大数据时代数据挖掘技术探讨 篇7

随着信息化社会的快速发展, 已经诞生了云计算、 移动计算、 分布式计算、 互联网智能存储等关键技术, 促进电子商务、 电子政务、 金融通信等各个领域信息化系统的广泛发展, 积累了海量数据资源, 包括多媒体声音视频资源、 文本资源、 图片资源等, 使人们快速地进入到了大数据时代[1]。 数据规模变大增加了搜索的难度, 使得人们利用数据变得更加复杂, 为人们使用信息服务带来了严重的障碍, 采用数据挖掘技术可以过滤大数据资源的噪声, 更加精准地获取有价值的信息。

2 大数据发展应用现状

目前, 大数据已经在医疗信息、 智慧旅游、 在线学习、电子商务等领域得到了广泛的应用, 取得了显著的效果。

(1) 医疗信息。 医疗信息大数据可以为医疗服务提供有效的支撑, 实现智能诊断、 病例挖掘、 医保大数据服务等,提高医疗信息的智能化, 比如可以详细地分析某种疾病在每年各个月份的发生率, 寻找最大发生率月份进行专项防治,降低疾病对人类造成的损害[2]。

(2) 智慧旅游。 智慧旅游大数据可以有效整合旅游资源,将旅游景点、 酒店餐饮、 交通出行等形成一条完整的产业链,为用户推荐最佳的旅游线路资源。 在用户搜索旅游景点、 选择酒店住宿、 购买交通票务时为用户量身定制和推荐最佳方案, 智慧旅游经过深入研究和应用, 已经能够实现旅游资源的网上查询、 发布、 点评, 数据挖掘技术可以发现旅游者对景点资源的偏好, 发现旅游旺季、 淡季的时间, 以便制定完善的旅游体系, 提高游客自主性、 互动性、 趣味性和积极性,给游客带来新的体验, 提高旅游服务水平[3]。

(3) 在线学习。 大数据可以为在线教育整合、 集成和设计教育产品, 包括在线教育平台、 网校、 APP应用软件等,可以根据学习者的需求, 利用大数据挖掘算法进行细分, 将其划分为英语培训、 出国留学培训、 考验培训、 中小学课外辅导、 职业教育培训、 公务员考试培训等。 目前, 随着在线教育市场的火爆, 在线教育超越时空限制, 为人们提供了便捷性、 灵活性、 经济性等高质量服务, 已经诞生了新东方网校、 人人网在线学习等各大企事业单位推出的网上大学等,并且能够进行网络模拟考试、 端点续传等操作, 为人们提供极其方便的学习源地[4]。

(4) 电子商务。 目前, 目前, 随着淘宝网、 天猫网、 京东商城、 国美商城、 蘑菇街等电子商务网站的快速发展和进步, 电子商务已经如雨后春笋般出现在人们的生活过程中, 积累了海量的用户消费数据资源, 根据用户的购买喜好使用数据挖掘算法为用户推荐商品, 可以提高消费者搜索的精准程度,提高消费者的商品搜索的便捷性, 同时可以为商家制定营销策略, 及时准确地获取最畅销的商品信息, 提高供销比[5]。

3 数据挖掘技术在大数据分析中的应用

3.1 应用现状

大数据时代, 为了能够提高网络数据资源的利用率, 需要设计高效的数据挖掘算法, 从互联网中提取、 组织和处理相关的数据信息, 并且根据用户需求反馈搜索结构, 以便满足人们利用大数据资源进行医疗诊断、 文档分类、 语音识别、视频搜索等需求[6]。 数据挖掘技术可以有效地从网络海量数据资源中提取有价值的信息, 实现信息资源分类管理, 为人们的决策提供有效帮助。 目前, 数据挖掘已经在多个领域得到了广泛的应用, 并且引起了许多学者的研究。 大数据挖掘常用的技术包括支持向量机、 神经网络、 遗传算法、 专家系统等[7]。

(1) 支持向量机

支持向量机(Support Vector Machine, SVM) 基于统计学习理论, 采用结构风险最小化原理, 可以解决非线性、 小样本、 高维空间大数据挖掘问题, 以便能够利用有限的样本发现数据中隐藏的有价值信息, 为人们提供良好的大数据挖掘结果。 支持向量机与其他算法相结合, 逐渐应用到火炮控制、雷达扫描、 地质勘探等非线性大数据挖掘复杂场景。

(2) 神经网络

神经网络可以对训练数据进行自组织、 自适应的学习过程, 并且能够学习到最具典型的特征的样本和区分数据能力,以便能够得到不同的数据价值信息。 神经网络具备的分布式存储、 并行处理和容错能力, 都可以通过训练学习时调整不同的神经网络参数权值进行, 具有较强的外界环境适应变化能力, 同时具备非常强的抗干扰能力。 神经网络的不足之处是很难获得样本数据, 并且学习精度也需要依赖于神经网络训练次数, 如果加入了新的数据特征, 需要重新训练网络, 训练步骤较为复杂, 耗费较长的时间。 神经网络已经在医学图像处理、机器人、 工业控制等大数据挖掘领域得到了广泛的应用。

(3) 遗传算法

遗传算法是一种非常有效的模拟生物进化的大数据挖掘算法, 该算法可以针对一串描述字符的位串进行操作, 不同位串在实际的应用环境中代表不同的问题。 遗传算法可以从若干个初始的种群开始搜索, 根据当前的种群成员, 模仿生物的遗传进化过程, 选择基因优良的下一代作为进化的目标。目前, 遗传算法已经在很多领域得到了广泛的应用, 比如自动组卷过程中、 基因序列预测过程中、 数据库连接优化过程中, 均得到了广泛的使用。

(4) 基于专家系统方法

专家系统是最为常见的一种大数据挖掘技术, 其依赖网络中产生的专家经验知识为基础, 构建一个核心的知识库和推理机, 以知识库和推理机为中心, 构建一个能够进行规则识别、 分析的系统, 并且可以通过规则匹配进行模式识别。专家系统已经在经营管理、 金融管理、 决策分析等领域得到了广泛应用, 并且逐渐引入了马尔科夫链、 贝叶斯理论、 概率论、 模糊数学等统计分析知识, 可以确保专家系统量化识别功能, 不再仅仅依靠经验知识推论。

3.2 发展趋势

随着大数据的应用和发展, 数据量将会更大, 数据结构也更加负责, 因此大数据挖掘技术未来的发展趋势主要包括以下两个关键方面:

(1) 提高数据挖掘准确度。 由于大数据资源具有动态性、分布性等特征, 大数据在应用过程中也日趋复杂, 为了提高电子商品推荐精确度、 智慧旅游线路推荐的合理性等, 需要提高大数据挖掘的准确度, 提高精确度的方法包括引入自适应、 模拟退火、 粒子计算等理论, 具有较好的作用。

(2) 改善数据挖掘的时间复杂度。 大数据挖掘过程中,由于用户的时效性要求较高, 为了提高用户的感知度, 需要改善数据挖掘算法的时间复杂度, 以便能够更加迅速地挖掘数据中潜在的知识, 为用户进行在线学习、 医疗诊断等提供决策支撑。

4 结语

浅谈大数据技术发展趋势 篇8

关键词：大数据；云计算；大数据技术；数据挖掘

中图分类号：TP311.13

随着互联网技术和应用模式的快速发展，人们生活方式在不断改变的同时也产生了巨大的数据资源。预计到2020年，全球的数据总量将远远超过人类有史以来所有印刷材料的数据总量，大数据时代即将到来。现阶段关于大数据有多种不同的定义，研究机构Gartner认为大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；维基百科上大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯；而麦肯锡则认为大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。无论哪种定义，我们可以看出，大数据并不是一种新的产品也不是一种新的技术，就如同本世纪初提出的“海量数据”概念一样，大数据只是数字化时代出现的一种现象。

数据量的剧增、国家和企业间竞争的加剧，要求政府和企业能更准确、快速、个性化的为客户和公众提供产品和公共服务。通过大规模掌握用户的细节数据，政府和企业可以分析出通过传统数据分析手段无法获知的价值和模式，做出更为迅速、科学、准确的决策和预测。由此可见，大数据技术是预测分析、数据挖掘、统计分析、人工智能、自然语言处理、并行计算、数据存储等技术的综合运用。

1 大数据特点

从计算科学发展历程来看，物联网的兴起对数据存储和分析产生了更高层次的需求，云计算则进一步拓展了计算机的计算能力。在以上二者的共同推动之下，大数据的概念应运而生，同时也标志着计算科学进入到一个崭新的时代。大数据有着不同于传统数据对象的特点。目前的研究认为，大数据具有以下主要特征：数据规模大、数据种类多、数据要求处理速度快、数据价值密度低以及数据真实性。数据规模大体现在大数据的数据量是以PB，EB和ZB来进行衡量的；数据种类多体现在大数据的数据类型不仅是结构化数据，还包括物联网数据、社交网络数据和位置数据等数据，更多的是半结构和异构数据，数据的复杂性高；数据处理速度快体现在对静态数据和动态实时数据处理的速度与时效要求高；数据价值密度低主要体现在大数据数据量巨大但由于数据结构分散导致数据价值密度低，需要进行数据分析和推理实现价值提纯；数据真实性体现在只有真实而准确的数据才能使大数据的分析、推理和管理有意义。

2 大数据技术发展趋势

2.1 人工智能技术的结合

大数据分析的目的是挖掘大数据中有价值的信息，是从大数据中获取更准确、更深层次的知识，而不是对数据的简单统计分析。要达到这一目标，需要提高计算机的智能计算能力，让系统具备对数据的分析、推理和决策，人工智能是实现以上能力的核心技术。近年来，人工智能的研究成为学术界和企业界的研究熱点，一方面得益于计算机硬件性能的提升，另一方面得益于以云计算、大数据为代表的计算技术的快速发展，使得信息处理的速度和质量大为提高，能够快速、并行地处理海量数据。

2.2 基于数据科学的多学科融合

在大数据时代，许多学科的研究内容从表面上看存在很大的区别，但是从数据研究的视角来看，其实是有共通点的。随着数字化时代的到来，越来越多的学科在数据层面趋于一致，可以采用相似的思想来进行统一的研究。但数据科学的基础问题体系尚不明朗，其自身的发展尚未形成体系成为制约多学科融合的关键问题。

2.3 与网络技术领域的交叉融合

未来大数据将与物联网、移动互联网、云计算等热点技术领域相互交叉融合，产生更多融合不同行业数据的综合性应用。近年来计算机和信息技术发展的趋势是：前端更加简单丰富，后端更加智能快速。物联网与移动互联网促进了物理世界和人的融合，大数据和云计算提升了后端的数据存储管理和计算能力。今后，这几个热点技术领域将相互交叉融合，产生很多跨行业和跨领域的综合性应用。

2.4 大数据安全与隐私

过去几年大数据安全和隐私问题是国内外的研究热点，未来大数据的安全和隐私问题依然将是学术界和企业界研究与探讨的热点。大数据及其相关核心资源涉及企业商业机密和国家主权，引发了社会各界人士的广泛关注，因此如何保护大数据的安全以及用户的隐私成为一个亟待解决的社会热点问题。但大数据应用所产生的隐私问题、大数据系统和体系存在的安全防范方面还没有实质性的进展和突破。毫无疑问，未来大数据安全和隐私问题依然是热点趋势。

2.5 基于大数据的深度学习和众包计算

最近几年深度学习大热，在很多领域发挥了巨大的作用，成为人工智能和大数据领域研究的热门学科，未来基于大数据的深度学习还将是各大研究机构和企业的研究重点。

基于物理资源分散式的应用场景，比如以前常用的P2P技术等对于深度学习这种需要物理资源相对集中的计算方式则会有局限，而众包计算这种物理资源分散式的分布式计算平台则可以有效避免这个问题。因此基于大数据的众包计算也是未来大数据分析与应用领域的研究热点和发展趋势。

2.6 大数据技术课程体系建设和人才培养

大数据技术的快速发展和行业应用需求的快速增长，使得目前技术市场上高素质大数据技术人才严重短缺。因此，政府、高等院校和科研院所将加快建立大数据技术人才教育和培养体系，发展数据科学和工程专业，梳理和构建跨学科和领域交叉的大数据课程体系，融合计算机、数学分析统计、应用相关的学科，推动交叉学科数据分析技术的发展以及人才的培养。只有在体系建设和人才培养方面与市场需求同步，大数据技术才有不断向前发展的基石和动力，因此这也是未来大数据技术行业的发展趋势。

3 结束语

大数据技术是我们利用计算技术对大数据进行分析和推理并挖掘其潜在价值的技术，具有重要的研究意义和实际价值。本文从大数据的概念展开讨论，详细分析了大数据技术研究目前面临的一些问题以及未来的研究热点和发展趋势。尽管目前大数据技术研究已经取得了一些研究成果，但在学科基础、应用广泛性、系统支撑基础、生态环境、人才底蕴等方面仍然存在一些亟需解决的问题，需要政府、企业高等院校和研究机构等共同努力，推动国家在该领域的技术水平走到世界前沿。

参考文献：

[1]王元卓，靳小龙，程学旗.网络大数据：现状与挑战[J].计算机学报，2013（06）：1-15.

[2]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013（25）：142-146.

[3]Thomas H.Davenport，Paul Barth，Randy Bean.How'BigData'is Different[J].MIT Sloan Management Review， 2012，54（01）：22-24.

[4]Victor Mayer-Schonberger，Kenneth Cukier.大数据时代[M].杭州：浙江人民出版社，2013：193-232.

作者简介：刘琳（1981-），女，四川泸州人，讲师，本科，研究方向：计算机网络、多媒体技术。