大数据分析及挖掘技术

　　随着大数据时代的到来，在大数据观念不断提出的今天，加强数据大数据挖掘及时的应用已成为大势所趋。

　　一、什么是大数据挖掘？

　　数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

　　数据挖掘对象

　　根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。

　　二、数据挖掘流程

　　定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

　　数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

　　数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

　　结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

　　三、数据挖掘分类

　　直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。

　　间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。

　　四、数据挖掘的方法

　　1、神经网络方法

　　神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。

　　2、遗传算法

　　遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

　　3、决策树方法

　　决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。

　　4、粗集方法

　　粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。

　　5、覆盖正例排斥反例方法

　　它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则（选择子的合取式）。

　　6、统计分析方法

　　在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。

　　7、模糊集方法

　　即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。

　　大数发掘技术，目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

　　五、着重突破技术

　　1. 可视化分析

　　不论是分析专家，还是普通用户，在分析大数据时，最基本的要求就是对数据进行可视化分析。经过可视化分析后，大数据的特点可以直观地呈现出来，将单一的表格变为丰富多彩的图形模式，简单明了、清晰直观，更易于读者接受。

　　2. 数据挖掘算法

　　数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算。为了创建该模型，算法将首先分析用户提供的数据，针对特定类型的模式和趋势进行查找。

　　并使用分析结果定义用于创建挖掘模型的最佳参数，将这些参数应用于整个数据集，以便提取可行模式和详细统计信息。

　　大数据分析的理论核心就是数据挖掘算法，数据挖掘的算法多种多样，不同的算法基于不同的数据类型和格式会呈现出数据所具备的不同特点。各类统计方法都能深入数据内部，挖掘出数据的价值。

　　为特定的分析任务选择最佳算法极具挑战性，使用不同的算法执行同样的任务，会生成不同的结果，而某些算法还会对同一个问题生成多种类型的结果。

　　3. 预测性分析

　　大数据分析最重要的应用领域之一就是预测性分析，预测性分析结合了多种高级分析功能，包括特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等。

　　从纷繁的数据中挖掘出其特点，可以帮助我们了解目前状况以及确定下一步的行动方案，从依靠猜测进行决策转变为依靠预测进行决策。它可帮助分析用户的结构化和非结构化数据中的趋势、模式和关系，运用这些指标来洞察预测将来事件，并作出相应的措施。

　　4. 语义引擎

　　非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统地去分析，提炼数据。语义引擎是语义技术最直接的应用，可以将人们从繁琐的搜索条目中解放出来，让用户更快、更准确、更全面地获得所需信息，提高用户的互联网体验。

　　5. 数据质量和数据管理

　　大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理无论是在学术研究还是在商业应用领域都极其重要，各个领域都需要保证分析结果的真实性和价值性。