数据处理技术.docx

1、数据处理技术数据处理技术一、数据标准化技术：1、 Min-max 标准化min-max 标准化方法是对原始数据进行线性变换。设 minA 和 maxA 分别为属性 A 的最小值和最大值，将 A 的一 个原始值 x 通过 min-max 标准化映射成在区间 0,1 中的值 x， 其公式为：新数据 =（原数据 -极小值） /（极大值 -极小值）2、 z-score 标准化这种方法基于原始数据的均值（mean）和标准差（ standard deviation ）进行数据的标准化。将 A 的原始值 x使用 z-score 标准化到 x。z-score 标准化方法适用于属性 A 的最大值和最小值未 知的

2、情况，或有超出取值范围的离群数据的情况。新数据 =（原数据 -均值） /标准差spss默认的标准化方法就是 z-score标准化。用 Excel 进行 z-score 标准化的方法：在 Excel 中没有现 成的函数，需要自己分步计算，其实标准化的公式很简单。步骤如下：1求出各变量（指标）的算术平均值（数学期望） xi和标准差 si ；2进行标准化处理：zij= （xij xi ） /si其中： zij 为标准化后的变量值； xij 为实际变量值。3将逆指标前的正负号对调。标准化后的变量值围绕 0 上下波动，大于 0 说明高于平 均水平，小于 0 说明低于平均水平。3、 Decimal sca

3、ling 小数定标标准化 这种方法通过移动数据的小数点位臵来进行标准化。小 数点移动多少位取决于属性 A 的取值中的最大绝对值。 将属 性 A 的原始值 x 使用 decimal scaling 标准化到 x 的计算方法 是：x=x/（10*j）其中， j 是满足条件的最小整数。例如 假定 A 的值由 -986到 917，A 的最大绝对值为 986， 为使用小数定标标准化，我们用 1000（即， j=3 ）除以每个 值，这样， -986 被规范化为 -0.986。注意，标准化会对原始数据做出改变，因此需要保存所 使用的标准化方法的参数，以便对后续的数据进行统一的标 准化。除了上面提到的数据标准

4、化外还有对数 Logistic 模式、模糊量化模式等等:4、对数Logistic模式 新数据=1/ （1+eA（-原数据）5、模糊量化模式新数据=1/2+1/2sin二3.1415/ （极大值-极小值）* （X-（极大值-极小值）/2） ; X为原数据。二、数据清洗1、定义 数据清洗是指发现并纠正数据文件中可识别的错误的 最后一道程序，包括检查数据一致性，处理无效值和缺失值 等。与问卷审核不同，录入后的数据清理一般是由计算机而 不是人工完成。（1）一致性检查一致性检查 （consistency check） 是根据每个变量的合理取 值范围和相互关系，检查数据是否合乎要求，发现超出正常 范围、逻

5、辑上不合理或者相互矛盾的数据。例如，用 1-7 级 量表测量的变量出现了 0 值，体重出现了负数，都应视为超 出正常值域范围。SPSS SAS、和Excel等计算机软件都能 够根据定义的取值范围，自动识别每个超出范围的变量值。 具有逻辑上不一致性的答案可能以多种形式出现：例如，许 多调查对象说自己开车上班，又报告没有汽车；或者调查对 象报告自己是某品牌的重度购买者和使用者，但同时又在熟 悉程度量表上给了很低的分值。发现不一致时，要列出问卷 序号、记录序号、变量名称、错误类别等，便于进一步核对 和纠正。2）无效值和缺失值的处理由于调查、编码和录入误差，数据中可能存在一些无效 值和缺失值，需要给予

6、适当的处理。常用的处理方法有：估 算，整例删除，变量删除和成对删除。估算 (estimation) 。最简单的办法就是用某个变量的样本 均值、中位数或众数代替无效值和缺失值。这种办法简单， 但没有充分考虑数据中已有的信息，误差可能较大。另一种 办法就是根据调查对象对其他问题的答案，通过变量之间的 相关分析或逻辑推论进行估计。例如，某一产品的拥有情况 可能与家庭收入有关，可以根据调查对象的家庭收入推算拥 有这一产品的可能性。整例删除 (casewise deletion) 是剔除含有缺失值的样本。 由于很多问卷都可能存在缺失值，这种做法的结果可能导致 有效样本量大大减少，无法充分利用已经收集到的

7、数据。因 此，只适合关键变量缺失，或者含有无效值或缺失值的样本 比重很小的情况。变量删除 (variable deletion) 。如果某一变量的无效值和缺 失值很多，而且该变量对于所研究的问题不是特别重要，则 可以考虑将该变量删除。这种做法减少了供分析用的变量数 目，但没有改变样本量。成对删除 (pairwise deletion) 是用一个特殊码 (通常是 9、99、999 等)代表无效值和缺失值，同时保留数据集中的全部 变量和样本。 但是，在具体计算时只采用有完整答案的样本， 因而不同的分析因涉及的变量不同，其有效样本量也会有所 不同。这是一种保守的处理方法，最大限度地保留了数据集 中的

8、可用信息。采用不同的处理方法可能对分析结果产生影响，尤其是 当缺失值的出现并非随机且变量之间明显相关时。因此，在 调查中应当尽量避免出现无效值和缺失值，保证数据的完整 性。2、数据清洗原理利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据 ，如图所示问值不HoiAd；图 数据洁旳乐理3、数据清洗的实现方式与范围按数据清洗的实现方式与范围，可分为4种：(1)手工实现，通过人工检查，只要投入足够的人力物力 财力，也能发现所有错误，但效率低下。在大数据量的情况下 几乎是不可能的(2)通过专门编写的应用程序，这种方法能解决某个特 定的问题，但不够灵活，特别是在清理过

9、程需要反复进行(一般 来说,数据清理一遍就达到要求的很少 )时,导致程序复杂，清 理过程变化时 ,工作量大。 而且这种方法也没有充分利用目前 数据库提供的强大数据处理能力 。(3)解决某类特定应用域的问题 ,如根据概率统计学原 理查找数值异常的记录 ,对姓名、 地址、邮政编码等进行清理 , 这是目前研究得较多的领域 ,也是应用最成功的一类。 如商用 系统 : Trillinm Software , System Match Maketr 等。(4)与特定应用领域无关的数据清理 ,这一部分的研究 主要集中在清理重复的记录上 , 如 Data Cleanser Data Blade Module

10、,Integrity 系统等。这 4 种实现方法 ,由于后两种具有某种通用性 , 较大的实 用性 ,引起了越来越多的注意。但是不管哪种方法 ,大致都由三个阶段组成 : 数据分析、定义错误类型 ; 搜索、识别 错误记录 ; 修正错误。第一阶段 ,尽管已有一些数据分析工具 ,但仍以人工分析 为主。在错误类型分为两大类 :单数据源与多数据源 ,并将它 们又各分为结构级与记录级错误。这种分类非常适合于解决 数据仓库中的数据清理问题。第二阶段 ,有两种基本的思路用于识别错误 :一种是发掘 数据中存在的模式 ,然后利用这些模式清理数据 ;另一种是基 于数据的 ,根据预定义的清理规则 ,查找不匹配的记录。后

11、者 用得更多。第三阶段 ,某些特定领域能够根据发现的错误模式 ,编制程序或借助于外部标准源文件、数据字典一定程度上修正错 误 ;对数值字段 ,有时能根据数理统计知识自动修正 ,但经常须 编制复杂的程序或借助于人工干预完成。绝大部分数据清理方案提供接口用于编制清理程序。它 们一般来说包括很多耗时的排序、 比较、 匹配过程 ,且这些过 程多次重复 ,用户必须等待 较长时间。在一个交互式的数据 清理方案。 系统将错误检测与清理紧密结合起来 ,用户能通过 直观的图形化界面一步步地指定清理操作 ,且能立即看到此时的清理结果 , （仅仅在所见的数据上进行清理 ,所以速度很 快 ） 不满意清理效果时还能撤销

12、上一步的操作 ,最后将所有清理操作编译执行。并且这种方案对清理循环错误非常有 效。许多数据清理工具提供了描述性语言解决用户友好性 , 降低用户编程复杂度。 如 ARKTOS 方案提供了 XADL 语言 （一种基于预定义的 DTD 的 XML 语言 ） 、SADL 语言 ,在 ATDX 提供了一套宏操作 （来自于 SQL 语句及外部函数 ） , 一种 SQL Like 命令语言 ,这些描述性语言都在一定程度上减 轻了用户的编程难度 ,但各系统一般不具有互操作性 ,不能通 用。数据清理属于一个较新的研究领域 ,直接针对这方面的研究并不多 ,中文数据清理更少。现在的研究主要为解决两个 问题 :发现异

13、常、清理重复记录。4、数据清洗的方法 一般来说，数据清理是将数据库精简以除去重复记录， 并使剩余部分转换成标准可接收格式的过程。数据清理标准 模型是将数据输入到数据清理处理器， 通过一系列步骤“ 清 理”数据，然后以期望的格式输出清理过的数据（如上图所 示）。数据清理从数据的准确性、完整性、一致性、惟一性、 适时性、有效性几个方面来处理数据的丢 失值、越界值、 不一致代码、重复数据等问题。数据清理一般针对具体应用，因而难以归纳统一的方法 和步骤，但是根据数据不同可以给出相应的数据清理方法。（ 1）解决不完整数据（ 即值缺失）的方法 大多数情况下，缺失的值必须手工填入（即手工清理）。 当然，某些

14、缺失值可以从本数据源或其它数据源推导出来， 这就可以用平均值、最大值、最小值或更为复杂的概率估计 代替缺失的值，从而达到清理的目的。（2）错误值的检测及解决方法 用统计分析的方法识别可能的错误值或异常值，如偏差 分析、识别不遵守分布或回归方程的值，也可以用简单规则库（常识性规则、业务特定规则等）检查数据值，或使用 不同属性间的约束、外部的数据来检测和清理数据。（3）重复记录的检测及消除方法 数据库中属性值相同的记录被认为是重复记录，通过判 断记录间的属性值是否相等来检测记录是否相等，相等的记 录合并为一条记录（即合并 / 清除 ）。合并 /清除是消重的基本 方法。（ 4）不一致性（ 数据源内部

15、及数据源之间）的检测及 解决方法从多数据源集成的数据可能有语义冲突，可定义完整性 约束用于检测不一致性，也可通过分析数据发现联系，从而 使得数据保持一致。目前开发的数据清理工具大致可分为三 类。数据迁移工具允许指定简单的转换规则，如：将字符串 gender 替换成 sex。 sex 公司的 PrismWarehouse 是一个流行 的工具，就属于这类。数据清洗工具使用领域特有的知识（ 如，邮政地址） 对数据作清洗。它们通常采用语法分析和模糊匹配技术完成 对多数据源数据的清理。某些工具可以指明源的 “ 相对清洁程度”。工具 Integrity 和 Trillum 属于这一类。数据审计工具可以通过

16、扫描数据发现规律和联系。因此，这类工具可以看作是数据挖掘工具的变形三、数据挖掘技术数据挖掘的技术有很多种，按照不同的分类有不同的分 类法。下面着重讨论一下数据挖掘中常用的一些技术：统计 技术，关联规则，基于历史的分析，遗传算法，聚集检测， 连接分析，决策树，神经网络，粗糙集，模糊集，回归分析， 差别分析，概念描述等十三种常用的数据挖掘的技术。1、统计技术 统计技术对数据集进行挖掘的主要思想是：统计的方法 对给定的数据集合假设了一个分布或者概率模型 （例如一个正态分布 ）然后根据模型采用相应的方法来进行挖掘。 在数据 库字段项之间存在两种关系： 函数关系 （能用函数公式表示的 确定性关系 ）和相

17、关关系 （不能用函数公式表示，但仍是相关 确定性关系 ），对它们的分析可采用统计学方法， 即利用统计 学原理对数据库中的信息进行分析。 可进行常用统计 （求大量 数据中的最大值、最小值、总和、平均值等 ）、回归分析 （用回归方程来表示变量间的数量关系 ）、相关分析 （ 用相关系数 来度量变量间的相关程度 ）、差异分析 （从样本统计量的值得 出差异来确定总体参数之间是否存在差异 ）等。2、关联规则 数据关联是数据库中存在的一类重要的可被发现的知 识。若两个或多个变量的取值之间存在某种规律性，就称为 关联。关联可分为简单关联、时序关联、因果关联。关联分 析的目的是找出数据库中隐藏的关联网。有时并不

18、知道数据 库中数据的关联函数，即使知道也是不确定的，因此关联分 析生成的规则带有可信度。3、 基于历史的 MBR(Memory-based Reasoning)分析 先根据经验知识寻找相似的情况，然后将这些情况的信息应用于当前的例子中。这个就是 MBR(Memory BasedReasoning)的本质。MBR首先寻找和新记录相似的邻居，然 后利用这些邻居对新数据进行分类和估值。使用 MBR 有三 个主要问题，寻找确定的历史数据；决定表示历史数据的最 有效的方法；决定距离函数、联合函数和邻居的数量。4、 遗传算法 GA(Genetic Algorithms) 基于进化理论，并采用遗传结合、遗传

19、变异、以及自然选择等设计方法的优化技术。主要思想是：根据适者生存的 原则，形成由当前群体中最适合的规则组成新的群体，以及 这些规则的后代。典型情况下，规则的适合度 (Fitness)用它对训练样本集的分类准确率评估。sunil 已成功地开发了一个基于遗传算法的数据挖掘工 具，利用该工具对两个飞机失事的真实数据库进行了数据挖 掘实验，结果表明遗传算法是进行数据挖掘的有效方法之 一。遗传算法的应用还体现在与神经网络、粗集等技术的结 合上。如利用遗传算法优化神经网络结构，在不增加错误率 的前提下，删除多余的连接和隐层单元；用遗传算法和 bp 算法结合训练神经网络，然后从网络提取规则等。但遗传算 法的

20、算法较复杂，收敛于局部极小的较早收敛问题尚未解 决。5、聚集检测 将物理或抽象对象的集合分组成为由类似的对象组成 的多个类的过程被称为聚类。由聚类所生成的簇是一组数据 对象的集合，这些对象与同一个簇中的对象彼此相似，与其 它簇中的对象相异。相异度是根据描述对象的属眭值来计算 的，距离是经常采用的度量方式。6、连接分析连接分析， Link analysis ，它的基本理论是图论。 图论的 思想是寻找一个可以得出好结果但不是完美结果的算法，而 不是去寻找完美的解的算法。连接分析就是运用了这样的思 想：不完美的结果如果是可行的，那么这样的分析就是一个 好的分析。利用连接分析，可以从一些用户的行为中分

21、析出 一些模式；同时将产生的概念应用于更广的用户群体中。7、决策树 决策树提供了一种展示类似在什么条件下会得到什么 值这类规则的方法。决策树是一种常用于预测模型的算法， 它通过将大量数据有目的分类，从中找到一些有价值的，潜 在的信息。它的主要优点是描述简单，分类速度快，特别适 合大规模的数据处理。最有影响和最早的决策树方法是由quinlan 提出的著名的基于信息熵的 id3 算法。它的主要问题 是：id3是非递增学习算法；id3决策树是单变量决策树，复 杂概念的表达困难； 同性间的相互关系强调不够； 抗噪性差。 针对上述问题，出现了许多较好的改进算法，如 schlimmer 和 fisher

22、设计了 id4 递增式学习算法 ;钟鸣，陈文伟等提出了 ible 算法等。8、神经网络 在结构上，可以把一个神经网络划分为输入层、输出层 和隐含层。输入层的每个节点对应个个的预测变量。输出 层的节点对应目标变量，可有多个。在输入层和输出层之间 是隐含层 （对神经网络使用者来说不可见 ），隐含层的层数和 每层节点的个数决定了神经网络的复杂度。除了输入层的节点，神经网络的每个节点都与很多它前 面的节点 （ 称为此节点的输入节点 ）连接在一起，每个连接对 应一个权重 Wxy ，此节点的值就是通过它所有输入节点的值 与对应连接权重乘积的和作为个函数的输入而得到，我们 把这个函数称为活动函数或挤压函数。

23、神经网络由于本身良好的鲁棒性、自组织自适应性、并 行处理、分布存储和高度容错等特性非常适合解决数据挖掘 的问题， 用于分类、 预测和模式识别的前馈式神经网络模型； 以 hopfield 的离散模型和连续模型为代表的，分别用于联想 记忆和优化计算的反馈式神经网络模型； 以art模型、koholon 模型为代表的，用于聚类的自组织映射方法。神经网络方法的缺点是 黑箱 性，人们难以理解网络的学习和决策过程。9、粗糙集 粗糙集理论基于给定训练数据内部的等价类的建立。形 成等价类的所有数据样本是不加区分的，即对于描述数据的 属性，这些样本是等价的。给定现实世界数据，通常有些类 不能被可用的属性区分。粗糙

24、集就是用来近似或粗略地定义 这种类。粗集理论是一种研究不精确、不确定知识的数学工具。 粗集方法有几个优点：不需要给出额外信息；简化输入信息 的表达空间；算法简单，易于操作。粗集处理的对象是类似 二维关系表的信息表。但粗集的数学基础是集合论，难以直 接处理连续的属性。而现实信息表中连续属性是普遍存在 的。因此连续属性的离散化是制约粗集理论实用化的难点。10、模糊集 模糊集理论将模糊逻辑引入数据挖掘分类系统，允许定 义“模糊”域值或边界。模糊逻辑使用 0.0 和 1.0 之间的真 值表示一个特定的值是一个给定成员的程度，而不是用类或 集合的精确截断。模糊逻辑提供了在高抽象层处理的便利。即利用模糊集

25、合理论对实际问题进行模糊评判、模糊决 策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模 糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上，提出了定性定量不确定性转换模型 - 云模型，并形成了云理论。11、回归分析 回归分析分为线性回归、多元回归和非线性同归。在线 性回归中，数据用直线建模，多元回归是线性回归的扩展， 涉及多个预测变量。非线性回归是在基本线性模型上添加多 项式项形成非线性同门模型。12、差别分析 差别分析的目的是试图发现数据中的异常情况，如噪音 数据，欺诈数据等异常数据，从而获得有用信息。13、概念描述 概念描述就是

26、对某类对象的内涵进行描述，并概括这类 对象的有关特征。概念描述分为特征性描述和区别性描述， 前者描述某类对象的共同特征，后者描述不同类对象之间的 区别，生成一个类的特征性描述只涉及该类对象中所有对象 的共性。14、覆盖正例排斥反例方法 它是利用覆盖所有正例、排斥所有反例的思想来寻找规 则。首先在正例集合中任选一个种子，到反例集合中逐个比 较。与字段取值构成的选择子相容则舍去，相反则保留。按 此思想循环所有正例种子， 将得到正例的规则 （选择子的合取 式 ）。比较典型的算法有 michalski 的 aq11 方法、洪家荣改进 的aq15方法以及他的 ae5方法。四、二十大数据可视化工具点评如今

27、学习应用数据可视化的渠道有很多，你可以跟踪一 些专家博客，但更重要的一点是实践/实操，你必须对目前可 用的数据可视化工具有个大致了解。以下 是Netmagzine列举的二十大数据可视化工具，无论你是准备制作简单的图表 还是复杂的图谱或者信息图，这些工具都能满足你的需要。更加美妙的是，这些工具大多免费。第一部分：入门级工具I.ExcelExcel的图形化功能并不强大， 但Excel是分析数据的理 想工具，上图是Excel生成的热力地图作为一个入门级工具， Excel是快速分析数据的理想工具，也能创建供内部使用的数据图，但是 Excel在颜色、线条和样式上可选择的范围有限， 这也意味着用Excel

28、很难制作出能符合专业出版物和网站需要的数据图。但是作为一个高效的内部沟通工具， Excel应当是你百宝箱中必备的工具之一。2.CSV/JS0NCSV（逗号分隔值）和JSON（ JavaScript对象注释）虽然并不是真正的可视化工具，但却是常见的数据格式。你必须理解他们的结构，并懂得如何从这些文件中导入或者导出数据。以下将要介绍的所有数据可视化工具都支持 CSV、JSON中至少一种格式第二部分：在线数据可视化工具3.Google Chart APIGoogle Chart API工具集中取消了静态图片功能，目前只提供动态图表工具。 能够在所有支持 SVGCanvas和VML的浏览器中使用，但是

29、 Google Chart的一个大问题是：图表在客户端生成，这意味着那些不支持 JavaScript的设备将无法使用，此外也无法离线使用或者将结果另存其他格式，之 前的静态图片就不存在这个问题。尽管存在上述问题，不可 否认的是Google Chart API的功能异常丰富，如果没有特别的定制化需要，或者对Google视觉风格的抵触，那么你大可以从Google Chart开始。4.Flot1 $in(x)1 cos(x) tj os(x) of 7丄0 = 0.35ff y1 JF Ijf werrn r .Tn1.0050.005a.oFlot是一个优秀的线框图表库，支持所有支持canvas的

30、浏览器（目前主流的浏览器如火狐、IE、Chrome等都支持）5.Rapha?lRapha?是创建图表和图形的 JavaScript库，与其他库最 大的不同是输出格式仅限 SVG和VML。SVG是矢量格式， 在任何分辨率下的显示效果都很好。6.D3D3 ( Data Driven Documents )是支持 SVG 渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的 复杂图表样式，例如Voronoi图、树形图、圆形集群和单词 云等。虽然 D3能够提供非常花哨的互动图表，但你在选择 数据可视化工具时，需要牢记的一点是：知道在何时保持简 洁。7.Visual.ly如果你需

31、要制作信息图而不仅仅是数据可视化，目前也有大把的工具可用。Visual.ly就是最流行的一个选择。虽然Visual.ly的主要定位是：信息图设计师的在线集市”但是也提供了大量信息图模板。虽然功能还有很多限制，但是Visual.ly绝对是个能激发你灵感的地方第三部分：互动图形用户界面（ GUI ）控制如果数据可视化的互动性强大到可以作为 GUI界面会怎样？随着在线数据可视化的发展，按钮、下拉列表和滑块 都在进化成更加复杂的界面元素，例如能够 调整数据范围的互动图形元素，推拉这些图形元素时输入参数和输出结果 数据会同步改变，在这种情况下，图形控制和内容已经合为 一体。以下这些工具能够帮你实 现这些功能：8.Crossfilter当我们为方便客户浏览数据开发出更加复杂的工具时， 我们已经能够创建出既是图表，又是互动图形用户界面的小 程序。JavaScript库Crossfilter就是这样的工具。Crossfilter应用：当你调整一个图表中的输入范围时， 其他关联图表的数据也会随之改变。9.TangleThe coefficients and ftinciipn arcSome cjianrtpk frequency reip