数据挖掘课程设计.docx

1、数据挖掘课程设计数据挖掘报告1.项目名称 52.项目介绍 53.项目工具 51 Microsoft Office Word 52 Microsoft Office Excel 63 Anaeonda: 64.数据文件预处理 61数据预处理方法: 6(1)数据清理 6(2)数据集成 7(3)数据变换 7(4)数据归约 72 异常值的分析 9(1)简单的统计量分析： 9(2)箱型图分析 95.数据分析 101绘制饼状图 116.挖掘建模 121.算法实现过程： 122.具体实现代码及过程 137.数据挖掘过程 14学生成绩是反映学校教学水平的第一手资料，这些数据可以为学 校改进教育教学提供重要依据

2、。然而，现阶段的学生成绩分析,多数还 停留在较为原始的数据库管理和查询阶段，没有对学生的成绩进行横 向和纵向的对比研究，也缺乏对各学科成绩之间内在联系的挖掘。为 此，学校将数据挖掘技术与学校学生成绩分析管理系统相结合,通过分 析和处理系统中大量的学生成绩数据，寻找潜在的规律及模式,促使学 校更好地开展教学工作，提高教学质量。AbstractStudent achievement is the first-hand information reflecting the teachi ng level of a school. These data can provide an important

3、 basis for schools to improve educati on and teachi ng. However, at this stage, most of the studentsperformanee analysis still stays in the relatively primitive stage of database man ageme nt and query. There is no horiz on tai and vertical comparative study of students performanee, nor is there any

4、 excavati on of the in ter nal links betwee n the performa nee of various discipli nes. Therefore, the school combi nes the data mining tech no logy with the school student achievement analysis management system. By analyzing and processing a large number of student achievement data, the school seek

5、s for pote ntial rules and patter ns, and promotes the school to better carry out teachi ng work and improve the quality of teachi ng.1.项目名称大学物理，模拟电子技术和计算机组成原理成绩的关系分析2.项目介绍大学物理，是大学理工科类的一门基础课程，通过课程的学习，使 学生熟悉自然界物质的结构，性质，相互作用及其运动的基本规律，为 后继专业基础与专业课程的学习及进一步获取有关知识奠定必要的物理 基础。但工科专业以力学基础和电磁学为主要授课。通过课程的学习， 使学

6、生逐步掌握物理学研究问题的思路和方法，在获取知识的同时，使 学生拥有的建立物理模型的能力，定性分析、估算与定量计算的能力， 独立获取知识的能力，理论联系实际的能力都获得同步提高与发展。开 阔思路，激发探索和创新精神，增强适应能力，提升其科学技术的整体 素养。通过课程的学习，使学生掌握科学的学习方法和形成良好的学习 习惯，形成辩证唯物主义的世界观和方法论。计算机组成原理是计算机科学与技术专业的一门核心专业基础 课。通过本课程的学习，使学生掌握计算机系统的基本组成、计算机中 数据的表示方法、计算机各硬件部件的功能和工作原理等，为学生学习 计算机专业课打下坚实的基础。3.项目工具系统：winlO软件

7、：office2010, anaconda1. Microsoft Office WordMicrosoft Office Word是微软公司的一个文字处理器应用程序。 Word给用户提供了用于创建专业而优雅的文档工具，帮助用户节省时间, 并得到优雅美观的结果。一直以來，Microsoft Office Word都是最流 行的文字处理程序。作为Office套件的核心程序，Word提供了许多 易于使用的文档创建工具，同时也提供了丰富的功能集供创建复杂的文 档使用。哪怕只使用Word应用一点文本格式化操作或图片处理，也可 以使简单的文档变得比只使用纯文本更具吸引力。2 Microsoft Offi

8、ce ExcelMicrosoft Excel 是 Microsoft 为使用 Windows 和 Apple Macintosh 操作系统的电脑编写的一款电子表格软件。直观的界面、出色的计算功 能和图表工具，再加上成功的市场营销，使Excel成为最流行的个人计 算机数据处理软件。在1993年，作为Microsoft Office的组件发布了 5.0版之后,Excel就开始成为所适用操作平台上的电子制表软件的霸主。3. Anaconda:Anaconda指的是一个开源的Python发行版本，其包含了 conda Python等180多个科学包及其依赖项。可以用于在同一个机器上安装不 同版本的软

9、件包及其依赖，并能够在不同的环境之间切换。Anaconda包 括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas 等。4.数据文件预处理在数据挖掘中，海量的原始数据中存在着大量不完整、不一致、有异常 的数据，严重影响到数据挖掘建模的执行效率，英至可能导致挖掘结果的偏 差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时 进行数据集成、变换、规约等一系列的处理，该过程就是数据预处理。数据 预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的 挖掘技术或工具。1数据预处理方法：(1)数据清理数据清理例程通过填写缺失的值、光滑噪声数据、识别

10、或删除离群点并 解决不一致性來“清理”数据。主要是达到如下目标：格式标准化，异常数 据清除，错误纠正，重复数据的清除。(2)数据集成数据集成例程将多个数据源中的数据结合起來并统一存储，建立数据仓 库的过程实际上就是数据集成。通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘 的形式。数据归约数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的 时间，数据归约技术可以用來得到数据集的归约表示，它小得多，但仍然接 近于保持原数据的完整性，并结果与归约前结果相同或儿乎相同。由于数据文件信息较多且有很多数据和本课题无关,为了减少资源和时间 的浪费，所以在进行分析前先将excel表

11、格进行删减和求和，优化数据,使数据 更加直观便于分析。处理前数据如图4-1所示.处理后数据如图4-2所示。9 1 t V F X学生初條必缄仃号m 12开头为计算机专,，13. 14开头为网络专业)入:：W：M: 畤丽w：OC2： 序久烷:c：:r： Stiis*syK:gw 齐： 护*:C030:EX：:CCO11T：: 范含Q 事:WU:：t*天:仝*询:tta w9 tta9 F w9 fc5 w 0 5 S?f q A*w9t1HOICl 82110：9i ro3H03C 84U04$1105a6110$4 0)?110?3 03a? coanacCO 8” CD9H09DI 810U

12、IDMCO11till% 20HU131113图4-1表格数据处理前Kmc/.SX 詆2看= 2R二2?r MEEMla*”:MgX.JIT*cs=11J：wr：X?5 呼:WWW： 沙淨:曲9： T2r:x：Q：CL 9伍MX3UC4E2S6CSUX5T.X讯30MXXU.Mu.wf 1X.Z3uU WX43zxX.MKWifI廿Iil.M lMX99 X2M：3r II2O.MSCC4I4-2处理后数据import pan das as pdcateri ng_sale=G/scour.xlsxdata=pd.read_excel(cateri ng_sale,index_col二u学生)

13、 prin t(data.describe()print(len(data)物理 组成原理count35.00000035.000000mean63. 14285773.417143std12. 44787512.389689min36.00000043.60000025%57.00000067.30000050%63.00000071.80000075%70.00000093.400000max89.00000095.00000035图43 数据初筛结果上图中Count代表数量，Mean代表均值，Std代表标准差，Min代表 最小值，50%代表中位数，Max代表最大值。plt.rcParam

14、saxes. un icodeminusFalseplt.figure()p=data.boxplot(return_type=,dict,)x=p,fliers,O.get_xdata()y=p,flierslO.get_xdata()y.sort()for i in range(len(x):if i0:plt.annotate(yi,xy=(xi/yi),xytext=(xi+0.05-0.8/(yi-yi-l)/yi)else:plt.annotate(yi,xy=(xi/yi),xytext=(xi+0.08,yi)plt.showf)得到的检查结果如下图2-6所示：4-6 异常值检

15、测箱型图5.数据分析数据分析是指用适当的统计方法对收集來的大量第一手资料和第二手资 料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了 提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据也 称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出。数据分析的目的与意义数据分析的目的是把隐没在一大批看來杂乱无章 的数据中的信息集中、萃取和提炼出來，以找出所研究对象的内在规律。1绘制饼状图饼状图显示一个数据系列（数据系列：在图表中绘制的相关数据点，这 些数据源自数据表的行或列。图表中的每个数据系列具有唯一的颜色或图案 并且在图表的图例中表示。可以在图表中绘制一个

16、或多个数据系列。饼状图 只有一个数据系列。）中各项的大小与各项总和的比例。饼状图中的数据点（数据点：在图表中绘制的单个值，这些值由条形、柱形、折线、饼状图或圆环图的扇面、圆点和其他被称为数据标记的图形表 示。相同颜色的数据标记组成一个数据系列。）显示为整个饼状图的百分比。 饼状图是以圆形代表研究对象的整体，用以圆心为共同顶点的各个不同扇形显 示各组成部分在整体中所占的比例，要注明各扇形所代表的项目的名称（可用 图例表示）及其所占百分比。饼状图可以比较清楚地反映出部分与部分、部分与整体之间的数量关系. 易于显示每组数据相对于总数的大小.而且显现方式直观。为了使图中数据更加直观，这里使用饼状图，代

17、码如下：import numpy as upimport matplotlib.mlab as mlabimport matplotlib.pyplot as pitplt.rcParamsfont.sans-serif=SimHeiplt.rcParams raxes.u nicode_mi nu s=Falselabels=* 不及格,/,60-70,；70-80,；80-90；90-100,X=9,17,7,2,0fig=plt.figure（）plt.pie（X/labels=labels/autopct=l%1.2f%1）plt.titlef大学物理1成绩分布图J所得到的饼状图为大学

18、物理1,如下图5-1所示:图5-1物理成绩分布图图5-4组成原理成绩分布图6.挖掘建模本课题研究的是对大学物理各个分数段的人及格儿率的预测，并通过数 据检测，检测是否在计算机组成原理学习中存在困难，并及时给与提醒，根 据数据挖掘分析。1.算法实现过程：1用代码5-1求总的信息爛。2手工测算高数1,高数2对于数据结构及格情况的条件爛。3信息增益=总信息爛-条件爛。4参考信息增益，用信息增益多的作根节点，画出最浅决策树。2具体实现代码及过程(1)利用以下代码将ecxel表格导入listimport xlrddef creatDataf):file = G:离散化.xlsxwb = xlrd.ope

19、n_workbook(filename=file)ws = wb.sheet_by_name(离散化)data =for r in range(ws.nrows):col =for c in range(ws.ncols):col.append(ws.cell(r, c).value)data.append(col)labels =物理计算机组成原理,return data, labels(2)利用以下代码计算信息爛from math import logdef sha nnon_en tropy(data):enteries=len(data)label_count=for v in dat

20、a:currentJabel=v-3if currentjabel not in label_countkeys():label_countcurrent_label=0label_countcurre nt_label+=lentropy=0.0for key in label_count:prob=float(labeLcou ntkey)/enteriesentropy-=prob*log(prob,2)return entropyif _name_ = _main_data, features = creatData()print(data)prin t(shan non_ entro

21、py(data)决策树图7.数据挖掘过程柱状图是一种以长方形的长度为变量的表达图形的统计报告图，由一系 列高度不等的纵向条纹表示数据分布的情况，用來比较两个或以上的价值（不 同时间或者不同条件），只有一个变量，通常利用于较小的数据集分析。柱状图亦可横向排列，或用多维方式表达。绘制柱状图的代码如下所示：import matplotlib.pyplot as pitplt.rcParams rfont.sansserif二SimHeiplt.rcParamsaxes.u nicode_mi nu s=Falsen ame_list=不及格T及格T良好,num _list=60/49,27num _listl=5/5/9x=list(range(len(num_list)total_width, n=0.8, 2width=total_width/nplt.bar(x/num_list/width=widthjabel=及格,fc=y)for i in range(len(x):x i=xi+widthplt.bar(x,numJistl, width=width/label=l不及格:tickabel二name_list,fc=,rl) pitege nd() plt.show()得到如图7-1所示的柱状图图7-1