《数据清洗》电子教案Word下载.docx

《数据清洗》电子教案Word下载.docx

《《数据清洗》电子教案Word下载.docx》由会员分享，可在线阅读，更多相关《《数据清洗》电子教案Word下载.docx（30页珍藏版）》请在冰豆网上搜索。

本课程的主要目的是培养学生的数据清洗的理论分析与应用实践的综合能力。

通过本课程的教学，使学生掌握数据清洗的一般方法和实现技术，能使用编程或者开源软件解决数据清洗相关的问题。

重点、难点

教学重点：

认识数据清洗

文件格式

Web数据抽取

网络爬虫

Kettle数据清洗

数据迁移

文本数据处理

Python数据清洗

DataCleaner数据清洗与分析

教学难点：

掌握数据清洗基本过程、处理步骤和方法；

掌握Web数据抽取与网络爬虫；

熟练Kettle数据清洗方法；

掌握数据Python数据清洗。

资源

多媒体课件

习题答案

微课视频

试题库

其他教学资源：

《数据清洗》黄源主编，清华大学出版社

环境

多媒体教学，课堂教学与学生上机实践相结合

案例实现

第1次课2学时

授课内容

数据清洗概论1

教学目的

与要求

通过本课的学习，学生应该掌握如下知识：

1）数据清洗的概念

2）数据清洗的对象

3）数据清洗的原理

4）数据清洗的方法

重点

难点

1）数据清洗的方法

教学进程

安排

教学导入：

介绍数据清洗与的重要性，举例说明数据清洗典型案例，逐步引入到课程的介绍内容中来。

引入课程思政，说明在使用数据时应当在法律范围内。

授课内容：

一、《数据清洗与》课程介绍

介绍本门课程的学科地位、考核方式、学习内容安排、可以参考的学习资料。

二、讲授数据清洗的定义、原理与发展

1）讲授数据清洗的含义和内容

2）讲授数据清洗的对象

3）讲授数据清洗的原理

4）讲授数据清洗主要的方法

课后学习

任务布置

查阅数据清洗用途的相关资料与案例

主要

参考资料

第2次课2学时

数据清洗基础2

介绍数据清洗的评估和数据集。

1）数据清洗的评估内容；

2）数据清洗的数据集介绍

数据清洗的各种数据集

一、数据清洗的评估技术

二、数据清洗的评估任务

三、数据清洗的数据集

下载数据集

第3次课2学时

数据清洗基础3

介绍数据质量与数据仓库。

1）数据质量的特点

2）数据仓库的特点

3）主数据与元数据

主数据与元数据

一、数据质量的概述

二、数据仓库的特点

三、ETL

四、主数据与元数据

熟悉ETL

第4次课2学时

数据清洗基础4

1）数据清洗的统计基础知识

2）数据清洗的环境与工具

数据清洗的工具安装

一、数据清洗的统计基础知识

二、数据清洗的环境

三、数据清洗的工具

安装数据清洗工具

第5次课2学时

介绍文件格式的定义，掌握常见的文件格式，会查看和标记

1）XML格式的查看和编辑

2）JSON格式查看和编辑

一、文件格式基础知识

二、常见文件格式的介绍

三、XML格式和JSON格式查看和编辑

示例练习，熟练掌握XML格式和JSON格式的编写和运行

第6次课2学时

Kettle文件格式的转换1

1）熟悉Kettle使用方法

2）熟悉Kettle中不同文件格式的转换方式

熟悉Kettle中文件格式的转换方式

一、Kettle基础

1）Kettle简介

2）Kettle打开和运行

二、Kettle实例

1）文本文件转换

2）CSV文件转换

3）XML文件转换

4）JSON文件转换

示例练习，运行Kettle转换各种文件格式

第7次课2学时

Kettle文件格式的转换2

1）Excel文件转换

2）生成记录组件转换

3）使用Kettle读取XML文档

4）将XML文档转换为JSON文档

熟悉不同文件的转换方法、案例实现

第8次课2学时

数据抽取1

介绍数据抽取定义和方法，要求学生应该熟练掌握如下知识的运用：

1）了解数据抽取的概念

2）掌握Web数据抽取的原理

3）掌握使用Kettle实现Web数据抽取的原理

1）Web数据抽取的原理

一、数据抽取概念

二、Web数据抽取定义与原理

三、使用Kettle实现Web数据抽取的原理

示例练习，数据抽取的Kettle实现

第9次课2学时

数据抽取2

介绍数使用Kettle实现Web数据抽取的案例与过程。

要求学生应该熟练掌握如下知识的运用：

1）HTTPclient抽取数据

2）Web服务查询抽取数据

3）掌握从Web中抽取数据的基本方式及原理

1）从Web中抽取各种数据

一、Kettle实现Web数据抽取的流程

二、HTTPclient抽取数据

三、Web服务查询抽取数据

使用WebService抽取天气数据并显示，实训部分

第10次课2学时

网络爬虫1

1）HTML概述

2）网页结构

3）网络爬虫原理

4）robots协议

1）网页结构

讲授内容

一、HTML概述

1）HTML概念

2）HTML5实现

二、网页结构

1）网页结构识别

2）网页元素识别

三、网络爬虫原理

1）网络爬虫协议

2）robots协议

熟悉网页结构

第11次课2学时

网络爬虫2

利用Python实现网络爬虫，通过本课的学习，学生应该掌握如下知识：

1）urllib模块

2）Requests库

1）Requests库

一、urllib模块认识和应用

二、Requests库认识和应用

熟练掌握利用urllib模块和Requests库实现爬虫的案例实现

第12次课2学时

网络爬虫3

介绍BeautifulSoup库和爬虫实例。

1）掌握BeautifulSoup库原理和实现

2）爬虫实例的书写和运行

1）BeautifulSoup库原理

2）爬虫实例运行

一、BeautifulSoup库概述

2）BeautifulSoup库运行

二、爬虫实例

1）爬虫实例分析

熟悉爬虫实例

第13次课2学时

网络爬虫综合实验

掌握如下知识：

1）对各种库的应用

2）编写程序实现爬取网页

1）编写程序实现爬取网页

实验内容：

一、爬取天涯页面

二、爬取网易云音乐

编写爬虫爬取网页

第14次课2学时

Kettle数据清洗1

了解Kettle数据清洗。

1）掌握Kettle数据清洗步骤

2）使用Kettle实现数据清洗

1）使用Kettle实现数据清洗

一、Kettle数据清洗步骤

二、使用Kettle实现数据清洗

1）值映射

2）数据排序

3）数据去重

熟悉Kettle实现数据清洗的基本方法和流程

第15次课2学时

Kettle数据清洗2

一、使用Kettle实现数据清洗

1）使用kettle清洗超出范围的数据

2）使用kettle过滤记录

3）使用kettle生成多个随机数并相加