数据清洗与结构化存储.docx
《数据清洗与结构化存储.docx》由会员分享，可在线阅读，更多相关《数据清洗与结构化存储.docx（28页珍藏版）》请在冰豆网上搜索。
数据清洗与结构化存储
课题：
项目5数据清洗与结构化存储第1部分揭示数据清洗
课次：
第14次
教学目标及要求：
（1）任务1揭示数据清洗（理解）
（2）任务2处理数据基本操作（熟练掌握）
教学重点：
（1）任务1揭示数据清洗（理解）
（2）任务2处理数据基本操作（熟练掌握）
教学难点：
（1）任务2处理数据基本操作（熟练掌握）
思政主题：
教学步骤及内容：
1.课程引入
2.本次课学习内容、重难点及学习要求介绍
（1）任务1揭示数据清洗（理解）
（2）任务2处理数据基本操作（熟练掌握）
3.本次课的教学内容
（1）任务1揭示数据清洗（理解）
目的：
为了保证数据的高价值性我们需要进行数据清洗使数据可以实现
（1）准确性：
数据必须准确的反映现实事务，不能存在造假信息。
（2）完整性：
数据必须不存在丢失、篡改等。
（3）一致性：
数据存在多种副本的情况下，保证多个副本的内容完全相同。
比如不同信息系统里对统一个人的身份证信息必须是相同。
（4）有效性：
描述数据是否满足用户定义的条件或者范围。
比如：
人的年龄不存在负值等。
（5）唯一性：
数据不能存在重复的记录。
在清洗数据之前由于数据大量一般采集的数据往往是
（1）重复数据
（2）字段名和结构前后不一
（3）数据损坏
（4）原始数据来源各不相同格式千奇百怪
（5）数据不完整（某些记录的某些字段缺失）
（6）噪声（被测量的变量的随机误差或方差）
数据清洗是进行数据分析的前提
重要性
举个烹饪的例子：
现在有人交给你一个购物篮，里面装满了你从未见过的各种各样的漂亮，每一样都产自有机农场，并在最新鲜的时候经过人工精挑细选出来。
多汁的西红柿，生脆的莴苣，油亮的胡椒。
你一定激动地想马上开启烹饪之旅，可再看看周围，里肮脏不堪，锅碗瓢盆上尽是油污，还沾着大块叫不出名的东西。
至于厨具，只有一把锈迹斑斑的切刀和一块湿抹布。
水槽也是破破烂烂的。
而恰恰就在此时，你发现从看似鲜美的莴苣下面爬出了一只甲虫。
即使是实习厨师也不可能在这样的地方烹饪。
往轻了说，无外乎是暴殄天物，浪费了一篮子精美的食材。
如果严重点儿讲，这会使人致病。
再说了，在这种地方烹饪根本毫无乐趣可言，也许全天的时间都得浪费在用生锈的破刀切菜上面。
和厨房的道理一样，事先花费些时间清洗和准备好数据科学工作区、工具和原始数据，都是值得的。
数据清洗是进行数据分析的前提，数据清洗的之后数据的质量在很大程度上对后期的分析结果产生影响。
比如如果数据的不准确不完整，可能导致公司决策出现重大偏差，对公司可能是一个毁灭性的打击。
数据清洗的处理我们使用Pandas框架，Pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。
Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。
pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。
下面学习几个常用操作数据的基本函数。
我们将讲解
1.查看某一列的信息代码
2.查看某列的前几行数据
3，查看多列的数据
4.按条件选择数据
数据对基本操作：
1.读取数据
importpandasaspd#这里是导入pandas模块
data=pd.read_csv（"data/movie_metadata.csv"）#读入数据print（data.head（））#通过head（）方法，打印出前5行
2.基本统计信息
data=pd.read_csv（"data/movie_metadata.csv"）
print（data.describe（））
3.查看列信息
查看列信息
print（data.director_name.describe（））
#其中director_name是列名，需要修改为想要查看的列名
查看列内容
print（data['director_name'][:
6]）
#其中director_name是列名，需要修改为想要查看的列名，这里是查看director_name列名的前6行。
查看多列内容
print（data[['director_name','num_critic_for_reviews']][:
6]）
#这里我们选择director_name和num_critic_for_reviews两列，并且仅选择了前6行数据
按条件选择数据
print（data[data['aspect_ratio']>1.78][:
6]）
#这里选择aspect_ratio大于1.78的数据，同样仅选择了前6行数据
4.小结
（1）任务1揭示数据清洗（理解）
目的、重要性
（2）任务2处理数据基本操作（熟练掌握）
读取数据、基本统计信息、查看列信息
5.作业
灵活使用数据数据对基本操作代码编程
6.教学反思
旁批栏：
兽药注册评审工作程序
为规范兽药注册评审工作，根据《兽药管理条例》、《兽药注册办法》等有关规定，制定本工作程序。
一、职责分工
（一）农业农村部畜牧兽医局主管全国兽药注册评审工作。
（二）农业农村部兽药评审中心（以下简称“评审中心”）负责兽药注册申请的技术评审、现场核查、技术评审标准制修订以及注册评审资料的档案保存等工作。
制定召开评审专家咨询会及对生产用菌毒种进行检验的工作原则和规范。
（三）中国兽医药品监察所（以下简称“中监所”）负责拟定兽药注册复核检验规则，组织注册兽药的复核检验工作，出具检验报告书，并对质量标准草案能否控制产品质量、检验方法是否具有可操作性等提出复核意见；负责菌毒种检验工作。
（四）专家职责。
评审中心专家（由评审中心确定）负责对申请注册兽药的安全性、有效性、质量可控性等提出审查意见，兽药注册评审专家库中的其他专家根据评审中心要求参与技术审查并提出咨询意见。
二、评审工作方式
（一）一般评审。
常规兽药注册均采取一般评审方式。
（二）优先评审。
符合以下情形的兽药，采取优先评审方式：
针对《国家中长期动物疫病防治规划（2016-2020年）》确定的国内优先防治的16种疫病，可实现鉴别诊断的疫苗和诊断制品；临床急需、市场短缺的赛马和宠物专用兽药以及特种经济动物、蜂、蚕和水产养殖用兽药；未在中国境内外上市销售的创新兽用化学药品；重大动物疫病防疫急需兽药等。
评审中心第一时间进行评审，第一时间报出评审意见和评审结论；中监所第一时间安排复核检验。
优先评审技术要求不降低，评审步骤不减少，评审流程同一般评审。
（三）应急评价。
对突发重大动物疫病应急处置所需的兽药，农业农村部启动应急评价。
评审中心按照农业农村部畜牧兽医局要求开展应急评价，重点把握兽药产品安全性、有效性、质量可控性，非关键资料可暂不提供。
经评价建议可应急使用的，农业农村部畜牧兽医局根据评审中心评价意见提出审核意见，报分管部领导批准后发布技术标准文件。
有关兽药生产企业按《兽药产品批准文号管理办法》规定申请临时兽药产品批准文号。
（四）备案审查。
根据动物防疫需要，强制免疫用疫苗生产所用菌毒种的变更采取备案审查方式。
具体评审流程和要求见《高致病性禽流感和口蹄疫疫苗生产毒种变更备案工作程序》及变更技术资料要求。
三、一般评审工作流程和要求
（一）申报资料接收和受理。
农业农村部政务服务大厅（以下简称“政务服务大厅”）接收兽药注册申报资料。
评审中心按照农业农村部行政审批办事指南的办事条件、兽药注册资料相关要求，对接收的申报资料进行形式审查，并将形式审查意见报畜牧兽医局和政务服务大厅。
政务服务大厅根据形式审查意见办理予以受理或不予受理手续，并书面通知申请人和评审中心。
（二）申报资料技术评审。
评审中心收到受理的申报资料后，在规定时限内提出评审结论，并报农业农村部畜牧兽医局。
评审中心建立实施评审中心专家主审与兽药注册评审专家库其他专家咨询相结合的兽药注册评审工作机制。
评审过程通常分为初审和复审，但经初审即可得出评审结论的，可不进行复审。
评审中心专家对受理的申报资料进行技术评审，提出初审或复审意见。
根据工作需要，可咨询兽药注册评审专家库中其他专家的意见。
咨询时可采取现场或远程咨询会、函审/网审咨询等方式。
参加技术评审的所有评审专家均应提出书面审查意见。
召开评审专家咨询会时，由评审中心专家任产品主审专家，介绍注册资料和审查意见，并提出需要咨询的事项和问题。
评审中心咨询专家意见时，按照评审中心制定的专家选取原则从兽药注册评审专家库中遴选专家，对于涉及到不同专业的品种或有疑难问题的品种，可分别或同时向不同专业的专家进行咨询。
根据需要，也可向专家库以外的专家进行咨询。
评审专家咨询会议由评审中心有关人员主持。
评审中应按照兽药注册资料要求和相关指导原则要求对申报资料进行科学评审。
原则上，初审应一次性提出全面审查意见，并明确是否进行验证试验、复核检验和现场核查等。
申请的兽药属于疫苗的，基于风险管理原则，必要时可提出对生产用菌毒种进行检验的要求。
评审中心可根据注册申请人的申请安排沟通交流。
根据初审意见，申请人一次性提交补充资料。
收到申请人的补充资料后，评审中心进行复审。
如初审意见要求开展验证试验、复核检验、现场核查等，还应在收到有关报告后一并进行复审。
对需要提交补充资料的申请事项，评审时限延长40个工作日。
未能一次性提交补充资料或者补充资料明显不符合评审意见要求的，予以退审。
原则上，每个兽药注册申请初审和复审各一次。
对拟退审的，评审中心可将退审意见反馈申请人。
如申请人有异议，应在收到意见后5个工作日内以书面形式提出。
根据需要，评审中心可再增加一次复审。
评审时限延长40个工作日。
（三）兽药质量标准复核和样品检验。
技术评审期间需开展兽药质量标准复核和样品检验的，申请人应在收到评审中心复核检验通知后132工作日内，向中监所提交复核检验所需样品及相关资料和材料。
产品复核检验质量标准经申请人确认后，不得修改。
中监所根据评审意见，按照《兽药注册办法》等相关规定开展兽药质量标准复核和样品检验工作，并在规定时限内完成，将检验报告书和复核意见送达申请人，同时将检验报告书报农业农村部畜牧兽医局、复核意见报评审中心。
中监所在收到评审中心复核检验通知后或者发出第一次复核检验不合格报告后132个工作日内，未收到申请人复核样品、相关资料或材料不全导致无法开展检验的，中监所应向评审中心说明具体情况，评审中心根据说明对该项注册申请按自动撤回处理。
第二次送样的复核检验应重新进行检验计时。
根据评审意见对疫苗菌毒种进行检验的，中监所将检验结果和结论报畜牧兽医局和评审中心，并增加150个工作日检验用时。
（四）补充资料及提交有关物质等。
技术评审期间需补充资料、确认技术标准、提交标准物质以及菌毒种和细胞等的，评审中心以书面形式通知申请人。
申请人按照评审意见在规定时限内一次性提交补充资料、确认技术标准、向中监所提交标准物质等。
（五）审批。
农业农村部畜牧兽医局根据评审中心的技术评审意见和结论以及中监所的复核检验结论，提出审批方案。
建议予以批准的，报分管部领导审批，并根据分管部领导审批意见印发公告、制作注册证书；建议不予批准的，由农业农村部畜牧兽医局局长审签。
（六）办结。
办公大厅根据审批结论办结，并书面通知申请人。
（七）有关要求。
评审中心应加强内部管理，健全完善兽药注册评审和检验工作机制，制定并公开评审技术标准，明确内部各环节办理时限，细化兽药注册评审承办人、评审中心专家的工作职责和要求，建立完善沟通交流和咨询机制。
评审专家应按照《农业部兽药评审专家管理办法》有关规定履行职责和义务，保守申报单位的商业秘密，严格执行回避制度，严格遵守评审纪律和廉洁规定。
应急评价和备案审查的技术评价工作方式参照一般评审执行。
四、暂停评审计时
评审过程中需暂停评审计时的，按以下程序办理。
（一）需申请人确认复核检验质量标准的，评审中心向政务服务大厅提出暂停评审计时申请，申请人应在60个工作日内完成质量标准确认工作；政务服务大厅收到申请人无异议的质量标准确认函后恢复评审计时。
需申请人确认规程、标签、说明书等标准性文件的，评审中心向政务服务大厅提出暂停评审计时申请，申请人应在40个工作日内完成确认工作；政务服务大厅收到申请人无异议的确认函后恢复评审计时。
（二）申请人应自收到注册申请事项受理通知后20个工作日内，向评审中心提交注册评审纸质材料10份，评审中心收到材料和资料后，告知政务服务大厅启动评审计时。
（三）根据初审意见，需申请人提交补充资料和复核检验样品、检验用标准物质和制备标准物质原材料及相关资料时，评审中心向政务服务大厅提出停止评审计时132个工作日申请。
申请人对退审意见提出异议并需再次复审的，评审中心向政务服务大厅提出停止评审计时40个工作日申请。
政务服务大厅收到申请人提交的补充资料，以及已向中监所提交了复核检验样品等证明后，恢复评审计时。
（四）进口兽药注册期间，需申请人在中国境内进行临床验证试验或兽药残留检测方法验证试验时，评审中心向政务服务大厅提出停止评审计时申请。
申请人应在252个工作日内完成相关试验。
政务服务大厅收到申请人临床验证试验结果报告或兽药残留检测方法验证试验报告后，恢复评审计时。
（五）需进行现场核查的,评审中心向政务服务大厅提出暂停评审计时申请。
评审中心应在40个工作日内组织完成现场核查，并在完成现场核查后5个工作日内向政务服务大厅提出恢复评审计时申请。
对评审中开展现场核查的注册申请，评审时限延长40个工作日。
进口兽药注册需进行现场核查的，核查工作时限根据实际确定。
（六）在开展复核检验期间，因检验用动物、特殊检验设施与设备或标准物质无法获得等特殊原因造成复核检验无法进行且申请人不能提供有效帮助的，中监所应向政务服务大厅提出停止计时申请。
待检验条件成熟时，中监所告知政务服务大厅恢复计时。
（七）受动物疫病防控政策或兽药管理政策调整等因素影响需停止计时的，农业农村部畜牧兽医局致函农业农村部法规司停止评审计时，并明确停止计时时间。
（八）对有规定时限的所有情形，如提交补充资料、菌毒种、复核检验样品、确认标准、提交验证试验报告等，申请人逾期未完成的，均作为自动撤回申请处理。
但因不可抗力原因造成无法在规定时限内完成的，申请人可提前向农业农村部畜牧兽医局提出延期申请，评审中心（中监所）根据批准的延期时限向政务服务大厅提出暂停评审（检验）计时申请。
《手机短视频创作：
策划、拍摄、剪辑与发布》
教学大纲教案
一、课程信息
课程名称：
手机短视频创作：
策划、拍摄、剪辑与发布
课程类别：
专业基础课
课程性质：
必修
计划学时：
45
计划学分：
3
先修课程：
无
选用教材：
《手机短视频创作：
策划、拍摄、剪辑与发布》，陈臻王怒涛左巍主编，2021年3月；人民邮电出版社出版教材
适用专业：
本书可作为本科院校及职业院校新媒体、电子商务、数字媒体等相关专业的教学用书。
课程负责人：
二、课程简介
本书立足于行业应用，以应用为主线，以技能为核心，从拍摄手机短视频的前期准备到内容策划，从手机短视频的拍摄方法到拍摄实战，从手机短视频的后期剪辑到优化与发布，系统而深入地介绍了手机短视频拍摄、剪辑与发布的实战方法和技巧，帮助读者快速掌握各种实操技能与关键技法。
三、课程教学要求
序号
专业毕业要求
课程教学要求
关联程度
1
工程知识
拍摄设备、内容策划、视频拍摄、视频剪辑（小影、乐秀、VUE、巧影、快影、剪映）、视频优化、视频发布
H
2
问题分析
虽然用手机拍摄短视频看似很简单，但要想拍出令人惊艳的短视频作品并非易事，所以学习并掌握手机短视频的相关技能很有必要
H
3
设计/开发解决方案
通过理论与案例相结合的形式，系统地传授了手机短视频拍摄、剪辑与发布的各种关键技法，用通俗易懂的语言深入浅出地介绍了那些看起来很“高级”的拍摄与后期制作技术
H
4
研究
5
使用现代工具
抖音、快手、西瓜视频、哔哩哔哩、微信、微博、视频号、小红书、小影、乐秀、VUE、巧影、快影、剪映
M
6
工程与社会
当前，短视频行业正在快速发展，用户数量、行业规模和社会影响力持续提高，已经成为移动互联网业态的重要组成部分。
短视频不仅给予了每个创作者很大的发挥空间，还成为一种新型的社交语言，使人们日常的视听内容发生了翻天覆地的变化，短视频已经成为人们观察世界、记录生活的重要平台
H
7
环境和可持续发展
8
职业规范
短视频创作者在进行内容策划时要遵守娱乐性、价值性和情感性原则，以用户为中心，弘扬正确的价值观，使短视频账号持续、健康地发展
H
9
个人和团队
短视频创作团队中个人绝不能随心所欲，而要遵循规律、明确责任、保持团队成员间的高效沟通，才能提升团队协作效率。
短视频创作团队采用团队分工协作的模式，可以提升短视频运营效率，提高团队的产出与效益
H
10
沟通
11
项目管理
12
终身学习
注：
“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具体描述。
“关联程度”栏中字母表示二者关联程度。
关联程度按高关联、中关联、低关联三档分别表示为“H”“M”或“L”。
“课程教学要求”及“关联程度”中的空白栏表示该课程与所对应的专业毕业要求条目不相关。
四、课程教学内容
章节
名称
主要内容
重难点关键词
学时
类型
1
短视频概述
认识短视频
常见的短视频内容类型
常见的短视频平台
短视频的特点；短视频的内容生产模式；短视频的内容类型
3
理论
2
拍摄手机短视频的前期准备
拍摄设备准备
了解手机视频拍摄功能
选择拍摄画幅
手机短视频拍摄设备的选择；手机短视频拍摄功能的运用；短视频拍摄画幅的选择
6
理论+
练习
3
短视频内容策划
短视频内容定位
短视频用户需求定位
短视频内容策划原则
短视频团队搭建
短视频脚本设计
短视频内容定位；短视频用户需求定位；短视频内容策划；短视频团队搭建；短视频脚本设计
6
理论+
练习
4
手机短视频的拍摄方法
景别
拍摄角度
光线运用
视频画面构图
运镜
镜头组接与转场
景别的运用；拍摄角度的选择与运用；光位、光质和造型光的运用；视频画面的构图；手机短视频的运镜；手机短视频镜头组接与镜头转场
8
理论+
练习
5
手机短视频拍摄实战
拍摄Vlog
拍摄旅行视频
拍摄商业广告片
拍摄直播带货类短视频
拍摄Vlog；拍摄旅行视频；拍摄商业广告片；拍摄直播带货类短视频
8
理论+
练习
6
手机短视频后期剪辑
使用“小影”剪辑特效短视频
使用“乐秀”剪辑旅行短视频
使用VUE剪辑Vlog
使用“巧影”制作音频自动回避短视频
使用“快影”剪辑快手短视频
使用“剪映”剪辑抖音短视频
使用“小影”剪辑特效短视频；使用“乐秀”剪辑旅行短视频；使用VUE剪辑Vlog；使用“巧影”制作音频自动回避短视频；使用“快影”剪辑快手短视频；使用“剪映”剪辑抖音短视频
8
理论+
练习
7
手机短视频的优化与发布
手机短视频的优化
手机短视频的发布
优化短视频封面和标题；为短视频添加话题标签；优化短视频发布时间；在抖音、快手、西瓜视频等短视频平台上发布手机短视频
6
理论+
练习
五、考核要求及成绩评定
序号
成绩类别
考核方式
考核要求
权重（%）
备注
1
期末成绩
期末考试
大作业
50
百分制，60分为及格
2
平时成绩
实战训练
10次
40
优、良、中、及格、不及格
3
平时表现
出勤情况
10
两次未参加课程则无法获得学分
注：
此表中内容为该课程的全部考核方式及其相关信息。
六、学生学习建议
（一）学习方法建议
1．理论联系实践，提高学生手机短视频创作能力。
2．从各大媒体平台收集优秀的短视频作品，分析其创作方法，组织学生自主拍摄创作类似的手机短视频内容。
3．组织学生拍摄与剪辑手机短视频，创作完成后发布在不同的短视频平台上，理论与应用相结合，培养并提升学生的手机短视频创作能力。
（二）学生课外阅读参考资料
《短视频编辑与制作》，吴航行李华主编，2019年；人民邮电出版社出版。
七、课程改革与建设
本书立足于实际应用，从拍摄手机短视频的前期准备到内容策划，从手机短视频的拍摄方法到拍摄实战，从手机短视频的后期剪辑到优化与发布，突出了“以应用为主线，以技能为核心”的编写特点，体现了“导教相融、学做合一”的教学思想。
本书还囊括了大量培养手机短视频拍摄、剪辑与发布核心技能的精彩案例，并详细介绍了案例的操作过程与方法，使读者通过案例演练真正达到一学即会，举一反三的学习效果。
本书还配有完整齐备的微课视频、PPT、教学大纲、教案、习题答案、试卷等文件，选书老师可以登录人邮教育社区下载并获取相关教学资源。
平时对学生的考核内容包括出勤情况、在线学习习题完成情况、课堂讨论等方面，占期末总评的50%。
期末考试成绩占期末总评的50%。
制订人
签字
教研室
主任签字
院部负责人
签字
修订时间
年
月
日
手机短视频创作：
策划、拍摄、剪辑与发布教学大纲教案
世界水日资料
世界水日宗旨是：
唤起公众的节水意识，加强水资源保护。
为满足人们日常生活、商业和农业对水资源的需求，联合国长期以来致力于解决因水资源需求上升而引起的全球性水危机。
1977年召开的“联合国水事会议”，向全世界发出严重警告：
水不久将成为一个深刻的社会危机，石油危机之后的下一个危机便是水。
1993年1月18日，第四十七届联合国大会作出决议，确定每年的3月22日为“世界水日（Worlddayforwater）”。
一、世界水日的由来
2010百年不遇干旱地区
水是一切生命赖以生存，社会经济发展不可缺少和不可替代的重要自然资源和环境要素。
但是，现代社会的人口增长、工农业生产活动和城市化的急剧发展，对有限的水资源及水环境产生了巨大的冲击。
在全球范围内，水质的污染、需水量的迅速增加以及部门间竞争性开发所导致的不合理利用，使水资源进一步短缺，水环境更加恶化，严重地影响了社会经济的发展，威胁着人类的福祉。
虽然地球的储水量是很丰富的，共有14.5亿立方千米之多。
但是其中海水却占了97.2%，陆地淡水仅占2.8%，而与人类生活最密切的江河、淡水湖和浅层地下水等淡水，又仅占淡水储量的0.34%。
更令人担忧的是，这数量极有限的淡水，正越来越多地受到污染。
人类的活动会使大量的工业、农业和生活废弃物排入水中，使水受到污染。
2013年，全世界约有4200多亿立方米的污水排入江河湖海，污染了5.5万亿立方米的淡水，这相当于全球径流总量的14%以上。
并且还在增加，扩展和累积。
据科学界估计，全世界有半数以上的国家和地区缺乏饮用水，特别是经济欠发达的第三世界国家，有17亿人喝不上清洁水，世界已有将近80%人口受到水荒的威胁。
以上数据充分说明，水资源短缺成了当今世界面临的重大课题，因此，保护和更有效合理利用水资源，是世界各国政府面临的一项紧迫任务。
从环境角度来说，最完善的措施是拦水和调水。
改变水资源的时空分布，充分利用水资源。
同时注重节约用水，提高水资源利用率：
工业方面提倡节水产业、控制污染物的排放，加强废水处理；农业方面应采用先进的灌溉方式（喷灌、滴灌）等。
水是生命的基础，它不仅关系到人类生活的质量，还影响到人类的生存能力。
我们必须增强水的危机意识，珍惜水，节约水，保护水资源。
“
升级会员 