高职大数据专业课程与实验Word下载.docx
《高职大数据专业课程与实验Word下载.docx》由会员分享，可在线阅读，更多相关《高职大数据专业课程与实验Word下载.docx（8页珍藏版）》请在冰豆网上搜索。
人才主要分成三大类：
大数据系统研发类、大数据应用开发类、大数据分析类，热门岗位有：
数据科学家、大数据系统架构师、大数据系统分析师、Hadoop开发工程师、数据分析师、数据挖掘工程师、大数据可视化工程师等。
可以看出大数据技术与应用专业属于交叉学科：
以统计学、数学、计算机为三大支撑性学科;
生物、医学、环境科学、经济学、社会学、管理学等为应用拓展性学科。
此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是一专多能复合的跨界人才（有专业知识、有数据思维）。
我国教育部非常重视高等职业教育中大数据技术与应用人才的培养。
2019年又有195所告知院校成功获批“大数据技术与应用”专业的招生。
截至目前全国已有405所高职院校获批招生。
大数据技术与应用专业是2016年教育部公布的新专业。
两年多来取得了喜人的进步与发展。
这批培养的学生势必成为大数据技术与应用领域的生力军。
但是正因为是新生事物势必会带来新的问题。
学生将来的就业方向是什么？
高职的学生应该学习什么课程？
在学习过程中需要进行哪些实训？
等等。
在回答这些问题之前我们先来讨论一下究竟什么是大数据技术及如何来应用大数据。
二、大数据技术与应用的内涵
先简单介绍一下数据科学、大数据和大数据应用的概念。
数据科学（DataScience）是关于数据的科学或者研究数据的科学，用以研究探索虚拟空间中数据界（datanature）奥秘的理论、方法和技术，研究的对象是数据界中的数据。
与自然科学和社会科学不同，数据学和数据科学的研究对象是虚拟空间的数据，是新的科学。
数据学和数据科学主要有两个内涵：
一个是研究数据本身，研究数据的各种类型、状态、属性及变化形式和变化规律；
另一个是为自然科学和社会科学研究提供一种新的方法，称为科学研究的数据方法，其目的在于揭示自然界和人类行为现象和规律。
数据科学已经有一些方法和技术，例如：
数据获取、数据存储与管理、数据安全、数据分析、可视化等。
大数据是指那些超过传统数据库系统处理能力的数据。
它具有海量性、多样性、高速性和价值密度低的特点。
可以说，数据科学当前的研究方向主要是大数据。
亦即大数据的获取、大数据的存储、大数据的计算模式、大数据分析与数据挖掘、大数据的可视化与数据推送等。
而这些就是大数据技术。
我们可以这样来理解。
既数据科学是研究与数据相关的一系列理论与方法。
数据科学既不同于传统的统计学，也不同于传统的计算机科学。
数据科学是统计学、机器学习和专业领域知识混合的一个新的学科。
大数据则是当前数据科学研究的主要对象，即大到当前的计算机软件已无法存储与处理的那部分数据。
所谓大数据技术则指关系加非关系数据库、分布式存储与处理、大数据可视化与推送技术等。
三、大数据技术与应用专业学生的就业方向
前面提到大数据技术专业总的就业方向大体上有数据科学家、大数据系统架构师、大数据系统分析师、Hadoop开发工程师、数据分析师、数据挖掘工程师、大数据可视化工程师等热门专业。
但是不可否认根据学历的不同就业的层级是不同的。
也就是说大专、本科、研究生在大数据技术与应用的技术对应岗位上是有所不同的。
我们首先来看一幅所谓的大数据人才金字塔图:
由于数学与计算机等课程的学习深度所限，让高职毕业的学生直接从事数据处理、数据研发、数据分析的工作是有困难的。
所以高职的学生可以以第一层和第三层为主。
第一层主要学习数据采集、数据清洗、数据标注等技术和技能。
第三层的应用则是把第二层的算法当成一个黑箱来使用。
比如一个学生在银行信贷部工作。
它可以直接把顾客的数据代入贷款的数据挖掘模型计算是否批准贷款。
过程中他并不需要知道算法具体如何实现的。
只要懂得银行贷款业务和软件的操作就可以。
结论就是说对于高等职业教育的大数据技术与应用专业来说，大数据技术主要指向第一层级，大数据应用主要指向第三层级。
这也符合教育部批办大数据技术与应用专业的初衷。
四、大数据技术与应用专业的课程设置
一个建议的大数据技术与应用专业专科培养计划如下：
1．基础课程：
微积分、线性代数、计算机科学导论、数据科学导论、Python语言编程、软件工程基础。
2．必修课：
数据结构基础、概率与统计基础、数据挖掘实务、JAVA程序设计、MySQL数据库系统、Oracle数据库、linux操作系统、、大数据技术基础。
3．选修课：
Hadoop大数据处理、NoSQL数据库、数据采集与数据清洗、数据仓库与OLAP、数据可视化、数据推送系统、R语言程序设计、大数据案例实训、专业领域知识（金融、电商、医药、交通、政府、气候、教育）等课程。
其中基础课程为后面专业课程的基础。
根据高职学生的实际基础，以概念性的知识为主。
比如线性代数只要学生懂得矩阵的运算方法就行。
并不需要很多的理论证明内容。
Python语言则要细水长流地教给学生，主要是培养学生程序设计的思想。
必修课是将来从事大数据技术与应用的必要知识。
比如Linux操作系统就是构建云计算机环境的必要基础。
Oracle数据库则是学习关系数据库的最佳工具与环境。
JAVA语言则是从事大数据开发与应用的最好程序设计语言。
选修课则是根究学生未来你的就业方向选择各种不同的课程。
倾向从事大数据系统架构的可以学习Hadoop为主的大数据存储与处理技术。
倾向大数据数据预处理的可以选修数据采集与清洗、数据仓库与商务智能。
倾向应用的学习不同应用领域的知识、可视化与推荐技术、进行相应大数据案例实训练习等。
五、大数据技术与应用专业有哪些实训
首先必须认识到大数据技术与应用专业是一个实际操作能力要求很高的专业。
如果仅有书本知识几乎毫无用处。
所以在学习的三年里应该不断地参加实训课程。
这样才能从学校直接走向社会，收到企业的接纳与录用。
特别是最后一个学年更要接受在实际软件环境下的各种模拟与仿真课程。
以便毕业后无缝地过度到企业。
初步提出以下的建议，在实践中可以逐步完善。
配合上述大数据技术与应用专业的培养计划可以开设以下实验课：
第一学年
1.Python语言程序设计
2.Linux操作系统
第二学年
1.Oracle数据库
2.数据仓库与OLAP
3.JAVA语言程序设计
4.数据挖掘实务
5.数据可视化与推荐技术
6.R语言程序设计
第三学年
1.云计算系统架构
2.大数据基础训练
3.NoSQL数据库
4.Hadoop大数据分析与处理
5.大数据案例实训
6.数据采集实务
7.数据预处理
以上实训课程可以配合教学计划同时进行。
比如程序设计语言和数据库基础等。
在教学的同时为学生开设实训课。
实训的强度应该与授课时间达到1:
1的程度。
部分实训课程也可以在主要专业课结束后单科独进。
比如Hadoop大数据分析与处理，数据采集实务，云计算系统架构等。
设置不同的教学班由学生选修。
实训课程与面授课程的对应表
序号
课程名
课时
实训内容
1
Linux操作系统
36
Linux系统安装;
Linux行命令,Shell命令;
文件系统;
I/O操作;
网络操作.
12
2
Python语言
Python编程;
函数与模块;
面向对象编程;
Python图像处理;
数据处理;
网络爬虫编程.
24
3
Oracle数据库
54
数据库建库与维护;
SQL语言编程;
数据库应用系统设计.
4
数据仓库与OLAP
数据仓库建库;
OLAP应用;
数据清洗.
5
数据可视化与推荐技术
可视化系统的设计与应用;
推荐软件的使用.
6
Java程序设计
Java编程;
Java软件开发环境;
Java数据库编程;
Java网络编程.
7
数据挖掘实务
线性回归模型;
聚类分析;
决策树;
神经网络算法的应用.
8
分布式R语言
R语言编程;
R语言图形;
R语言分布式处理.关系数据库的连接.
9
云计算架构
虚拟机建立;
云计算架构;
云计算运维.
10
大数据基础
Hadoop的建立与安装;
HDFS;
HBase;
Hive;
Pig.
11
NoSQL数据库
键-值数据库的建立与应用;
SQL数据库的连接.
Hadoop数据分析与处理
MapReduce计算,Spark计算,
13
大数据案例教学
滴滴搭车,保险,电影库
14
数据采集实务
视频;
音频;
日志;
物联网;
网络爬虫.
15
数据预处理
插值;
规约;
清洗.
以上160个课时的实训环节在后述的数据科学与大数据技术实验室中都可以完成.
六、数据科学与大数据技术实验室
下图为的数据科学与大数据技术实验室的总体架构图：
实验室由大数据一体机、教师机和学生终端三部分组成。
下图为大数据一体机外观图：
大数据一体机为专用大数据实训支撑平台。
含数据科学与大数据技术所必备的所有软件和硬件及案例数据集。
其中硬件包含刀片服务器、存储阵列、光纤交换机、KVM等。
大数据一体机自含空调系统，适合于各种教学环境。
下图为学生教室：
学生终端为台式机。
采用5个人一组自由拼接桌椅的形式。
由学生分组进行实验和讨论。
每个组配备有一台大屏幕显示器。
具体分组个数由实验室的大小决定，一般以不超过六组学生为宜。
创客中心以教师讲解，学生上机的方式进行。
教师讲解后布置大数据处理的作业，学生分组合作完成。
每个组在自己的大屏上显示与讨论，教师最后进行讲评。
也可以分组的形式进行大数据建模竞赛。
教师操作区为教师工作站。
教师可以发布任务和指导各个组的实验。
教师机和学生机可以进行通讯和对学生机进行管理。
升级会员 