大数据技术与应用专业建设.docx
《大数据技术与应用专业建设.docx》由会员分享，可在线阅读，更多相关《大数据技术与应用专业建设.docx（45页珍藏版）》请在冰豆网上搜索。
大数据技术与应用专业建设
大数据技术与应用专业建设调研报告
自党的十八大以来，我国提出了实行国家大数据战略的重要决议。
国务院和有关部门先后印发了《促使大数据发展行动纲领》、《大数据家产发展规划（2016～2020年）》等指导性文件。
各部门、各地方高度重视，据不完整统计，我国已有20多个省级地方和10余个部委出台了当地域、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。
2015年9月5日经李克强总理签批，国务院印发《促使大数据发展行动纲领》（以下简称《纲领》），系统指导我国大数据发展的国家顶层设计和整体部署大数据发展工作。
《纲领》提出从政府大数据、新兴家产大数据、安全保障系统三个方面着手推动大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。
职业教育服务经济与社会发展，一定紧跟家产发展步伐，跟着经济增加方式转变而“动”，跟着家产构造调整升级而“走”，围着公司技术型人材需求而“转”，适应市场的需求而“变”。
在大数据技术飞快发展的今日，职业教育一定紧跟大数据家产发展步伐。
为了更好地认识有关行业公司对大数据人材的需求，促使大数据技术与应用专业教课及专业建设，大数据技术与应用专业教课资源库建设团队在国内外针对大数据内行业公司的需求展开了调研。
一、调研目的
1、认识大数据行业公司对大数据技术与应用专业人材的需求偏向、
人材需求规格展望、就业展望、人材的市场定位等；
2、认识大数据行业公司对大数据技术与应用专业人材培育模式、培
养目标的建议，以及对专业知识、岗位分工、职业技术等的要求；
3、认识往届有关专业毕业生在工作单位的表现及用人单位对往届毕
业生的工作、岗位能力评论；
4、与有关公司成立校企合作模式，促使教课与社会实践的联系，为
大数据技术与应用专业教课资源库的专业建设、课程系统建设及培育
模式找寻更完美的发展方向。
二、调研方式
1.问卷检查：
印制问卷涵寄或面交，请公司有关人员作答。
2.实地调研：
教师到公司和用人单位实地调研。
3.会谈调研：
邀请用人单位的技术人员、管理人员到系里展开会谈交流。
4.网上检查：
到网上搜寻有关人材需求、课程设计、教课计划等信息。
三、国内外大数据发显现状
（一）大数据家产表现爆炸式增加
由IDC和EMC联合公布的《TheDigitalUniverseofOpportunities:
Rich
DataandtheIncreasingValueofInternetofThings》研究报告中指出，
2011年全世界数据总量已达到，并将以每两年翻一番的速度增加，
到2020以上。
5200GB，均派到每一个人身上达到40ZB年，全世界数据量将达
到．
图2-12014-2020年中国大数据市场规模及增速
在“2017年世界电信和信息化社会日大会”上，工信部总工程师张
峰指出，我国的数据总量正在以年均50%的速度连续增加，估计到
2020年，我国数据总量在全世界占比将达到21%。
美国市场研究公司
IDC公布的报告称，全世界大数据技术和服务市场将在未来几年保持
31.7%的年复合增加率，2016年总规模达到238亿美元。
（二）大数据家产应用需求扩充
大数据家产应用包含了政府/公共事业、物流零售、文化娱乐、能源/
制造、金融/保险、旅行、IT互联网电信等行业，能够看出大数据已
经遇到宽泛的行业关注。
大数据在中国的行业散布2-2图
参加大数据检查的行业中，来自能源/制造行业的最多，比率达44.9%，
其次是政府与公共事业部，比率为17%，第三则是金融与保险行业，
为10.3%。
接下来，分别是物流零售（8.7%）、文化娱乐（6.3%）、IT/
互联网/电信（5.8%）、旅行（3.36%）。
与数据规模的检查数据相对照，
我们发现50TB以上的数据容量主要散布在能源/制造（47.8%）、金融
/保险（20.5%）与政府/公共事业（15.9%）。
从各个行业对大数据调研的参加程度其实已经能够反应出各行业对大数据的关注程度，能源/制造行业对于市场行情的数据更加敏感，历史的商品德情对于未来的产品设计、风险评估以及市场导向都有较强的参照意义。
而跟着政府与公共事业的服务意识的强加与转变，以及更智慧的执政与管理理念的带动，对于数据的管理与剖析的需求也在日趋增强。
在金融与保险行业，则是传统的数据量大户，而在新时代更好更快的发现客户金融习惯，将是金融与保险行业未来竞争一定
要做的事情。
其次，物流零售的数据价值也在日趋显现，成为排名第四的参加检查的行业，而新兴的，数据累积（特别是非构造化数据）历史尚浅的文化娱乐、IT/互联网/电信行业则排列第五和第六。
看来大数据已经成为众多行业关注和商讨的话题，其影响力已经覆盖了从传统的制造行业到新式的文化娱乐、IT、互联网行业。
（三）人材求过于供
美国人材招聘市场的数据剖析当先者WANTEDAnalytics和Forbes对来自150个国家的10亿个岗位信息进行了统计，鉴于“数据剖析”、“数据收集”、“数据发掘”和“数据构造”四项技术的大数据专业人材市场需求剖析，在对过去12个月美国就业市场“大数据”有关岗位的剖析中发现：
需要“大数据”技术的岗位空缺表现高速增加。
麦肯锡全世界研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零售、制造业和个人定位等五个领域内详尽研究了大数据发展趋向后公布的研究报告
展望：
因为大数据的引入，会造成信息剖析人材的缺乏，估计到2018年，仅美国就需要14～19万信息剖析专业人材以及150万懂得大数据的管理人员和剖析师。
大数据不单提高了家产价值，还可以够大幅度的拉动就业。
跟着各大公司纷繁上马大数据业务，对大数据人材的需要，市场上正处于十分旺盛的阶段。
据Gartner展望，全世界将新增440万个与大数据有关的工作岗位。
大数据的发展也会催生出一些新职业如大数据剖析师、首席数据官等，但是人材供应的缺乏正是大数据发展面对的一
个瓶颈。
目前公司发展大数据已步入初级阶段，无论是拓展大数据业务的XX、阿里、奇虎360等互联网公司，仍是专业供应数据服务的大数据服务商，对专业的大数据人材均有较高的需求量。
此刻年，这一“人材荒”的状况正在愈演愈烈，从必定程度上说，人材贫乏已经成为限制大数据应用家产发展的重要要素。
大数据人材市场需求剖析2-3图（四）大数据技术与应用专业系统化
课程资源贫乏
就目前来看，在互联网上已经拥有了许多的单体资源，比如Java程
序设计、MapReduce程序设计、Hadoop系统框架等课程资源特别丰
富，可是缺乏资源的系统性，好多学习者不知怎样去养成职业岗位能
力要求。
从目前来看，建设一个大数据技术与应用领域的优良资源库，同时为学习者提出科学合理的学习建议，是特别有必需的。
四、典型工作岗位及能力剖析．
因为我国大数据产品正处于起步阶段，市场对技术型、操作性的人材需求相对较高，从统计数据上看，大数据行业求职者学历与招聘需求出现错位，主要表现为大专的招聘需求高于求职者占比，而硕士以上的需求则正好相反。
目前，大数据有关工作依据专业范围和工作特点大概可分为以下
1）、数据办理类：
该类职位要求对数据储存方式和数据储存构造有必定的理解，认识数
据的定义，而且能够经过多种收集方式获得原始数据，按特定要求处
理数据。
该职位应认识基本的统计学方法，能应用统计学的工具，同
时掌握大数据平台的有关操作技术，能将数据办理方法经过大数据平
台实现。
对于公司来讲，这部分人群在工作中对专业的娴熟程度要求也是特别
高的，比如能娴熟做出因子剖析，聚类等基础技术办理，包含近似的
各种数据统计办理技术。
达成业务中数据的先期预办理和办理基础工
作，供应高质量的数据供数据剖析和解读。
2）、大数据运维类：
该类职位要求具备大规模服务器集群的运维能力，同时具备大型数据
库运维能力。
服务器运维包含保护并保证服务器的可用性，不停优化
系统架构、提高部署效率和优化资源利用率等。
数据库运维包含具备
软件安装、配置优化、数据恢复和迁徙、数据库故障清除、预防性巡
检等一系列能力。
运维工程师面对的最大挑战是大规模服务器集群的管理问题，怎样管
理好几十万台服务器上的服务，同时保障服务的高可用性，是运维工
程师面对的最大难题。
所以，作为运维类工作，特别是大数据级的运
维工作，职位要求应当具备扎实的基础知识。
包含掌握如Java/Python
等起码2种编程语言、娴熟掌操作系统等。
Linux握常用的算法并能
灵巧运用、熟习网络基础知识、深入理解．
同时，在大数据环境下，还应当掌握熟习散布式计算或许储存系统。
3）、大数据技术支持类：
大数据技术支持类包含售前技术支持和售后技术支持。
售前技术支持
能够在大数据应用系统实行前碰到没法解决的问题时供应技术支持；
售后技术支持能够在大数据应用系统部署达成后，为客户供应售后服
务，帮助工程师诊疗并解决大数据应用系统使用过程中出现的问题。
该类职位需要掌握大规模服务器集群知识，以及大数据有关基础。
具
体包含掌握起码1门编程语言、掌握Linux操作系统、掌握散布式计
算和储存系统等。
同时技术支持需要面对客户，应具备必定的交流和
团队协作能力。
校企专家经过对上述典型工作岗位的能力要求剖析商讨，形成大数据
技术与应用专业岗位职业能力剖析表。
表3-4大数据技术与应用主要工作任务描绘
典能力要求型
工
作
任
务
大经过系统监数控、集群配据置等技术手平段，保证大台数据平台能运够长久稳固维的支撑公司
大数据业务
的工作能力
知识要求技术要求课程
1、掌握计算机基础知识；
能够配置和管1、数据办理技
2、掌握网络基础知识、
理网络设施，完
术（Python）
中小型局域网组建和运
成网络搭建2、
数据库基础
维技术；3、掌握服务器
能够配置和管理
Linux操作系
及储存基础知识，4、掌
服务器和储存，
统大数据概
握主流操作系统（如
达成有关设施的
论网络技术
Linux、Windows）5、掌
保护3、能够完
大数据平台
握主流数据库基础技术
成操作系统的安
建立大数据
（如oracle、MySQL、等）装和配置能够
安全管理
NoSql6、掌握脚本编写方
达成大数4、据平
Hadoop综合
法（如shell、Python等）台的平时保护
实训云计算
与虚构化合
综Spark
7、掌握Hadoop/Spark相能够使用工具5、实训
关组件的基础理论知识达成大数据平台
及运维工具的使用；、8、的软硬件平台运
掌握HDFS、Hbase等组件行状态监控6、
的基本hive、yarn操作能够达成大数据
平台的故障应急
办理
应用程序开发基础
（Java）数据办理技术（Python）数据库基础Hadoop综合
数经过数据抽1、掌握计算机基础知识；据取、整理、2、掌握主流数据库基础、预传输、加载、MySQL（如Oracle、技术
1、能够使用工具从数据源抽取所需数据能够使
处校验等技术理手段，联合工具，保证高效的为大数据剖析供应高质量的数据资源的
工作能力
等）NoSql3、掌握shell
用工具、2对数据
脚本编程，熟习Java、
进行指定操作，
Python等开发语言相4、如变换、冲洗、
掌握Hadoop/Spark关组
校验等3、能够
件的基础理论知识及运
使用工具达成数
实训Spark
维工具的使用；
据加载，如传输、综合实训爬
建库、校验等4、虫技术实训
具备散布式ETL
云计算与虚
过程调优能力
拟化概率论
与数理统计
数据冲洗
大
经过综合运
1、掌握计算机基础知识；
能够配置和管、1
数据库基础
数
用服务器、
2、掌握网络基础知识、
理网络设施，完
Linux操作系
据
互换机、存
中小型局域网组建和运
成网络搭建能够
统大数据概
平
储、虚构化、维技术；、掌握服务器
配置和管、2理服
论网络技术
台
云计算、大
及储存基3础知识，4、
务器和储存，完
大数据平台
部
数据等基础
掌握主流操作系统（如、
成有关设施的维
建立安数据
署
知识，保证
LinuxWindows）、掌握主
护能够达成操
全大管理大
迅速、高效
流数据库基础5、MySQL、作3、系统的安装
数据测试技
的达成大数
Oracle（如技术等）
和配置能够完
术综合
据平台环境
NoSql6、认识大数据基础
成大数、4据平台
Hadoop实
等搭建和部
知识和基本框架
的搭建、测试及
训合Spark综
署的工作能
调优
实训虚计云
力
与算拟化
可
经过数据可
掌握主流操作系统（如1、
、能够使用
1
应用程序开
Windows）Linux、2、掌握
Web
视
视化报表技
开发框架进行可
发基础
化
术、商业智
数据可视化报表技术，如
视化应用开发
（Java）
设
能报表工
Echarts、Highcharts等3、
2、能够依据行业
数据办理技
计
具、常用
掌握商业智能报表工具
领域需求进行可
术（Python）
与
Web开发框
的设计和使用开发框架
视化设计3、能够
数据库基础
开
架以及程序
和Web4、掌握、PHP程
使用BI工具进行
大数据概论
发
开发语言，
序开发语言，如、CSSJava、
商业智能报表设
数据构造与
能够进行可
HTML5、JavaScript等5、计、开发与显现
算法软件工
视化应用的
掌握数据库有关知识
程Web开发
设计、开发
技术大数据
与显现，直
可视化技术
观的为客户
大数据剖析
表现大数据
技术流式计
的价值
算技术实训
大数据测试
技术概率论
与数理统计
大数据后台
应用开发实
战
OLAP数据分
析实战
大数据库房
与数据发掘
大
经过对大数
1、掌握软件工程和软件
1、能够搭建好
应用程序开
数
据进行剖析
开发基础知识2、掌握
大数据程序开发
发基础
据
办理、联合
数据库开发基础知识
3、
的环境2、能够
（Java）数
应
软件开发流
认识大数据开发平台
4、
依据用户需求利
据办理技术
用
程，依据业
掌握开发环境的设置
5、
用开发语言进行
（Python）
开
务需求达成
掌握HDFS文件储存操作
大数据剖析和预
数据库基础
发
大数据应用
6、掌握
办理3、能够进
大数据概论
开发的有关
MapReduce/Spark编程
行大数据应用程
数据构造与
软件设计与
7、认识专业领域的数据
序开发4、能够
算法软件工
实现的工作
剖析方法
达成功能性测试
程Web开发
能力
技术大数据
可视化技术
大数据剖析
技术
技算计式流．
术实训
大数据测试
技术
概率论与数
理统计
大数据后台
应用开发实
战
OLAP数据分
析实战
大数据库房
与数据发掘
大
具备综合型
1、掌握计算机基础知
1、能够娴熟使用
数据办理技
数
的大数据相
识；、掌握网络基础知识、
Hadoop、Saprk等
术（Python）
据
关基础知
2中小型局域网组建和运
大数据组件和模
数据库基础
售
识，迅速故
维技术；、掌握服务器及
块的功能
Linux操作系
后
障剖析定
储存基3础知识，（如了
2、能够依据大数
统大数据概
技
位、基今日
解主流操作系统4、）
据常有组件安装
论网络技术
术
志阅读理解
Linux、Windows、认识主
部署手册进行系
大数据平台
支
的能力，结
流数据库基础5、（如技术
统部署并解决安
建立大数据
持
合项目文
OracleMySQL、NoSql等）装部署中的基础
安全管理
档，对大数
相6、掌握Hadoop/Spark
问题；3、能够
Hadoop综合
据平台达成
关组件的基础理论知识
依据项目售前技
实训云计算
故障排查，
及运维工具的使用；、了
术方案与客户沟
与虚构化
采纳相应措
解大数据基础知识7和
通业务详细需
Spark综合
施，保障大
基本框架、项目实行文档
求，撰写项目实
实训
数据平台稳
撰写和8项目管理知识
施方案和测试方
定高效运转
案；拥有项目整
体4、管理能力，
能够进行项目整
体规划、履行、
风险管理、项目
查收等项目管理
有关工作，娴熟
使用常有项目管
理工等；project
具如5、认识网络
的互换技术、路
由技术以及出口
技术等，能够完
成中小型网络的
规划与设计；能
够娴熟使用、
6WindowsLinux、
等常有操作系
统、能够使用7、
Oracle、SqlServer
等、MySQLNoSQL
主流数据库．
大参加产品开
数发和项目运
据行全过程
文中，综合运
档用大数据相
编关技术知
写识，依据正
确格式和行
业要求，完
成大数据产
品和有关项
目文档编写
的综合职业
能力
1、掌握计算机基础知识；
2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及储存基础知识（如掌握主流操作系统4、）Linux、Windows、掌握主流数据库基础5、、MySQL技术（如OracleNoSql等）（如掌握脚本编写方法
6、shell、Python等）相
Hadoop/Spark7、掌握关组件的基础理论知识及运维工具的使用；、HbaseHDFS、8、掌握等组件的基本、YarnHive操作
能够依据正确格式和行业要求书写文档
数据办理技术（Python）数据库基础大数据概论软件工程试数大据测技术数率论与概理统计
大
经过大数据
1、掌握主流操作系统，、
1、能够达成测试
应用程序开
数
测试工具，
Windows如Linux2、掌握
文档编写（如测
发基础
据
实现对大数
主流数据库基础、Mysql
试用例、测试报
（Java）数
系
据应用的功
技术，如Oracle、Nosql
告等）能够达成
据办理技术
统
能、性能和
等、掌握测试脚本编写
测试2、脚本编
（Python）
测
靠谱性的测
方3、法，如shellPython
写，辅助开发人
数据库基础
试
试，输出测，等相Hadoop/Spark、掌
员或系统保护人
大数据概论
试文档辅
握4关组件的基础理论知
员达成bug修复
软件工程大
助剖析并反
识5、掌握大数据有关测
与调优能够使用
数据测试技
馈测试结果
试方案及流程6、熟习自
自动、3化测试工
术概率论与
动化测试工具、bigtop的
具达成大数据系
数理统计
使用，如hibench等
统有关测试工
作
大
经过数据安
、掌握数据安全理论知1
能够对数据进1、应用程序开
数
全有关技术
识、掌握主流操作系统和
行细粒化受权管
发基础
据
手段和策
2系统安全保证技术，如
理与配置能够熟
（Java）大
安
略，保证大
练管理、2系统认
数据概论
全．
数据合理化
证
网络技术
管
的安全管
Windows
kerberos组件和
控
理，防止恶
、Linux、、掌握HDFS、
对LDAP经过、AD
意入侵、伪
HBase3等大数据有关
用户进行一致认
装偷取和内
HiveYarn、组件的基本操
证管理3、能够对
部越权接见
作、掌握大数据安全功能
大数据系统进行
等行为造成
4使用，如数据受权、安
审计管理4、能
任何数据损
全策略拟订、一致认证功
够对HDFS数据、
失，全方向
能、数据加密、数据审计
元数据和其余敏
保护大数据
等
感数据进行加密
的安全
操作能够拟订
和实、5施大数据
安全策略
大数据平台建立大数据安全管理大数据测试技
术Hadoop
综合实训
Spark综合实训云计算与虚构化
五、调研总结
市场对大数据人材的需求量日趋加大，可是高校的专业培育却供综上所述，不该求。
为了适应大数据家产的迅速发展，2016年9月，教育部向一般高等学校、高等职业教育（专科）专业目录补充13个专业，此中就包含大数据技术与应用专业，正式同意“高职”《大数据技术与应用》专业作为《一般高等学校高等职业教育（专科）专业目录2016年补充专业》（专业代码：
610215）。
经过一轮探究后，国家开始加鼎力度，扩大面积，踊跃找寻和催生大数据专业人材的培育方式来填充大批人材缺口，但仍不知足需求。
升级会员 