大数据技术与应用专业建设.docx

1、大数据技术与应用专业建设大数据技术与应用专业建设调研报告自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了促进大数据发展行动纲要、大数据产业发展规划（20162020年）等指导性文件。各部门、各地方高度重视，据不完全统计，我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。2015年9月5日经李克强总理签批，国务院印发促进大数据发展行动纲要（以下简称纲要），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。纲要提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设

2、，将我国大数据发展推向了另一个制高点。职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方式转变而“动”，跟着产业结构调整升级而“走”，围着企业技能型人才需求而“转”，适应市场的需求而“变”。在大数据技术飞速发展的今天，职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。一、调研目的1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等；2、了解大数据行业企业对大数据技术与应用专业

3、人才培养模式、培养目标的意见，以及对专业知识、岗位分工、职业技能等的要求；3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价；4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。二、调研方式1. 问卷调查：印制问卷涵寄或面交，请企业相关人员作答。2. 实地调研：教师到企业和用人单位实地调研。3. 座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。4. 网上调查：到网上搜索有关人才需求、课程设计、教学计划等信息。三、国内外大数据发展现状（一）大数据产业呈现爆

4、炸式增长由IDC和EMC联合发布的The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things研究报告中指出，2011年全球数据总量已达到1.8ZB，并将以每两年翻一番的速度增长，到2020年，全球数据量将达到40ZB，均摊到每个人身上达到5200GB以上。图2-1 2014-2020年中国大数据市场规模及增速在“2017年世界电信和信息化社会日大会”上，工信部总工程师张峰指出，我国的数据总量正在以年均50%的速度持续增长，预计到2020年，我国数据总量在全球占比

5、将达到21%。美国市场研究公司IDC发布的报告称，全球大数据技术和服务市场将在未来几年保持31.7%的年复合增长率，2016年总规模达到238亿美元。（二）大数据产业应用需求扩张大数据产业应用包括了政府/公共事业、物流零售、文化娱乐、能源/制造、金融/保险、旅游、IT互联网电信等行业，可以看出大数据已经受到广泛的行业关注。图2-2 大数据在中国的行业分布参与大数据调查的行业中，来自能源/制造行业的最多，比例达44.9%，其次是政府与公共事业部，比例为17%，第三则是金融与保险行业，为10.3%。接下来，分别是物流零售（8.7%）、文化娱乐（6.3%）、IT/互联网/电信（5.8%）、旅游（3.

6、36%）。与数据规模的调查数据相对比，我们发现50TB以上的数据容量主要分布在能源/制造（47.8%）、金融/保险（20.5%）与政府/公共事业（15.9%）。从各个行业对大数据调研的参与程度其实已经可以反映出各行业对大数据的关注程度，能源/制造行业对于市场行情的数据更为敏感，历史的商品行情对于未来的产品设计、风险评估以及市场导向都有较强的参考意义。而随着政府与公共事业的服务意识的强加与转变，以及更智慧的执政与管理理念的带动，对于数据的管理与分析的需求也在日益加强。在金融与保险行业，则是传统的数据量大户，而在新时代更好更快的发现客户金融习惯，将是金融与保险行业未来竞争必须要做的事情。其次，物流

7、零售的数据价值也在日益显现，成为排名第四的参与调查的行业，而新兴的，数据积累（尤其是非结构化数据）历史尚浅的文化娱乐、IT/互联网/电信行业则分列第五和第六。看来大数据已经成为众多行业关注和探讨的话题，其影响力已经覆盖了从传统的制造行业到新型的文化娱乐、IT、互联网行业。（三）人才供不应求美国人才招聘市场的数据分析领先者WANTED Analytics和Forbes对来自150个国家的10亿个岗位信息进行了统计，基于“数据分析”、“数据采集”、“数据挖掘”和“数据结构”四项技能的大数据专业人才市场需求分析，在对过去12个月美国就业市场“大数据”相关岗位的分析中发现：需要“大数据”技能的岗位空缺

8、呈现高速增长。麦肯锡全球研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零售、制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告预测：由于大数据的引入，会造成信息分析人才的缺乏，预计到2018年，仅美国就需要1419万信息分析专业人才以及150万懂得大数据的管理人员和分析师。大数据不仅提高了产业价值，还能够大幅度的拉动就业。随着各大公司纷纷上马大数据业务，对大数据人才的需要，市场上正处于十分旺盛的阶段。据Gartner预测，全球将新增440万个与大数据相关的工作岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等，然而人才供给的缺乏正是大数据发展面临的一个

9、瓶颈。目前企业发展大数据已步入初级阶段，不论是拓展大数据业务的XX、阿里、奇虎360等互联网公司，还是专业提供数据服务的大数据服务商，对专业的大数据人才均有较高的需求量。而今年，这一“人才荒”的情况正在愈演愈烈，从一定程度上说，人才匮乏已经成为制约大数据应用产业发展的重要因素。图2-3 大数据人才市场需求分析（四）大数据技术与应用专业系统化课程资源匮乏就目前来看，在互联网上已经拥有了较多的单体资源，例如Java程序设计、MapReduce程序设计、Hadoop体系框架等课程资源非常丰富，但是缺少资源的系统性，很多学习者不知如何去养成职业岗位能力要求。从目前来看，建设一个大数据技术与应用领域的优

10、质资源库，同时为学习者提出科学合理的学习建议，是非常有必要的。四、典型工作岗位及能力分析由于我国大数据产品正处于起步阶段，市场对技能型、操作性的人才需求相对较高，从统计数据上看，大数据行业求职者学历与招聘需求出现错位，主要表现为大专的招聘需求高于求职者占比，而硕士以上的需求则正好相反。目前，大数据相关工作按照专业范围和工作特点大致可分为如下1)、数据处理类：该类职位要求对数据存储方式和数据存储结构有一定的理解，了解数据的定义，并且可以通过多种采集方式获取原始数据，按特定要求处理数据。该职位应了解基本的统计学方法，能应用统计学的工具，同时掌握大数据平台的相关操作技术，能将数据处理方法通过大数据平

11、台实现。对于企业来讲，这部分人群在工作中对专业的熟练程度要求也是非常高的，例如能熟练做出因子分析，聚类等基础技术处理，包括类似的各类数据统计处理技术。完成业务中数据的前期预处理和处理基础工作，提供高质量的数据供数据分析和解读。2)、大数据运维类：该类职位要求具备大规模服务器集群的运维能力，同时具备大型数据库运维能力。服务器运维包括维护并确保服务器的可用性，不断优化系统架构、提升部署效率和优化资源利用率等。数据库运维包括具备软件安装、配置优化、数据恢复和迁移、数据库故障排除、预防性巡检等一系列能力。运维工程师面对的最大挑战是大规模服务器集群的管理问题，如何管理好几十万台服务器上的服务，同时保障服

12、务的高可用性，是运维工程师面临的最大难题。因此，作为运维类工作，特别是大数据级的运维工作，职位要求应该具备扎实的基础知识。包括掌握如Java/Python等至少2种编程语言、熟练掌握常用的算法并能灵活运用、熟悉网络基础知识、深入理解Linux操作系统等。同时，在大数据环境下，还应该掌握熟悉分布式计算或者存储系统。3)、大数据技术支持类：大数据技术支持类包括售前技术支持和售后技术支持。售前技术支持能够在大数据应用系统实施前遇到无法解决的问题时提供技术支持；售后技术支持能够在大数据应用系统部署完成后，为客户提供售后服务，帮助工程师诊断并解决大数据应用系统使用过程中出现的问题。该类职位需要掌握大规模

13、服务器集群知识，以及大数据相关基础。具体包括掌握至少1门编程语言、掌握Linux操作系统、掌握分布式计算和存储系统等。同时技术支持需要面对客户，应具备一定的沟通和团队协作能力。校企专家通过对上述典型工作岗位的能力要求分析研讨，形成大数据技术与应用专业岗位职业能力分析表。表3-4 大数据技术与应用主要工作任务描述典型工作任务能力要求知识要求技能要求课程大数据平台运维通过系统监控、集群配置等技术手段，保证大数据平台能够长期稳定的支撑企业大数据业务的工作能力1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、掌握主流操作系统（如Linux、Wi

14、ndows）5、掌握主流数据库基础技术（如oracle、MySQL、NoSql等）6、掌握脚本编写方法（如shell、Python等）7、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用；8、掌握HDFS、Hbase、hive、yarn等组件的基本操作1、能够配置和管理网络设备，完成网络搭建2、能够配置和管理服务器和存储，完成相关设备的维护3、能够完成操作系统的安装和配置4、能够完成大数据平台的日常维护5、能够使用工具完成大数据平台的软硬件平台运行状态监控6、能够完成大数据平台的故障应急处理数据处理技术（Python）数据库基础Linux操作系统大数据概论网络技术大数据平台构

15、建大数据安全管理Hadoop综合实训云计算与虚拟化Spark综合实训数据预处理通过数据抽取、整理、传输、加载、校验等技术手段，结合工具，保证高效的为大数据分析提供高质量的数据资源的工作能力1、掌握计算机基础知识；2、掌握主流数据库基础技术（如Oracle、MySQL、NoSql等）3、掌握shell脚本编程，熟悉Java、Python等开发语言4、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用；1、能够使用工具从数据源抽取所需数据2、能够使用工具对数据进行指定操作，如转换、清洗、校验等3、能够使用工具完成数据加载，如传输、建库、校验等4、具备分布式ETL过程调优能力应用程序

16、开发基础（Java）数据处理技术（Python）数据库基础Hadoop综合实训Spark综合实训爬虫技术实训云计算与虚拟化概率论与数理统计数据清洗大数据平台部署通过综合运用服务器、交换机、存储、虚拟化、云计算、大数据等基础知识，保证快速、高效的完成大数据平台环境等搭建和部署的工作能力1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、掌握主流操作系统（如Linux、Windows）5、掌握主流数据库基础技术（如Oracle、MySQL、NoSql等）6、了解大数据基础知识和基本框架1、能够配置和管理网络设备，完成网络搭建2、能够配置和管理

17、服务器和存储，完成相关设备的维护3、能够完成操作系统的安装和配置4、能够完成大数据平台的搭建、测试及调优数据库基础Linux操作系统大数据概论网络技术大数据平台构建大数据安全管理大数据测试技术Hadoop综合实训Spark综合实训云计算与虚拟化可视化设计与开发通过数据可视化报表技术、商业智能报表工具、常用Web开发框架以及程序开发语言，能够进行可视化应用的设计、开发与展示，直观的为客户呈现大数据的价值1、掌握主流操作系统（如Linux、Windows）2、掌握数据可视化报表技术，如Echarts、Highcharts等3、掌握商业智能报表工具的设计和使用4、掌握Web开发框架和程序开发语言，如

18、PHP、Java、HTML5、CSS、JavaScript等5、掌握数据库相关知识1、能够使用Web开发框架进行可视化应用开发2、能够根据行业领域需求进行可视化设计3、能够使用BI工具进行商业智能报表设计、开发与展示应用程序开发基础（Java）数据处理技术（Python）数据库基础大数据概论数据结构与算法软件工程Web开发技术大数据可视化技术大数据分析技术流式计算技术实训大数据测试技术概率论与数理统计大数据后台应用开发实战OLAP数据分析实战大数据仓库与数据挖掘大数据应用开发通过对大数据进行分析处理、结合软件开发流程，按照业务需求完成大数据应用开发的相关软件设计与实现的工作能力1、 掌握软件工

19、程和软件开发基础知识2、 掌握数据库开发基础知识3、 了解大数据开发平台4、 掌握开发环境的设置5、 掌握HDFS文件存储操作6、 掌握MapReduce/Spark编程7、 了解专业领域的数据分析方法1、 能够搭建好大数据程序开发的环境2、 能够根据用户需求利用开发语言进行大数据分析和预处理3、 能够进行大数据应用程序开发4、 能够完成功能性测试应用程序开发基础（Java）数据处理技术（Python）数据库基础大数据概论数据结构与算法软件工程Web开发技术大数据可视化技术大数据分析技术流式计算技术实训大数据测试技术概率论与数理统计大数据后台应用开发实战OLAP数据分析实战大数据仓库与数据挖掘

20、大数据售后技术支持具备综合型的大数据相关基础知识，快速故障分析定位、基本日志阅读理解的能力，结合项目文档，对大数据平台完成故障排查，采取相应措施，保障大数据平台稳定高效运行1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、了解主流操作系统（如Linux、Windows）5、了解主流数据库基础技术（如Oracle、MySQL、NoSql等）6、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用；7、了解大数据基础知识和基本框架8、项目实施文档撰写和项目管理知识1、能够熟练使用Hadoop、Saprk等大数据组件和模块的功能

21、2、可以根据大数据常见组件安装部署手册进行系统部署并解决安装部署中的基础问题；3、能够根据项目售前技术方案与客户沟通业务具体需求，撰写项目实施方案和测试方案；4、具有项目整体管理能力，能够进行项目整体规划、执行、风险管理、项目验收等项目管理相关工作，熟练使用常见项目管理工具如project等；5、了解网络的交换技术、路由技术以及出口技术等，可以完成中小型网络的规划与设计；6、能够熟练使用Linux、Windows等常见操作系统7、能够使用Oracle、SqlServer、MySQL、NoSQL等主流数据库数据处理技术（Python）数据库基础Linux操作系统大数据概论网络技术大数据平台构建大

22、数据安全管理Hadoop综合实训云计算与虚拟化Spark综合实训大数据文档编写参与产品开发和项目运行全过程中，综合运用大数据相关技术知识，按照正确格式和行业要求，完成大数据产品和相关项目文档编写的综合职业能力1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识4、掌握主流操作系统（如Linux、Windows）5、掌握主流数据库基础技术（如Oracle、MySQL、NoSql等）6、掌握脚本编写方法（如shell、Python等）7、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用；8、掌握HDFS、Hbase、Hive、Ya

23、rn等组件的基本操作能够按照正确格式和行业要求书写文档数据处理技术（Python）数据库基础大数据概论软件工程大数据测试技术概率论与数理统计大数据系统测试通过大数据测试工具，实现对大数据应用的功能、性能和可靠性的测试，输出测试文档 ，辅助分析并反馈测试结果1、掌握主流操作系统，如Linux、Windows2、掌握主流数据库基础技术，如Oracle、Mysql、Nosql等3、掌握测试脚本编写方法，如shell、Python等4、掌握Hadoop/Spark相关组件的基础理论知识5、掌握大数据相关测试方案及流程6、熟悉自动化测试工具的使用，如bigtop、hibench等1、能够完成测试文档编写

24、（如测试用例、测试报告等）2、能够完成测试脚本编写，协助开发人员或系统维护人员完成bug修复与调优3、能够使用自动化测试工具完成大数据系统相关测试工作应用程序开发基础（Java）数据处理技术（Python）数据库基础大数据概论软件工程大数据测试技术概率论与数理统计大数据安全管控通过数据安全相关技术手段和策略，保证大数据合理化的安全管理，避免恶意入侵、伪装盗取和内部越权访问等行为造成任何数据损失，全方位保护大数据的安全1、掌握数据安全理论知识2、掌握主流操作系统和系统安全保证技能，如Linux、Windows3、掌握HDFS、HBase、Yarn、Hive等大数据相关组件的基本操作4、掌握大数据

25、安全功能使用，如数据授权、安全策略制定、统一认证功能、数据加密、数据审计等1、能够对数据进行细粒化授权管理与配置2、能够熟练管理系统认证kerberos组件和通过LDAP、AD对用户进行统一认证管理3、能够对大数据系统进行审计管理4、能够对HDFS数据、元数据和其他敏感数据进行加密操作5、能够制定和实施大数据安全策略应用程序开发基础（Java）大数据概论网络技术大数据平台构建大数据安全管理大数据测试技术Hadoop综合实训Spark综合实训云计算与虚拟化五、调研总结综上所述，市场对大数据人才的需求量日益加大，但是高校的专业培养却供不应求。为了适应大数据产业的快速发展，2016年9月，教育部向普

26、通高等学校、高等职业教育（专科）专业目录增补13个专业，其中就包括大数据技术与应用专业，正式批准“高职”大数据技术与应用专业作为普通高等学校 高等职业教育（专科）专业目录 2016 年增补专业（专业代码：610215）。经过一轮探索后，国家开始加大力度，扩大面积，积极寻找和催生大数据专业人才的培养方式来填补大量人才缺口，但仍不满足需求。各大高职院校的大数据技术与应用专业均处于起步阶段，人才培养课程体系不够完善，教学科研资源匮乏，专业师资力量不足。因此，建设大数据技术与应用专业教学资源库势在必行。附件1：关于大数据技术与应用专业人才培养方案的调查问卷（院校版）尊敬的学校领导/老师：您好！我们现正

27、在进行高职学校大数据技术与应用专业教育教学情况的问卷调研，目的是要通过调研掌握大数据技术与应用专业人才培养的情况，用以指导今后工作，耽搁您一些时间请您填写我们的问卷，希望了解您对这些问题的一些看法和评价。谢谢！学校名称: 学校联系电话: 一、大数据技术与应用专业相关情况1.贵校在开办软件技术专业/专业群的过程中遇到过哪些困难？（ ）（可多选），其中最大的困难是（ ）（单选）A招生困难； B.实践环节难以开展；C.学生就业困难； .经费不足；E.没有困难； F.其它（请注明）；2. 贵校软件专业/专业群学生学习的积极性表现为（ ）A. 非常积极； B. 比较积极； C. 一般; D. 不愿学习；

28、3. 贵校软件专业/专业群学生对未来的就业前景的认识是（ ）A非常好；B.比较好；C.一般；D不理想；4.贵校认为在大数据技术与应用专业人才培养模式中应重点关注学生（ ）A.当前就业；B.升学；C.兼顾就业和升学；D.中高职衔接班；E.多岗迁移就业；F.职业发展。5贵校在校企合作方面学生顶岗实习一般如何安排。A校方安排；B.企业安排；C.学生自主选择; D.其他 。6贵校在校企合作方面学生顶岗实习一般如何安排在什么时间。A第五学期；B第六学期；C根据学校需要安排;D.根据企业需要安排。5.贵校认为大数据技术与应用专业学生毕业后主要从事的岗位有（ ）（可多选，请在下表相应位置打）岗位大数据运维师

29、大数据处理工程师大数据开发工程师云计算运维工程师大数据广告销售大数据媒体营销工程师数据处理员数据测试工程师数据安全控制员其他二、大数据技术与应用专业学生能力具备的职业能力请您对表格中所列能力项对大数据技术与应用专业学生未来发展的重要程度作出评判，在相应的内容处打“”。序号类别能力项（请写出您认为的）非常重要比较重要一般不重要1职业能力2专业能力大数据运维师3大数据处理工程师4大数据开发工程师5云计算运维工程师6大数据广告销售7数据处理员8数据测试工程师9其他能力（请说明）三、大数据技术与应用专业课程以下是大数据技术与应用专业的专业课，请您对其重要程度作出评判；此外，以下课程贵校是否都有开设，请在开设的课程后打“”，未开设的课程可不做重要程度评判。序号课程非常比较一般不重要贵校是否已开设重要重要1Java程序设计2Linux操作系统3网络与云计算基础4数据库基础5大数据导论6Hadoop平台配置实训7数据建模8数据分析9项目管理文档编制技巧10可视化表达工具11Python程序设计12数据挖掘基础13算法设计基础14