大数据工程技术人员.docx

1、大数据工程技术人员大数据工程技术人员国家职业技术技能标准（征求意见稿）1 职业概况1.1 职业名称大数据工程技术人员1.2 职业编码2-02-10-111.3 职业定义从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。1.4 专业技术等级本职业共设三个等级，分别为初级、中级、高级。初级、中级分为三个职业方向：大数据处理、大数据分析、大数据管理。高级不分职业方向。1.5 职业环境条件室内，常温。1.6 职业能力特征具有较强的学习能力、计算能力、表达能力、空间感及分析、推理和判断能力。1.7 普通受教育程度大学专科学历（或高等职业学校毕业）。1.8 职业

2、培训要求1.8.1 培训期限大数据工程技术人员需按照本标准的职业要求参加有关课程培训，完成规定学时，取得学时证明。初级128标准学时；中级128标准学时；高级160标准学时。 1.8.2 培训教师承担初级理论知识或专业能力培训任务人员，应具有相关职业中级及以上专业技术等级或相关专业中级及以上职称。承担高级理论知识或专业能力培训任务人员，应具有相关职业高级专业技术等级或相关专业高级职称。1.8.3 培训场所设备理论知识培训在标准教室或线上平台进行；专业能力培训在具有相应软、硬件条件的培训场所进行。1.9 专业技术考核要求1.9.1 申报条件取得初级培训学时证明，并具备以下条件之一者，可申报初级专

3、业技术等级：（1）取得技术员职称。（2）具备相关专业大学本科及以上学历（含在读的应届毕业生）。（3）具备相关专业大学专科学历，从事本职业技术工作满1年。（4）技工院校毕业生按国家有关规定申报。取得中级培训学时证明，并具备以下条件之一者，可申报中级专业技术等级：（1）取得助理工程师职称后，从事本职业技术工作满2年。（2）具备大学本科学历，或学士学位，或大学专科学历，取得初级专业技术等级后，从事本职业技术工作满3年。（3）具备硕士学位或第二学士学位，取得初级专业技术等级后，从事本职业技术工作满1年。（4）具备相关专业博士学位。（5）技工院校毕业生按国家有关规定申报。取得高级培训学时证明，并具备以下

4、条件之一者，可申报高级专业技术等级：（1）取得工程师职称后，从事本职业技术工作满3年。（2）具备硕士学位，或第二学士学位，或大学本科学历，或学士学位，取得中级专业技术等级后，从事本职业技术工作满4年。（3）具备博士学位，取得中级专业技术等级后，从事本职业技术工作满1年。（4）技工院校毕业生按国家有关规定申报。1.9.2 考核方式分为理论知识考试以及专业能力考核。理论知识考试、专业能力考核均实行百分制，成绩皆达60分（含）以上者为合格，考核合格者获得相应专业技术等级证书。理论知识考试以闭卷笔试、机考等方式为主，主要考核从业人员从事本职业应掌握的基本要求和相关知识要求；专业能力考核以开卷实操考试、

5、上机实践等方式为主，主要考核从业人员从事本职业应具备的技术水平。1.9.3 监考人员、考评人员与考生配比理论知识考试中的监考人员与考生配比不低于1:15，且每个考场不少于2名监考人员；专业能力考核中的考评人员与考生配比不低于1:5，且考评人员为3人（含）以上单数。1.9.4 考核时间理论知识考试时间不少于90min；专业能力考核时间不少于150min； 1.9.5 考核场所设备理论知识考试在标准教室进行；专业能力考核在具有相应软、硬件条件的考核场所进行。2 基本要求2.1 职业道德2.1.1 职业道德基本知识2.1.2 职业守则（1）遵纪守法，爱岗敬业。（2）精益求精，勇于创新。（3）爱护设备

6、，安全操作。（4）遵守规程，执行工艺。（5）认真严谨，忠于职守。2.2 基础知识2.2.1 基础理论知识（1）操作系统知识（2）计算机网络知识（3）编程基础知识（4）数据结构与算法知识（5）数据库知识（6）软件工程知识（7）云计算知识（8）大数据知识2.2.2 技术基础知识（1）大数据系统环境安装、配置和调试知识（2）大数据平台架构知识（3）软件应用开发知识（4）接口开发与功能模块设计知识（5）数据采集与数据预处理知识（6）数据计算与数据指标知识（7）常用数据分析与挖掘方法（8）常用数据报表与可视化技术方法（9）数据管理知识（10）数据运营及技术指导知识2.2.3 安全知识（1）大数据应用、设

7、备与外部服务组件安全管理知识（2）大数据服务用户身份鉴别与访问控制相关知识（3）大数据服务数据活动安全管理知识（4）大数据服务基础设施安全管理知识（5）大数据系统应急响应管理知识2.2.4 其他相关知识（1）环境保护知识（2）文明生产知识（3）劳动保护知识（4）资料保管保密知识2.2.5 相关法律、法规知识（1）中华人民共和国民法总则相关知识（2）中华人民共和国劳动法相关知识（3）中华人民共和国安全生产法相关知识（4）中华人民共和国网络安全法相关知识（5）关于加强网络信息保护的决定相关知识（6）关键信息基础设施安全保护条例相关知识（7）网络安全等级保护条例相关知识（8）数据安全管理办法相关知识

8、（9）电信和互联网用户个人信息保护规定相关知识2.2.6 相关标准（1）GB/T 35589-2017信息技术 大数据 技术参考模型相关知识（2）GB/T 35295-2017 信息技术 大数据 术语相关知识（3）GB/T 38673-2020信息技术 大数据 大数据系统基本要求相关知识（4）GB/T 37721-2019信息技术 大数据分析系统功能要求相关知识（5）GB/T 37722-2019 信息技术 大数据存储于处理系统功能要求相关知识（6）GB/T 36073-2018 数据管理能力成熟度评估模型相关知识3 工作要求本标准对初级、中级、高级的专业能力要求和相关知识要求依次递进，高级别

9、涵盖低级别的要求。3.1 初级大数据处理方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据处理与应用；大数据分析方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据分析与挖掘；大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理。职业功能工作内容专业能力要求相关知识要求1.大数据系统搭建1.1硬件系统搭建1.1.1. 能根据施工方案，进行需求沟通并确认设备参数1.1.2 能参照施工方案，对大数据机架及大型设备进行机房空间规划并部署服务器1.1.3 能根据组网规划方案，对各服务器或需联通网络设备进行组网布置1.1.4

10、能根据现场设施及电力系统，对设备进行上电测试及点亮测试1.1.1 硬件设备功能知识1.1.2 服务器组网知识1.1.3 服务器配置知识1.2软件系统部署1.2.1 能根据系统部署方案，安装集群环境、硬件环境、虚拟化环境所需的各类系统1.2.2 能根据软件部署方案使用脚本部署产品或用原生方法安装各类大数据功能组件1.2.3 能根据节点连接信息配置大数据集群1.2.4 能根据集群功能对组件进行启动调试1.2.1 操作系统安装知识1.2.2 云计算及虚拟化部署知识1.2.3 Linux系统基础操作知识1.2.4 大数据组件安装知识1.2.5 大数据集群配置知识1.2.6 大数据组件基础操作知识2.大

11、数据平台管理与运维2.1平台管理2.1.1 能对现有大数据集群的各类组件进行应用变更或版本更迭2.1.2 能根据上线计划，按时完成功能上线2.1.3 能对提交代码的版本进行管理2.1.1 应用变更管理知识2.1.2代码仓库托管知识2.1.3 功能持续集成知识2.1.4 代码版本控制知识2.2系统运维2.2.1 能使用工具对集群的软硬件运行状态进行监控管理2.2.2 能使用工具对大数据集群的各类组件、服务的运行状态进行监控管理2.2.3 能使用工具对作业运行情况和资源占用进行监控管理2.2.4 能根据故障报告，参与故障排查，处理故障问题2.2.5 能根据容灾计划，定期备份和迁移关键数据2.2.1

12、 管理平台操作知识2.2.2系统环境监控知识2.2.3 常见故障排查知识2.2.4 容灾备份知识2.3安全维护2.3.1 能根据权限规范，使用工具配置和管理用户权限2.3.2 能定期执行漏洞扫描和渗透测试修复安防系统存在的漏洞2.3.3 能针对各类突发的外部攻击或异常事件进行应急处理2.3.4 能在技术指导下对安防系统进行升级和维护工作2.3.1 权限管理知识2.3.2 渗透测试知识2.3.3 常见异常处理知识2.3.4 网络攻防知识3.大数据技术服务3.1 技术咨询3.1.1 能根据团队既定计划，收集市场目标信息3.1.2 能配合销售团队制作宣讲材料及解决方案展示材料3.1.3 能配合工程师

13、解决客户技术咨询问题并提供参考信息3.1.1 大数据行业应用知识3.1.2大数据技术体系知识3.2 解决方案设计3.2.1 能根据产品功能和技术架构相关的技术文档，在工程师指导下输出与产品相配套的方案3.2.2 能进行产品演示和讲解产品特性3.2.3 能根据客户沟通反馈整理需求文档3.2.4 能根据客户需求提供产品咨询及参考架构3.2.1 大数据基础理论知识3.2.2 大数据行业发展知识3.2.3 大数据软件架构知识4. 大数据处理与应用4.1 数据采集4.1.1 能根据业务需求进行网络、离线、实时数据采集4.1.2 能根据调度策略使用框架设置调度作业4.1.3 能根据存储策略进行数据存储4.

14、1.1 网络爬虫知识4.1.2 离线数据采集知识4.1.3 实时数据采集知识4.1.4 作业调度知识4.1.5 文件系统数据存储知识4.1.6关系型数据库知识4.1.7非关系型数据库知识4.2 数据预处理4.2.1 能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗4.2.2 能根据业务需求对不同数据源数据进行整合4.2.2 能根据业务规则对数据格式进行转换4.2.4 能根据数据归一性原则对数据进行单位、数值规约4.2.1 数据清洗知识4.2.2 数据ETL知识4.2.2 数据库基础操作知识4.2.4 SQL函数知识4.2.5 结构化、半结构化与非结构化知识4.3 数据计算4.3.1 能

15、根据业务需求编写批量、实时数据计算作业4.3.2 能根据数据特征计算数据标签并进行汇总4.3.3 能根据数据指标规则计算关键业务指标4.3.1 分布式计算知识4.3.2 内存计算知识4.3.3数据结构封装知识4.3.4 关键业务指标知识4.4 数据查询4.4.1 能根据数据平台构建联机事务分析系统并进行即席查询4.4.2 能根据检索引擎创建索引库并进行数据检索4.4.3 能使用交互式查询工具创建数据接口并提供对外服务接口4.4.4 能使用交互式查询平台制作报表及展示图表4.4.1 OLAP系统应用知识4.4.2 数据检索知识4.4.3 交互式计算知识4.4.4 报表制作知识5.大数据分析与挖掘

16、5.1 数据预处理5.1.1 能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗5.1.2 能根据业务需求对不同数据源数据进行整合5.1.3 能根据业务规则对数据格式进行转换5.1.4 能根据数据归一性原则对数据进行单位、数值规约5.1.5能根据数据特征及规律，选择合适方法对数据进行采样5.1.1 数据清洗知识5.1.2 数据ETL知识5.1.3 数据库基础操作知识5.1.4 SQL函数知识5.1.5结构化、半结构化与非结构化知识5.2 数据分析5.2.1 能结合业务场景使用工具对数据集进行概要、描述性统计分析5.2.2 能在描述结果基础上，对数据进行特征和规律的分析与推测5.2.3 能

17、结合业务场景编写数据统计报告5.2.1 描述性统计知识5.2.2 统计工具使用知识5.2.3线性相关及回归相关知识5.3 数据挖掘5.3.1 能根据技术指导使用工具对数据进行特征工程处理5.3.2 能调用常规模型进行模型训练5.3.3 能根据合适评价指标对模型进行验证和调参5.3.4 能根据合适评价指标对模型进行测试并输出最终模型的性能评估分数5.3.1 编程基础知识5.3.2 有无监督学习知识5.3.3 数据挖掘类库应用知识5.4数据可视化5.4.1 能选择关键指标抽取数据并进行图表展示5.4.2 能使用可视化库进行可视化页面开发并配置交互模式5.4.3 能根据产品反馈对可视化页面及图表进行

18、调整和美化5.4.1 BI工具使用知识5.4.2 前端页面开发知识5.4.3 可视化平台配置及使用知识6.大数据管理6.1 数据管理6.1.1 能对大数据全生命周期进行监控，定义、管理元数据，并提供访问元数据接口服务6.1.2 能对数据质量评估，有效管控数据质量，校正异常数据和缺失数据6.1.3 能根据安全审计要求，对数据活动的主题、操作及对象等数据相关属性进行审核，确保数据活动过程和相关操作符合安全要求 6.1.1 数据标准知识6.1.2 数据血缘知识6.1.3 数据质量知识6.1.4 数据审计知识6.2 大数据管理评估6.2.1能够编写或者受理评估申请6.2.2 能依据DCMM规则和组织需

19、求确定评估范围6.2.3 能够协助企业实施DCMM成熟度自评6.2.1数据管理能力成熟度评估模型知识3.2 中级大数据处理方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据处理与应用；大数据分析方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务和大数据分析与挖掘；大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理。职业功能工作内容专业能力要求相关知识要求1.大数据应用开发1.1应用服务开发1.1.1 能根据系统所使用的组件接口，开发相应的数据访问层业务代码1.1.2 能根据大数据存储系统结

20、构，设计对接业务库表结构1.1.3 能根据产品业务需求，开发相应数据或计算接口1.1.4 能根据流程图梳理代码逻辑，优化接口及功能模块1.1.1 大数据组件API知识1.1.2 模型层接口开发知识1.1.3服务层接口开发知识1.2系统测试1.2.1 能根据测试用例，对系统进行接口、功能、压力等黑盒测试并输出缺陷、测试报告1.2.2 能根据测试用例，对代码进行逻辑、分支等白盒测试并输出缺陷、测试报告1.2.3 能根据相应测试需求，开发自动化测试脚本1.2.1 测试技术知识1.2.2 测试用例设计知识1.2.3 测试脚本开发知识2.大数据系统搭建2.1硬件系统搭建2.1.1 能根据配置需求，规划及

21、选型硬件配置设施2.1.2 能根据机房环境和配置清单，制定工程实施方案2.1.3 能根据物理硬件特性，制定组网规划方案2.1.4 能根据硬件设备条件，进行底层及驱动配置2.1.5 能根据现场施工情况进行故障处理指导2.1.1 网络架构和规划2.1.2 服务器底层配置知识2.2软件系统部署2.2.1 能根据应用需求，规划系统部署方案2.2.2 能根据性能需求，对各运行系统进行配置和调优2.2.3 能根据软件部署方案，编写自动化部署脚本，并完成部署2.2.4 能根据集群组件进行高可用及容灾配置2.2.5 能根据集群功能对各组件进行联通调试2.2.1云计算及虚拟化知识 2.2.2 自动化脚本开发知识

22、2.2.3 集群配置知识2.2.4 高可用及容灾知识3.大数据平台管理与运维3.1 平台管理3.1.1能根据集群功能变更需求，制定组件升级及功能迁移方案3.1.2 能对上线功能进行测试，评估上线可行性，制定上线计划3.1.3 能对大数据平台中的各个组件使用权限进行管理3.1.1集群技术知识3.1.2 安全访问控制知识3.2 系统运维3.2.1 能编写脚本对集群软硬件、组件与服务、作业运行情况进行监控及管理操作3.2.2 能对集群的运行性能、读写性能等指标进行调优3.2.3 能根据故障报告，排查故障原因，处理故障问题，并编写自动化运维脚本3.2.4 能制定容灾计划，对异常服务进行故障转移3.2.

23、1 性能调优知识3.2.2 故障排查知识3.2.3 容灾管理知识3.3安全维护3.3.1 能根据权限管理规范，编写日志监控脚本进行权限安全管理3.3.2 能根据漏洞报告和测试报告开发相应安防补丁3.3.3 能针对各类突发的外部攻击或异常事件制定应急处理方案3.3.4 能对安防系统进行开发、升级和维护工作3.3.1 安全补丁开发知识3.3.2 异常处理知识3.3.3 安防工具产品知识4.大数据技术服务4.1 技术咨询4.1.1 能收集目标市场信息，分析行业需求4.1.2 能配合销售团队进行产品宣讲和解决方案展示4.1.3 能独立解决客户技术咨询问题并提供技术方案4.1.4 能参与项目架构设计并提

24、出参考意见4.1.1 大数据架构知识4.1.2 大数据技术趋势知识4.2 解决方案设计4.2.1 能根据项目需求，在产品功能和技术架构相关技术文档基础上调整输出项目解决方案4.2.2 能进行产品调研、演示和讲解产品特性4.2.3 能结合业务情况主导或辅助原型项目交付4.2.4 能与业务部门合作挖掘客户需求并输出解决方案4.2.1 大数据基础理论知识4.2.2 大数据行业背景知识4.2.3 市场营销知识4.2.4 项目管理知识4.3 指导与培训4.3.1 能制定技术员、助理工程师对应的人才培养计划4.3.2 能制作培训资源4.3.3 能使用培训材料开展对技术员、助理工程师的专业能力培训4.3.1

25、 大数据技术知识4.3.2 技术教学知识5.大数据处理与应用5.1 数据采集5.1.1 能根据业务需求进行网络、离线、实时数据采集，并配置数据缓存及消息队列5.1.2 能根据业务需求参与制定数据迁移方案5.1.3 能制定调度策略5.1.4 能制定存储策略并指导助理工程师存储数据5.1.1 信息系统配置知识5.1.2 数据监测与迁移知识5.1.3 数据存储策略知识5.2 数据建模5.2.1 能根据数据建模规范设计数据模型5.2.2 能根据存储系统选型编写并优化数据模型实现脚本5.2.3 能根据业务需求对数据模型进行优化5.2.1 数据仓库知识5.2.2 数据湖知识5.2.3 层次建模知识5.2.

26、4 维度建模知识5.2.5 读写性能知识5.3 数据预处理5.3.1 能根据数据质量要求制定数据清洗策略及评估方案5.3.2 能根据业务要求制定数据整合方案5.3.3 能根据业务需求及性能要求设计数据结构及格式调整方案5.3.4 能根据归一性需求制定数据规约方案5.3.5 能根据业务需求编写自定义数据预处理函数5.3.1 信息技术文档编制知识5.3.2 数据序列化知识5.3.3 数据压缩知识5.4数据计算5.4.1 能根据业务需求编写批量、实时数据计算作业并优化作业参数5.4.2. 能根据业务规则设计相应标签库并进行标签管理5.4.3 能根据业务规则设计相应数据指标计算算法5.4.4 能根据业

27、务规则对关系对象进行图计算5.4.1 常用算法与数据结构知识5.4.2 数据画像知识5.4.3 数据倾斜知识5.5 数据查询5.5.1 能使用大规模并行分析数据库优化联机事务分析系统性能5.5.2 能使用计算引擎优化数据查询效率5.5.3 能通过计算平台构建检索分析系统5.5.1 大规模并行分析数据库知识5.5.2 数据立方知识5.5.3 查询引擎知识5.5.4 数据分词知识6.大数据分析与挖掘6.1 数据预处理6.1.1 能根据数据质量要求制定数据清洗策略及评估方案6.1.2 能根据业务要求制定数据整合方案6.1.3 能根据业务需求及性能要求设计数据结构及格式调整方案6.1.4 能根据归一性

28、需求制定数据规约方案6.1.5 能根据业务需求编写自定义数据预处理函数6.1.6能根据数据特征及规律，制定数据采样方案6.1.1 信息技术文档编制知识6.1.2 数据格式线性变换知识6.1.3 数据清洗需求分析6.1.4 数据清洗方案设计6.2 数据分析6.2.1 能根据分析需求进行数据准备6.2.2 能根据业务需求构建合适的分析模型6.2.3 能使用合适的算法实现分析模型并对拟合结果进行优化6.2.4 能分析数据的主成分及因子等相关特征，重构数据内容6.2.5 能针对数据结果进行归纳并输出分析报告6.2.1 多元统计分析知识6.2.2 判别分析知识6.2.3 聚类分析知识6.2.4 主成分分

29、析知识6.2.5 因子分析知识6.3 数据挖掘6.3.1 能评估挖掘需求并选择合适方法对数据进行特征工程处理6.3.2 能使用算法库及工具创建数据挖掘模型并进行模型训练6.3.3 能选择合适评价指标对模型进行验证及调优6.3.4 能选择合适评价指标对模型进行测试并输出最终模型的性能评估报告6.3.5 能使用编程语言对模型进行部署和重构6.3.1 特征工程处理知识6.3.2 模型训练知识6.3.3 模型评估知识6.3.4 模型部署知识6.4数据可视化6.4.1 能根据业务需求及分析结果，制定数据展示方案6.4.2 能设计数据可视化实现方式6.4.3 能与产品、运营人员合作美化数据报表及数据展示页

30、面6.4.4 能开发并优化数据可视化库6.4.5 能对数据可视化结果进行业务分析并输出分析报告6.4.1 数据可视化设计知识6.4.2 可视化组件开发知识7.大数据管理7.1 数据管理7.1.1 能制定数据标准管理制度，通过制度约束、系统控制等手段，提高平台治理水平7.1.2 能制定数据质量管理规范，确保平台数据质量符合规范7.1.3 能制定生命周期管理规范、数据血缘管理规范和元模型标准7.1.4 能制定安全审计要求，确保数据活动过程和相关操作符合安全要求7.1.5 能制定数据资产管理规则，注册入库数据资产信息，并进行资产维护7.1.1 数据标准管理知识7.1.2 数据质量管理知识7.1.3 生命周期管理知识7.1.4 数据安全知识7.1.5 数据资产管