江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程Word格式.docx

1、Hadoop平台安装部署和基本配置。HDFS常用操作命令（查询文件类别、上传、删除文件、查询HDFS基本统计信息）。Hadoop集群的性能调优。数据抓取规则文件数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换，实现Hive数据管理常用命令。能够通过Python编程，使用streaming和MapReduce机制实现数据的抓取。数据清洗、整理、计算和表达基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。结合Hadoop大数据平台相关技术实现对数据的分析和展现。应用Python编程工具

2、，实现给定数据源的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。综合分析综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python编程工具，实现对提供的数据源分析、展现，根据展现结果得出结论，并对结论进行分析，形成分析报告。竞赛各阶段分值权重和时间分布如下：序号竞赛时间分值权重Hadoop平台安装部署240分钟权重15%权重30%权重20%团队分工明确合理、操作规范、文明竞赛权重5%四、竞赛方式本赛项为团体赛。每支参赛队由1名领队，3名选手（其中队长1名），2名指导教师组成。五、竞赛规则（一）竞赛工位通过抽签决定。（二）竞赛所需的硬件设备、系统软件和

3、辅助工具由赛项组委会统一准备，参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。（三）参赛队自行决定选手分工、工作程序和时间安排。（四）所有参赛选手都必须携带参赛证件进行检录。参赛证件不包含身份证和学生证。（五）参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开相关工作。参赛选手迟到超过竞赛时间一半不得入场。（六）竞赛过程中，选手须严格遵守操作规程，确保人身及设备安全，并接受裁判员的监督和警示。如遇到设备或软件等故障，参赛选手应当举手示意；现场裁判应及时予以解决。如确因计算机软件或硬件故障，致使操作无法继续的，由现场裁判协同技术支持人员共同解决。（

4、七）若因选手因素造成设备故障或损坏，无法继续竞赛的，由现场裁判报告裁判长。裁判长有权决定中止该队竞赛；若因非参赛选手个人因素造成设备故障，由裁判长视具体情况做出裁决。（八）竞赛结束或提前完成后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作。（九）竞赛结束或提前完成后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作，经现场裁判确认后方可离开赛场（十）成绩评定评分方法分为现场评分和结果评分，经裁判长、监督人员签字确认后予以公布。（十一）竞赛过程不安排现场观摩。（十二）其它未尽事宜，将在

5、赛前向各领队做详细说明。七、竞赛环境1.竞赛场地。竞赛场地分为：竞赛现场、裁判员休息区、指导老师休息区、服务区。其中，竞赛现场又划分为：检录区、场内竞赛区、技术支持区。以上区域应保证良好的采光、照明和通风； 2.竞赛设备。场内竞赛区按照参赛队数量准备比赛所需的软硬件平台，为参赛队提供统一竞赛设备和备用设备。选手无需自带任何工具及附件。3.竞赛工位。竞赛现场各个工作区配备单相220V/3A以上交流电源。每个比赛工位上标明编号。4.技术支持区。为技术支持人员提供固定工位、电源保障。5.服务区。提供医疗等服务保障。6.竞赛场地应符合消防安全规定，应急照明设施状态合格，赛场明显位置张贴紧急疏散图，赛场

6、出入口专人负责。现场临时用电满足施工现场临时用电安全技术规范JGJ46-2005的要求。八、技术规范竞赛项目基础标准（见表2）和软件开发标准（见表3）如下：（一）基础标准标 准内 容GB/T 11457-2006信息技术、软件工程术语 GB8566-88计算机软件开发规范GB/T 12991-2008信息技术数据库语言SQL第1部分：框架20120567-T-469信息技术云数据存储和管理第1部分：总则20120568-T-469信息技术云数据存储和管理第2部分：基于对象的云存储应用接口GB/T 21025-2007XML使用指南GB/T 20009-2005信息安全技术数据库管理系统安全评估

7、准则已发布GB/T 20273-2006信息安全技术数据库管理系统安全技术要求20100383-T-469信息技术安全技术信息安全管理体系实施指南（二）软件开发标准GB/T 8566 -2001信息技术 软件生存周期过程 GB/T 15853 -1995软件支持环境 GB/T 14079 -1993软件维护指南GB/T 17544-1998信息技术 软件包 质量要求和测试九、技术平台（一）竞赛设备设备类别数量设备用途基本配置服务器1台。内嵌大数据实训管理系统，提供大数据竞赛。PC服务器 客户端每支参赛队伍3台。竞赛选手比赛使用。性能相当于2.0GHZ处理器，4G以上内存，显示器要求1024*7

8、68以上根据参赛团队数量，配备10%的备份机器。（二）软件环境软件类别软件名称服务端竞赛系统运行操作系统Centos7.0桌面操作系统Windows7虚拟环境Virtualbox 5.1虚拟操作系统Ubuntu 14.04 LTS 大数据平台软件Hadoop 2.7.1开发语言Python2.7.12数据分析工具Pandas 0.9.12Python集成开发环境pycharm-community-2016.3.2浏览器Chrome/firefox文档编辑器Office 2007及以上版本（三）竞赛技术平台比赛技术平台：北京四合天地大数据实训管理系统。十、成绩评定评分标准分值1530205（二）

9、评分方式1 竞赛成绩评定实行“裁判长负责制”，负责组织评分裁判进行成绩评定。2 评分裁判：负责对参赛队伍（选手）的比赛作品、比赛表现按赛项评分标准进行评定。3 成绩评定是根据竞赛考核目标、内容对参赛队或选手在竞赛过程中的表现和最终成果做出评价。本赛项的评分方法为现场评分和结果评分，现场评分：现场裁判根据参赛队的操作规范以及综合表现情况进行评分；结果评分：依据赛项评价标准，对参赛选手提交的竞赛成果进行评分。所有的评分表、成绩汇总表备案以供核查，最终的成绩由裁判长进行审核确认并上报赛项组委会。4 成绩公布方法竞赛成绩经复核无误后，经裁判长审核签字后公布。十一、申诉与仲裁（一）申诉1.参赛队对不符合

10、竞赛规定的设备、工具、软件，有失公正的评判、奖励，以及对工作人员的违规行为等，均可提出申诉。2.申诉应在竞赛结束后1小时内提出，超过时效不予受理。申诉时，应按照规定的程序由参赛队领队向赛项仲裁工作组递交书面申诉报告。报告应对申诉事件的现象、发生的时间、涉及到的人员、申诉依据与理由等进行充分、实事求是的叙述。事实依据不充分、仅凭主观臆断的申诉将不予受理。申诉报告须有申诉的参赛选手、领队签名。3.赛项仲裁工作组收到申诉报告后，应根据申诉事由进行审查，3小时内书面通知申诉方，告知申诉处理结果。4.申诉人不得采取过激行为刁难、攻击工作人员，否则视为放弃申诉。（二）仲裁赛项设仲裁工作组接受由代表队领队提出的对裁判结果等方面问题的申诉。赛项仲裁工作组在接到申诉后的2小时内组织复议，并及时反馈复议结果。仲裁工作组的仲裁结果为最终结果。第 7 页