新版高校智慧实验室建设方案大数据云实验室Word格式.docx

新版高校智慧实验室建设方案大数据云实验室Word格式.docx

《新版高校智慧实验室建设方案大数据云实验室Word格式.docx》由会员分享，可在线阅读，更多相关《新版高校智慧实验室建设方案大数据云实验室Word格式.docx（9页珍藏版）》请在冰豆网上搜索。

交互式学习模式

提供体系完整、简单易用的在线教学课堂；

以基础知识学习、在线视频教学、习题、

线上测试、评估等为主线的一系列方法，确保学生在短时间内掌握大数据虚拟仿真实验、

分析部署技能。

真机实验训练

实验训练体系设计成各模块相对独立的形式，各模块交互式的实验任务、大数据实验机、

实际项目上机操作，通过多方位的训练，最终灵活的、渐进式地掌握大数据生态体系。

大数据实战及案例分析

提供实验数据，包括网站流量数据、租房及二手房数据、电商商品交易数据、搜索引擎访

问等多种行业数据，数据内容超过20TB，同时周期更新数据内容。

充分支撑科研工作

提供行业数据及案例解剖用于基础研究，提供数据分析方案及流程，提供数据更新接口，

可以对行业数据进行分析统计，按需求生成数据报表，为科研工作提供数据支撑。

例如某地区

经济数据分析、股市数据分析、全国地震数据分析、食品价格行业数据分析等。

三、建设规模

按照60台大数据实验机容量进行同时在线使用进行建设为基础，整体系统提供快速扩容

升级服务。

四、硬件配置

采用十六台高性能品牌服务器作为大数据节点进行建设，采用企业级全千兆三层交换机进

行网络数据交换。

每台节点的配置如下：

处理器每节点支持2个英特尔®

至强®

处理器E5-2650CPU

高速缓存15MB

QPI总线速率s

内存提供12个内存插槽，标配192G内存，

支持高级内存纠错，内存镜像，内存热备等高级功能

磁盘标配4块3TBSATA硬盘

标配2块120GSSD硬盘

300G10000转SAS系统盘

网络控制器集成1个高性能千兆以太网控制器（双口），支持虚拟化加速，网络加

速，负载均衡，冗余等高级功能

电源标配大功率高效白金级电源，1+1冗余

虚拟化技术支持VMwarevSphere、Docker、OpenStack等

五、软件平台介绍

1、大数据教学管理系统

1.1专业管理

提供对专业信息的增加、删除、修改、查询功能。

1.2班级管理

提供对专业下属班级的增加、删除、修改、查询功能。

1.3学生管理

提供对班级内学生的管理，学生内容包含姓名、学号、所属班级、所属专业、联系手机、

登录次数等内容。

1.4交流日志查阅

对实验机分享交流的内容进行查询，包含交流IP、相关学员、相关老师、实验机编号、交

流内容等内容。

1.5成绩管理

对于学习中心在线学习的学习考核成绩进行管理，包含查询及删除等功能。

1.6学习记录

提供每个学生在学习中心平台内学习课程的学习记录，包含日期、计划、课程、章节、学

习IP等。

1.7学习行为报表

对所有学生的课程学习记录进行统计，包含个体统计、班级统计、全体统计等。

1.8课程管理

对学习课程进行查询、修改、删除等操作。

1.9开通课程计划

对于学习开课计划的字段内容包含计划名称、授课讲师、授课时间段、开通状态、允许申

请周期，允许申请人数等，功能提供绑定课程计划相关实训平台课程、授课助教、云实验机绑

定、实验任务绑定等功能。

1.10课程测验习题管理

提供对课程相关的习题管理，题型包含单选、多选、判断题等类型，对习题进行增、册、

改、查操作。

1.11分级权限功能

系统分为总管理员、助教等二级管理角色，总管理员进行管理所有的功能点，助教可以进

行班级管理、学生管理、开课计划制作、实验机远程协助等。

1.12学生实训系统

提供学生根据姓名、学号、密码登录系统进行实训操作，学生只需安装浏览即可进行实验

任务操作；

提供实训课程在线学习功能、实验机在线操作、实验报告提交、实验机界面截图、

记录课程学习时长等。

1.13实验机桌面分享

提供实验机桌面分享功能，如学生在学习、操作云实验机的过程中，有问题可以向老师发

起协助请求，助教在收到请求时，可以远程访问学生的实验机，并指导如何操作。

2、云实验机及实验任务

2.1云实验机

提供基于Web浏览器的实验机可视化操作，操作终端无需安装其它开发软件即可进行实验

操作；

云实验机可以根据学生编号、实验任务和环境要求自动创建，无需管理人员参与实验机

创建操作过程。

管理平台对云实验机可以进行停止、销毁操作。

2.2云实验机集群管理功能

提供云实验机集群管理，对实验机所属服务器进行新增、删除等操作。

2.3云实验机类型

包含Hadoop实验机、Hive实验机、HBase实验机、R语言实验机、Scala实验机、Spark

实验机、Kafka实验机、Sqoop实验机、Flume实验机、数据可视化实验机等。

2.4实验机运行监控系统

系统提供对实验集群运行的所有实验机进行监控，可以查询编号、所属服务器、创建时间、

运行状态、开放端口等内容。

2.5实验任务管理

提供对实验任务内容的管理，包含任务课程、绑定实验机、设定任务成绩总分，排序值等，

提供多种实验任务内容，例如Hadoop实验任务、Hive实验任务、HBase实验任务、Flume与

kafka实验任务等。

2.6实验报告审阅功能

在实验任务过程中学生上交的任务报告进行审阅评分，提供按照学生、实验任务等字段进

行检索功能。

2.7云实验机桌面分享系统

提供实验机桌面基于浏览器的分享功能，允许学生与学生、学生与老师同步操作实验机桌

面系统，提供基于浏览器的交流功能。

3、大数据实战平台系统

3.1大数据集群管理系统

基于分布式集群管理系统，提供大数据集群管理系统，功能包含Hadoop、Hive、HBase、

Sqoop、Flume、Spark等节点部属及管理，提供实时监控集群的CPU、内存、硬盘等使用率及

相关信息，可以对管理节点、计算节点进行启动、停止等操作管理。

3.2大数据作业工作流系统

提供大数据相关作业的上传、部属、流程管理等功能，基于Web的任务调度、兼容Hadoop、

Spark主流版本、失败任务的、运行状态监控等。

六、大数据课程及行业案例

实验平台提供100个课时的Hadoop、Spark等大数据主流课程，课程与大数据实验机完美

结合，学员在教学管理系统学习课程，随时进行实训操作，包含项目设计、数据采集、清洗、

建模、技术实现等，快速提升实操技能，最终掌握大数据开发、数据分析与数据挖掘等大数据

能力。

部分案例图片：

【电商大数据分析案例】

【电商大数据分析架构】

【房产大数据分析架构】

【房产大数据分析可视化】

【搜索大数据分析架构】

【网站日志大数据分析架构】

课程实验内容包含：

课程名称课时课程内容介绍

Hadoop基础10讲解Hadoop生态系统，包括操作与开发；

详细讲解HDFS和

Map-Reduce的功能及作用；

了解MapReduce原理、运行流程、压

缩数据处理、作业调度、计算器等环节。

HDFS程序开发6讲解Hadoop文件系统HDFSJAVAAPI的使用。

掌握如何使用HDFS

JavaAPI，读写文件、读写目录、以及对文件进行压缩处理等。

MapReduce开发6本课程针对HadoopMapReduce开发进行讲解。

课程以案例为基

础，重点介绍MapReduce程序结构，以及如何使用MapReduce进

行数据统计，去重，排序，Map端Join，Reduce端Join等关联

操作，掌握MapReduce处理过程。

Hive数据仓库24Hive是基于Hadoop构建的数据仓库分析系统，通过学习掌握

Hive的函数、Hive数据的加载、Hive的DDL操作、自定义函数

（UDF）等内容，达到使用Hive进行查询、汇总、分析数据的能

力。

分布式数据库HBase6HBase是Hadoop生态系统中的重要一员，主要用于海量结构化数

据存储；

通过学习对HBase表设计、表操作、数据操作、JavaAPI

等内容，掌握对HBase系统的开发及使用。

数据迁移工具Sqoop4Sqoop是关系型数据库和Hadoop生态系统之间进行数据转换的

主要工具；

通过学习将mysql中的数据导入到hdfs中、将数据

导入到HBase中、定义导入导出任务等，掌握对数据迁移的能力。

分布式日志框架Flume4Flume对海量日志进行采集、聚合和传输的主流大数据工具；

课

程内容包含Flume应用场景、FlumeNG、FlumeOG、Flume的核心

组件、Flume的架构、Flume的source、sink配置说明等。

Kafka流式数据采集4Kafka是分布式的消息队列，广泛应用于实时数据处理。

学习内

容包含Kafka的体系结构、安装模式及安装部署、Topic、

Producer、Consumer、发布订阅消息以及KafkaJAVA开发等。

Spark6Spark是一款高性能的分布式计算框架，比MapReduce计算快百

倍；

本课程内容全面涵盖了Spark生态系统、Spark与Hadoop

对比、开发环境搭建、RDD、编程模型、Web监控等内容。

SparkStreaming4SparkStreaming是用户结合流式、批处理和交互式查询应用的

实时计算框架；

本课程内容详细讲解原理与特点、适用场景、

Dstream操作、容错、性能优化和内存优化等。

SparkSQL4SparkSQL的出现，使得SQL-on-Hadoop的性能相对于Hive有了

显著的提高。

达到Spark兼容Hive的功能。

本课程详细讲解特

点、运行架构、数据源、数据缓存、DataFrame等。

实战案例6讲解Hadoop系统架构设计以及项目分析流程；

通过对用户搜索

搜索引擎日志记录数据的清洗，分析指标内容，得出关键词排行榜、用户停留

数据统计分析时间最高页面等。

实战案例6讲解Spark系统架构设计以及项目分析流程；

本课程主要讲解搭

电子商务平台建电商的数据处理平台、数据统计、分析及可视化技术的应用开

大数据分析发流程。

七、行业数据及案例

提供大数据实战案例以及行业数据，提供包含海量网站日志分析案例、租房及二手房大数

据分析案例、电商商品交易大数据挖掘、搜索引擎关键词分析算法案例、汽车销售数据分析案

例等案例讲解及实战作业工作流内容。

数据名称数据描述更新

地区房产数据包含二手房在售数