高校大数据实验室建设解决方案Word文档格式.docx
《高校大数据实验室建设解决方案Word文档格式.docx》由会员分享,可在线阅读,更多相关《高校大数据实验室建设解决方案Word文档格式.docx(16页珍藏版)》请在冰豆网上搜索。
![高校大数据实验室建设解决方案Word文档格式.docx](https://file1.bdocx.com/fileroot1/2022-10/20/2a51efc8-b1e5-4cf8-8325-d177bcc4da6c/2a51efc8-b1e5-4cf8-8325-d177bcc4da6c1.gif)
⏹大数据实战及案例分析
提供实验数据,包括网站流量数据、租房及二手房数据、电商商品交易数据、搜索引擎访问等多种行业数据,数据内容超过20TB,同时周期更新数据内容。
⏹充分支撑科研工作
提供行业数据及案例解剖用于基础研究,提供数据分析方案及流程,提供数据更新接口,可以对行业数据进行分析统计,按需求生成数据报表,为科研工作提供数据支撑。
例如某地区经济数据分析、股市数据分析、全国地震数据分析、食品价格行业数据分析等。
三、建设规模
按照60台大数据实验机容量进行同时在线使用进行建设为基础,整体系统提供快速扩容升级服务。
四、硬件配置
采用十六台高性能品牌服务器作为大数据节点进行建设,采用企业级全千兆三层交换机进行网络数据交换。
每台节点的配置如下:
处理器
每节点支持2个英特尔®
至强®
处理器E5-2650CPU
高速缓存
15MB
QPI总线速率
7.2GT/s
内存
提供12个内存插槽,标配192G内存,
支持高级内存纠错,内存镜像,内存热备等高级功能
磁盘
标配4块3TBSATA硬盘
标配2块120GSSD硬盘
300G10000转SAS系统盘
网络控制器
集成1个高性能千兆以太网控制器(双口),支持虚拟化加速,网络加速,负载均衡,冗余等高级功能
电源
标配大功率高效白金级电源,1+1冗余
虚拟化技术
支持VMwarevSphere、Docker、OpenStack等
五、软件平台介绍
1、大数据教学管理系统
1.1专业管理
提供对专业信息的增加、删除、修改、查询功能。
1.2班级管理
提供对专业下属班级的增加、删除、修改、查询功能。
1.3学生管理
提供对班级内学生的管理,学生内容包含姓名、学号、所属班级、所属专业、联系手机、登录次数等内容。
1.4交流日志查阅
对实验机分享交流的内容进行查询,包含交流IP、相关学员、相关老师、实验机编号、交流内容等内容。
1.5成绩管理
对于学习中心在线学习的学习考核成绩进行管理,包含查询及删除等功能。
1.6学习记录
提供每个学生在学习中心平台内学习课程的学习记录,包含日期、计划、课程、章节、学习IP等。
1.7学习行为报表
对所有学生的课程学习记录进行统计,包含个体统计、班级统计、全体统计等。
1.8课程管理
对学习课程进行查询、修改、删除等操作。
1.9开通课程计划
对于学习开课计划的字段内容包含计划名称、授课讲师、授课时间段、开通状态、允许申请周期,允许申请人数等,功能提供绑定课程计划相关实训平台课程、授课助教、云实验机绑定、实验任务绑定等功能。
1.10课程测验习题管理
提供对课程相关的习题管理,题型包含单选、多选、判断题等类型,对习题进行增、册、改、查操作。
1.11分级权限功能
系统分为总管理员、助教等二级管理角色,总管理员进行管理所有的功能点,助教可以进行班级管理、学生管理、开课计划制作、实验机远程协助等。
1.12学生实训系统
提供学生根据姓名、学号、密码登录系统进行实训操作,学生只需安装浏览即可进行实验任务操作;
提供实训课程在线学习功能、实验机在线操作、实验报告提交、实验机界面截图、记录课程学习时长等。
1.13实验机桌面分享
提供实验机桌面分享功能,如学生在学习、操作云实验机的过程中,有问题可以向老师发起协助请求,助教在收到请求时,可以远程访问学生的实验机,并指导如何操作。
2、云实验机及实验任务
2
2.1云实验机
提供基于Web浏览器的实验机可视化操作,操作终端无需安装其它开发软件即可进行实验操作;
云实验机可以根据学生编号、实验任务和环境要求自动创建,无需管理人员参与实验机创建操作过程。
管理平台对云实验机可以进行停止、销毁操作。
2.2云实验机集群管理功能
提供云实验机集群管理,对实验机所属服务器进行新增、删除等操作。
2.3云实验机类型
包含Hadoop实验机、Hive实验机、HBase实验机、R语言实验机、Scala实验机、Spark实验机、Kafka实验机、Sqoop实验机、Flume实验机、数据可视化实验机等。
2.4实验机运行监控系统
系统提供对实验集群运行的所有实验机进行监控,可以查询编号、所属服务器、创建时间、运行状态、开放端口等内容。
2.5实验任务管理
提供对实验任务内容的管理,包含任务课程、绑定实验机、设定任务成绩总分,排序值等,提供多种实验任务内容,例如Hadoop实验任务、Hive实验任务、HBase实验任务、Flume与kafka实验任务等。
2.6实验报告审阅功能
在实验任务过程中学生上交的任务报告进行审阅评分,提供按照学生、实验任务等字段进行检索功能。
2.7云实验机桌面分享系统
提供实验机桌面基于浏览器的分享功能,允许学生与学生、学生与老师同步操作实验机桌面系统,提供基于浏览器的交流功能。
3、大数据实战平台系统
3
3.1大数据集群管理系统
基于分布式集群管理系统,提供大数据集群管理系统,功能包含Hadoop、Hive、HBase、Sqoop、Flume、Spark等节点部属及管理,提供实时监控集群的CPU、内存、硬盘等使用率及相关信息,可以对管理节点、计算节点进行启动、停止等操作管理。
3.2大数据作业工作流系统
提供大数据相关作业的上传、部属、流程管理等功能,基于Web的任务调度、兼容Hadoop、Spark主流版本、失败任务的、运行状态监控等。
六、大数据课程及行业案例
实验平台提供100个课时的Hadoop、Spark等大数据主流课程,课程与大数据实验机完美结合,学员在教学管理系统学习课程,随时进行实训操作,包含项目设计、数据采集、清洗、建模、技术实现等,快速提升实操技能,最终掌握大数据开发、数据分析与数据挖掘等大数据能力。
部分案例图片:
【电商大数据分析案例】
【电商大数据分析架构】
【房产大数据分析架构】
【房产大数据分析可视化】
【搜索大数据分析架构】
【网站日志大数据分析架构】
课程实验内容包含:
课程名称
课时
课程内容介绍
Hadoop基础
10
讲解Hadoop生态系统,包括操作与开发;
详细讲解HDFS和Map-Reduce的功能及作用;
了解MapReduce原理、运行流程、压缩数据处理、作业调度、计算器等环节。
HDFS程序开发
6
讲解Hadoop文件系统HDFSJAVAAPI的使用。
掌握如何使用HDFSJavaAPI,读写文件、读写目录、以及对文件进行压缩处理等。
MapReduce开发
本课程针对HadoopMapReduce开发进行讲解。
课程以案例为基础,重点介绍MapReduce程序结构,以及如何使用MapReduce进行数据统计,去重,排序,Map端Join,Reduce端Join等关联操作,掌握MapReduce处理过程。
Hive数据仓库
24
Hive是基于Hadoop构建的数据仓库分析系统,通过学习掌握Hive的函数、Hive数据的加载、Hive的DDL操作、自定义函数(UDF)等内容,达到使用Hive进行查询、汇总、分析数据的能力。
分布式数据库HBase
HBase是Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;
通过学习对HBase表设计、表操作、数据操作、JavaAPI等内容,掌握对HBase系统的开发及使用。
数据迁移工具Sqoop
4
Sqoop是关系型数据库和Hadoop生态系统之间进行数据转换的主要工具;
通过学习将mysql中的数据导入到hdfs中、将数据导入到HBase中、定义导入导出任务等,掌握对数据迁移的能力。
分布式日志框架Flume
Flume对海量日志进行采集、聚合和传输的主流大数据工具;
课程内容包含Flume应用场景、FlumeNG、FlumeOG、Flume的核心组件、Flume的架构、Flume的source、sink配置说明等。
Kafka流式数据采集
Kafka是分布式的消息队列,广泛应用于实时数据处理。
学习内容包含Kafka的体系结构、安装模式及安装部署、Topic、Producer、Consumer、发布订阅消息以及KafkaJAVA开发等。
Spark
Spark是一款高性能的分布式计算框架,比MapReduce计算快百倍;
本课程内容全面涵盖了Spark生态系统、Spark与Hadoop对比、开发环境搭建、RDD、编程模型、Web监控等内容。
SparkStreaming
SparkStreaming是用户结合流式、批处理和交互式查询应用的实时计算框架;
本课程内容详细讲解原理与特点、适用场景、Dstream操作、容错、性能优化和内存优化等。
SparkSQL
SparkSQL的出现,使得SQL-on-Hadoop的性能相对于Hive有了显著的提高。
达到Spark兼容Hive的功能。
本课程详细讲解特点、运行架构、数据源、数据缓存、DataFrame等。
实战案例
搜索引擎日志
数据统计分析
讲解Hadoop系统架构设计以及项目分析流程;
通过对用户搜索记录数据的清洗,分析指标内容,得出关键词排行榜、用户停留时间最高页面等。
电子商务平台
大数据分析
讲解Spark系统架构设计以及项目分析流程;
本课程主要讲解搭建电商的数据处理平台、数据统计、分析及可视化技术的应用开发流程。
七、行业数据及案例
提供大数据实战案例以及行业数据,提供包含海量网站日志分析案例、租房及二手房大数据分析案例、电商商品交易大数据挖掘、搜索引擎关键词分析算法案例、汽车销售数据分析案例等案例讲解及实战作业工作流内容。
数据名称
数据描述
更新
地区房产数据
包含二手房在售数据、出租房屋数据、经纪人评价数据等。
每周
全国汽车数据
包含国内不同种类汽车详细配置信息、汽车使用评论数据、汽车销售数据以及二手车数据等。
可用于汽车行业市场行情分析。
每月
法律咨询数据
包含国内所有法律咨询服务机构数据、机构评论数据、有关法律咨询话题的数据。
可用于法律咨询