1、31.3机柜+交换机+配件42U 千兆交换机套教学实验支撑系统芝诺数据综合分析ZDM平台 芝诺数据综合分析ZDM平台是全面基于Apache Hadoop及Apache Spark计算框架的高性能大数据分析平台,提供一站式大数据开发环境和工具,包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持。用户可以在大数据综合分析处理平台上采集、存储、分析、挖掘海量数据及其内在价值。2.1大数据行业应用数据包超过 20 亿条以上具备商业价值的真实项目数据芝诺数据教学实训平台 芝诺数据教学实训平台能够为大数据教学及科研提供一个完整的、一体化的实验教学环境,从而打造出全方位的专业大数据实训室。 学员登录平
2、台后按照实验指南完成大数据教学实训,教师通过对学员学习情况进行大数据分析析,统计各个班级总体学习进度、每门课程学习进度、学生登录时间统计、所有学生学习情况统计。3.1大数据实训项目实验包括大数据系统和大数据应用2个方向共计60个实验项目,每个项目实验材料包括:实验数据、实验指导、实验原理、实验环境、实验考核等内容。产品服务体系4系统维护提供软硬件平台系统维护。年5师资培训提供免费师资培训机会(每套产品有2个免费名额)。6案例支持提供真实大数据项目实战案例,不断完善和补充。7数据提供提供具有商业价值的数据,每年更新10%。8项目众包提供大数据项目的技术支撑。教学与实验支撑系统由芝诺数据综合分析Z
3、DM平台和芝诺数据教学实训平台构成,教学与实验支撑系统部署在大数据教学科研一体机中。二、项目建设的目标及内容1、项目建设目标1)平台的建设能让高校大数据专业与实际应用相结合,提高学生的学习、实践和创新创业能力,能够培养实用性人才所需的专业能力,提升教学效果与就业率,为“大数据时代”的创新人才培养做出贡献。2)平台的建设将支撑大数据去冗降噪、大数据融合、大数据可视化等关键技术研究,能够服务于学校的教学和科研,有助于大数据方向发展和自主创新,有利于创新团队培育和高水平研究成果积累,有利于提升教师的教学和科研水平,推动教学和科研团队建设。3)平台的建设搭建可以发挥学校的行业优势,体现学校办学特色,推
4、进与国内外高校、科研机构和企业间的产学研合作,开展项目合作研究和人才培养,促进科研成果转化,促进产学研协同创新。4)平台的建设有利于促进学科交叉与融合。2、项目建设内容1)模块一:平台相关硬件建设本模块主要包含:技术参数:作为一个可供大量学生完成大数据实训的集成环境,该平台同步提供了配套的培训服务,对于教学组件的安装、配置、教材、实验手册等具体应用提供一站式服务,有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求,并在一定程度上缓解大数据师资不足的问题。对于各大高校而言,即使没有任何大数据实验基础,该平台也能助其轻松开展大数据的教学、实验与科研。2)模块二:教学与实践支
5、撑系统芝诺大数据教学科研平台由芝诺数据综合分析ZDM平台及芝诺数据教学实训平台联合搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练,从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实践教学体系。(1) 芝诺数据综合分析ZDM平台芝诺数据综合分析ZDM平台是全面基于 Apache Hadoop 及 ApacheSpark 计算框架的高性能大数据分析平台,提供一站式大数据开发环境和工具,包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持。ZDM平台包含的Hadoop生态组件: 平台构成:i. Zeno
6、Container分布式实时数据库:支持结构化、半结构化和非结构化数据的存储;采用分布式存储,支持海量数据存储,支持高并发的快速查询。ii. Zeno Monitor 服务器监控套件:服务器监控是利用Ganglia和Nagios对集群机器进行资源监控,包括CPU内存,硬盘,网络资源等进行实时监控,方便用户实时掌握集群机器资源的利用情况。 通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练,从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系,以满足不同学校的实践需求。iii. Zeno Mining 数据挖掘
7、套件:支持多种数据挖掘工具相结合,支持Mahout,MLlib自带的并行化的高性能机器学习算法库;同时也致辞基于R自定义的编程算法;也有强大的主流数据统计个绘图语言R以及Web图形化开发界面R-Studio。iv. Zeno Analysis 数据分析套件:使用Sqoop和Flume支持数据迁移和采集;采用多计算框架模型,可满足不同数据的计算要求。及支持Hadoop离线大数据的计算,也支持Stream实时流式处理,还支持Spak内存快速计算;支持多语言的数据分析工作,支持SQL、Java、Python、Scala等。v. Zeno Coop协作管理引擎:基于Zookeeper的协调服务机制,采
8、用Yarn的管理模式,支持同时运行多个计算框架,可同时部署Hadoop、Storm、Spark等计算框架。ZDM平台工作流:平台优点:I 安装方便友好的图形化安装界面,使用户可在1小时内,零基础搭建基于Hadoop/Spark的大数据存储、分析、监控及可视化平台。确保安装100%成功。 功能完备提供一站式大数据开发环境和工具,解决从数据源采集/清洗/存储/分析/挖掘/机器学习到数据流处理/可视化/集群监控等问题。 Stream分布式实时流处理引擎提供强大的流计算能力,可支持复杂的实时处理逻辑,满足企业实时告警、风险控制、在线统计和挖掘等应用需求 性能保障计算速度比传统关系型数据库快50-100
9、倍。例如,一个集群包括13个Spark节点,每个256G内存的服务器,1个计算任务30秒以内处理200M数据,处理过程包括数据入库、逻辑计算、结果展现。同时,系统可线性扩充存储容量或提高处理性能,只需要简单地向集群中增加机器,无需停机。 使用方便图形化的数据分析和挖掘界面,令使用者不用理会Hadoop底层技术,只需专注于自身业务逻辑。 基于Hadoop的ZDM分布式存储与计算的优点 高可扩展性Hadoop是一个高度可扩展的存储平台,可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的数据,Hadoop是能给企业提供涉及成百上千TB的数据节点上
10、运行的应用程序。成本效益Hadoop还为企业用户提供了极具成本效益的存储解决方案。传统关系型数据库管理系统并不符合海量数据的处理器,不符合企业的成本效益。许多公司过去不得不假设哪些数据最优价值,根据这些有价值的数据设定分类,如果保存所有的数据,那么成本就会过高。Hadoop的架构则不同,其被设计为一个向外扩展的架构,可以经济的存储所有公司的数据供以后使用,节省的费用是非常惊人的。灵活性更好Hadoop能够使企业访问新的数据源,并可以分析不同类型的数据,从这些数据中产生价值,这意味着企业可以利用Hadoop的灵活性从社交媒体、电子邮件或点击流量等数据源获得宝贵的商业价值。处理速度更快Hadoop
11、拥有独特的存储方式,用于数据处理的工具通常在与数据相同的服务器上,从而导致能够更快的处理器数据。如果处理大量的非结构化数据,Hadoop能够在几分钟内处理TB级的数据,而不是像以前都需要以小时为单位。容错能力更强Hadoop的一个关键优势就是它的容错能力,Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。当数据被发送到一个单独的节点,该数据也被复制到集群的其它节点上,这意味着在故障情况下,存在另外的副本可供使用。 ZDM平台安装界面截图:ZDM平台登陆界面用户名密码登陆后,可以看到如下的首页。系统管理界面在系统管理界面中,“用户管理”和“角色管理”中,可以定义角色(管理
12、员、操作员等)、添加用户、修改用户密码等。此外,在“资源管理”页面中,可以为每一个用户指定允许安装的组件或者模块。组件安装界面在“组件安装”界面中,具有以下功能:基础信息配置(主机名映射)、Hadoop组件安装、Spark组件安装、数据挖掘工具安装、集群监控及HUE安装。以下逐一进行介绍。 基础信息配置基础信息配置,也即主机名映射,在初次安装Hadoop集群前需要配置各服务器的IP地址与主机名的映射。点击“配置”按钮后,系统会在后台完成以下配置。修改各服务器的主机名,完成映射。完成各服务器之间的SSH互信。完成各服务器java JDK环境配置。 Hadoop基础组件在Hadoop基础组件页面,
13、可以点击各个Hadoop基础组件的图标,完成相应组件的安装及配置。说明:由于组件之间有相互依赖关系,因此,如果某个组件的前序依赖组件没有安装,系统会提示用户安装前序依赖组件。 Spark基础组件安装在Spark基础组件页面,可以点击Spark基础组件的图标,完成Spark集群(包括,Spark SQL,Spark Streaming,MlLib,GraphX)的安装及配置。 数据挖掘工具安装在数据挖掘工具安装页面,可以点击各个数据挖掘工具的图标,完成相应工具的安装及配置。 集群监控及HUE在集群监控及HUE安装页面,可以点击相应的图标,完成Ganglia及HUE的安装及配置。基础应用模块在上述
14、Hadoop集群及相关的组件安装配置完成后,在基础应用模块,可以是用Rstudio,以及查看Ganglia、HDFS、YARN的监控页面。 Rstudio登陆后可以看到如下Rstudio的页面。(用户名:hadoop,密码:hadoop) Ganglia监控页面 HDFS监控页面 YARN监控页面定制应用模块该模块使用系统自带的数据,展示了大数据可视化的三个应用效果。 静态报表展示 多维报表展示 动态实时报表展示(2)大数据教学实训平台芝诺数据教学实训平台包括大数据系统和大数据应用 2 个方向共计60 个实验项目,能够为大数据教学及科研提供一个完整的、一体化的实验教学环境,打造出全方位的专业大
15、数据实训室。每个项目实验材料包括:A 实验数据B 实验指导C 实验原理D 实验环境E 实验考核等内容。该平台集学员实训学习与教师教学管理于一体,因此,对于学员和教师这两类不同的角色,可以通过不同的账号登陆,进入平台的相应界面。学员登录实训平台后,可以选择相应的实验课程,并按照实验指南完成大数据处理与分析实操案例的教学实训,并提交实验报告。教师登陆管理平台后,可以通过对班级与学员学习情况进行管理,统计各个班级总体学习进度、每门课程学习进度、查看学生实验报告并批阅评分等。以下就分别对学生与教师这两类不同角色登陆平台后的界面操作进行说明。大数据实训管理平台登陆链接如下:192.168.0.121:8
16、081/TPF 大数据实训管理平台-学生登陆 学生登陆后的课程界面学生登陆后可以看到如下图所示的“我的课程”界面。大数据实训管理平台现在共有四门课程,分别为:A数据分析员B大数据分析师C大数据挖掘工程师D大数据系统工程师点击课程,进入实验列表界面点击上述四门课程的任何一个,即可进入相应课程的实验列表界面。比如,点击“大数据分析师课程”,就可进入如下的实验列表。 点击“开始实验”按钮,即可进入对应实验的实训界面由于不同类型实验的实训环境不同,以下分别就RStudio与WebTerm环境分别说明。 RStudio实训环境该实训环境主要针对大数据统计分析与建模的相应实验,也就是通过R语言来完成相应的
17、大数据统计分析实验。比如,点击上述大数据分析师课程实验列表中的,“R语言实现多元线性回归模型案例”,即进入如下的实训平台界面。对R语言操作的实验,需要登陆Rstudio,登陆的用户名和密码与实训平台的用户名和密码一致。输入实训平台的用户名和密码,登陆RStudio,登陆后的界面如下。在该实训界面中,学员就可以按照左侧的实验指南,在RStudio的环境中,完成该多元线性回归模型实验的操作与练习。 WebTerm实训环境该实训环境主要用于大数据挖掘工程师与大数据系统工程师相关的实验,可以在WebTerm环境下运行Linux系统及Hadoop大数据生态圈工具的相关命令。比如,进入“大数据系统工程师”
18、课程,点击课程实验列表中的,“Linux 基本命令操作实例”,即进入如下的实训平台界面。对Linux命令操作的实验,需要登陆WebTerm,登陆的用户名和密码与实训平台的用户名和密码一致。输入实训平台的用户名和密码,登陆WebTerm,登陆后的界面如下。在该实训界面中,学员就可以按照左侧的实验指南,在WebTerm的环境中,完成该实验的操作与练习。 下载实验资源在RStudio或者WebTerm环境的实训页面中,如果该实验有附加的软件安装包或者数据文件等需要下载的资源,都可以点击“下载资源”按钮一键下载,下载的资源文件为压缩的ZIP文件。如下图所示。 提交实验报告每一个实验演示操作完成后,都有
19、一个实验作业,如下图所示。学生可根据该实验所练习的内容,完成相应的实验作业,并点击“实验报告”按钮,就可进入如下的实验报告提交页面。在该页面中,可以“输入内容”、“上传图片”等。 查看实验报告学生在完成实验练习并提交实验作业后,可以点击“我的实验报告”,查看已提交的实验报告列表,而且还可以对已提交的实验报告进行编辑。示意图如下所示。大数据实训管理平台-教师登陆教师登陆后的管理界面教师登陆大数据实训管理平台后,可以看到上图的管理界面。教师账号主要有三方面的功能:创建和管理班级批阅学生提交的实验报告集群监控以下对这三方面的功能逐一进行介绍。我的班级 创建班级在“我的班级”页面,教师可以创建和编辑班
20、级。按照上述示意图操作,即可创建班级。创建班级后的效果如下图所示。 导入学员在创建了班级后,可以对该班级的学员进行管理。点击上图的“学员管理”按钮,即可进入如下的学员管理。对于新创建的班级,可以点击“下载学员模板”,根据模板导入该班级的学员。 课程管理可以通过“课程管理”为该班级的学员分配相应的课程。点击上图中的“课程管理”按钮,即进入课程分配页面,为该班级分配相应的实验课程。 批阅报告点击“批阅报告”,可以筛选“专业”与“班级”,查看相应班级学生提交的实验报告,并进行批阅。 集群监控点击“集群监控”,可以进入分布式计算机集群的监控页面,如下图所示。在该页面中,可以分别查看Hadoop集群、S
21、park集群、Ganglia集群监控,以及,进程启动等监控信息。示意图如下。Hadoop集群信息:Spark集群信息:Ganglia集群监控信息:进程启动页面信息:3、项目教学内容及数据库(1)芝诺数据教学课程(2)实训平台实验教学大纲(3)芝诺数据库 附:部分学员作业(大数据应用分析报告)展示往期回顾4、项目建设重点由于本实验室的建设思路是侧重实验内容建设,因此我们在规划中突出了平台及大数据专业课程的建设,在整个建设过程中,我们的主要重点在于:(1)以科学、节约为原则,合理解决实验室服务器的问题。(2)严格按照实验室建设进度安排执行。(3)硬件及相关支撑平台以满足基本要求即可,重点引入跟我们
22、大数据专业人才培养方案相关的大数据课程内容及行业案例库,通过专业的大数据课程和真实的企业实训场景,大力培养学生的应用创新能力。(4)在整个实验室项目建设的同时,着力加强大数据专业教师团队的建设。5、项目建设预期效益本项目通过对芝诺数据教学实训平台和芝诺数据综合分析ZDM平台的建设,支撑大数据去冗降噪、大数据融合、大数据安全与隐私保护等关键技术研究,形成以工程实训和创新拓展为主的实践教学体系,培养学生良好的科学素养和实践创新能力。同时,提升高校承担重大科研项目和实现自主创新的能力。适应国民经济和社会发展的信息化进程、信息化与工业化“两化”融合和新兴战略性产业迅速发展,完善科研平台和教学实验平台体系建设,提升科技创新能力,推进产学研合作。预期达到以下效果:(1)建立健全实验教学环境,为相关专业学生提供与产业界接轨的、良好的实验条件;(2)模拟企业环境,引入以实际项目为蓝本的实训项目,构建实训基地;(3)为开设大数据类公共选修课提供实验环境;(4)支撑高校科研项目的实施及科研论文的发表;(5)为学生在数学、统计、计算机类学科竞赛获奖提供教学实验环境支持。
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1