数据分析与挖掘技术实验室建设方案.docx

1、数据分析与挖掘技术实验室建设方案虚拟化、数据分析与挖掘技术 实验室建设方案 1 实验室项目建设背景 . - 2 -1.1 项目建设背景 . - 2 -1.2 项目建设目标 . - 2 -1.3 项目建设内容 . - 2 -1.4 项目建设原则 . - 3 -2 实验室项目建设方案 . - 4 -2.1 项目方案介绍 . - 4 -2.2 项目配置清单 . 错误 ! 未定义书签。3 实验室项目产品介绍 . 错误 ! 未定义书签。 3.1 大数据与虚拟化教学实验平台 . - 6 -3.2 智云硬件库实时大数据源 . - 17 -4 大学计划与培训服务 . - 20 -4.1 中智讯大学计划 . -

2、 20 -4.2 中智讯师资人才培养 . - 22 -4.3 工程师认证及再就业培训 . - 23 - 1 实验室项目建设背景1.1 项目建设背景随着全球数据量的爆炸式增长和数据挖掘技术的发展,数据分析与数据挖掘技术正 在以空前的速度产生和积累, 对数据分析和数据挖掘的人才需求也快速增加。 进入 2014 年,大数据(Big Data 一词越来越多地被提及,人们用它来描述和定义信息爆炸时代 产生的海量数据,并命名与之相关的技术发展与创新。目前,大数据正在开启一次重大 的时代转型,其影响力包括传统的金融、医疗保健、市场业、零售业、制造业、司法、 工程和科学、保险业等等行业。数据挖掘致力于从大型数

3、据库中发现隐藏知识、未知模式和新规则,以指寻人们做 出正确决策。数据挖掘在数据处理中有独到的优势,但随着“大数据”旪代的到来,传 统的数据挖掘经验受到了严重的挑战,如何从纷繁复杂的海量数据中提取有用的信息, 变数据为财富,挖掘数据中的金矿,提升企业竞争力以及提高企业风险管理水平,是当 前企业和教育工作的重要课题。1.2 项目建设内容数据分析与挖掘实验室旨在培养具备海量数据采集、管理、分析与挖掘等方面专业 素养的应用型、复合型、创新型人才,要求学生具有良好数学基础和较强编程能力,掌握信息科学与计算科学的基本理论 方法与技能,具备定量分析、科学预测和应用软件开发能力,以胜任银行、零售商、电 商、医

4、院、供应链管理公司和电信公司等多个行业的相关工作。同时,实验室又要满足 大数据技术及应用、各行业理论和复杂性等前沿领域研究的需要,将研究成果应用于我 国各企业的发展与改革的深化,为政府和企业提供相关决策咨询和技术支持。实验室主 要的功能如下:科研实验:结合大数据技术及应用、应用数学、统计、经济等领域的研究力量,在 中心框架下利用创新实验室的平台条件, 开展前沿的大数据技术及应用方面的统计分析 和实证研究,实现宏观经济、行业研究、金融研究、能源研究、通信研究等领域研究水 平提升。培训教学 : 结合国际流行的数据挖掘、 统计分析工具和专业精准的数据库, 培养学 生的数据挖掘、数据分析、数据检验、程

5、序设计等实践技能。1.3 项目建设原则数据分析与挖掘技术实验室建设遵循以下原则:1可靠性:系统稳定、 可靠的运行是系统具有实用性的前提。要求系统具有高稳定 性,当系统出现故障和突发事件时,具有保障正常运行的措施。2易用性:系统应尽可能的减少系统维护人员的工作量。经过短期培训后,一般工 作人员可掌握系统使用方法,这是为系统在使用过程中的实际需要考虑的。系统交付使 用以后,应该便于各种日常维护工作,能够方便地进行软件的重新配置、系统的智能预 警监测、硬件备品备件的更换和软件系统的升级。3 扩展性:扩展能力是云计算应用基础服务平台最重要的原则之一, 作为云计算行 业应用的基础服务平台,平台应具备充分

6、、灵活的适应能力、可扩展能力和自动升级能 力,提供可视化的二次开发、配置工具,并充分考虑接口的标准化、协议的标准化。 4可管理性:系统应具备完整的统计、分析、授权和预警等功能,并提供打印、短 信、邮件、视频监控、 GPS 定位等通用服务。 2 实验室项目建设方案2.1 项目方案介绍针对目前高校大数据分析与挖掘教学与科研现状,经过大量高校教学需求调研,中 智讯推出专业实用的大数据与虚拟化教学平台, 帮助学生熟悉和掌握大数据及云计算领 域的前沿技术, 掌握云计算与大数据的开发方法, 学习数据分析、 数据挖掘、 数据建模、 数据仓库等知识。结合中智讯在物联网和移动互联网技术的多年积累,提供支持云计算

7、 的大量真实物理大数据源,以及提供大量的大数据分析与挖掘的项目案例,能够让学生 由浅入深的学习虚拟化、大数据分析与挖掘技术的专业课程;实验室方案框架说明:1 大数据与虚拟化教学实验平台:该部分作为大数据和虚拟化基础知识的主要学 习平台, 是高校主要建设的部分。 实验主机将 4台高配的专业服务器集中在一台机柜内, 通过千兆交换机互联,学生可通过该平台做大数据和虚拟化的“建” 、 “管” 、 “用”等一 系列实验。系统专业服务器包含:管理主机、计算主机、主存储主机、二级存储主机、 千兆交换机等硬件构成,主机分区设计,直观的展示云计算的硬件构成及部署。实验平 台采用一对一服务,每个学生独享一套硬件资

8、源,方便管理和教学。2 虚拟化技术教学资源:该部分主要用于学习云计算虚拟化技术及相关的 IAAS 自 动化管理、 部署、 监控软件, 支持大部分主流虚拟机的学习:KVM 、 Xen 、 Vmware 、 Oracle VM 等。 教学资源包含:Linux 操作系统配置与使用 (CentOS 、 KVM 虚拟化、 Xen 虚拟化、 Vmware 虚拟化、 Oracle VM虚拟化、 CloudStack 安装部署、 CloudStack 虚拟机资源管 理、 CloudStack 平台运维与优化等。3 大数据技术教学资源:该部分主要学习基于 Hadoop 架构的大数据教学,涵盖数 据分析、数据挖掘

9、、数据建模、数据仓库等知识。教学资源包含:Hadoop 集群的部署 /管理 /监控、分布式文件系统 HDFS 安装配置与使用、大数据并行计算框架 MapReduce 安 装配置与调优、基于 Eclipse 的 HDFS/MapReduce程序开发与调试、 HBase/Hive数据库 系统的数据仓库开发与使用、基于 Hive api的数据查询分析程序开发、大数据挖掘系 统 Mahout 程序开发等。4 大数据教学项目案例:该部分通过构建完整的行业综合应用实例来辅助教学, 提供的项目包含:个人存储私有云综合实验、气象数据分析云综合实验、微信人物关系 综合实训、云图书馆实例综合实训。结合智云硬件库实

10、时大数据源,独创支持智云物联 数据中间件系统的开发,涉及物理世界大数据的接入、分析、仓储、挖掘等功能,支持 海量最近 1小时、最近 1天、最近 1周、最近 1月、最近 1年及任意时间段数据的快速 挖掘及数据分析使用,同时配合智云应用 API ,与上层移动互联网应用开发结合,构建 从数据源端 - 大数据处理中心 - 行业应用完整的一套系统。5 智云硬件库实时大数据源:该部分提供真实的物理硬件支撑大数据的接入,包 含各种商用 /工业感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象 站、 M2M 路由、 Android 网关、 Zigbee 工业无线节点等各种设备,为学生提供行业真实 应

11、用的硬件数据源,可以构建各种应用场合:环境雾霾监测系统、仓库温度火灾监测系 统、公共场合人流密度监测系统、工厂无人自动化生产系统、气象站天气预测系统等。 6 中智讯大数据源样本库:中智讯一直致力于移动互联网物联网行业开发,并运 营独立的开放数据共享平台“智云物联” ,能够为大数据科研及教学提供各种长期的数 据样本,通过真实的物理数据支撑数据分析、数据挖掘的可靠性。实验室方案课程体系:大数据与虚拟化实验室所构建的实验: 2.2大数据分析与挖掘教学实验平台介绍ZCloudEduSysV1大数据与虚拟化教学实验平台提供完整的云计算虚拟化、 大数据信 息处理教学解决方案, 采用独立工业机柜设计, 在教

12、学上每个学生可独享一套硬件资源, 方便教学及云架构的体验。ZCloudEduSysV1教学系统包含云计算虚拟化系统、云计算服务管理系统、云计算大 数据教学系统、云计算项目案例系统四个部分组成,可完成对虚拟化、大数据、分布式 与并行计算等云计算核心技术和理论的理解, 提高学生的实践动手能力和运用云计算技 术研发创新能力,作为学校开展云计算技术相关课程的实验实训平台。 云计算虚拟化技术:ZCloudEduSysV1教学系统支持多种虚拟化技术部署,包含 Xen 、 KVM 、 VMware ESXi 、 VirtualBox ,提供 CentOS 操作系统下虚拟机搭建、管理及使用。 ZCloudEd

13、uSysV1教学 系统采用业界知名的云计算平台 CloudStack 统一管理网络资源,存储资源和计算资源 组成的基础设施,通过使用 CloudStack可以部署,管理,配置于虚拟化平台。通过 CloudStack 可以实现:1通过配置、整合一系列软、硬件设备为客户构建计算、存储资源池以及相应服务 平台,使用户可以按需、弹性获取计算及存储资源。2 通过云平台管理系统对整个云计算平台进行集中管理, 实现对云平台的软、 硬件 资源进行、行统一分配和管理。3 构建虚拟服务器, 部署各种业务系统。 通过云平台能对应用系统计算资源的动态 调配。 CloudStack 产品组件框图如下: 1 CloudS

14、tackUI 向管理员和用户提供基亍 Web 的操作界面。2 CloudStack 是 CloudStackUI 的后端支持系统,对外提供 API。3 CloudStackView 提供面向虚拟机、物理主机和外部设备的监控服务。4其中 CloudStack资源管理模块作为于管理平台的核心,提供基于资源池的资源 的管理和调度,完成 UI 的后端支持系统,可对外提供 API 供二次开发。5 CloudPortal 是一个与用的业务 /运营支撑系统的(B/OSS平台,能使服务提供 商能够迅速迚入市场,搭建在 CloudStack于管理平台之上。云计算大数据技术:ZCloudEduSysV1教学系统提

15、供基于 Apache Hadoop 架构的大数据系统教学,包含大 数据分析处理、大数据仓库数据库和大数据挖掘算法三个子系统。 1 大数据分析处理子系统具备如下功能:大数据分片和分布式存储;大数据元数据管理,元数据包括文件属性、文件名与分片的对应关系、分片的 存储节点等信息;负载均衡和失效节点数据自动复制;MapReduce 并行处理框架;MapReduce 任务调度、容错。2大数据仓库数据库系统具有如下功能:SQL 语言查询接口;表生成、外部表集成;可进行选择、投影、连接、聚集等查询操作;高吞吐率事务处理;与传统数据库进行数据导入和导出。3大数据分析与挖掘系统具有如下功能:对大数据的分类、 聚

16、类、 预测等数据挖掘功能。 支持并行频繁项挖掘算法, K-Means, Fuzzy K-Means、 Dirichlet process等聚类算法,朴素贝叶斯、决策树等分类算法。 2.3 实验课程指导手册 2.4 大数据分析与挖掘实训项目2.4.1 LBS 朋友圈位置分享实训LBS 全称为 Location Based Services ,有两层含义:首先是确定设备或用户所在的 地理位置,也即所处的空间;其次是提供与所处空间相关的各类服务。也就是说 LBS 就 是要借助互联网或无线网络,在固定用户或移动用户之间,完成“定位”和“服务”两 大功能。LBS 成为移动互联网到来时一种新的基础服务,这

17、是移动互联网再不用遵循传统互 联网玩法的全新领域,对智能手机用户而言,它又使人能在现实中拥有超过 PC 时代的 全新能力。LBS 朋友圈位置分享系统采用智云互联开发平台技术,开发了类似与微信的“查找 附近的人”应用功能,通过分享位置信息,查询附近的人,同时可以进行消息互动。详 细功能如下:1采用 Hadoop 分布式数据库对上报位置进行海量存储;2采用 GeoHash 算法进行位置维度定位;3第一次使用时,会提示您需要同意使用地理位置信息和补充个人信息;4进入到查看附近的人页面,可以查看到附近人的相关信息,包括性别、所在地区 和个性签名;5点击感兴趣的人,还可以给他打招呼并成为朋友;6附近好友

18、之间可以进行消息聊天;7 如果您不想再被附近人查看到, 可以点按列表右上角图标清除您的地理位置信息;8支持 Android2.2/2.3、 Android4.0以及更高版本的 android 平台。 2.4.2 微信人物关系云分析实训双十一购物节能成为时下 IT 圈的弄潮儿,离不开阿里利用大数据个性化推荐的法 宝,而亚马逊可以领跑美国电子商务,也得益于它们的个性化推荐系统,推荐系统会成 为以移动互联网为载体的下一代互联网的支撑内容。特别是近几年应用的领域很多,像 电子商务里面有淘宝,当当等等,音乐上就有豆瓣电台之类的,另外像社交网络有新浪 微博,还有像本地服务中的大众点评,腾讯微信 /QQ的好

19、友推荐,新闻人物关系分析等 等。微信人物关系云分析系统是移动互联网与大数据结合的一个典型应用案例,使用 Hadoop 的 HDFS 和 Map/Reduce来模拟微信账号的个人数据和通信数据分析, 分析出两个 账号之间可能存在的关系。相似的业务有:QQ 好友推荐和人人网人物关系分析等。 在 Hadoop 的集群平台上存储了一些模拟微信个人账号和通信数据信息,其中包含 了:姓名,年龄,性别,职业,地址,好友信息,通信地点,通信时间,通信内容等多 维度的信息;每个学生都可以把这个文件下载到本地,然后以个人信息为基准来修改这 些文件, 再回传这些文件到云分析目录下, 作为分析人物关系的数据依据; 回

20、传成功后, 学生可以设定判定两个人物之间关系的一些关键词, 这些关键词可以作为判断两个人物 之间关系的依据,例如,朋友关系 :“哥们” , “一起吃饭”等,还有一些其他维度信息 的设定,比如两个人的年龄相仿等等,通过一系列条件的设定来告诉系统要依据这些信 息来分析两个人物之间可能存在的某种关系。 2.4.3 个人私有存储云实训知识点:云存储概念的介绍; Hadoop 与云存储的关系; hadoop 的 HDFS 简单上传和 下载的 API 使用实验目的:使用 Hadoop 的分布式文件系统 (HDFS 来模拟现实生活当中的云存储服 务。实验流程:学生可以通过 web 页面来访问云存储系统,学生

21、注册自己的用户,登录 到云存储系统;学生注册成功后,就已经在 hadoop 集群上拥有了系统分配的存储空间, 然后用户登录成功, 可以往自己的存储空间里上传图片和文件, 还可以下载图片和文件, 同时可以删除图片和文件,查看自己空间的信息,浏览自己的文件等等。相似业务推荐:网易有道云笔记 2.4.4 气象数据分析实训知识点:云计算概念的介绍; Hadoop 与云计算的关系; Hadoop 的 Map/Reduce的编程流 程介绍实验目的:通过使用 Hadoop 的 Map/Reduce来模拟现实生活当中的云计算服务。实验业务:该实验模拟的是一个全国的气温统计系统,老师代表气象管理中心员,拥有 自

22、己的超级用户;班级里的每个学生代表着全国内的各个省市,直辖市或者自治区。学 生首先要在系统上注册该地区的名称和 ID , 注册成功后, 可以登录到系统, 登录成功后 可以上传本地区一段时间的气象数据 (数据格式:2012-11-13气温:湿度:等,系统会提供示例数据文件供下载 ,上传完成后则等待气象管理中心的统计。气象 管理中心员老师通过查看各个地区是否都已上传了本地的气象数据,如果都完成,则可 以执行统计命令来完成全国的气象数据统计,统计完成后,在页面上显示统计的结果。 实验流程:基于 web 页面技术来实现上面的模拟业务逻辑,气象中心管理员老师拥护自 己的管理用户,可以随时登陆系统,管理各

23、个地区用户;学生则需要通过页面来注册他 所代表的地区,然后登录到系统,上传本地区的气象数据文件,上传成功后等待气象中 心管理员的统计;气象中心管理员老师则等待所有学生上传完成,然后可以点击页面的 按钮来统计所有的数据,数据统计完成后,可以在页面查看全国平均温度和湿度的平均 结果,包括单位时间内,温度和湿度的曲线示意图等。相似业务推荐:中央气象台云分析系统 2.4.5 图书馆图书管理实训知识点:Hadoop 的 HDFS 和 Map/Reduce的结合使用;深入了解 HDFS 和 Map/Reduce的一些高级 API 的使用;着重探讨 Hadoop 的云计算与现实中的业务逻辑的整合。 实验目的

24、:通过 hadoop 的 HDFS 和 Map/Reduce来实现一个图书馆图书管理系统, 通 过实验项目学生可以实现对图书馆的管理。实验业务:学生可以下载一些书籍的文章,然后整理成一本书籍格式的文件,其包 含:书名,作者,著作日期,内容等,并上传至 hadoop 集群服务器,上传成功后,然 后学生进行添加,删除操作,并可以对书籍的名称,作者,著作日期,书籍内容等相关 元数据进行文字搜索,例如:我可以查找一个作者“韩寒” ,内容包括有“赛车”的课 本,然后系统会显示其查询结果内容。实验流程:学生还是使用原来登录系统进行登录或者注册,登录成功后,学生可以 从网络或者本地计算机找一些书籍的文件,然

25、后通过页面上传至图书管理系统,然后通 过页面的功能按钮对书籍进行管理和建立索引,索引建立成功后,系统提示学生可以进 行信息的检索了,然后学生可以利用系统来查找自己想要找的书籍。相似业务推荐:XX文库文档管理 2.4.6 智能 EMS 速递云实训知识点:物联网与云计算的结合, 深入熟悉 Hadoop 的高级应用和 API 的掌握; Hadoop的云存储和云计算与物联网技术的整合;探讨 Hadoop 云的存在的意义,优势和局限性。 实验目的:通过 hadoop 的云存储和云计算来实现一个快递员迅速取送快递的过程。 实现业务:系统会通过各种方式收集发送快递的信息,包括电话,手机和互联网平 台等(这些

26、数据通过系统模拟来实现 ,信息收集回来后,存储在 hadoop 的云存储服务 器平台上,然后通过 hadoop 的云计算系统开始分析,分析完成后,会把离快递员最近 的快件分配给一个快递员,这样达到一个资源最优化的处理。实验流程:老师可以把自己模拟成快递信息数据采集终端(如上电话等 ,随时往 hadoop 云平台上上传数据信息; 学生可以把自己模拟成快递人员, 然后通过页面登录到 云智能速递网,来领取自己的快件;云智能速递网会随时分析数字终端上传来的快递信 息,然后通过快递的信息(如:经纬度来分析该快件应该分配给哪个快递人员?(指 所有快递人员中目前所在位置(经纬度离该快件接送距离最近的一个 ,

27、分配成功后, 该快件就处于正在发送状态,然后快递人员可以通过页面来领取自己的快件,领取以后 开始发送货物,发送成功后,可以提交货物发送的状态:成功或失败。相似业务推荐:IBM 智慧地球 2.4.7 物联网数据分析实训云计算和大数据的研究需要大量的真实数据样本,基于物联网的海量实时传感数据 可以作为大数据源研究的支撑。 中智讯针对物联网技术开发了一套物联网信息化公共服 务系统,提供开放程序接口能够快速构建物联网传感网络系统,智能网关能够实时处理 海量高频数据进行与远端数据中心的接入和存储。 智云硬件库包含了所有的物联网底层硬件资源,实现真实物理系统的采集与控制, 通过分析海量的物理大数据, 根据应用需求进行决策管理, 对执行设备进行自动化控制。 硬件库可选择工业传感器、 商用传感器或者教学传感器, 类别包含各种感知器、 执行器、 采集器、摄像头、门禁、显示屏、电机设备、气象站、 M2M 路由、 Android 网关、 Zigbee 工业无线节点等各种设备,为学生提供行业真实应用的硬件资源,用于支撑云计算大数 据教学系统的数据分析、仓储、挖掘及决策,使学生在掌握基础的