高校大数据平台解决方案教学.pptx

1、,高校大数据平台解决方案,P1.现状分析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,国家高层领导已经将大数据提升到国家的战略高度，并且发布了相关政策文件 促进大数据发展行动纲要，而且其中非常明确的提到了教育大数据的建设与要求。教育行业本身的行动也非常快，其中中国基础教育大数据发展白皮书，用于指导各地教育大数据建设与发展。而且就在今年4月17日，中国基础教育大数据发展蓝皮书(2015)在北京师范大学发布，是国内首份面向基础教育领域的大数据蓝皮书。此蓝皮书深度透析国内基础教育大数据发展的现状、难点和趋势，蓝皮书涵盖了对教育大数据的基础认知、4大类13种常见的

2、教育大数据采集技术、7大类教育数据分析模型，并对教育大数据的应用案例、管理 机制、产业发展等内容做了详尽的调查，并梳理了十大结论，对教育决策者、教育管理者、师生和行业从业者这四类人群提出建议，展望了中国基础教育大数据五大发展趋 势，为教育大数据勾勒发展蓝图。同时据我了解，很多发达地区的省份都已经在制作本省的大数据建设方案与标准，部份高校正在进行大数据项目的规划。那么作为教育用户，我们该如何顺应潮流提高学校的信息化水平，建设过程又会遇到什么问题呢？,高校大数据建设国家政策背景,2015年总结：大数据产业政策频出 步入快速发展期目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3

3、月“大数据”首次出现在政府工作报告中以来，国务院常务会议一年内6次提及大数据运用。在6月17日 的国务院常务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了关于运用大数据加强对市场主体服务和监管的若干意见。9月5日电 经李克强总理签批，国务院日前印发促进大数据发展行动纲要，系统部署大数 据发展工作。其中，也提到了教育大数据系统的建设。2015年12月21日，中国基础教育大数据发展白皮书首次研讨会在京召开，对全国教育大数 据的建设给予探索和指导参考意义。,高校数据源的质量普遍不高，主要体现在数据涉及面窄、有效数据量少、数据接口不完善三大方面。数量涉及面窄：数据源主要是数

4、字化校园系统产生数据和互联网数据，数据来源单一，而且部分业务系统独立建设，无法进行数据交互。数据的不全面不完善会导致数据建模数据维度少，模型准确性低，影响上层应用的实现效果甚至无法实现。有效数据量少：一般大数据的数据量高达PB，然而高校大数据一般只有TB量级的数据量。而且教育用户的业务数据噪声较多，大部分为结构化数据，有效数据量少，这会增加大数据建设中数据清洗、数据建模的工作量。数据接口不完善主要是因为学校的部分系统在前期规划设计的时候没有使用接口，或者即使部分系统有接口但是前期规划并没有购买接口的使用权限。但是现在大数据环境下，数据的采集必须必须通过这些接口来实现。因此，大小不一的众多接口需

5、要学校再次付费，增加高校大数据建设的成本和沟通协调工作量。,高校大数据建设遇到的问题,主要是数字化校园系统产生数据数据的维度少，业务来源不足,数据量百GB到几TB，数据量少以结构化数据为主，达不到大数据要求,部份数据源有错误，数据不一致业务接口与数据结构不规范,数据涉及面窄,有效数据量少,数据接口不完善,数据源的问题分析,这是某个高校业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设高校大数据时需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转换，转换成我们所需 的数据格式，这些都带

6、来大量的工作量。,数据中心,教务系统,学工系统,一卡通系统,设备管理 系统,科研管理 系统,医疗管理 系统,研究生管理 系统,上网行为管 理系统,网络计费 系统,无线WiFi 系统,宿舍管理 系统,图书管理 系统,房产管理 系统,财务系统,人事系统,基本信息,基本信息、成绩等,贫困生、奖学金等,流水账,岗位、职称等,专业、研究方向等,高校常见业务系统,比如：正方教务系统主要包括学生基本信息（籍贯、生源地等）、学业信息（已完成学分、未完成学分）、课程信息（学生已修课程、学期课程表等）、成绩信息等,高校常见业务系统详细数据分析,校领导决策更加科学,教师教学更加便捷 教学水平提升,学生随时随地个性化

7、学习,家长及时掌握子女在校情况,教学管理与服务 管理更加简单高效 服务水平不断提升,校园环境更加绿色、环保、安全信息化覆盖范围和服务水平有效提升,社会更多优质教育资源和科研成果开放共享,高校大数据建设遇到的问题,高校大数据服务用户分析,高校大数据常见服务用户类型,现阶段有些高校的大数据是由某些学院自已在搞，没有从全校的层面来进行统一部署，数据处于割裂的状态，大数据价值不明显。高校大数据在很多学校属于一把手工程，需 要由学校高层领导牵头，协调和部门的数据，并进行统一的顶层设计和全校规划，由具体的单位比如网络中心来落地建设。,高校大数据建设的其它行业问题,关联分析,统一规划,运维服务,P1.现状分

8、析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,在数据源方面，三盟可以实现对学校业务系统、一卡通系统、上网行为系统、各硬件设备、校内校外各大网站论坛等的数据源获得，对于数据接口不标准或者不开发的场合也 能进行针对性的办法。数据采集方面可以使用三盟ETL采集工具箱和通用的采集技术为学校提供采集服务，并且根据学校业务情况和大数据需求进行针性对性数据清洗与建模 工作，并为学校制定完善的数据规范标准体系。同时还能整合各类分步式数数据库、sql数据库、oralce数据库等，建设学校统一的数据仓库，并提供统一的接口给各类大数据 应用服务。三盟科技还会为客户提供一套大数

9、据的管理平台，用于对各个环节的有效监控与管理，包括数据状态、数据质量和准确性等，便于学校日常的运维与管理。在大数据应用层面，通过不同维度的数据关联和深度挖掘，已经6大业务模块，后期还会不断的增加。,高校大数据方案规划架构图,教务系统,图书管理系统,上课考勤系统,校园论坛网站,校外招聘网站,校外论坛网站,数据源,大数据管理平台,网络设备,行为审计,云管理平台,虚拟桌面,智慧课室,数据采集,Socket采集,DB采集,Ftp采集,建模清洗,数据清洗,数据质量,任务调度,Spark Streaming,MLlib,Spark SQL,数据仓库,统 一 api/Jd bc 接 口,Hive,Hbase

10、,Hdfs,MongoDB,Mysql,主流数据库,结构化数据,半结构化数据,应用服务,我的大学,就业指导,行为预警,学生行为画像,学校舆情,数据安全分析,三盟科数据ETL工作箱,一卡通系统数据库支认持证计高费系统校大数安全设据备就业指导系统服务器,建设的整Webs体ervie 与应用的加载入真库正落地网络爬虫Spark core,，实现“一体化”交付,舆情分析,舆情分析,数据安全,数据安全,行为画像,行为画像,招生就业,招生就业,我的大学,我的大学,综合预警,综合预警,高校大数据业务模块（已完成）,学校概况,学校概况,比如在消费方面，校领导可以看到近一个月的消费金额和地点的情况，也可以看到昨

11、日全校消费综合、平均消费人次和平均消费额，可以看出学校整体消费水平的发展趋势；或者通过关联分析，知道哪些省份的学生成绩最好，哪些学院的学生自律性最强等,学校概况,全校成绩统计图,全校学历分布情况,各学院学历分布图,全校一卡通消费情况,学生生源分布地图,教师职称统计图,学校概况,全校上网信息,学校舆情情况,综合预警平台,各省成绩分布图,全校/各院学生综合分析,各院逃课率占比,比如我的成绩，学生可以知道自己的成绩情况、历史走势、在学校的分步与排名等内容；我的课程统计了学生课程名称、授课老师、课程介绍及关键知识点；我的读书记录了图书明细、图书内容简要介绍、借阅记录等资料。我们还可以根据学校的需求，将

12、学生的近况推送给家长，便于家长及时掌握孩子的情况。,我的大学-我的成绩,学生成绩详情分析,学生图书借阅分析,学生课程表,学生详细当前借阅信息,比如某学生可以知道每天分别在什么时间、在什么地方各自花了多少钱，以及消费报表与数据分析，可规范学生的消费。在学校层面，学校也可以通过消费信息的数据，来评判学生是否是真正的贫困生，在助学贷款或者学校助学金放发时起到客观的参考作用。,我的大学-我的消费,比如某个学生长期在晚上深夜有上网行为，或者在正常上课期间大量的上网，平台会有预警信息推送给该生；同时老师可以提前进行进行相关的疏导与教育。,我的大学-我的网络,辅导员也根据学生的特点标签，为每个学生情况进行指

13、引教育工作。,行为画像-逻辑示意图,基础知识,学习方式,学习需求,消费信息,上网信息,考勤信息,上课内容,上课成绩,选课内容,每个学生 的行为画像,大学综 合信息,我的推荐,学生关 联信息,数据仓库,生活信息,课程信息,其它 信息,行为画像,这些数据还可在毕业时形成客观真实的行为画像报告和评价。学生应聘面试的时候可打印本报告，向面试官展现自己大学四年的整体情况，也便于企业了解每位学生挑选适合 岗位的人才；另外也让学生更全面地知道自身优势，选择对自己有利的企业和岗位。同时，我们可以根据每个学生的报告，结合企业招聘要求，向企业、学生推送人才、招聘信息。,行为画像,成 绩,消 费,生 活,读 书,上

14、 网,纪 律,画像边缘优秀学生画像 个人学生画像,学 生 行 为 画 像,行为画像报告与评价,最近状态提示,比如学生在某一天突然在食堂出现了5000以上大额消费，或者低频率的小额消费。（事实上部分学校的一卡通系统默认设置每天限额，一般不会出现一天在饭堂刷卡5000元 的）前者意味着要么被盗刷，要么学生过份铺张浪沸。此时平台可以及时报警，通过微信、邮件等方式推送给该学生的辅导员。后者则证明该学生有可能生活困难，也可及时报警通知辅导员关心该生的生活情况，必要时可申请生活资助。,综合预警,学生上网沉迷预警，及时向学生进行辅导教育，避免学生误入歧途；图书借阅预警，避免因图书过期产生费用。,学生沉迷预警

15、,图书借阅预警,学生失联预警,贫困生预警,上网预警,一卡通消费预警,综合预警常见内容,根据学校的需求按照时间影响程度不同采取不同的推送措施。比如在校外知名论坛上，突然出现了对本学校大量的负面舆论，很有可能有人恶意造谣，对学校会带来很不好的影响。因此可第一时间报告给学校管理员，及时进行的舆论导向工作与解释工作，并追踪恶意造谣的人员。对校内的监控中，比如出现了如自杀、重度抑郁等高危和敏感词时，也可及时发展并通知管理员进行核实与安抚工作。,通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解学校舆论的关注热点词，以及 社会上对学校的舆论动态，并实时反馈给学校管理者和校领导，使学校做出及时的舆

16、论导向工作。,舆情分析,爬清虫洗引引擎擎,邮件告警,采集集群,互联网数据采集平台,实 时 检 索 引 擎,数据挖掘分析平台,分 布 式 存 储,预警模块日报、周报 监控仪表板通知管理,微信告警,预警平台,学校舆情,在学校层面，可以利用大数据分析了国内外等标杆院校相同专业的情况，包括招生就业、师资、实训、校企合作等，找出自身的优势和不足，形成一种合理专业的评价量化指 标体系。在学生层面，可以知道本专业的就业前景、就业方向，可以更好地规划大学的课程和专业技能的锻炼；平台可推送招聘信息（前面有提及）在辅导员层面，可以根据本专业就业情况、本专业学生画像和每个学生的个人画像，开展更符合专业情况、学生总体需求的专业指导课程，也可以根据每个学生的实际情况提 供个性化的就业辅导。,招生就业,招生就业常见内容,年纪分步,学历分步,薪资分步,地域流向,职业分析,工作轨迹,数据安全,校园网,教师研究生 本科生,网络日 志数据,上网身份 认证数据,学籍、人 事数据,大数据分析平台大数据存储与交换平台,三盟信 息收集,通过校园信息化平台的各软硬件的日志和其它信 息的收集分析，动态评估学校安全的整体情况。,网络设