安徽大学校园运行状态监控预警指挥平台项目一期.docx

1、安徽大学校园运行状态监控预警指挥平台项目一期安徽大学2020年校园运行状态监控预警指挥平台项目（一期）采购需求（以磋商文件载明的采购需求为准）一、项目概况在信息化校园的建设阶段，安徽大学已基本完成数据层的基础建设和部分用户层的服务，如何让数据层的数据更好的为用户层应用进行服务一直是我校智慧校园建设中致力的方向。本次建设通过平台层的数据服务平台、大数据管理平台来更好的整合学校数据，对安徽大学各部门的数据进行集中的存储、治理，形成我校自己的数据标准，更好的为应用层与用户层进行服务。同时，根据更精准的服务于学生管理工作的理念，为促进学校针对提升学生的教学服务以及学生管理提供数据支撑。建设应用层的校园

2、智能应用，从态势感知、异常预警、安全警告三个层次进行建设，以学校数据层和平台层做支撑，提升校园异常状态预警和安全应急事件响应的能力。校园运行状态监控预警指挥平台运用大数据和人工智能等新兴技术，实时感测、分析、整合学生工作相关核心系统的各项关键信息，围绕学校教书育人目标，对学生个体的思想引领、风险控制、素质拓展、能力提升、心理疏导、成长推荐等各种需求做出智慧响应，并实现学校和老师的管理与服务的科学决策。二、服务需求序号功能项功能要求1大数据管理平台一、 日志处理平台1.日志采集模块实现一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。实现从大量不同的源有效地收集、聚合大量日志数据进

3、行集中式数据存储。实现对于log、syslog等最为广泛的协议及采集方式的支持，从而实现对于多源、异构日志源的有效采集。2.日志存储管理模块数据采集完成后能够对海量日志数据的集中存储和管理，根据日志数据的特性，采用Hive、HDFS等分布式存储技术。日志数据采集后可直接在数据浏览模块进行浏览、管理以及查看采集开始时间、结束时间、采集状态、任务类型并可根据条件筛选查看采集日志详情。3.日志解析模块支持在采集过程中简单配置解析规则，解析规则管理列表应包含所涉及的解析规则的名称、类型、创建时间、责任人、更新时间、使用状态等信息。解析规则类型应支持正则表达式和python两种类型。日志采集提供任务记录

4、模块，可根据不同的条件对日志采集任务进行筛选与查询并且可以清晰的看到数据的解析状态、解析后的字段结果。4.日志采集监控支持日志采集监控功能。如：可对半采集任务、解析服务、数据存储过程监控，可查看每一个节点到下一节点的输出数据量，接收数据量，处理数据量等。同时应提供预警功能，当节点出现错误时，可进行错误提示。二、 智能爬虫工具1.网页内容爬取网页爬取应支持自定义爬取内容设置功能可设置所爬取的名称、URL、使用代理情况、爬取深度、采集频率配置等。支持按条件检索配置列表，支持对采集状态的批量开启和关闭。采集网页爬取任务支持查看该任务配置的详细信息如：爬取深度、采集间隔、最大值采集量、采集线程数量等。

5、同时支持每次采集记录的采集数量，内容大小、采集文件查看等功能。2.API接口内容爬取支持采集所涉及的接口名称、请求方式、接口地址、处理时间、解析情况等。支持按条件检索配置列表，支持对采集状态的批量开启和关闭。采集文件查看可支持定位到文件所存储的位置。3.数据存储采用Hive、HDFS等分布式存储技术对大数据仓库中的数据分类存储。三、 数据集成平台1.数据采集结构化数据采集应支持常见的数据库采集如：MySQL、SQLServer、Oracle、postgresql、DBSQLite、MariaDB、Sybase、Hive、Hbase等。支持文件上传功能，文件格式支持CSV文件、音视频文件等。数据

6、导入支持任务标签分词功能 ，上传文件时可选择对文件名称分词形成文件标签。2.数据采集监控结构化数据采集应支持针对不同的业务系统的数据抽取情况进行整体监控，主要监控所采集的表数量和每天数据采集情况以及集所使用的进程、内存等信息。3.集成清洗工作台总体展示当前已运行的处理任务、未运行的处理任务。需要提供可拖拽的数据清洗功能，只需要拖拽相关的模块进行配置就可以完成整个数据预处理工作。数据预处理中针对错误数据、重复数据、表合并、表拆分、多表关联等脏数据，主要通过数据清洗模块、数据集成模块以及数据分类模块中的处理工具进行数据清洗工作。响应文件中提供功能页截图并盖供应商章。数据预处理模块同时还支持数据加密

7、和脱敏功能。数据加密主要支持BASE64和MD5两种加密方式。数据脱敏主要针对电话号码身份证等信息进行*号脱敏。响应文件中提供功能页截图并盖供应商章。数据预处理应满足不同层次的人员使用。如：一般人员可以通过固化的清洗模块完成数据处理，专业人员可通过UDF中的SQL和Python模块通过代码的方式完成数据处理。响应文件中提供功能页截图并盖供应商章。任务日志可查看预处理过程中详细的任务运行情况。运行报告支持查看每个节点的开始时间、结束时间、处理时长、处理状态、处理数量等。方便用户对每个处理节点进行监控。4.数据集成调度支持对数据源的统一配置管理，包括数据源注册、数据源查看、数据源状态检查等。支持增

8、量采集、采集频率管理、采集日志管理、采集调参等功能。5.数据存储处理完成的数据应支持输出到大数据平台HDFS进行存储同时也应支持输出到外置的结构化数据库进行存储。四、 大数据软件1.运维管理大可以对底层架构组件进行运维管理。包括主机、Hbase、HDFS。可以对已完成的impala队列、HDFS IO、集群网络IO性能分析图标进行显示。大数据提供界面化的配置功能，可以对平台下的各组件的进行配置。大数据平台支持自动健康检查，帮助用户实现一键式系统运行健康检查，保障系统的正常运行，降低系统运维成本。大数据平台支持多租户管理，提供大数据统一租户管理平台，实现租户资源的配置和管理，资源使用统计等功能。

9、2.HDFS大数据平台的HDFS组件支持磁盘异构，即支持集群中配备多种不同容量的磁盘，方便后续扩容。大数据平台的HDFS组件，支持分级存储，用户可以将文件存放在指定类型的磁盘上，用于满足不同类型的文件存储性能要求大数据平台的HDFS组件支持标签功能，可以让不同的应用数据运行在不同的节点，实现业务隔离。3.实时计算针对实时性要求比较高的数据，提供实时采集、实时计算、实时查询功能。支持流式数据批量处理功能，将流式的实时数据分解到计算节点批量处理。4.全文检索提供对数据中心的全量数据、标准化数据以及模型数据的高效检索功能。5.可靠性大数据平台的组件进程故障后支持自动重启恢复，无需手动干预。提供原始数

10、据全量备份功能，在磁盘故障后，将丢失的数据找回。6.安全性支持三权分立及数据库审计，提供用户登录注销审计、数据库启停审计、用户锁定解锁审计、数据库对象增删改审计等。供Kerberos、LDAP、Sentry等安全防护组件。可以对用户的平台访问进行记录，包括操作时间、用户名、姓名、请求地址、请求类型、请求参数。7.数据服务提供统一的数据服务接口，支持JDBC和API两种连接方式。API查看可展示API基本信息情况、所授权的字段情况以及API所授权的用户等。同时应支持配置该API下的ip和访问次数的限制。数据服务提供API统计功能。应支持以API访问量、用户访问量、日期访问量进行统计展示。2数据服

11、务平台一、 数据标准建立1.数据治理保障机制数据调研，确认治理范围。制定学校数据标准。数据治理结果对数据进行梳理、集成。数据治理组织架构及制度建设。2.标准化建模根据学校实际情况建立数据项模型（信息分类编码及数据标准）。3.数据项管理数据项标准支持整体版本历史记录，并且支持单个数据项的历史版本查询。平台还应支持对学校数据项标准的批量导入、导出功能，并且可以对比不同版本中数据项新增、删除、更改的情况。支持对数据项标准的状态查询。数据项应支持添加代码标准、核验规则等详细信息。4.标准辅助支持对代码标准的搜索功能，可按照代码、标准类型、审核状态等条件进行搜索查询平台应支持代码管理功能，为学校提供统一

12、的代码维护界面。5.标准规范数据标准管理制度、数据质量管理制度和元数据管理制度。6.标准概述控制标准平台首页概述显示的内容信息。7.数据项标准支持数据项标准管理，通过结合学校调研后产生的数据项标准，数据项管理精细到数据项级别，并且对数据项所属编码标准、对应数据项执行的检核脚本进行管理。结合学校实际情况，原业务系统或新建系统需要进行更新升级或者新上线业务系统，要求记录不同时期的数据项版本进行集中展示。可查看不同历史版本的标准差异，如新增标准情况、修改标准情况，以便可以对数据标准进行更细致的版本管理。将各类数据项，按照业务逻辑进行归并，按照人、财、物、教学、科研等几大业务领域，建立数据模型，可按业

13、务领域及规模划分为多级子模型以及具体的实体，实体所包含的数据项，以及实体之间的相互关系。全量模型要全面覆盖学校各类数据，并且符合范式要求。根据各部门的管理职能，明确数据模型各类实体、数据项（属性）的管理边界，建立UC矩阵。支持数据项标准批量提交审核功能，新增完数据项后，需要提交并通过审核后，才能被使用。审核通过前，都可修改数据项标准。在修改完数据项标准后，可直接在页面查看修改的数据项、代码、检核类别数量。二、 平台首页1.统计页面统计页面能按统计图表展示系统整体数据质量情况和质量检核结果情况，能实时监测学校数据资产变动及使用情况，以方便领导及工作人员实时了解学校数据现状。要求能够集中展示各类核

14、心指标，含接入系统及资源情况、数据标准建设情况、提供数据交换情况。统计页面能够通过数据供需关系图，展示平台数据交换过程中各业务系统的供需情况。统计页面能够通过可视化图表展示原始库、标准库、主题库的数据变化趋势。统计页面需以可视化图表方式展示各接入系统的数据质量排行情况。需支持原始库、标准库、主题库的查询功能，需满足通过六组以上检索条件对数据进行查询。对于可进行增量采集的数据同时记录数据历史变化，可以查询在不同层次中该数据表单的历史情况，包括当前数据查询、失效数据查询、以及任意历史时间节点数据查询。针对单一内容数据行能查询其历史变化（包括何时新建、何时更新、何时失效等时间节点）。查询条件需为非s

15、ql语句，方便操作人员使用通熟易懂的语言组建多重逻辑以及查询内容。可以动态筛选需要显示的数据列。后台设置：包括表权限配置、数据结构和数据字典。主要是对用户授权使其有权限查询该表数据和查询信息标准项、代码集的数据。2.数据库核验基于不同的检核类别，可以针对不同的业务实体（即具体的数据项）定义不同的检核方法。检核方法作为检核作业具体作用的对象，多个检核方法可以组成检核方法组。对于某些比较复杂的数据项检核，例如表间关联检核，因为比较复杂，需要通过配置检核脚本实现检核。检核作业是数据质量检核的具体执行方式，检核作业可以挂起多个检核方法和检核方法组。可以在新增检核作业时制定检核计划。核验任务：将待核验的

16、业务系统以及规则定义成一个个任务，并配置调度策略，系统将按照核验策略自动核验业务系统，支持数据校验规则的导入、导出功能，支持手工配置校验规则功能。核验分析：展示各业务系统的核验结果，核验数据合格性分析等。核验明细：展示各业务系统所包含的详细核验分析结果信息，包括表完整性、字段完整性和一致性。核验报告：对每次核验的记录进行展示，并生成核验的核验报告。报告订阅：对已经核验的业务系统的核验报告进行订阅管理，将核验报告推送给相关部门或管理人员。3.信息资源目录信息资源目录主要应用角色有三种，分别为平台管理员、数据需求方、数据提供方。平台管理员多数为学校信息中心管理人员，负责整个平台的运维与管控。数据需

17、求方与数据提供方皆为不同业务部门的数据责任人，负责对自己负责的数据进行交换权限的管理，交换数据资源的生命周期管理。通过该权限与功能的划分机制，整体平台能很好地为技术部门带来了减轻了工作负担。并且通过模块化技术细节，降低技术门槛，使业务人员也可以进行进行数据交换管理操作，实现数据“谁产生、谁维护、谁负责”。响应文件中提供功能页截图并盖供应商章。发布是管理者根据各分类的编目规则为入库资源进行分类，发布最新入库的元数据并通过目录服务系统根据目录服务的要求，从信息资源元数据库中导出注册成功的数据资源目录信息，生成资源目录条目，并导入到数据资源目录库中，供用户访问。资源定位链接是对资源目录条目中包含的获

18、取资源的信息进行链接或访问。如果信息资源是在网上（外网或内网）发布的信息，目录服务系统提供访问资源的URL链接。如果资源所属的部门还没有提供在线访问或交换服务的方式，用户可以通过目录条目中的资源负责单位信息和资源的使用限制信息，离线方式获取资源。三、 数据管理支持对定义的数据源进行采集，创建采集任务，采取半自动化数据获取，或者通过获取规则配置，灵活的指定本次获取的内容，全量及增量等。平台应支持表详情查看功能，可以从多维度展示表详细情况，支持对表字段信息、血缘关系、数据预览查看,支持表数据库类型、数据源、数据存储空间、数据存储层级、数据记录数等。同时需支持对原始库级标准库中的元数据历史结构变化情

19、况进行记录。业务数据关系分析，通过影响分析，血缘分析等方面对业务数据进行全面分析，定位数据关系及数据问题追溯管理。提供对数据标准系统、数据质量系统的数据字典信息查询接口功能，支持数据标准系统中信息项与业务系统数据字典的映射管理。标准模型的新增、修改、删除、以来、组合等维护功能。1.质量监控台展示系统及表总体集成及综合数据质量情况。2.质量分析展现综合质量详情：展示系统表和字段集成及质量情况、数据清洗情况及系统总体集成及质量改善情况。各系统集成质量情况：单个业务系统总体质量情况，具体到系统的每一张表和字段的质量详情分析。质量综合查看：可查看所有系统表整体质量情况。3.数据质量报告平台应提供数据质

20、量报告分析功能，可基于全校视角、业务系统视角展示数据质量报告、数据质量关键指标、基于时间变化的质量趋势曲线展示。质量分析页面可以查看对应的数据质量检核结果，可以查看检核方法对应的数据项的检核情况，包括检核总数、问题总数、问题率。4.血缘分析提供元数据管理功能，要求能支持对数据进行数据溯源分析，包括血缘分析、影响分析以及全链分析,同时可对表进行数据链路追踪功能，可查看每个表上下游关系。支持数据地图功能，支持查询各类数据，如基础数据表、业务共享数据表、决策数据表等，要求能支持对数据进行数据溯源分析，包括血缘分析、影响分析以及全链分析,同时可对表进行数据链路追踪功能，可查看每个表上下游关系。UC矩阵

21、分析：表级：各业务系统数据表UC情况分析字段级：某一表中各字段UC情况分析四、 数据交换平台信息资源构成：在数据梳理的过程中，学校会得到相关的学校源业务系统提供的相关表单，要求通过数据治理服务将整合范围内的表单拆分成由数据项组成的标准数据项，并且通过导入经过校准的现有的代码表与编码表，与对应的数据项做关联，并且每一个数据项跟其相关的检测规则做关联。最后通过标准数据项重新组合为资源目录进行发布。提供信息资源订阅机制：数据使用者通过目录订阅信息资源，在运营者审批授权后，数据提供者根据订阅信息从业务系统中提取数据生成数据文件，由数据交换平台采集、处理、推送到使用者端，或者将数据文件放置在安全的FTP

22、服务器，供订阅人下载的服务模式。当数据提供方与数据需求方建立起订阅关系时，分别可以选择两种不同的订阅模式。增量数据订阅：增量数据订阅分两个阶段：初始化与更新订阅。初始化阶段为数据全量采集阶段，并在数据共享交换平台中保留增量标识（时间戳/版本号/状态位）。更新订阅阶段时将检测上一次增量标识与本次增量标识的差距，并对差距范围内的数据进行更新。全量数据订阅:每次数据更新进行全量数据覆盖，数据更新条件可以自定义。响应文件中提供功能页截图并盖供应商章。平台需提供一体化自动化的数据服务，在数据共享交换的过程中不需要技术人员在第三方ETL工具（如Kettle、ODI、DataX）上进行任何手工部署与配置，只

23、需要平台管理员或者数据提供方在平台页面上完成审批操作即可完成数据共享任务。平台支持实时接口模式，针对一些服务接口并不健全的系统进行服务接口的补充，能实现数据提供方只需要提供数据库（mysql、Oracle等），即可发布该数据的标准化接口相关RESTful风格的接口服务，其中接口的封装与解析全交由数据共享交换平台完成，大大减轻了数据接口的开发量。并且实时接口被调用时，平台系统将对调用请求格式进行标准结构到源系统结构的转换，并对源系统进行实时查询，查询结果数据将转换为标准化格式进行提供。保障整个接口调用的过程中，严格遵守学校标准格式对外进行开放，并且两次的数据格式转换在内存中完成。3学生管理服务一

24、、 课程成绩1.群体课程成绩提供课程成绩查询功能，可根据学年、学院、专业、年级、班级、学期等条件进行筛选。提供课程平均成绩分析，可根据院系、专业和班级的学生平均成绩及平均绩点成绩做横向比较。支持图表和数据的切换，支持导出、导出明细到本地。提供平均绩点排名分析，以学年为周期，可根据院系、专业和班级的学生的平均绩点高低进行院系排名。支持图表和数据的切换，支持导出、导出明细到本地。提供群体挂科预测，可以显示挂科1-4门课程的学生比例进行预测。投标时提供第三方权威测评机构（具有国家认监委检验检测机构资质认定（CMA）和中国合格评定国家认可委员会认可（CNAS）出具的软件测试报告，测试报告中“群体挂科预

25、测”功能测试通过。提供课程趋势分析，以学院和专业为筛选维度，展示各门课程近3个学年每学期的平均成绩。2.个人课程成绩提供个人课程成绩查询功能，可根据学院、专业、年级、班级、姓名、学号等条件进行筛选，显示学生详细信息列表。列表应包含序号、学号、一卡通、姓名、性别、院系、专业、班级、年级。提供个人历史学业情况分析，根据学期分析展示学生的专业平均成绩、个人成绩与本专业平均绩点、个人绩点。支持图表和数据的切换，支持导出、导出明细到本地。提供本学期成绩预测分析，可根据本学期的成绩、平均成绩对本学期成绩进行预测。支持图表和数据的切换，支持导出、导出明细到本地。提供个人成绩排名分析，展示课程名称及类别在班级

26、及专业排名。提供个人课表情况，可视化展示课程名称、教师、学分，上课周数及个人周课程。二、 资源利用1.群体图书资源提供群体图书借阅查询功能，可根据学年、学院、专业、年级、班级等条件进行筛选。最受欢迎图书TOP10：分析图书借阅次数列出热门图书TOP10。阅读量排行TOP20：分析根据学生外借图书数量，列出所借图书TOP20的同学。借阅图书分类：将所借图书进行分类并以环形图展示，支持图表切换及导出。不同时间借阅趋势：分析展示1-12月人均借阅本数、总借阅本数，支持图表切换及导出。未被借阅图书列表：展示图书馆没有被借阅过的图书列表。2.个人图书资源提供个人图书借阅查询功能，可根据学院、专业、年级、

27、班级、姓名、学号等条件进行筛选，显示学生详细信息列表。列表应包含序号、学号、一卡通、姓名、性别、院系、专业、班级、年级。提供个人图书借阅详情总览功能，根据学年分析展示学生的累计图书借阅量、在借图书量、月平均借阅量。本年度借阅图书分类TOP5：根据学年分析展示学生的借阅图书类型TOP5。支持图表切换及导出。本年度在借图书列表：根据学年分析展示学生的借阅记录，可按照图书类型和借阅状态进行筛选。本年度借阅趋势：根据学年分析展示学生的图书借阅趋势于全校平均值作对比分析，支持图表切换及导出、到导出详细。3.群体电子资源电子资源库访问量TOP10：根据学生访问电子资源库次数，展示电子资源库访问的排名TOP

28、10，支持导出到本地。电子资源库访问量对比分析：以月为单位对群体进行纵向对比分析各网站的访问量情况。以多条折线图方式展示中文数据库、西文数据库、资源、特色资源、OA资源的访问量。支持导出本地、导出详细、及图表切换。电子资源库访问类型占比：以饼状图方式展示图书、期刊、报纸、学位论文、会议文献、专利信息、标准信息、科技报告、多媒体资源、培训资源、统计类资源、党政数据库、特色资源、整合检索工具和其它访问量占比。支持图表切换及导出、到导出详细。电子资源库学科访问率横向对比：根据学院、专业和班级学生的电子资源学科访问率横向对比。以百分比堆叠柱状图方式展示自然学科、社会学科等的访问率。4.个人电子资源提供

29、个人资源利用详情功能，可根据学院、专业、年级、班级、姓名、学号等条件进行筛选，显示学生详细信息列表。列表应包含序号、学号、一卡通、姓名、性别、院系、专业、班级、年级。本年度电子资源库访问TOP10：根据学年展示学生的电子资源库访问量TOP10，支持导出到本地。本年度电子资源库访问类型占比：展示学生个人的电子资源库访问类型占比情况，支持图表切换及导出、导出详细。本年度电子资源库访问趋势：根据本学年展示学生的电子资源库月访问趋势，将个人值与本专业平均进行对比分析，支持图表切换及导出。三、 学习风气1.群体学习风气提供群体学习风气查询功能，可根据学年、学院、专业、年级、班级等条件进行筛选。提供课程考

30、勤对比功能，分析近一个月内，各学院、专业和班级的人均到课率进行横向对比分析，支持图表切换及导出、到导出详细。提供到课率趋势分析功能，分析本学期内每周的学生平均到课率趋势分析进行趋势展示，支持图表切换及导出、到导出详细。提供课程到课率排名功能，根据学生到课率由高到低分页展示课程列表，支持导出至本地。提供课程考勤情况对比分析功能，根据学生的课程考勤情况迟到、缺勤、请假、正常等进行横向对比分析分析各学院的课程考勤情况，支持图表切换及导出、导出到详细。提供违纪处分情况分析功能，针对违纪处分类型进行占比展示分析并与违纪处分人的姓名违纪处分状态进行联动展示。提供违纪处分对比分析功能，根据各学院、专业和班级

31、学生的各类违纪处分人次进行横向对比分析并展示，支持图表切换及导出、导出到详细。2.个人学习风气提供个人学习风气详情功能，可根据学院、专业、年级、班级、姓名、学号等条件进行筛选，显示学生详细信息列表。列表应包含序号、学号、一卡通、姓名、性别、院系、专业、班级、年级。提供到课率趋对比分析功能，根据当前学期的周学生个人/班级平均/专业平均/二级学院平均到课率趋势。时间维度可选择周或是月，支持图表切换及导出、导出到详细。提供上课状态占比分析功能，根据当前学期学生每一门课程的上课情况进行展示。支持图表切换及导出、导出到详细。提供个人违纪处分列表，根据学生个人入学以所受违纪处分的类型、事实、期限、违纪处分状态进行列表展示，支持导出到本地。4生活管理服务一、 网络管理1.群体网络管理提供网络管理查询功能，可根据学年、学院、专业、年级、班级等条件进行筛选。提供上网健康度分析功能，根据筛选条件展示所筛选条件群体的上网健康度情况，支持导出至本地。提供上网时间段分布功能，根据筛选条件按照时间间隔为两小时，展示所筛选群体的上网时间段情况，支持图表切换及导出。提供各学院人均上网时长对比分析功能，根据筛选条件横向对比分析各学院的上网时长的对比分析情况，支持图表切换及导出。提供上网时长趋势分析功能，根据筛选条件并按照月，可