大数据分析平台技术要求.docx
《大数据分析平台技术要求.docx》由会员分享，可在线阅读，更多相关《大数据分析平台技术要求.docx（12页珍藏版）》请在冰豆网上搜索。
大数据分析平台技术要求
大数据平台技术要求
1.技术构架需求
采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。
技术构架的基本要求：
采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定
的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬
件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。
实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。
采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。
2.功能指标需求
2.1基础平台
本项目的基础平台包括：
元数据管理平台、数据交换平台、应用支撑平台。
按照SOA勺体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。
2.1.1元数据管理平台
根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。
具体实施内容包括：
根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的历史变化。
支持对元数据的管理，包括：
定义、添加、删除、查询和修改等操作，支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管理实行权限控制。
通过元数据，实现对各类业务数据的统一管理和利用，包括：
基础数据管理：
建立各类业务数据与元数据的映射关系，实现统一的数据查询、处理、报表管理。
ETL通过元数据获取ETL规则的描述信息，包括字段映射、数据转换、数据转换、数据清洗、数据加载规则以及错误处理等。
数据仓库：
利用元数据实现对数据仓库结构的描述，包括仓库模式、视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）
的结构等。
元数据版本控制及追溯、操作日志管理。
2.1.2数据交换平台
结合元数据管理模块并完成二次开发，构建统一的数据交换平台。
实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。
具体要求包括：
支持多种数据格式的数据交换，如关系型数据库：
MS-SQLServerMYSQLOracle、DB2等；文件格式：
DBFExcel、Txt、Cvs等。
支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据清洗、数据加载规则以及错误处理等。
支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执行、人工执行、结果反馈、异常监控。
支持增量抽取的处理方式，增量加载的处理方式；支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合，分析报表到业务系统的血缘分析关系；具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义脚本和函数等具备可重用性；支持断点续传及异常数据审核、回滚等交换机制。
提供数据交换日志审计功能
2.1.3应用支撑平台
作为系统的支撑平台，需要支持如下功能：
用户及权限管理，包括：
用户及组织架构维护，权限管理与分配等功能。
统一工作门户，包括：
门户菜单、栏目管理与维护，门户展现、个性化制定、单点登录等功能。
统一消息，要求提供通讯录管理，消息收发、状态监控等服务接口，支持手机短信、即时消息、系统消息。
统一日志，提供统一的日志存储、管理、查询、监控、审计等功能，方便的集成到各应用平台和子系统模块中。
2.2主题集市管理子系统
主题集市的管理是业务数据采集、存储、查询、分析等一切应用的基础，如何提供方便完善的主题集市管理功能，是数据仓库建设成功与否的重要基石。
具体要求如下：
支持主题集市方便的复制、备份、调整，并支持对集市描述信息的版本管控。
提供业务指标的增删改操作，以及对应的存储设计与字段的映射关系管理，并提供完整的指标生命周期管控，指标统计口径调整过程和追溯功能。
支持派生指标的设置与维护，满足前后计算的两种统计模式。
支持指标审核关系的自由设置，同时提供常规的审核公式函数库。
提供图形化的报表表样配置工具，要求做到设计报表表样的所见即所得。
提供维度（统计分类标准）管理，支持维度层级管理，唯独项基本信息描述，包括：
唯一标识、名称、显示名称、排序属性等。
1.1信息报送子系统
为我校部门间信息报送提供统一规范的填报任务管理功能，实现指标管理、分组目录管理、报表表样管理以及调查样本抽取及管理工作，并提供调查任务发布、信息报送、数据审核、归档以及任务监控等功能。
信息报送子系统基于信息报送平台，结合实际的数据填报采集业务，实现任务发布、信息报送、数据审核、信息归档、任务监控、报送情况统计。
2.3数据资源管理子系统
建立数据资源管理子系统，为历年各业务系统的数据以及其它部门的数据提供一个统一的数据查询、处理、审核、统计等数据处理工作的平台，具体包括：
2.3.1数据库建设与管理
在元数据的统一管理下，对历年各业务系统进行梳理和加载，形成统一业务存储的数据格式；
支持从各业务系统和软件中获取数据，支持从关系型数据库、EXCE、LDBF、TXT等数据格式中获取数据；支持从其它政府部门的交换文件中获取数据，如教育部、工信部、党校等，并提供相同指标不同数据的解决方案。
2.3.2数据浏览与处理
对各类数据按统一方式进行浏览与处理维护工作，包括：
对不同来源的原始数据进行分类分层次展示，比如按数据类型、时间（年、月）、专业等属性及其不同的组合方式进行展示；通过可视化工具，按照报表制度样式设计原始报表，实现对单个企业数据的查询、审核和修改；
实现对基础数据的快速定位和展示功能；实现对基础数据的条件筛选和导出功能；对各类数据提供统一的审核、修改、删除、计算，以及数据导出、导入、备份、恢复等基本数据处理功能；支持对各种操作进行日志和审计功能。
2.3.3查询统计
提供可视化工具进行数据的各类查询统计，实现:
条件查询、模糊查询、组合查询、关键字搜索；对结果进行各类排序、TOPN；基本统计（总量、均值、最大最小等）；
支持各种类型发布，包括生成EXCELHTML等功能；提供各种图形、报表展示。
2.5统计数据分析与应用子系统
针对已有的基层微观数据和综合数据，系统需要提供以目标为需求导向的主题创建维护模块与统计分析工具，并利用工具，依据业务处室的要求以及领导所关心的KPI指标，在零开发的方式下制定相应的专题分析模块，包括：
2.5.2多维数据在线分析
在元数据的统一管理下，用户根据不同的关注领域创建各种主题和立方体（CUBE）,灵活进行报表、指标的各种维度的分类组合展示，提供可视化工具进行维度、指标的配置；
根据用户需求，定制各类固定报表、图表，提供查看、打印、导出功能；支持多维动态分析，提供钻取和切片功能，支持钻取到每个对象的细部数据，支持渐变维的管理与分析；业务分析，为业务人员提供如过滤、排序、分布、行列互换以及一些基本统计分析功能。
2.5.3即席查询
提供各种向导式界面、图形查询生成器、提示窗口等，通过简单的鼠标操作实现即席查询、报告生成、图表生成、深入分析和发布等功能，业务人员经过简单培训即可设计报表和进行查询分析；提供可视化工具进行数据的各类统计分析，包括条件查询、模糊查询、组合查询、关键字搜索，并对结果进行各类排序、TOFN、基本统计（总量、均值、最大最小等）、支持各种类型发布，包括生成EXCE、LPDF、HTML等功能。
2.5.4智能报表
要求为用户提供可视化、简单易用的智能报表工具，通过鼠标拖拽的方式，实现复杂多变的报表需要；维度、指标可以任意组合；可以任意钻取和切片；报表格式能迅速以所见即所得方式进行显示。
在Web上能够直接将维度、度量等直接拖放到显示的数据表格中，并且实现灵活的钻取功能（上钻/下钻/钻透）；支持简单报表的自由组拼，形成复杂报表的功能；支持对报表的数据进行修改而不修改原始数据；支持对数据的过滤和查询功能，可快速定位到最细条目；支持基于权限的智能报表的发布和共享功能，报表支持预定义参数，如时间、地区等，便于一次设置，多次使用；支持图文同时显示的方式；支持报告辅助生成功能，按照指定的格式自动生成报告；
2.5.5图表分析与监测预警
依据专业人员对数据指标展现与分析的要求，提供强大的图形展现能力，除支持常规图形，如：
柱状图、曲线图、散点图、分区面积图、堆积图、饼图、卡特图外，还支持三维图、企业驾驶舱、交通灯、雷达图、瀑布
图、工程进度图、动态地图（MAP,等特色图形展现。
实现趋势分析、
对比分析等图表分析功能。
利用图表中不同颜色的对比显示,实现对统计指标的监测预警。
2.5.6决策分析
依据俄业务的数据特征,提供如决策树模型、柯布—道格拉斯生产函数、线性回归模型等常用的决策分析模型,实现对统计数据的数据挖掘与决策分析。
支持对第三方决策分析工具的提供数据导入与结果展现的接口,如SPSS等工具软件。
2.5.7驾驶舱
对领导关心的各类关键指标,以各种图表、文字、仪表盘的形式直观展示,类似飞机的驾驶舱。
根据领导分工和权限不同,可以进行个性化定制；
通过各种直观的图形,例如仪表盘、温度计、气压计、动画等展示各类相关的指标,对关键指标进行实时分析和监控；当某些指标发生异常时,系统可以及时通知相关人员。
同时,可对同一事件相关因素进行模拟仿真分析。
2.5.8移动应用
系统提供的业务数据应用于分析功能,需要支持手机,Pad等移动终端,支
持Android、IOS等主流移动终端的操作系统。
3．性能要求
20个并发用户登录系统时间小于5秒；
20个并发用户登陆首页响应时间在2秒以内,在100个并发时,平均响
应时间小于5秒；
20个并发用户基础数据即席查询的响应时间应在5秒以内；
20个并发用户100万条数据单表OLAP分析4级维度下在5秒以内；
单点登录最大并发会话数为50,最大在线会话数应能支撑500个。
4.现场演示要求
现场演示要作为技术评分的重要依据，无法按照下面要求提供完整现场演示的技术得分不得超过技术总评分的50%。
演示内容包括：
表样制定、数据报送与出版物制作功能演示
现场根据招标方提供的填报报表表样，完成表样设计，填报任务发布，数据填报，上报等操作，需要现场演示指标同比预警值的设置和异常显示，不同报表上相同含义指标的数据一致性控制，数据填报需要支持直接填报、Excel导入；根据
招标方提供的统计报表模板自动生成统计报表并形成可在线浏览的统计信息小册子。
数据处理、分析、展示（报表、图表一键生成）
现场根据招标方现场提供的数据，完成数据加载，并根据招标方要求，现场制作处理过程的脚本，实现一键执行操作，处理过程将包括多表关联查询、计算生成新的指标、制作统计报表、制作可联动的统计图表等处理步骤。
注：
招标方提供的内容包括：
演示中所涉及到的指标、分类标准、加载数据的数据字典以及统计信息小册子的Excel模板，请联系招标方索取。
下边是我们一个项目的招标评分标准，供参看
序号
评分因素及权
重
分值
评分标准
说明
-一-
价格30%
100
以本次有效最低投标报价为基准价，投标
报价得分=（基准价/投标报价）x30。
1.按财库[2011]181号文规定，对小型和微型企业产品的价格给予6%的扣除，用扣除后的价格参与评审（如投标人均为微小型企业，则不必再扣除）。
2.按川财采[2015]33号文规定，对因失信行为记入诚信档案的且在有效期内的供应商（因其失信行为已收到行政处罚或司
法惩处的除外），实行6%的报价加成、以加成后报价作为该供应商报价评审。
1•中小企业须提供《中小企业声明函》并与相关证明资料应证后方能认可。
2.以供应商提供的未有失信行为被记入诚信档案且在有效期的承诺书为准。
-二二
技术指标和配
置对招标文件的响应性20%
100
1
基本分
80
完全符合招标文件要求，没有副偏离得80分。
与招标文件要求有非头质性负偏离的扣分，每条扣5分，扣完为止。
2
咼于招标文件要求加分
20
技术指标高于招标要求并体现出产品的质里和性冃匕更优的可加分，母项加2分，
最多加20分。
三
现场演示35%
100
1
表样制定、数据报送与出版物制作
30
全部按要求成功演示得30分，没有全部完成演示，则下边每一项演示成功得5分：
1、现场根据招标方提供的报表表样，完成表样设计；
2、填报任务发布，数据填报，上报并上报成功；
3、需要现场演示指标冋比预警值的设置和异常显示；
4、不冋报表上相冋含义指标的数据一致
性控制；
5、数据填报需要支持直接填报、Excel导入；
6、根据招标方提供的出版物模板自动生成并在线浏览。
2
数据处理工具展示
70
全部按要求成功演示得70分，只完成数
据加载演示得20分，未完成数据加载的演示则不得分。
四
售后服务5%
100
1
基本分
40
完全满足招标文件售后服务要求的得40
分；有一项不满足扣5分，扣完为止。
2
服务功能和实施方案
20
根据投标人提供的服务措施和实施方案评分。
最优得20分，依次递减1分，扣完为止。
3
维修服务机构情况
10
根据投标人提供的维修服务机构情况评分。
最优得10分，依次递减1分，扣完为止。
4
其它服务优惠条款
10
比较其它服务优惠条款情况，最优得10
分，依次递减1分，扣完为止。
5
投标人售后服务
20
投标人培训措施及售后服务承诺及售后服务响应体系和保障措施的合理性、完备
性。
最优得20分，依次递减1分，扣完为止。
五
商务部分10%
100
1
投标人业绩
70
提供冋类项目完成或在建的合冋，每个为
10分，累计最咼得70分。
项目名称中必须包含：
数据仓库、经济数据库、数据资源管理等关键信息，附销售合同复印件。
2
投标人财务状
况
20
1、提供近两年度会计师事务所审计并附
审计报告的财务报表10分，仅提供一年的财务报表及审计报告的5分，不能提供经审计的财务报表或审计报告的此项得0
分。
2、根据提供的财务报表评分：
财务状况
良好的得20分；一般的得10分；差的不得分。
3、新成立的公司根据验资报告酌情给分。
以经有资格的会计师事务所审计的年度财务报告书为准
3
投标文件规范性、完整性
10
投标文件制作规范，没有细微偏差情形的得满分，有一项细微偏差扣5分，直到该项分值扣完为止。
升级会员 