产权交易大数据智能分析平台与应用系统开发招标文件2技术部分.docx

产权交易大数据智能分析平台与应用系统开发招标文件2技术部分.docx

《产权交易大数据智能分析平台与应用系统开发招标文件2技术部分.docx》由会员分享，可在线阅读，更多相关《产权交易大数据智能分析平台与应用系统开发招标文件2技术部分.docx（50页珍藏版）》请在冰豆网上搜索。

产权交易大数据智能分析平台与应用系统开发招标文件2技术部分

1项目概述

1.1项目背景

中国产股权交易大数据智能分析平台与应用系统开发是落实中共中央办公厅、国务院办公厅《国家信息化发展战略纲要》、《关于深化国有企业改革的指导意见》（中发〔2015〕22号）、国办《整合建立统一的公共资源交易平台工作方案》（国办发〔2015〕63号）、《全国性行业协会商会行业公共信息平台建设的指导意见（试行）》（发改经体〔2015〕2053号）及《国家发展改革委办公厅关于组织实施促进大数据发展重大工程的通知》（发改办高技〔2016〕42号）的信息化项目。

本项目以国资委和财政部《企业国有资产交易监督管理办法》（32号令）、国家发改委和国资委等十四部委《公共资源交易平台管理暂行办法》（39号令）对产权资本市场信息化建设的必要要求为出发点，建设全国一体化的国家产权市场大数据分析应用平台，更好地为国有企业改革发展服务。

充分依托产权交易市场，促进产权市场诚信档案建设，加强自律与监管、推进国有资产流转、优化资源配置，促进国有企业混合所有制改革，规范国有企业产权的阳光交易行为，抓住产权交易资本市场历史机遇，为促进市场发展提供信息化支撑和数据分析服务。

为国有资产的保值增值保驾护航。

1.2建设目标

中国产股权交易大数据智能分析平台与应用系统开发项目建设的具体目标包括：

（1）提高行业数据共享及利用水平

在行业综合服务平台建设和运营的基础上，建立大数据分析服务平台，利用大数据分析和云计算等新兴技术手段，分析市场走势、投资行为等，提高协会的监控和服务能力。

同时，充分结合行业协会发布的《中国产权市场统计体系规范化研究》内容，规范数据标准，形成数据分析体系，研究数据分析模型。

在统计分析的基础上，进行相关分析、统计预测、科学评价、决策模型等决策支持研究，为政府、会员、投资人和投资机构等服务对象提供及时、准确的研究成果，扩大协会的影响力。

（2）提高中国产股权交易大数据智能分析平台的综合服务能力

完善综合服务平台的功能，提供方便、快捷、高效、公正的服务，打造中国产权交易行业最权威的门户平台。

对接更多的交易机构的数据，通过汇集行业资源，形成行业最全面、最权威的数据中心，使综合服务平台成为行业信息交换总枢纽。

同时，研究综合服务平台的服务模式，使投资人、交易机构、协会等通过综合服务平台共同获利，实现多方共赢的局面。

（3）构建大数据分析基础设施体系，提高产权行业大数据智能数据分析

一方面，协会响应中办、国办《行业协会商会与行政机关脱钩总体方案》，全面强化协会信息化基础设施和信息系统建设，弥补设施和信息化系统短板，全面整理协会现有信息化物理环境和网络环境，探索新形势下的信息系统运营管理办法；另一方面，加强基础设施建设，研究行业协会的数据分析基础设施建设特点，构建大数据分析基础设施体系，为数据汇集、大数据形成、大数据分析和大数据应用提供基础服务。

1.3项目建设规模

中国产股权交易大数据智能分析平台与应用系统开发项目2018年建设主要包括以下三大部分：

（1）中国产股权交易大数据智能分析平台开发建设

中国产股权交易大数据智能分析平台建设（实现全国交易机构、交易所的数据采集、大数据的共享交换、数据的转换与清洗、大数据的比对、大数据的统计与分析、数据的接口管理等）

（2）应用系统定制化开发

Ø项目精准推介系统

Ø经纪人推广系统

Ø项目洽谈展会管理系统

Ø专家库系统

（3）智能化运维平台建设

智能化运维平台建设（实现对运行在中国产股权交易大数据智能分析平台下对网络、网络设备、服务器、数据库、中间件等内容的集中监控和管理以及业务核心数据的实时展示，完成对信息系统运行状态的全面监控和运行问题的及时处理，支撑应用系统的安全、稳定、高效、持续运行。

1.4项目总体要求

1.4.1整体性原则

系统的性能设计应从整体的角度出发，性能设计的方面包括网络环境、硬件设备、操作系统以及应用系统等，不能只针对某一层面和环节进行优化而忽略其他环节，进而产生性能瓶颈，从而造成系统整体上未达到性能设计目标。

1.4.2稳定性原则

性能的提升与系统的稳定性是不可分割的，必须要考虑平台在业务峰值和低谷时的处理能力以及对系统稳定性带来的影响，不能单纯追求性能而破坏系统的稳定性。

在模块间引入异步处理的缓冲区机制会带来“削峰填谷”的作用，对系统在峰值压力下的稳定性有很好的作用，而且异步处理方式可以使得不同模块之间可以分别进行扩展。

1.4.3弹性扩展原则

随着系统业务的扩展，其对业务的要求将会逐渐变化，系统设计应支持弹性扩展原则，使系统的功能设计能够根据业务需求的变化进行调整和扩充。

1.4.4性能要求

本项目中，性能需求主要指作业响应时间方面的要求，作业响应时间指完成目标系统中的交互或批量处理所需的响应时间。

根据业务处理类型的不同，把作业划分为两类：

交互类业务、查询类业务，分别给出响应时间要求的参考值，包括峰值响应时间、平均响应时间。

●信息采集业务

对于各类接入数据资源，系统须在各类公示信息披露后的1日内完成ETL采集，对采购人特别指定的公示信息，须在公示信息披露后的1日内完成自动采集和发布。

●交互类业务

交互类业务是指平时工作中在系统中进行的业务处理，如录入，修改或删除一条记录、发布一条信息等操作。

平均响应时间：

0.5-1（秒）

峰值响应时间：

1-2（秒）

●查询类业务

查询业务由于受到查询的复杂程度、查询的数据量大小等因素的影响，需要根据具体情况而定，在此给出一个参考范围。

简单查询平均响应时间：

1-3（秒）

复杂查询平均响应时间：

3-5（秒）。

1.5平台与应用系统要求

投标方应根据本工程业务功能要求，提出软件系统结构。

投标方的软件系统结构要求组件化模块化。

要求投标方在其软件系统中采用中间件技术，可以缩短开发周期，增加整个系统的可靠、有效、健壮，以及伸缩性能。

投标方应详细说明在系统中使用的中间件产品种类和作用，并附详细技术资料。

投标方应将大数据智能分析平台软件、智能运维平台软件、自己开发的应用软件分别列出，并提供软件清单和说明，以及软件和硬件的对应安装关系，软件模块和业务功能的对应关系。

1.5.1大数据智能分析平台

1.5.1.1产股权交易大数据支撑平台

中国产股权交易大数据智能分析支撑平台包括了门户平台、数据中心、数据交换等几个部分。

其中数据中心是面向产权交易，基于WebServices技术的数据交换、数据流管理和跨地区协同数据交互的应用支撑平台系统。

数据交换中心是实现数据交换、跨区域数据交换（数据流引擎和管理）和数据共享的核心。

由上图可见，数据交换平台，能够实现不同的交易所应用系统之间的基于统一标准的数据交换和共享。

可以高效地在纯XML数据服务器上构建起面向主题的操作数据库；也可以实现对分布在各省市交易所的信息资源的共享、查询和数据交换，从而实现对众多的应用系统中关键数据地抽取和集中。

数据交换器所提供的工作流引擎和XML文档（表单）处理功能，可以快速地构建一站式服务平台，能够实现对众多的产权交易应用的协同和调度，从而使得在同一系统中处理需要多系统业务协同的产权业务交易信息服务成为可能。

同时，平台提供针对不同业务应用系统的数据交换适配器，这些数据交换适配器将成为应用系统连接到数据交换器——也就是一站式服务平台上的纽带，数据交换适配器技术使得我们能够充分利用原有的应用系统的功能。

该应用支撑架构通过数据交换中心实现异构系统的信息交换，并可将数据集中到本体系中的数据中心上，为以后开发决策支持系统提供接口支持。

具体功能及技术需求为：

1.5.1.1.1数据交换平台组件

1.5.1.1.1.1功能要求

⏹交换节点管理

1.支持跨网络数据交换系统的对接,包括支持相互传递命令数据、业务数据以及配置数据

2.提供节点拓扑图形化管理，支持在统一的管理页面统一管理

3.支持注册、修改、删除交换节点

4.支持实时监控交换节点的在线、离线状态

⏹数据源管理

系统要求对所有接入数据交换系统的数据资源进行统一的管理。

1.关系型数据库（包括Oracle、DB2、SQLServer、Sybase、MySQL、PostgreSQL等主流数据库以及达梦、神通等国产数据库）

2.文件型数据源，如Excel、txt和xml等。

3.文件传输系统（包括FTP/SFTP）

4.提供对数据源的查询、新建、修改、删除功能。

5.提供对数据源的分组管理功能。

6.针对于关系型数据库类型数据源，提供连接池参数的配置，支持管理员依据项目实际情况对连接池配置调优。

7.数据源配置信息（IP、端口、用户名、密码等）支持按需变更，且不需要修改数据标准以及数据交换规则等配置信息，即可实现自动适应功能。

⏹数据标准管理

支持对数据标准的统一管理和存储，作为整个组织重要资产统一管理、维护、跟踪和共享。

1.支持OMGCWMSpecificationv1.1元模型规范

2.支持OMGXMLMetadataInterchange（XMI）v2.1元数据交换规范

3.W3CSchema1.0规范

4.提供可视化方式配置数据标准，能够支持主动抽取数据标准。

5.数据标准管理功能支持抽取关系数据库的基础数据结构，包括数据库表名称、字段名称、数据类型、相关注释以及主外键关联关系等信息。

6.支持对结构化数据标准的描述，包括关系型数据库表、视图、查询SQL等

7.支持对半结构化数据标准的描述，包括XML格式、Excel文件格式、文本文件格式等。

8.支持对数据标准的新建、修改、删除等、分组管理与查询功能。

9.支持对数据标准的导出导入功能

⏹交换任务规则管理

1.提供基于Web的图形化交换任务模型配置方式。

以可视化流程的方式管理交换规则资源与监控数据流转

2.管理数据交换的流程，配置串行、并行数据交换流程

3.支持执行数据同步、数据上载、传输等操作。

4.支持按名称等条件的检索功能。

5.支持配置执行映射规则、文件传输规则、数据库存储过程，JAVA程序等。

⏹调度规则管理

配置数据交换任务的执行周期，并按配置周期触发交换任务，调度支持与一到多个交换任务关联，同时交换任务支持同时被一到多个调度触发执行。

周期性执行的交换任务要求同时支持手动、实时接口触发的执行方式。

1.支持查询、新建、修改、删除、启用/禁用调度配置

2.支持配置秒级、分钟级、小时级、天级、周级、月级的策略，支持按需配置出任意的执行周期

3.支持按名称等条件的检索功能

4.支持查看执行周期

5.支持配置并发的任务数大于1000个

⏹资源关系管理

1.提供系统内部资源关系的数据流向展示，可按照数据流入、流出进行数据过滤

2.支持数据源、数据表级别的数据流向展示，并可查看、编辑某一个数据源/数据表关联的元数据、映射、任务和调度等信息。

⏹系统审计

1.记录用户登入登出操作信息，以及登录系统后的所有增、删、改等操作信息。

并可根据用户名称进行过滤。

⏹系统监控

1.支持监控服务器的内存使用率、磁盘使用率，以及展现系统环境等参数。

⏹系统日志

1.支持系统日志的查看，可分为正常、错误、忽略等维度查看。

1.5.1.1.1.2技术要求

1.数据交换元数据模型支持基于OMGCommonWarehouseMetamodel（CWM）Specificationv1.1元数据协议标准管理，支持脱离原始数据源离线配置数据交换映射与转换,支持对数据标准的统一管理和存储，数据抽取、转换规则的定义完全依赖于CWM元数据标准实现。

2.数据标准管理功能支持抽取关系数据库的基础数据结构，包括数据库表名称、字段名称、数据类型、相关注释以及主外键关联关系等信息。

支持对结构化数据标准的描述，包括关系型数据库表、视图、查询SQL等.支持对半结构化数据标准的描述，包括XML格式、Excel文件格式、文本文件格式等。

3.支持异构数据源多对多数据交换，支持主流的关系型数据库包括Oracle、MySQL、PostgreSQL、SQLServer、DB2、Sybase、神通、达梦、金仓、GBase8t/8a、虚谷、浪潮、Greenplum等国内外主流关系型数据库，XML文档、文本数据、Excel等文档数据、HBase、MongoDB等NoSQL数据源、HIVE及WebService接口等，支持灵活的扩展新的数据源。

4.支持集中部署、分布式部署与集群部署等多种部署方式。

支持跨网络、跨机房的数据同步与交换，支持跨物理隔离网闸设备的同步与交换。

提供节点拓扑图形化管理，分布式部署时，支持在统一的管理页面统一管理,支持实时监控交换节点的在线、离线状态，可以在多个数据交换服务节点之间灵活切换。

5.支持单表的多线程抽取与加载；

6.支持较好的冲突机制，提供意外停机、网络中断的错误自动处理能力，支持服务托管与自动恢复能力，支持错误恢复策略配置。

7.提供系统内部资源关系的数据流向展示，可按照数据流入、流出进行数据过滤。

支持按照数据源、数据表等级别展示数据流向，并可查看、编辑某一个数据源/数据表关联的元数据、映射、任务和调度等信息。

8.提供基于Web的图形化交换任务模型配置方式。

以可视化流程的方式管理交换规则和监控数据流转性能,并支持以进度条的形式体现执行进度。

支持配置串行、并行数据交换流程。

支持配置执行映射规则、文件传输规则、数据库存储过程，JAVA程序等。

9.交换系统提供基于webservice的API，能很好的与其他系统集成，支持通过接口启动、恢复任务，支持通过接口获取、推送数据，支持通过接口管理资源，支持实时获取监控日志信息；能够集成其他应用程序，支持使用统一的交换流程配置、调度和监控。

10.支持菜单级授权和数据级授权管理。

11.支持手动触发、计划任务触发和基于事件接口形式的实时触发能力，以适应人工参与、自动化无人工干预的实时数据同步与批量数据同步等多种场景。

12.在任务管理中，新建任务时需要自动生成对应的WebService服务，该功能主要通过通用Web服务接口将任务直接生成对外服务接口。

13.支持配置数据交换任务的调度执行周期，并按配置调度周期触发交换任务，调度支持与一到多个交换任务关联，同时交换任务支持同时被一到多个调度触发执行。

调度配置策略支持秒级、分钟级、小时级、每天、每周、每月等，同时支持用户自定义配置任意的执行周期。

调度管理支持按名称等条件的检索功能，支持查看执行周期,支持配置并发的任务数大于1000个。

14.支持审计日志功能，包括记录用户登入登出操作信息，以及登录系统后的所有增、删、改等操作信息，并可根据用户名称进行过滤。

15.支持系统日志功能，记录系统的所有日志信息，包括常规信息、错误信息和忽略信息等，支持日志查看、检索、导出和清空等功能。

16.支持系统告警功能，针对特定事件或异常情况，可以产生相关告警信息并给预设人员发送email信息通知。

17.支持基于Web的在线升级与补丁安装。

18.支持创建Shell/Batch脚本任务，可以监控脚本执行的过程和结果。

19.支持系统信息查看功能，包括CPU使用率、内存使用率和磁盘使用率，以及系统环境参数，如操作系统、IP地址、CPU核数、和物理内存等等。

1.5.1.1.2转换清洗ETL工具组件

1.5.1.1.2.1功能要求

⏹数据转换定义

提供图形化转换映射定义工具，提供丰富的转换定义规则，支持生成数据转换模板。

⏹数据清洗

允许通过条件抽取、过滤、筛选等手段将有问题的数据剔除或转换掉；同时为了满足特殊转换清洗需求，需支持以接口扩展方式创建自定义转换节点，以实现自定义数据清洗功能。

⏹数据加载

支持多种数据加载方式，可以做到直接插入新数据、可以判断数据是否存在如存在则更新否则插入、可以判断数据是否存在如存在则删除再插入及支持增量加载。

1.5.1.1.2.2技术要求

1.支持基于OMGCommonWarehouseMetamodel（CWM）Specificationv1.1元数据标准，支持可视主动抽取数据源元数据，提供对元数据的变更与维护的支持，ETL规则的定义完全依赖于元数据标准实现

2.提供元数据管理功能，基于web方式管理数据源，web方式抽取和管理元数据

3.支持基于模型配置ETL过程，支持运行期动态修改ETL模型，无需重启应用

4.提供基于EclipseRCP技术实现图形化ETL转换与映射的工具，提供多种关联查询策略，图形化连线方式配置关联查询配置，可配置左连接、右连接和全连接

5.支持多种数据抽取策略，包括全量抽取、时间戳/标志位增量抽取以及快照对比增量抽取等。

支持多种数据加载策略，可配置插入、更新、删除、删除/插入、插入/更新、增量加载等多种加载策略。

6.支持多数据源整合，支持主流的关系型数据库包括Oracle、MySQL、PostgreSQL、SQLServer、DB2、Sybase、神通、达梦、金仓、GBase8t/8a、虚谷、浪潮、Greenplum等国内外主流关系型数据库，XML文档、文本数据、Excel等文档数据、HBase、MongoDB等NoSQL数据源以及HIVE等，支持灵活的扩展新的数据源。

7.支持JavaScript自定义转换、字段拆分、合并；类型转换、常量、码表、替换、大小写转换、字符串截取/重组/反转、频率统计、计算表达式等多种数据转换，支持自动完成数据类型转换。

支持灵活的扩展新的转换规则。

8.提供实时监控功能，基于web方式实时展现ETL运行状态，可监控ETL运行过程的性能和数据量信息，支持以进度条的形式体现执行进度。

9.支持菜单级授权和数据级授权管理。

10.资源管理和监控功能提供开放的基于WebServiceAPI，可集成到其他应用系统。

11.支持对重复数据的自动过滤，自动实现唯一性冲突的情况的数据更新

12.支持脏读以及事务一致性控制

13.支持异常情况自动恢复与断点续传

14.支持除执行ETL规则外，可以执行自定义存储过程、自定义SQL、自定义JAVA程序等转换规则

15.支持单表并行抽取与加载

16.支持调度方式、手动方式以及基于事件接口形式启动ETL任务

17.支持集群部署

18.支持任务转换的变量自定义设置

1.5.1.1.3数据比对（对账）系统

1.5.1.1.3.1功能及技术要求

1.支持基于OMGCommonWarehouseMetamodel（CWM）Specificationv1.1元数据标准，支持可视主动抽取数据源元数据，提供对元数据的变更与维护的支持，比对规则的定义完全依赖于元数据标准实现

2.完全基于Web方式配置比对规则、管理比对任务和监控比对过程及结果，支持以进度条的形式体现当前比对进展，以及当前比对速度。

3.支持数据量比对、表结构比对和数据内容比对等维度，支持配置比对键和比对列

4.比对结果支持以图表形式展现详细差异结果，支持查看数据比对的动态和静态详细差异结果，以及当前比对和历史比对的详细差异结果；

5.支持主流的关系型数据库包括Oracle、MySQL、PostgreSQL、SQLServer、DB2、Sybase、神通、达梦、金仓、通用、虚谷、浪潮、Greenplum以及非关系型数据库HBase，HIVE等；同时支持灵活的扩展新的数据源。

6.支持差异数据的同步

7.支持菜单级和数据级的权限控制

8.支持视图和SQL数据的比对。

9.支持跨异构数据源的比对

10.支持跨网络、跨机房的比对

11.支持全量比对、支持基于自定义条件的比对

1.5.1.1.4数据质量管理系统

1.5.1.1.4.1功能及技术要求

1.支持基于OMGCommonWarehouseMetamodel（CWM）Specificationv1.1元数据标准配置数据质量规则，支持可视抽取数据源元数据，提供对元数据的变更与维护的支持

2.支持多种数据源，支持主流的关系型数据库，包括Oracle/MySQL/SQLServer/DB2/Sybase/神通/达梦/金仓/通用/Netezza/HIVE等国内外主流数据库，支持HBase数据源和txt/csv格式的文本数据源校验；同时支持通过扩展接口配置，提供扩展新数据源功能。

3.支持基于浏览器Web方式配置与执行数据质量规则。

其中，度量规则包括三种校验维度，包括：

表间规则，校验多表之间数据质量情况，支持跨数据源的多表之间数据质量校验；表规则，校验表内数据质量情况；列规则，校验多列数据质量情况

4.支持数据质量监控和统计功能，可以对所有的数据质量处理过程进行统计，提供质量校验报告并且可以查看当前和历史的校验结果。

5.支持校验错误数据的自动建表、自动入库存储。

6.支持质量分析功能，提供数据源维度和时间维度的质量统计分析，包括数据质量分数、数据源、规则数、问题数量统计、数据质量评估统计和数据源分数排名等。

并可根据校验规则数据符合度进行排名，展示数据质量分数走势图，问题数据占比走势图等。

7.支持规则的权重定制，同一规则在不同的评估方案下，用户可定制不同的权重。

8.支持自定义配置行业标准的校验规则。

9.支持菜单级权限管理和业务级授权管理。

10.数据校验完毕后，支持回写原表的标识列和描述列，用于标识数据是否正确，并记录错误的具体原因。

11.支持对数据的唯一性、完整性、合法性等质量问题进行综合分析。

12.提供数据质量校核码表管理功能，支持业务码表管理和系统码表管理。

系统码表支持模板导入方式。

13.提供复杂关联条件校验、数据冗余、数字、时间、码表等至少50项内置校验规则。

14.支持智能记忆和扫描已配置规则，依据业务相似度智能推荐

15.支持规则启停，对规则的应用进行整体控制，支持运行期关闭或者开启规则

16.支持数据质量规则的导入、导出等功能，实现分布式校验节点规则的统一管理

17.支持基于java语言的扩展及自定义数据质量规则实现

18.支持数据质量评分走势分析

1.5.1.1.5数据接口服务系统

1.5.1.1.5.1功能要求

⏹数据访问

支持访问数据源，包括但不仅限于关系型数据库，如Oracle，DB2,SQLSerever，Sybase等；可扩展支持文件类型数据源，如CSV，Excel，XML等；可扩展支持HTTP，如REST，SOAP；可扩展支持数据库存储过程，JMS；可扩展支持NoSQL如：

Hadoop/Hbase等。

⏹数据查询

支持数据库关联查询，标准的SQL查询，并行查询处理，支持基于规则的自动优化，单数据源更新，多数据源更新，包括事务一致性

⏹数据处理

支持处理标准SQL函数,重命名,用户自定义函数,数据类型转换

⏹数据发布

支持基于ODataV4.0标准的RESTAPI发布

⏹数据安全管理

支持用户认证，用户组/角色，CRUD权限，访问权限；支持基于Token的认证，数据加密

⏹建模与元数据管理

支持图形化拖拽方式配置，元数据迁移，元数据查询，调试，元数据管理，多用户资源管理

⏹运行监控

支持日志监控，管理控制台支持的操作系统，如Windows,Linux等，支持集群部署，管理监控API，实时监控

⏹接口调用统计

支持数据服务系统概览，包括数据源数量、接口数和用户数等。

支持接口访问趋势统计，并可按照时间维度统计用户访问和接口访问TOP情况

1.5.1.1.5.2技术要求

1.支持独立的元数据模型管理，元数据模型支持基于OMGCommonWarehouseMetamodel（CWM）Specificationv1.1元数据协议标准管理，支持对数据标准的统一管理和存储，数据服务接口的的定义完全