睢宁大数据共享交换平台采购项目需求上课讲义.docx
《睢宁大数据共享交换平台采购项目需求上课讲义.docx》由会员分享，可在线阅读，更多相关《睢宁大数据共享交换平台采购项目需求上课讲义.docx（30页珍藏版）》请在冰豆网上搜索。
睢宁大数据共享交换平台采购项目需求上课讲义
睢宁大数据共享交换平台采购项目需求
睢宁县大数据共享交换平台采购项目需求
1．建设背景
2015年8月国务院印发了《促进大数据发展行动纲要》，规划2017年底前形成跨部门数据资源共享共用格局，2016年国务院就印发《政务信息资源共享管理暂行办法》（以下简称《办法》），规定涉及人口信息、法人单位信息、自然资源和空间地理信息、电子证照信息等基础信息资源的基础信息项必须依据整合共建原则，通过在各级共享平台上集中建设或通过接入共享平台实现基础数据统筹管理、及时更新，在部门间实现无条件共享。
为贯彻落实《办法》，同年8月国家发展改革委、中央网信办、中央编办、财政部、审计署五部委制定了《加快推进落实<政务信息系统共享实施方案>工作方案》，提出明确时间要求，2017年12月底要确保完成“自查、清理、编目、整合、接入、共享、协同”等7个方面的工作。
2018年底前建成国家政府数据统一开放平台，在信用、社保、地理等重要领域实现公共数据资源合理适度向社会开放，到2020年实现所有数据的社会开放。
目前，睢宁县已经建成全县统一的电子政务外网、基于云计算架构的数据中心，本项目为解决政务信息系统建设中存在的“各自为政、条块分割、烟囱林立、信息孤岛”问题，实现我县政务资源信息的“跨部门、跨地区、跨层级”协同共享与综合利用。
本项目以“优先规划、统一标准、整合资源、分步实施、安全高效”为指导原则。
在“智慧睢宁”建设的总体发展规划框架下，参照国家有关标准和规范制订人口基础信息库、法人基础信息库、信用基础信息库等三大基础数据库的数据标准规范、技术标准规范、管理标准、管理制度和质量保障体系；在各职能部门原有应用系统的基础上，统一交换、服务和技术支撑规范，并存过渡，逐步整合，有序推进；各职能部门根据各自的权限，共同参与，协同管理，集约建设，实现信息资源的共享；在网络通信、数据传输、信息访问、服务支持等方面全面引入安全机制，建成一个具有良好安全性、稳定性、可靠易用的共享交换系统。
2.建设目标
1）项目总体建设目标
本次项目以睢宁县政务信息资源共享交换平台为基础，以建设睢宁县政务信息资源目录为重点，全面梳理，摸清家底，对全县各部门的政务信息资源进行全面梳理，形成《睢宁县政务信息资源目录》《睢宁县政务信息资源开放目录》《睢宁县政务信息资源共享目录》《睢宁县政务信息资产报告》；并以此目录为依据，归集各部门人口基础数据库和法人基础数据库，建设我县基于政务资源信息交换的应用支撑体系，为各部门信息共享交换业务协同提供基础服务；为充分发挥政府信息资源对经济和社会发展的推动作用，满足政府办公、行业应用、政府决策、城市管理、公共服务等功能的需要。
引导和规范政府信息资源开发利用，促进信息惠民和社会创新，对于条件成熟的部门数据集，通过搭建数据开放平台，及时向社会开放。
2）项目建设目标
根据项目总体建设目标，以政务信息资源目录的建设为切入点和基础数据库建设依据，建设法人基础数据库、人口基础数据库、信用基础信息库，促进政府信息资源开放。
具体目标如下：
（1）建设政务信息资源目录服务与管理系统，全面梳理各部门（第一阶段31个部门）政务信息资源，建立和维护公共的共享信息资源目录，形成目录动态管理机制，实现信息资源的发现和定位、发布、服务。
（2）基于数据共享交换系统，扩大政府信息资源交换共享范围，逐步实现政府各有关部门信息资源全面接入。
（3）依据形成的政务信息资源目录，建设人口基础库，为跨部门人口信息比对业务协同提供数据支撑。
（4）依据形成的政务信息资源目录，建设法人基础信息数据库，为跨部门法人信息比对业务协同提供支撑。
（5）依据形成的政务信息资源目录，建设信用基础信息数据库，为跨部门法人信息比对业务协同提供支撑。
（6）依据形成的政务信息资源目录，建设宏观经济基础信息数据库，为跨部门法人信息比对业务协同提供支撑。
（7）依据形成的政务信息资源目录，建设自然资源与空间地理基础信息数据库，为跨部门法人信息比对业务协同提供支撑。
（8）依据形成的政务信息资源目录，建设电子证照库，为跨部门法人信息比对业务协同提供支撑。
（9）建设统一服务管理系统，为政务信息资源目录的运维管理提供服务支撑。
（10）建设数据开放平台，制定数据开放标准规范，促进政府数据开放。
（11）建设数据共享平台，制定数据共享标准规范，促进部门间数据共享。
（12）建设大数据基础平台，利用新技术服务经济发展和完善社会治理机制。
（13）制定数据交换平台的管理办法及技术规范，为数据交换平台的正常运行及推广提供可靠保障，并形成一套标准规范文件，作为睢宁县所有政务部门业务信息系统建设的依据。
（14）政务信息资源目录分为两个阶段建设、法人库、人口库、数据开放的部门名单如下（第一阶段31个部门）：
人社局、公安局、法院、财政局、规划局、水利局、民政局、卫计委、科技局、征收办、扶贫办、编办、发改委、教育局、司法局、国土局、住建局、城管局、交通局、商务局、文广新体局、环保局、市监局、安监局、农委、统计局、审计局、政务服务中心、残联、地税局、气象局。
（第一阶段、第二阶段具体名单可由招标人进行调整，两阶段启动时间间隔不超过2个月）。
3.建设原则
本系统的设计方案要求充分利用已经部署的电子政务软硬件资源和数据资源，着眼未来、统一规划、分步实施、注重实效。
具体建设原则如下：
（1）安全性原则
项目所涉及的数据大多属于政府的内部资料，这些数据的安全性至关重要，因此，应遵循安全性的原则，要从多个角度进行考虑：
防止外部用户的非法访问；防止内部合法用户的越权访问；防止意外的数据损害等。
采取主动式和被动式相结合的方式，从全方位、多层次加以考虑，即通过网络级、应用级、系统级、企业级的安全措施来确实保证全系统的安全性与可靠性。
在业务系统正常运行的前提下，保证业务信息和相关数据的有效性、机密性、完整性和可审查性。
（2）先进性原则
在项目的总体设计上，需要借鉴各类系统的成功经验，同时注重考虑同类系统的建设教训，在技术上，要采用国际上先进且成熟的技术模式和体系结构，使得设计更加合理、更为先进，使应用系统具有一定的前瞻性。
（3）标准化原则
严格执行政府统一的业务体系和各类编码标准，遵守国家和江苏省数据标准。
规范性、标准化是平台建设的基础，也是系统与其他系统兼容及后续进一步扩充的根本保证。
因此，数据的规范性和标准化工作是极其重要的，这是系统开放性和数据共享的要求。
（4）高效性原则
政务信息资源数据量极大，其交换方式和查询统计上必须考虑效率，须进行增量的数据更新，而不是全部刷新原有数据。
（5）可扩展性原则
面对信息技术的高速发展，项目要具有良好的扩展性，保证系统结构的模块化，充分考虑未来信息量与业务量增长的需要,同时，统一数据接口标准规范，以增强信息资源的弹性、通用性与可替换性。
（6）统筹性原则
统筹遵循国家和省市业务标准，同时兼顾本县业务扩展，提供开放的数据接口，以进行数据的交汇对接，满足管理精细化需求。
（7）参与性原则
在系统建设的过程中，一定要避免闭门造车的开发方式。
需要尽可能引入多方面的资源参与到项目中。
除了要获得高层领导的支持外，还要充分听取业主单位、业务部门和用户代表的意见，随时对系统开发过程出现的偏差进行调整，以保证最终交付的成果符合各方面的要求。
4.建设内容及要求
4.1睢宁县大数据共享交换平台
4.1.1政务信息资源目录服务与管理系统要求
4.1.1.1建设目标
政务信息资源的梳理，是对政府部门的基础信息在采集、处理、传输、利用的全面梳理，并做出前瞻规划和初步的规范设计。
基础信息资源梳理工作要求实现对政府所有组成部门的全部门、全业务、全覆盖梳理，统一标准，明确跨部门数据需求与交互关系，逐步建立跨部门基础信息交换平台，实现基础信息资源共享。
在政务信息资源梳理的基础上，遵循统一的标准规范组织管理所有政务信息资源，建设政务信息资源目录系统，向部门或用户提供目录内容查询检索服务。
通过目录系统建设，对各个业务部门信息资源进行编目及动态管理，便于全面掌握各部门整体信息资源状况。
4.1.1.2建设内容
依据各相关部门的三定方案、行政审批事项目录、行政权力清单、责任清单、涉行政审批、相关行政权力中介服务事项清单等文件以及各单位供需资源目录，中标方采用标准化工具配合各单位完成基础信息资源的梳理，资源梳理工具的管理内容包括系统目标、组织结构、业务角色、用户视图等；能够对业务流程图和数据流程图进行管理，能够识别协同关系和信息共享需求，能够明确职责、整理和分析数据资源、规范数据表示；能够对数据库的主题库、逻辑实体、实体关系图、数据映射图、数据元标准、信息分类编码进行管理；通过梳理明确信息资源的出口、入口、数据间关系；通过平台可以摸清业务需求、数据需求和集成需求；并能够支持信息资源的文档的自动化生成（数据库设计文档、信息资源目录、实体关系图等）；能够支持可视化展示。
信息资源梳理的成果要为数据交换提供数据来源、业务流程、资源目录、标准规范等服务支撑。
政务信息资源梳理平台通过两类视角进行说明：
管理视角、维护视角。
在管理视角下可以进行系统编码字典、用户及权限管理、项目模块管理、系统设置等系统管理级别操作。
在维护视角下可以对流程图、业务架构、数据架构、应用架构、需求管理等功能模块内容进行编辑和查询操作。
第一阶段完成31个部门信息资源梳理、目录规划、并初始化目录及资源。
项目中标单位要成立专业队伍，深入各部门，按要求帮助各部门完成梳理信息资源任务。
根据31个部门的信息资源梳理情况，整理政务信息资源梳理经验，再提出后期工作计划，以完成睢宁县全部（包括各镇街道园区）部门政务信息资源梳理。
资源目录系统建设包括目录管理子系统、资源管理子系统和认证服务体系，主要功能是釆用元数据对信息资源特征进行描述，形成统一规范的目录内容，通过对目录内容的有效组织和管理，形成目录信息库，为信息资源的交换、共享以及对应用的支撑提供信息资源的目录定位服务。
4.1.1.2.1目录管理
目录管理系统将国家《政务信息资源目录体系》（GB/T21063-2007）、《江苏省政务信息资源目录编制指南》中定义的编目系统、目录管理系统进行整合，主要实现包括目录分类、编目、审核发布、查询、权限及维护等功能。
✓编目分类
将目录资源分为基础信息资源、主题信息资源、专题信息资源三大类。
也可依据实际的应用需要进行扩展性分类。
对目录的分类信息进行管理（新增、删除、更新、停用、重组目录、版本控制等）。
✓编目功能
将各部门目录管理员及资源管理方的目录管理人员根据各业务部门提供的数据，进行分析提取特征应参照GB/T21063.3—2007、GB/T21063.4—2007和GB/T21063.5标准进行元数据赋值，进行编目形成各部门的目录内容信息库。
目录生成：
目录生成分为自动和手工两种方式。
实现从网页、数据库等形态的政务信息资源抽取元数据，形成政务信息资源目录。
资源编码：
使用国家标准的资源编码的前段码，规范并赋予后段码，生成资源ID。
资源分类：
对政务资源进行分类，包括自动与手工两种方式。
编目系统是基于核心元数据标准开发的目录数据生成系统。
各部门使用编目系统从不同形态的信息资源中手工或自动抽取数据，并生成目录。
编目系统部署于资源提供部门，其不但可以向目录管理中心提供目录数据，还可作为部门内部资源管理工具使用。
✓审核发布
信息提供主体（各政务部门）将目录内容按不共享、条件共享、完全共享三个共享级别以及不公开、依申请公开、向社会公开三个数据开放级别进行定级（其中不共享、条件共享、不公开的要列出依据说明），以纸质数据、电子表数据、数据库数据的数据类型、存放形式和位置等进行分类（标注清楚纸质、WORD、PDF、JPG、EXCEL、CSV等以及mysql、MSsql、oracle等各种数据类型），由编办和公共信息服务中心对目录内容信息审核完成后对目录信息进行发布。
随着时间和工作的要求变化，提供部门可以对自己提供的目录元数据信息进行修改，由编办和公共信息服务中心审核后生效。
不共享的信息资源需要信息提供主体提交信息资源不共享申请并通过审批后方能不共享；
条件共享的信息资源需要资源申请方向信息提供主体提出申请并通过审批后方能获取；
有权限的政府工作人员登录政务信息资源目录管理系统后即可查看所有完全共享的信息资源；
向社会公开的信息资源直接推送至数据开放平台。
不公开、依申请公开的信息资源须按相关要求履行手续（在系统中实现此功能）。
✓目录维护
对已发布的目录进行维护，删除、停用、更新、重组目录等操作。
✓目录查询
包括多维度目录查询，列表查询，信息资源权限访问功能。
（1）多维度目录查询
根据数据资源目录分类的不同维度进行资源目录的查询。
（2）列表查询
通过列表的方式进行资源目录查询。
（3）信息资源访问
根据目录资源权限设置，在一定的权限范围内访问相关的信息资源。
✓资源缺失反馈
政府部门工作人员在查询政务信息资源时，发现有需要的信息资源未梳理到的，可以填写资源缺失反馈表，向县公共信息服务中心反馈，公共信息服务中心会同编办根据信息资源类型以及所属部门分派给各个部门进行信息资源添加。
资源缺失反馈表内容包括：
信息资源名称、用途、所属部门等。
4.1.1.2.2资源管理
资源管理是对归集的各个业务部门的信息资源进行统一的管理，主要功能包含部门资源编码管理、部门资源管理、数据查询展示、资源申请授权管理和资源订阅管理。
（1）部门资源管理
✓新增资源
新增资源是对进入系统的信息资源进行信息管理，包含资源的基本信息、配置信息、主题分类以及共享范围等内容。
✓未发布资源
对新增的或未发布的资源进行管理，主要包含资源查询、资源修改、资源详细查看等功能。
资源查询可按多维度对资源进行查询检索功能，如资源名称、关键字等方式。
✓已发布资源
查看已发布资源明细信息，资源包含的具体指标以及资源关联的WEB服务。
✓历史资源
查看历史资源信息，包括失效、更改、删除等状态的信息。
✓应用程序管理
对共享交换信息资源的应用程序进行管理，主要包含应用程序的来源以及基本信息，可对应用程序的相关信息进行查询、编辑等操作管理。
✓资源分类
对所有资源进行多维度分类，可自定义分类管理。
✓资源不共享申请
对于各部门不打算开放或者共享的信息资源，各部门必须在系统中填写不公开或者不共享依据说明，并上传相关法律法规文件，提交进行审核，审核通过后方可不公开或者不共享。
✓权限分配
系统管理员设置各个部门管理员，部门管理员可以将权限分配给部门工作人员，包括信息资源查看权限、信息资源申请权限等。
（2）资源申请授权
资源申请授权主要是对申请和授权进行审核管理。
（3）资源订阅管理
主要是对资源的订阅、收到的资源需求和提出的资源需求进行管理。
✓资源订阅
对相关资源进行订阅管理，能够了解相关资源的信息，并可取消订阅。
✓收到的资源需求
查看其他部门提出的资源订阅信息。
包含资源订阅的部门、时间、订阅资源需求等相关信息。
✓提出资源需求
本部门提出订阅其他部门资源信息。
4.1.1.2.3认证服务体系
通过与大数据共享平台对接，所有平台内部管理人员都需使用智能密码钥匙（CAKey）进行接入认证。
4.1.2数据交换平台建设要求
4.1.2.1建设目标
数据交换平台实现将各部门相关的信息资源根据统一采集交换到数据中心前置库中，满足多种采集方式，能够满足不同的网络环境、不同的信息系统、不同的数据类型等情况下进行数据的采集，并对采集的数据进行处理，保存。
数据交换平台包含数据采集、数据交换、数据处理等功能。
4.1.2.2建设内容
4.1.2.2.1数据采集子系统
数据采集子系统依托应用集成中间件、应用集成中间件适配器设计，实现对各部门业务数据信息的采集。
数据采集系统通过丰富灵活的适配器服务组件采集各业务部门的数据信息，将其传输、归集到数据中心前置库中。
根据其特点，按照批量更新、增量更新、实时更新、数据同步等不同的更新策略，定制各类数据的更新接口，提供手工录入、整体导入等数据采集方式，并提供严格的质量检查工具，实现数据中心各类数据的采集与更新，保证数据中心数据库的时效性、权威性和一致性。
采集方式包括：
✓物理拷贝采集：
物理拷贝方式，采用传统的移动硬盘、U盘、光盘等数据存储介质通过硬拷贝方式实现数据共享的模式。
✓数据上传采集：
数据上传方式主要是通过平台提供的数据上传入口，上传各业务部门的相关数据，实现数据的共享。
✓接口服务采集：
接口服务模式是属于一种较高层次的共享模式，各业务部门的应用系统建立与数据中心平台的接口，通过系统与系统之间的接口交互模式，实现数据的共享与调用。
支持常见的接口服务有webservice、API等多种接口类型，满足平台的接口服务采集需求。
✓关系型数据库采集：
基于关系型数据库的采集方式，对各业务部门的业务系统的数据库类型、网络环境、数据密级等多方面进行调研分析，可使数据中心连接部门业务系统的前置数据库读取相关数据。
4.1.2.2.2数据交换子系统
数据交换系统以部门业务信息为基础，确定部门间交换信息指标及信息交换流程，实现不同部门间异构应用系统间松耦合的信息交换，提供部门间横向按需信息交换服务，提高各级部门行政管理效率。
（1）交换桥接子系统
通过在前置机中部署数据交换系统代理节点，实现前置交换信息库与部门业务数据的对接，实现两个信息库之前的信息交换。
通过数据交换系统内置的文件适配器，实现XML文件、CVS文件、Excel等文件的传输、读取、同步等功能。
通过增量数据适配器，多种类型的数据转换工具，实现增量数据同步及数据转换。
通过可视化流程配置的方式实现自定义数据源、流程、转换函数等功能。
（2）前置交换子系统
在共享平台中心部署数据交换系统Server节点，通过数据交换系统内置的MQ消息中间件实现Server节点与各部门代理节点之前的数据传输。
主要功能要求：
通过内置的服务适配器，实现服务的注册、发现、适配、管理功能
通过内置丰富的适配器，自定义各种资源交换方式及抽取方式，包括数据库抽取、文件读取、Webservice接入、JMS传输等。
通过自带适配器的表输入、表输出以及SQL执行器可以实现数据的双向同步。
通过数据交换系统的管理监控平台，能够对接入系统及流程进行查看和管理。
具备交换数据缓存功能，能够制定缓存规则维护交换结果数据的生命周期。
（3）交换传输子系统
在共享平台中心部署数据交换系统中心服务节点，可实现部门前置交换子系统与数据中心平台稳定可靠的信息传递。
中心服务节点与代理节点间通过MQ消息中间件进行传输，保障不重、不漏、不错、不丢的高效传输。
主要功能实现：
1.以MQ为底层传输中间件，保障安全可靠的数据传输。
提供各种事务类型，可对消息进行差错处理，实现消息同步及异步的传输；
2.通过数据交换系统内置的丰富组件，提供WebService、FTP、JDBC、Email、MQ等多种传输方式，实现数据库数据、电子表格数据等格式化数据以及文本、图片、音频、视频等非格式化数据的传输。
3.MQ消息中间件可对消息进行分段、分组传输；
4.MQ消息中间件具有传输数据的压缩功能；
5.数据交换系统自带运行时模块（runtime），可扩展部署，实现热备与集群的功能。
6.能够实现交换信息的打包、转换、传递、路由、解包等功能。
（4）交换管理子系统
交换管理子系统实现对整个信息交换过程的配置信息管理、数据信息管理、交换信息统计分析、交换服务管理等。
主要功能要求：
1.通过设计器中的域管理工具，实现对交换服务器、交换节点的管理。
2.通过管理菜单，对路由信息可创建、启动、停用等操作。
3.提供资源订阅发布管理,实现为各业务部门提供请求/应答、订阅/发布、消息广播等多种数据交换方式的配置管理。
4.提供多种接入方式，包括WebService、FTP、Email、JDBC、MQ等，满足不同业务部门不同的业务需求。
5.提供交换信息统计分析功能，能够对交换当前状态以及历史记录进行查询；
4.1.2.2.3数据处理子系统
处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集的数据能正确、完整、规范地加载到目的地；另一方面，实现数据整合过程中的异常处理机制，如：
处理传输异常、数据加载异常、数据结构与质量异常等。
（1）数据抽取
数据抽取就是从数据中心的中心库中获取业务数据的过程。
数据来源为业务系统和文件系统,抽取方式为根据具体业务进行全量抽取或增量抽取,根据具体业务制定抽取的时间、频率、这些参数都是可配置的。
（2）数据清洗
数据清洗指对前端抽取过来的数据进行清洗处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。
数据清洗的任务主要是进行不一致的数据转换、数据粒度的转换、数据去脏和一些转换规则的计算。
其中不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据进行统一处理；数据粒度转换需要对数据进行统一归整；转换规则计算按照设计的计算归则对数据进行重新计算。
系统支持批量清洗和实时清洗，针对批量离线数据进行分布式并行清洗转换，针对实时数据进行不落地清洗转换。
（3）数据转换
数据转换可以看作是数据整合和数据清洗过程的结合，数据源的数据按照一定的转换规则生成新的数据并存放至目的数据源中。
数据转换支持数据字段之间一对多，多对一，以及多对多的映射关系。
转换规则
✓数据合并：
按业务规则进行数据合并。
✓数据拆分:
按业务规则进行数据拆分。
✓行列互换
✓排序/修改序号
✓去除重复记录
（4）数据加载
数据加载主要指将抽取与清洗转换的数据，准确、及时地存储到不同基础库中，依据数据的加载方式包括文件加载、流加载、压缩加载等。
依据数据加载技术特点，可分为全量数据加载、流式（实时）数据加载、文件落地双加载、内存不落地加载。
（5）数据比对
数据比对过程对两个数据表中的数据按照规则进行比对，比如只在某一个表中存在的数据，或者通过字段之间的关系定义比对规则。
比对之后生成符合比对规则的结果表，和比对的统计信息表。
（6）数据标准化
对清洗后的数据进行标准化处理，以解决系统之间数据差异问题，解决跨部门数据调用时数据一致问题。
通过技术工具实现标准化数据处理，是对数据交换共享标准规范体系的有效执行，也是沟通业务和IT一致理解、有机融合的关键。
标准化处理过程包括标准的执行、标准的控制、标准执行和稽核以及标准化问题的管理。
（7）数据处理配置
数据处理配置主要对数据处理过程中的基础环境、流程规则以及相关策略进行配置和管理。
4.1.2.2.4数据处理前置机
根据投标人建设方案，具体数量由投标人定并购置，资金包括在总项目中。
4.1.3数据服务管理平台建设要求
4.1.3.1建设目标
数据服务管理平台主要实现数据的综合利用能力支持以及平台运行监控。
数据服务平台主要包括服务管理、数据共享开放和运行监控三部分。
4.1.3.2建设内容
4.1.3.2.1服务管理子系统
服务管理子系统实现了数据的利用，数据利用通常以API服务为载体，通过一系列功能如API创建、发布、生命周期管理、版本控制、治理、安全等功能实现大量数据利用API的综合管理。
此外应根据各部门业务系统实际，采用其它服务实现同API相同的服务。
4.1.3.2.2运行监控子系统
为运营团队人员提供管理工具，支持数据从采集、处理、服务调用等全程监控，日志管理，安全审计等。
通过动态监控和预警帮助运维管理人员随时掌握系统运行状态，提前预防及处理问题
升级会员 