数据采集系统建设.docx

1、数据采集系统建设1 数据管理发布系统数据管理发布系统包括元数据管理、数据采集、系统管理和系统运行监控。1.1 元数据管理统计元数据对于统计业务具有极大的意义， 为了实现企业信息共享平台能够 对元数据的采集和统计数据的共享交换。 第一，参照国内和国际相关标准， 研究 制定统一规范的统计元数据标准， 即统计制度， 实现统计元数据的规范化和标准 化管理，可以实现对统计数据的一致性要求， 为基于元数据的数据共享交换提供 基础。第二， 统计业务的实施涉及到统计设计管理、 数据采集处理和分析评估各 环节，梳理统计元数据的规范和统计制度可以为企业一套表以及各种统计业务流 程的重构、 数据采集方式的选择等确定

2、标准和规范， 例如：元数据标准应用最多 的就是在企业一套表中，规范了统一指标的名称、涵义、计算方法和代码，强化 统计分类标准在统计调查中的执行。 因此完善研究制定涵盖统计设计管理、 数据 采集处理和数据发布等统计生产全过程的元数据标准， 可以提高统计能力和统计 工作的规范化和标准化水平，准确诠释宏微观统计数据。元数据管理包括统计制度管理、元数据管理、版本管理和填报表管理。 统计制度管理从制度所属部门、制度编号、制度名称、状态、创建时间等多个角度对统计 制度进行描述， 可以对统计制度详细明细进行查看和维护， 制度的维护主要包括 制度本身以及制度内各项指标的增、删、改，支持批量删除，并提供基于制动

3、名 称、制度编号的查询。I3 -* Z -U P-亠的* M雪F Ahiipvvb-4I| j c g -wKaLflM O-FKIjWWVI3片 1 FWVrt* BrP r HrdPIOivVuM . 8j图1-1统计制度管理示例图元数据管理提供元数据的维护功能，使元数据符合统计制度的数据规范， 维护的内容包 括统计制度的选择、元数据的名称、元数据代码、监测频率、计量单位和数据列 名，实现针对元数据的增、删、改工作，支持批量删除，并提供基于统计制度、 元数据名称、元数据代码和监测频率的查询功能。览业携拿畢莒豐泄JKIAM 图1-2元数据管理示例图版本管理统计报表制度下针对不同年份可以设置不

4、同的报表版本， 作为当年元数据的采集制度规范，报表版本管理提供基于版本名称和统计制度的查询功能， 并从统计制度、版本名称、版本号、起始年份、终止年份、状态和创建时间等方面对统 计制度下报表进行管理，同时提供报表明细项的展示和修改功能。”工3 -W Z1 JTrwa M图1-3版本管理示例图*MWdP.fciU i&JUJJUM*表单管理提供基于统计制度、报表版本和报表名称的查询，并在报表管理中实现对于 各种报表的明细查看、编辑修改、设计和预览，通过列表的方式显示报表的版本、 统计制度、报表名称、报表号和批准文号等报表描述信息。提供新增采集方式配置功能，对于新增的采集，通过下拉菜单的方式选择统

5、计制度、报表版本、报表名称、采集频度、填报单位、数据库、采集方式、所采 集的数据包名（默认xls、xlsx、dbf，还支持zip等格式）和收录范围，同时 可以灵活配置收录范围等项。图1-4表单管理示例图1.2 数据采集企业信息共享平台提供安全的数据导入导出功能， 保证新区各职能部门的企 业法人信息数据能够导入至企业信息共享平台综合库中， 完善滨海新区企业信息 的数据资源， 作为未来业务应用的信息依据。 同时，可以将平台内所存储的企业 信息数据导出，提供数据导出服务，实现部门间的信息互补，确保无信息孤岛。导入功能 在企业信息共享管理平台完成滨海新区各委办局的数据符合国家信息安全 要求的解密导入功

6、能，实现对新区内统计局、工商局、国税局、地税局以及质监 局的企业法人数据进行导入，通过元数据管理完成统计制度管理、元数据管理、 报表版本管理和报表管理， 确定导入数据的规范， 数据导入功能提供文件的导入 界面，完成文件的上传，支持 dbf 、csv 等多种格式，数据导入主要面向统计局、 工商局、国税局、地税局和质监局五个委办局。同时辅助导入功能，提供统计制 度查询功能，即导入规范的查询，以统计制度、报表版本和报表名称为查询条件， 查询结果以列表的形式显示，列表的维度包括报表版本、统计制度、报表名称、 报表号、批准文号、数据库、应导入数量、已导入数量和导入进度，并针对统计 制度下各报表版本提供预

7、览和数据结构维护。导出功能 企业信息共享服务平台和功能区街镇子系统设计了导出功能，以 PDF、WORD等多种形式导出业企业信息共享服务平台发布的图、 报表。数据加密导出实现数 据的符合国家信息安全要求的加密导出功能。数据采集子系统主要包括据填报管理、导入管理、接口管理，实现国家“一 套表”数据、 市局反馈数据、 各委办局企业信息数据等重要企业法人信息数据的 采集，整个采集过程遵循项目制定的数据规范。填报管理提供统计制度查询和数据填报两部分功能。 统计制度查询以统计制度、 报表 版本和报表名称为查询条件， 查询结果以列表的形式显示， 列表的维度包括报表 版本、统计制度、报表名称、报表号、批准文号

8、、数据库、应填报数量、已填报 数量和填报进度， 并针对统计制度下各报表版本提供预览和数据结构维护； 数据填报按照既定数据结构，包括企业组织机构代码、工商登记注册号、企业名称、 法人、企业联系人等，数据填报能够根据未来业务的需要采用灵活的统计制度报 表进行填报。 ItMi图1-5填报管理示例图导入管理提供统计制度查询和数据导入两部分功能。统计制度查询以统计制度、报表版本和报表名称为查询条件,查询结果以列表的形式显示，列表的维度包括报表版本、统计制度、报表名称、报表号、批准文号、数据库、应导入数量、已导入数据数量和导入进度，并针对统计制度下各报表版本提供预览和数据结构维护;导入提供文件的导入界面，

9、完成文件的上传，数据导入主要面统计局、工商局、 国税局、地税局和质监局五个委办局。 A.AM*Ji匚1 4接口管理依据各统计制度提供数据接口，按照数据接口规范，直接抽取相关的企业信 息数据。前置库到综合库的数据抽取选用 ETL工具。图1-7接口管理示例图1.3法人库管理法人库管理主要包括数据比对和分组标签管理。数据比对主要实现对采集的法人信息数据，进行数据比对，以权威数据作为各字段标 准数据。在每月一套表填报窗口期以前完成 5部门导入、以统计局导入的国家法 人库数据为基准进行比对、显示比对结果、可手动确定唯一源；对于新增企业、 可提醒各功能区街镇及时更新国家法人库图1-8数据对比示例图分组标签

10、管理主要实现对企业分组管理和企业分组标签管理，首先对企业分组进行维护，确定企业分组的名称、类别等信息，并设置企业分组下的标签；通过企业分组标卜签管理对企业分组标签进行维护。KMj图1-9分组标签管理示例图1.4汇总分析管理汇总分析管理主要包括分析模型设计、报表设计、图表设计、目标值设定和 共享发布管理。分析模型设计针对基于元数据构建的模型进行统一的管理， 并提供模型设计器，可以针对新增的分析需求建立新的模型。报表设计提供可视化的报表管理界面，包含对于图报表的设计、维护和发布等功能。图1-10报表设计示例图图表设计提供可视化的报表管理界面，包含对于图报表的设计、维护和发布等功能。目标值设定对于共

11、享服务系统需要进行年度目标达成率计算的数据分析场景， 设定年度目标，主要针对经济运行监控子系统和重点企业监测子系统的目标值和预警值设QM Jlii1 *Kl1*|IMiM；M*gnJM，aaaFPLWJdlUJria ahmi.DJMj ! ifigilji检B nrr4fe)图1-11目标值设定示例图共享发布管理对在汇总分析管理中所设计的图表、 报表等一系列可视化展示内容，完成在共享服务系统的发布，并对相关共享发布的内容进行管理。 不用部门用户制作的 各种汇总/分析的图表和报表可设置共享发布的可见范围。1.5 系统管理系统管理主要实现用户管理、 权限管理、 编码管理和系统运行监控和操作日 志

12、管理。用户管理可以新建、修改和删除与平台相关的所有用户， 并对用户基础信息进行维护， 包括姓名、登录名、密码、区划代码、注册时间、部门等。角色包括管理员、演 示员、操作员等。权限管理为已完成基础信息录入的用户分配功能使用权限， 包括菜单、数据维护（增、 删、改）等，。菜单权限包括元数据管理、 数据维护、数据填报、 经济运行监控、 报表中心等。同时还可以为已完成基础信息录入和角色权限分配的用户分配数据 使用权限，根据自己所处的部门划分数据使用的权限，分为滨海新区、功能区、 街镇等部门级别。编码管理对系统所涉及所有数据和代码之间的转换关系进行维护管理。系统运行监控实现系统运行状态监测，包括平台相关软硬件的运行状态，包括CPU使用率、 内存占用情况等。操作日志管理实现操作日志管理功能，包括操作日志监控、操作日志审计等。