城市大脑数字底座一网统管云平台建设解决方案.docx
《城市大脑数字底座一网统管云平台建设解决方案.docx》由会员分享,可在线阅读,更多相关《城市大脑数字底座一网统管云平台建设解决方案.docx(207页珍藏版)》请在冰豆网上搜索。
城市大脑一体化数字底座城市中枢平台
建设方案
目录
一、一体化数字底座需求分析 -5-
1.1数据中台需求分析 -5-
1.2AI中台需求分析 -5-
1.3技术中台需求分析 -5-
1.4业务中台需求分析 -6-
1.5云平台基础设施需求分析 -6-
二、设计原则 8
2.1顶层设计、统筹规划 8
2.2问题导向、注重实效 8
2.3充分利旧、深化应用 8
2.4技术先进,开放兼容 8
2.5自主可控、融合创新 9
三、一体化数字底座现代数字总体架构 10
3.1现代数字城市总体架构设计 10
3.2一体化数字底座设计 11
3.2.1数据中台设计 11
3211大数据计算存储平台 12
3217数据资源支撑平台 15
32121人口综合库 16
32122法人综合库 23
3.2.1.2.3城市运行数据库 93
32124地理信息库/电子证照库/信用库 95
32125视频数据/物联网数据 96
32126其他数据源的归集 96
32.1.3数据归集平台 97
321.4数据治理平台 101
3.2.1.4.1数据标准管理 103
3.2.1.4.2元数据管理 104
3.2.14.3拖拽式数据清洗转换能力 106
32.1.44可视化的数据建模管理 106
32145数据地图 107
32146数据血缘管理 108
32147数据质量监控 109
32148多租户的数据治理 111
3.215数据开发平台 112
3.2.1.5.1数据开发主要功能 112
32152可据视化模型开发(模型设计) 113
3.2.1.5.3预设基础模型库 113
32.1.54模型提交运行与日志跟踪 114
32155运行结果数据查看 114
3.2.156模型管理与调度/资源管理 114
3216部门分析平台 116
32161统计数据可视化 119
32.1.6.2层次和网络关系可视化 123
32」63地理信息可视化 127
32164大屏可视化 130
3.21丘5可视分析 131
3217数据服务平台 132
32171数据表转服务的在线封装 135
32.1.7.2服务级和应用级的访问限速 136
32173服务调用情况统一监控分析 136
32.1.74高可靠实现单节点容错机制 136
32175业务系统接口自助申请发布 136
321K多租户管理 137
321.9数据安全体系 140
321/1。
数据标准规范 145
321101整体设计 145
371107标准规范分类 147
3211(13标准化工作任务 148
A21104数据质量管理 149
32111与现有平台的结合 150
3.2.2Ai中台设计 152
3221一站式AI开发平台 153
3222AI模型 155
3223API月艮务 156
3.2.3技术中台设计 156
3231时空地图平台 156
3.23,视频融合平台 161
3.2.33物联网管理平台 164
3.2.34融合通信平台 169
3.2.4业务中台设计 174
32.4.1智能搜索 174
3242数据展示 176
3.2,4,2.1数据介入与处理 177
3.2.4.2.2可视化设计能力 179
32.4.2.3空间数据可视化 180
3.2.4.24数据交互设计 181
3.24.2.5数据多维分析 182
32.4.3统一集成 182
3.2.4,3.1 集成功能 183
3.24.3.2 统一门户 184
3.2,4,3.3 资源管理 186
3.2,4,3.4 后台管理 188
3.2.4.3.5 接入规划 189
3.2.4,3.6视频云集成展示 190
3.2,4,37业务系统集成展示 191
3.244监测预警 191
3245研判分析 194
3.2.46精准画像 197
3.2.5云平台基础设施设计 200
一、一体化数字底座需求分析
1.1数据中台需求分析
如何整合和打通各委办局系统的“烟囱”数据,并将其按照统一
的标准进行建设,以达到数据互通、应用互通、业务赋能的目标,是
当前面临的重要问题。
需要建设数据中台将部门的数据汇聚、分析、
利用,实现对城市运行状态的全面感知、态势预测、事件预警以及跨
部门业务协同调度。
数据的信息共享需求得到各个部门的共识,法人综合库整个调研
过程中应急管理局、农业农村局、商务局、统计局等都提出对法人相
关经营性信息共享的需求。
建设企业覆盖面广、指标科学合理、数据
及时准确且安全性高的法人综合库,有利于进一步优化营商环境,有
利于企业的事中事后监管。
1.2AI中台需求分析
随着智能应用的推进,城市运营管理对AI能力需求日益增加,
因此需要AI中台提供足够的AI能力以支持智能应用的发展建设,尤
其是对机器视觉、语音处理等常用AI能力的提供。
郎丰利2022年8月28日星期
曰
1.3技术中台需求分析
构建城市级技术中台需求。
如地图服务能力支撑城市运营管理各
类业务的一张图应用,视频融合能力为城市管理各类业务提供统一的
视频服务,物理网统一管理能力实现城市感知设备统一接入、集中管
理和数据共享利用。
融合通信指挥能力支撑各委办业务单位,实现城
市整体范围的跨层级、跨部门、跨系统的指挥调度,通过多种网络融
合的语音和视频的融合通信指挥,实现对应急事件处置的统一指挥调
度和应急决策信息的快速传达。
郎丰利2022年8月28日星期日
1.4业务中台需求分析
需要通过现代数字城市业务中台建设,形成通用服务中心和业务
服务中心,如精准画像,智能搜索、监测预警、分析研判等,实现快
速构建城市运管中心的业务应用。
1.5云平台基础设施需求分析
利用现有集约共建的城市云平台,为政府各级部门提供可靠的基
础IT服务平台,为一体化数字底座的部署和使用提供稳定的基础设
施环境。
二、设计原则
2.1顶层设计、统筹规划
xx“一体化数字底座”建设是一项涉及面广、技术和资金密集型
的系统工程。
需从全局的高度,综合考虑全市各级部门的应用需求,
立足于XX市城市运营管理服务需求,构建高可用性的顶层架构。
以
一个数字化底座、一个业务中台和一个运管平台应用的城市综合运营
管理为基础,统筹共性、通用能力建设,强化委办局应用灵活性,减
少重复设计、冗余应用。
2.2问题导向、注重实效
针对目前XX市信息化建设存在的问题,紧密结合数据分析应用
智能化程度不深,信息系统重复建设,缺少统一展示平台,缺少辅助
决策支撑等突出问题,设计满足需求并能够彻底解决XX现状问题的
一体化数字底座及场所。
空间设计和系统功能设计立足于需求分析,
功能要切合实际,重在应用,坚持以实际需求为主导,从实际需求出
发,深入开展业务调研,保证各系统便捷使用,易于维护。
2.3充分利旧、深化应用
充分考虑与现有政务信息资源共享开放平台等系统的融合,尽可
能保护已有投资,使已有的资源发挥最大的效用,根据已有的建设成
果和实际情况将相关部门逐步进行融合,并不断深化应用。
2.4技术先进,开放兼容
在实现技术的选择上,要兼顾实用性与先进性,选择一些成熟的
技术并在将来相当一段时间内能够保持技术领先o一体化数字底座设
计需要采用灵活的架构,低耦合的功能模块设计,形成通用化、系列
化、模块化的开放平台,便于系统功能扩展、升级、维护等。
平台要
与其它子系统的对接提供接口,便于数据的交换与共享。
2.5自主可控、融合创新
采用自主可控的软件技术,注重信息安全体系的设计,提高信息
基础设施的整体安全性。
保证网络环境下数据的安全,防止病毒入侵、
非法访问、恶意更改毁坏,采取完备的数据保护和备份机制。
大力推
进跨部门、跨领域业务协同,有效提升城市管理效能和综合服务水平,
提升全社会信息资源综合利用水平,促进创新成果转化。
三、一体化数字底座现代数字总体架构
3.1现代数字城市总体架构设计
图:
现代数字城市总体架构图
现代数字城市是数字中国在地方的重要实践,遵循安全为先、需
求牵弓I、迭代发展和数据赋能建设原则,以强后台和大中台的一体化
底座为基础,以组织保障为核心,以市域治理现代化和高质量发展为
两条主线,通过一中心构建城市管理交互体系和一门户构建城市服务
交互体系。
现代数字城市建设需要从整个城市发展视角进行规划设计,对城
市数据资源进行统一采集和存储,并借助新一代信息技术(如:
Ak
物联网、大数据、区块链等),把服务城市共性、通用基础能力进行
统一建设,同时按照业务应用需求搭建业务能力中台,为协同办公、
一网通办、一网通管、一网共治的市域治理现代化和数据要素、数字
市场、数据产业、数字园区的高质量发展四梁八柱服务。
3.2一体化数字底座设计
3.2.1数据中台设计
结合政府、公众数据整合分析需求,网络基础设施环境等基础
条件。
整个数据中台由大数据存储计算平台、数据归集平台、数据
治理平台、数据开发平台、数据资源支撑平台、部门分析平台以及
数据服务平台等部分组成,各层逻辑上独立,由用户接口互联,形
成一个有机的整体。
同时考虑与已有业务平台之间关系,综合考虑
建设。
以数据共享开放平台、视频融合平台以及物联网平台为基础
数据源入口。
各个平台的数据流程大致如下:
图:
平台数据流程
搭建大数据集成体系,整合现有数据平台,推动政府部门数据
资源共享,支持高效的集成海量来自于不同网络、不同系统和不同
数据类型的数据。
321.1大数据计算存储平台
通过新建大数据计算存储平台,为政府各部门用户提供数据开发、
算法开发等可视化的一站式数据开发服务支撑平台。
平台需支持多租
户隔离,保障多层级业务数据的安全隔离及租户间的授权共享。
平台
应具备强大的数据标准定义、可视化数据清洗、数据处理作业开发、
算法定义、模型开发等功能,满足5G、物联网、AI等新技术对大数据
基础平台的要求。
大数据计算存储平台支持多租户、项目空间的管理模式,能够实
现数据物理集中逻辑隔离,为各部门开辟单独的逻辑数据隔离区,满
足未来市级各部门的数据计算开发、数据分析探索的需求。
大数据计算存储平台实现对物理资源的弹性化服务,计算资源弹
性伸缩、按需分配。
通过建设基于大数据架构的计算存储平台实现全
面扩展数据采集、存储、计算、和应用服务能力,满足未来城市级大
数据中心建设需求。
大数据计算存储平台要求融合分布式存储与计算、分布式数据仓
库以及互联网云计算服务等技术,以分布式计算服务的形式实现海量
数据的存储与处理。
大数据存储计算需提供运维管理平台,能够更快
速的解决海量数据计算问题,支持多租户架构,具备多应用多实例并
发同时计算并隔离应用数据和程序的能力,可以让多个用户在一套平
台上协同工作。
大数据存储计算引擎需采用分布式架构,存储能力和计算能力支
持横向扩展,数据存储应采用分布式文件系统,支持多种存储格式,
提供高可靠性和高性能,要求支持列式存储,同时具备高压缩比能力。
大数据存储计算引擎要求支持与常见数据源如传统数据库、Hadoop、
HDFS和文件进行数据导入导出,以及流式数据导入。
大数据存储计算
引擎要求基于统一的内存迭代计算架构,提供SQL、Graph计算、
MapReduce,机器学习等多种数据处理接口和框架,需具有高吞吐高
性能的数据处理能力,要求提供SQL查询界面内置丰富的函数库。
(1)分布式架构
大数据存储计算弓1擎需提供基于大数据架构的分布式数据仓库,
全面整合各类数据,按照主题组织信息,构建商业智能核心,实现数
据采集、数据整合、模型加工、数据管理等完备的一体化数仓功能,
支持对查询速度、并发度、扩展性的保障。
可以归集政务类数据,形
成城市级的统一运营视图,比如当前常驻人口数、流动人口数、汽车
保有量、经济产值、交通流量等宏观指标。
(2)多租户管理
大数据存储计算引擎需支持多租户功能。
实现面向不同业务单位
分配逻辑隔离、物理统一的计算资源与存储资源,供各业务部门开展
独立的大数据建设。
让多个租户共用一个应用程序或运算环境。
支持采用租户-项目
-用户三级管理,实现平台为各委办局及其子部门、为各种专项事件
和工作提供租户空间供其使用。
平台在单个租户内又可以根据不同的业务部门创建不同的项目。
每个租户中可以有多个用户,同一个用户可以到不同的项目中;同时
租户内的用户可以分配不同的角色,不同角色具有不同的操作权限。
(3)运维管理
大数据存储计算引擎要求提供运维管理功能,运维管理应支持展
示当前的使用状况,显示系统的重要信息,包括且不限于集群服务器
数量、集群整体磁盘使用率、集群整体CPU使用率、主机概览、服务
概览、自定义监控项等内容。
(4)集群管理
大数据存储计算引擎要求提供集群管理功能,集群管理要求支持
显示各个物理主机或虚拟主机的CPU使用率、磁盘使用率、内存使用
率、负载情况,包括实时图和趋势图,•同时也要支持显示各个主机的
主机名、IP地址、操作系统、CPU核数、磁盘总量、已使用磁盘量、
内存总量、平均负载、版本、组件等信息,支持实现开启、关闭、重
启组件以及主机删除功能。
(5)服务中心
大数据存储计算引擎要求提供服务中心,服务中心应支持服务信
息概览、修改服务配置、服务日志查看、服务的启动和关闭等功能,
应支持系统的健康检测和冒烟测试等功能,便于运维时检测故障原因,
同时还应支持数据审计日志、操作审计日志、内部服务日志等功能,
便于事后回溯,服务中心还应支持硬件告警和服务告警等功能,告警
可以通过邮件的方式通知管理员。
(6)数据处理能力
大数据存储计算引擎要求支持SQL、MapReduce、Graph和机器
学习的数据处理能力。
SQL数据处理应基于DAG(有向无环图)执行
模式和内存迭代计算架构;MapReduce数据处理应提供基于Java版本
的编程接口;Graph数据处理应提供类似Pregel的API,并要求基于
RDD数据模型进行迭代;机器学习数据处理应提供常用的机器学习算
法库。
(7)数据可用不可见
大数据存储计算引擎要求系统安全应具有用户访问认证,用户操
作鉴权以及所有操作记录审计日志的能力。
在多租户的使用场景时,
应满足多用户协同、数据共享、数据保密和安全的需要,各部门的数
据要求存储在各租户资源之内,租户间资源隔离,默认情况下无法直
接跨部门访问数据,针对部署大数据平台下多租户间的数据交换时,
交换数据应不发生物理上的搬移,数据不搬家,让租户在分配的租户
空间内进行数据的交换,以实现“数据可用不可见”。
321.2数据资源支撑平台
数据资源支撑平台负责归集全市的数据资源,数据类型上包括结
构化数据和非结构化数据。
数据源规划上要求能够支撑政府自身数据
以及第三方数据。
目前XX市在数据资源归集上已经取得一定成果,建
设有人口基础库、法人基础库、地理信息库、电子证照库以及信用库。
按照规划将以上数据资源归集到数据资源支撑平台,统一管理。
数据资源平台围绕人口综合库、法人综合库以及城市运营管理建
设主题库和专题库。
3.2.1.2.1人口综合库
本次建设人口综合库,以先前建设的人口基础库为基础,原有人
口基础库保持运转不变,作为此次人口综合库建设的一个重要数据来
源。
区别于传统人口库,本期建设的人口综合库应具备以下新特性要
求:
•整合政务全域人口数据
•全系人口标准体系
•数据完整、准确、及时
•完善的数据分层管理机制,快速实现业务模型加工
•跨部门数据整合,支撑“数据多跑路,群众少跑路”的业务
创新
•长效可运营的方式
•支撑在线业务,成为全域自然人数据统一处理平台
•采用模块化多层架构,支持分布式部署,支持灵活扩展
人口综合库构建需以数据为弓[擎、管理为手段、服务为载体的生
态化的数据模型体系。
在数据模型在构建过程中,必须紧密结合自然
人核心数据特色建设,同时兼顾大数据整体的一致性和完整性的考虑。
按照本期建设规划数据模型需要建设包括:
贴源层、标准层、主题层
和模型层。
(1)贴源层建设要求
贴源层建设需采集各级行政机关以及履行公共管理和服务职能
的事业单位在依法履职过程中,采集和产生的各类和自然人、法人相
关的数据资源。
包括行政审批、税务、人社、住建、民政、法院、国
土、消防、环保、科技、质监、食药数据,最终数据来源以项目实际
调研为准。
数据基于部门的方式进行更新,可实现全量或者增量更新,增量
方式也可设定更新频率,可按天、按小时等频率进行数据的更新归集。
在数据抽取过程中,以统一的技术规范,由相关各业务部门按照
规定的职责协同进行政务数据归集、汇聚和统一报送,并统一存储在
结构化数据库平台上,从而实现以数字化方式完成自然人数据的采集、
记录、存储和入库。
数据归集支持从不同数据源中按照指定规则抽取数据,并加载到
贴源层归集库中。
(2)标准层建设要求
标准层建设,数据标准需参照国家标准、行业标准、地方标准,
对于部分部门业务数据暂时没有标准的,以部门的数源数据为准。
需
要约束的范围包括数据所属类目、标识符、名称、含义说明、数据元
格式、值域范围,以及对应数据的主要提供部门。
基于统一的数据标准、统一的质量要求、统一的治理方法,对贴
源层数据进行数据清洗、标准化、治理和加工,形成符合大数据管理
中心要求的、统一格式的标准数据源,供后续自然人主题建设使用。
(3)主题层建设要求
主题层的建设要求以公安人口库数据为基础,按照最大化归集原
则,增补民政、教育、人社、卫计委等各个部门产生、收集的自然人
相关数据,建设完整的、准确的、标准的数据模型。
主题库的建设需按照自然人主题分类进行建模,主题分类包含基
本信息、社会活动、资产信息、资质荣誉、涉事涉法等五类。
按照简明性、唯一性、实用性、稳定性、扩展性、一致性的原则,
对自然人数据进行整理。
主题库详细分类标准见下表:
一级
分类
二级分类
说明
基本
信息
登记信息
自然人在政府部门登记注册的信息。
生理状态
自然人个体的生理体征,出生和死亡信息。
家庭信息
自然人的家庭血亲相关的信息。
联系信息
自然人的联系信息,包括电话、地址、电子
邮件等。
资产
信息
实物资产
自然人拥有的具有实物形态的资产。
无形资产
自然人拥有或者控制的,不具有特定实物形
态,能持续发挥作用且能带来经济利益的非
货币性资源。
金融资产
自然人可以在有组织的金融市场上进行交
易、具有现实价格和未来估价的金融工具的
总称。
社会
活动
基本生活
自然人在日常生活中的衣食住行活动。
医疗、卫生
自然人在生理健康方面相关的活动。
科技、教育
自然人在科研和教育方面从事的活动。
就业、社保
自然人在就业、纳税、社保方面的活动。
文化、体育
自然人在文体、娱乐休闲方面的活动。
资质
荣誉
执业资格
自然人拥有的从事某些责任较大、社会通用
性强、关系公共利益的专业技术工作必须的
准入资格。
能力资质
自然人拥有的依法独立开业或独立从事某
种工作必备的资质或能力。
荣誉表彰
自然人从事的可以产生正面评价的活动。
涉事
涉法
行政监管
自然人受到行政处罚、行政强制等相关信
自
O
司法信息
自然人相牵涉司法案件相关信息。
违纪、违规
和违约
自然人涉及的违纪、违规和违约等相关信
自
O
信访、申诉
和举报
自然人相关联的信访、申诉和举报相关信
自
O
其它涉事涉
法信息
自然人其他涉及到法律法规相关信息。
(4)专题层建设要求
根据不同的业务应用场景,利用数据处理技术,构建自然人的专
题数据模型层。
专题层的应用面向两类场景:
•结合运管平台运营中心综合展示平台,展现专题分析场景
面向统计分析场景,提供指标计算模型包含:
常住人口、流动人
口、迁入人口、迁出人口、出生人口、城镇人口、农村人口、男性人
口、女性人口、死亡人口、人口密度,每年净增人口。
对实有人口数据进行挖掘分析,形成动态趋势分析图表,提供给
管理者决策分析支持。
主要包括:
人口规模分析模型、人口构成分析
模型、人口年龄结构分析模型、年龄结构分析模型、人口性别分析模
型、出生婴儿性别分析模型、人口死亡分析模型、人口出生分析模型
人口规模分析:
指一定时点、一定地域范围内所有有生命的个人
的总和。
人口构成(人口结构):
即各种人的比重。
其三个基本要素是人口
规模、人口分布、人口结构。
人口年龄结构分析:
针对人口年龄的分布,主要针对老年人和儿
童。
人口老龄化(人口老化)分析:
是指人口中成年人或老年人的比
例逐渐增加,儿童与青壮年的比例逐渐减少的过程。
通常将60-69岁
为低龄老年人口,70-79岁为中龄老年人口,80岁以上为高龄老年人
口。
国际通行的标准,60岁以上的老年人口在总人口中的比例超过
10%或65岁以上的老年人口在总人口中的比例超过7%,即可看作是
达到了人口老龄化。
年龄结构(人口年龄构成类型)分析:
按照反映年龄构成的指标
和标准,将不同的人口或同一人口的不同时期区分为不同的类别。
人口的性别结构分析:
一定时间、一定地域范围内,人口总数中
的性别分布及其比例关系。
性别比例(性别比重):
指男性或女性人口数在总人口数中所占的
百分比
性别比:
指总人口中男女人口数的对比比例关系,表明当女性人
口为100时所对应的男性人口数。
性别比二100时人口性别构成平
衡;>100男性多于女性;<100男性少于女性。
出生婴儿性别结构分析:
反映某个时期出生的婴儿中,男女婴儿
数的对比比例关系。
表明当女婴为100时所对应的男婴数。
偏高的原
因:
女婴漏报、瞒报,选择性别生育。
人口死亡分析:
人口死亡。
其统计结构包括性别、年龄、死因。
相关指标:
人口死亡率。
人口出生分析:
出生人数:
指一定时期、一定地域范围内,离开
母体后有生命现象的婴儿数(活产婴儿)总和。
人口出生率(总出生率、粗出生率):
指一定时期、一定地域范围
内,每千人中拥有的活婴数,反映的是出生强度或出生水平,用千分
数表示。
面向自然人亲缘关系,构建自然人家庭关系模型。
•回流委办单位支撑业务创新
回流委办单位支撑业务创新主要是通过自然人信息大平台实现
网上身份认证、网上办事等功能。
通过人口综合库全面支持互联网+
政务服务,实现“让数据多跑腿、让群众少跑腿”的目的。
综合人口库通过将整合好的自然人数据根据业务不同,形成数据
服务目录进行发布,建立基于XX市自然人数据服务目录,将自然人
的信息,通过服务目录形式发布出来,各个部门通过相关申请、审批、
获取,得到自然人资源服务目录中的数据。
通过此方式,将自然人库
中的数据回流到各个部门,去改善各个部门对于自然人数据的诉求,
更好的发挥部门间协同,改进其工作效率。
基于对自然人的综合数据的拉通建设,完成自然人碎片数据的整
合和归集。
然后将自然人的数据,通过自然人统一资源目录的形式,
将各个自然人的数据发布成自然人服务目录。
自然人服务目录,对内
对外提供服务。
通过自然人统一干净的资源目录对内提供共享。
将自
然人的数据回流到各个部门,改进各个部门自然人数据的质量、自然
人数据的全面性,提供各个部门进行业务创新。
通过对自然人数据的整合和汇聚功能,实现自然人资源目录的建