概要设计经济运行平台.docx

概要设计经济运行平台.docx

《概要设计经济运行平台.docx》由会员分享，可在线阅读，更多相关《概要设计经济运行平台.docx（16页珍藏版）》请在冰豆网上搜索。

概要设计经济运行平台

沧州智慧城市建设办公室城市大数据中心建设项目

-经济运行监测预警系统概要设计文档

版本修订历史

日期

作者/修订人

章节

修改内容

版本

2018.05.20

苏炽勇

V1.0

1引言

1.1文档概述

本概要设计说明书编写的目的是为设计系统提供技术理论以及框架设计支持。

本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目评审人员。

2项目概述

2.1项目背景

2013年，沧州市政府就已明确“智慧城市”发展方向和信息化需求，通过完善城市规划，为“智慧城市”的基础建设预留空间；协调各信息化主体关系，化解信息化推进过程的管理障碍；通过进一步加强“智慧城市”信息化基础建设，为智慧城市建设奠定了坚实的基础。

2015年10月，沧州市政府委托国内知名专家规划制定了《沧州市智慧城市建设顶层设计》，以国家智慧城市试点建设为契机，综合运用物联网、云计算、大数据等现代科学技术手段，发挥沧州市资源、港口、交通、特色文化及产业经济优势，通过3-5年努力，完善城乡基础设施，促进资源共享，实现基础设施智能化；建立完善的现代城市管理、产业融合发展体系，创新城市管理与发展，提升城市管理水平；以人为本，提升公共服务水平，促进社会事业进步与发展，城乡人民物质文化生活水平显著提高；遵循“优一强二增三”的产业发展思路，做强支柱产业，培育发展战略性新兴产业和现代服务业，促进产业结构调整，提升提高经济发展水平；形成智慧城市运营和服务体系，保障城市人口、经济、资源、环境和社会全面协调可持续发展。

2017年9月，沧州市委、市政府成立了沧州市统筹推进信息化建设领导小组，统筹推进全市信息化建设工作，促进数据资源整合、共享、开放，提高社会治理能力和公共服务水平，同时推进我市实体经济数字化、网格化、智能化，推动网络信息技术产业健康快速发展。

2017年，沧州市委市政府先后出台一系列政策文件，推动全市信息化建设和信息产业发展，加快沧州市城市大数据中心建设正是进一步推进新型智慧城市建设，落实市委市政府决策的有力抓手。

2.2建设目标

按照党中央、国务院决策部署，牢固树立和贯彻落实创新、协调、绿色、开放、共享的发展理念。

通过城市大数据中心的建设，促进简政放权、放管结合、优化服务、改革措施落地；促进规范行政权力运行、优化政务服务供给，降低制度性交易成本，决影响企业和群众办事创业的难点堵点；促进网上政务服务运行规范、程序严密、过程透明、结果公开、监督有力，切实增强政务服务的主动性、精准性和便捷性，为推进政府治理创新提供有力数据支撑和保障。

通过对对沧州市的宏观经济、产业、行业的信息资源的采集和汇总，提供经济运行综合统计、经济运行综合分析、经济运行预测和经济运行预警等全市经济运行情况和指标预警预测服务，助推沧州市经济运行健康发展。

3概要设计

3.1系统功能架构

系统的功能架构图如下：

经济运行监测预警系统，分为8大模块，从各个角度全面监测分析经济的运行状况。

具体功能如下：

1.态势分析

从宏观角度，综合展现城市运行的重要指数值，包括国民生产总值和三产的增长状况

2.产业结构

对三产综合的经济情况的综合分析，包括总体的综合分析，还有细分到每个产业的分析

3.经济走势

从GDP，PPI，投资增长率等等重要经济指标的角度分析经济走势情况

4.外资与进出口

外资投资分析，包括外资的投资趋势，分布情况和行业占比等等；

进出口分析，包括进出口的发展趋势，出口分布，利润分布和行业排名等等

5.财政收支

从公共预算收入，公共预算支出和税收情况三方面去剖析政府财政的收支情况，为财政未来的预算提供强有力的数据分析

6.消费与存款

从居民消费，消费结构，行业消费占比等方面分析城市的消费能力；

从银行存款的角度统计分析居民的存款情况

7.固定资产投资

首先从三产角度综合分析城市的投资情况，然后再细化到更新改造和房地产开发两方面分析投资情况

8.项目投资

从城市项目投资的角度分析城市项目的增长情况，涉及金额，完成程度等等

3.2系统技术架构

经济运行监测预警系统采用六层技术架构，运用大数据技术对各方面收集到的信息资源进行存储和运算，再采用机器学习算法对未来的发展情况进行预测和预警。

系统技术架构图如下：

运用到的具体技术如下：

1.虚拟化

是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。

这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态所限制。

一般所指的虚拟化资源包括计算能力和资料存储。

在实际的生产环境中，虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用，透明化底层物理硬件，从而最大化的利用物理硬件。

2.Spark大数据计算框架

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。

Spark是UCBerkeleyAMPlab（加州大学伯克利分校的AMP实验室）所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark是在Scala语言中实现的，它将Scala用作其应用程序框架。

与Hadoop不同，Spark和Scala能够紧密集成，其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建Spark是为了支持分布式数据集上的迭代作业，但是实际上它是对Hadoop的补充，可以在Hadoop文件系统中并行运行。

通过名为Mesos的第三方集群框架可以支持此行为。

Spark由加州大学伯克利分校AMP实验室（Algorithms,Machines,andPeopleLab）开发，可用来构建大型的、低延迟的数据分析应用程序。

3.数据仓库

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

它是单个数据存储，出于分析性报告和决策支持目的而创建。

为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库是面向主题的；操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。

主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。

数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库；

数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到当前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询；

数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。

稳定的数据以只读格式保存，且不随时间改变。

汇总的。

操作性数据映射成决策可用的格式。

大容量。

时间序列数据集合通常都非常大。

非规范化的。

Dw数据可以是而且经常是冗余的。

元数据。

将描述数据的数据保存起来。

数据源。

数据来自内部的和外部的非集成操作系统。

数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。

数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。

为了更好地为前端应用服务，数据仓库往往有如下几点特点：

1.效率足够高。

数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。

由于有的企业每日的数据量很大，设计不好

的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。

2.数据质量。

数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。

3.扩展性。

之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用太快花钱去重建数据仓库系统，就能很稳定运行。

主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。

从上面的介绍中可以看出，数据仓库技术可以将企业多年积累的数据唤醒，不仅为企业管理好这些海量数据，而且挖掘数据潜在的价值，从而成为通信企业运营维护系统的亮点之一。

正因为如此，

广义的说，基于数据仓库的决策支持系统由三个部件组成数据仓库技术，联机分析处理技术和数据挖掘技术，其中数据仓库技术是系统的核心，在这个系列后面的文章里，将围绕数据仓库技术，介绍现代数据仓库的主要技术和数据处理的主要步骤，讨论在通信运营维护系统中如何使用这些技术为运营维护带来帮助。

面向主题

操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。

主题是与传统数据库的面向应用相对应的，是一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。

每一个主题对应一个宏观的分析领域。

数据仓库排除对于决策无用的数据，提供特定主题的简明视图。

4.机器学习

机器学习（MachineLearning,ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。

专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

基于学习策略

学习策略是指学习过程中系统所采用的推理策略。

一个学习系统总是由学习和环境两部分组成。

由环境（如书本或教师）提供信息，学习部分则实现信息转换，用能够理解的形式记忆下来，并从中获取有用的信息。

在学习过程中，学生（学习部分）使用的推理越少，他对教师（环境）的依赖就越大，教师的负担也就越重。

学习策略的分类标准就是根据学生实现信息转换所需的推理多少和难易程度来分类的，依从简单到复杂，从少到多的次序分为以下六种基本类型：

机械学习（Rotelear