内贸大数据平台项目方案Word文件下载.docx

内贸大数据平台项目方案Word文件下载.docx

《内贸大数据平台项目方案Word文件下载.docx》由会员分享，可在线阅读，更多相关《内贸大数据平台项目方案Word文件下载.docx（7页珍藏版）》请在冰豆网上搜索。

2、梳理各系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，打破业务处室、商务厅内机关单位、企业以及公众间的信息壁垒，推进信息公开，促进内贸工作协同稳定发展。

3、整合各内贸处室业务子系统，不同业务同平台处理，掌握子系统数据上报、监测分析等情况。

三、建设原则

内贸大数据平台以信息资源整合为重点，以大数据应用为核心，以“一站式”办事流程为要求，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升商务信息化建设水平，促进全省商务事业持续健康发展。

1、统筹规划，分步实施。

结合我省内贸领域实际需求，明确总体目标和阶段性任务，科学规划建设项目。

先期完成内贸大数据平台的整体架构建设，后期完成业务系统的整合及相互间数据共享问题。

2、整合资源，协同共享。

对信息资源统一梳理，建立内贸信息标准资源库和数据规范，逐步消灭“信息孤岛”，加快推进商务数据资源整合，建设共享共用的商务大数据中心，实现业务协同。

3、突出重点，注重实效。

以用户为中心，以需求为导向，以服务为目的，突出重点，注重实效，加强平台可用性与易用性。

4、深化应用，创新驱动。

深入了解用户需求，密切跟踪信息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度，促进跨界融合，丰富管理和服务手段。

四、建设方案

为了保证项目的顺利进行和建设目标的可行性，我们采取如下几种建设方案。

一、数据采集方案。

我们统一信息资源标准规范，建立多维度数据库，拓宽数据来源，通过不同的方式汇聚数据，增强分析力度，提高监测预警的准确性和时效性。

1、预留接口，支持其它系统各种数据的上传导入处理。

将现存有关经济运行业务系统中的历史数据和时效数据，通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来，在本平台上复用。

2、支持外接数据的上传导入处理。

可以将企业单位或定点监测机构的数据通过同样的方式采集起来，在本平台上复用。

3、支持非结构化数据，即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。

二、数据共享方案。

为了保护涉密数据，可在信息发布、数据提取等操作时，增加一个数据项：

数据级别（分为保密和公开，默认公开）。

1、保密数据。

只在本处室显示，其它处室或企业单位无权查看、读取和运用。

2、公开数据。

可以在此基础上二次分级，比如公开至厅内其它处室、公开至企业单位、全公开等。

不再局限于本处室，将数据共享至其它单位。

三、数据分析方案。

大数据之大并不是难点所在，其真正难以对付的挑战来自于数据类型多样、要求及时响应和数据的不确定性，而我们所面临的也正是如此。

我们采用批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。

四、业务整合方案

在对商务厅内部各业务子系统充分调研基础上，结合项目需求，可对其进行整合或嵌入处理。

1、整合处理。

将原有数据通过上传或导入方式进行采集，原有功能模块整合到本平台中，合二为一，完美的将数据汇聚起来。

缺点是耗时较长。

2、嵌入处理。

以单点登录的方式将原有系统链接嵌入到本平台中，作为子系统单独存在。

缺点在于数据共享难以实现。

五、建设内容

一、内贸数据监测预警及可视化平台

优化监测样本结构，增加大型骨干流通企业及网络零售、商业综合体等新型业态企业数量，合理确定样本企业地域布局，不断提升样本代表性。

充分运用大数据技术和理念，采用关联分析、数学模型、专家评估等多种手段，不断提升运行分析和预测预警水平，增强信息服务的前瞻性和预见性。

紧紧围绕内贸流通领域重点、热点和难点问题，深入开展专题研究，并提出针对性强、可操作的政策建议。

对历史数据进行深入系统挖掘，摸清重要商品周期性波动特征，更好地揭示经济运行规律。

完善内贸流通统计监测体系，提升统计监测数据质量和工作水平，发挥内贸流通统计监测工作在服务决策、优化资源配置、促进行业发展和指导企业经营等方面的预警作用。

积极拓宽信息发布渠道，建立可视化平台，采用Unity3D引擎，三维界面高度仿真，所见即所得。

平台针对多源易构的海量数据，通过数据处理、存储管理、可视化交互分析等技术，实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功能。

二、内贸数据综合应用平台

通过建设内贸数据综合应用平台，实现全省内贸数据共享交换，形成全省内贸经济运行的基础数据平台。

提高统计工作的效率和数据把控能力，使政府部门决策更为精准、科学，并实现以下目标：

1、构建系统的横向信息传递，实现内贸数据的开放利用。

充分运行大数据的先进理念，加快平台的建设工作，实现内贸数据的横向整合、传递；

建立全省商务统计制度，切实加强对数据的集中存储、优化管理，提高数据的开发利用。

2、加快部门政务信息的共享，实现对企业全数据的动态跟踪。

以全省内贸、流通企业数据库为依托，以内贸数据共享为纽带，助推全省经济部门间的信息共享，整合全省企业经济数据，形成公共数据中心，通过对企业数据的比对、分析，实现全省企业生产经营情况和风险等级的全面评估，以及事前、事中、事后的监管和服务。

3、深挖企业数据的内在联系，实现全省经济走势的科学预判。

积极运用大数据和统计的科学理论，通过多角度、多维度的运算和比对，建立生态完整，内容丰富的经济发展分析模型，挖掘海量数据间的内在关系，实现“人在干，云在算”；

通过形成趋势线分析，实现经济运行发展趋势和存在风险的预判，切实提高决策的针对性、科学性和实效性。

三、内贸数据分析系统

数据分析系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。

系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；

然后，通过业务需要进行一系列的数据转换到相应的数据集市，供其他上层应用组件进行专题分析。

因此，从数据采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象，将系统内部分为采集层、处理层、应用层、配置层四个逻辑层次。

数据分析系统的技术体系架构如下图：

六、技术支持与平台性能

一、系统架构

结合该项目以大数据平台为核心，多业务子系统并存的业务需求，以及存在不同种类操作系统、应用软件、系统软件的现状，我们采用面向服务的体系结构，即SOA架构。

SOA是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。

接口是采用中立的方式进行定义的，它独立于实现服务的硬件平台、操作系统和编程语言。

这使得构建在这样系统中的服务可以以一种统一和通用的方式进行交互。

它的本质是实现服务和技术的完全分离，从而最大程度上实现服务的集成和重组。

SOA实施是以业务服务为导向的，业务服务独立于技术之上，技术处于从属地位，采用SOA架构的主要优势有：

1、SOA与平台无关，减少了业务应用及业务子系统整合的限制。

2、SOA具有低耦合的特点，各个业务子系统对整个业务系统的影响较低，在各个系统不断变化情况下，节省的费用会越来越多。

3、SOA具有可按模块分阶段进行实施的优势。

可以成功一步再做下一步，将实施造成的冲击减少到最小。

SOA服务交互示意图如下：

二、技术支持

1、技术领先的J2EE框架。

Java2平台企业版（Java2PlatformEnterpriseEdition，J2EE）是一种利用Java2平台来简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值。

基核心是一组技术规范与指南，其中包含的各类组件、服务架构及技术层次，均有共同的标准及规格，让各种依循J2EE架构的不同平台之间，存在良好的兼容性，解决过去企业后端使用的信息产品彼此之间无法兼容，企业内部或外部难以互通的窘境。

基主要的技术规范有JDBC、EJB、JSP、JavaServlet、XML等。

JDBC为访问不同数据库提供了统一的路径，使对数据库的访问具有平台无关性。

EJB提供了一个框架来开发和实施分布式商务逻辑，简化了具有可伸缩性和高度复杂的企业级应用程序的开发。

JSP页面由HTML代码和嵌入其中的Java代码组成，简化了页面的输出，保留了脚本语言易于使用的优点。

Servlet是一种小型Java程序，扩展了Web服务器的功能。

XML提供了一种描述结构数据的格式，简化了网络中数据交换和表示，使得代码、数据和表示分离，作为数据交换的标准格式。

2、强大灵活的SSM整合框架。

SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。

其中SpringMVC属于SpringFarmeWork的后续产品，它提供了构建Web应用程序的全功能MVC模块，分离了控制器、模型对象、过滤器以及处理程序对象的角色，这种分离让它们更容易进行定制。

Spring是一个轻量级开源框架，它的主要特点是方便解耦、简化开发、面向切面（AOP）的编程支持和声明式事务支持，其主要优点有低侵入式设计、独立于应用服务器、允许将一些通用任务如日志等进行集中处理。

Mybatis是轻量级ORM框架，它消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索，使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs映射成数据库中的记录。

其框架架构图如下：

相比于传统SSH整合，SpringMVC相比Struts更轻量级，注解的使用减少开发消耗，数据库操作层采用Mybatis，统一管理SQL甚是方便。

三、平台性能

1、先进性、开放性。

基于B/S结构的Java应用技术和SOA开放式的体系框架，结构化设计，灵活可拆分，具有灵活的可扩充接口，易于修改调整、二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险，保证投资的有效性和延续性。

2、可扩展性。

由于采用了平台化构建思想，整个系统可做到与底层多种硬件环境、操作系统、数据库的自由适配，保证系统在软件、硬件环境方面的灵活配置以及未来的拓展应用。

采用基于SOA思想的模块化设计，可根据需要进行灵活动态的模块扩充，并保证原系统环境不受影响。

系统提供开放的标准接口，可实现与外围业务系统的无缝集成应用，灵活扩展系统的业务应用范围。

3、稳定性、可靠性。

系统采用B/S结构应用模式，集中安装部署，客户端零安装，所以系统的运行不受任何客户端单点故障的影响。

技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。