物联网大数据分析实验室建设方案章鱼大数据Word下载.docx

1、这一类公 司也是在传统的优势积累基础上开拓物联网新业务。 第三类是一些制 造企业，包括传感设备制造企业，网络核心设备制造企业，还包括如 家电等一批传统制造企业。 这一类企业不能说没有大企业， 但是绝大 多数都是中小型企业。 这些企业的核心能力主要体现在三个方面， 第 一是传感器和智能仪表， 第二是嵌入式系统和智能装备， 第三是软件 与集成服务。再来看我国物联网应用的领域。 通过对多个部委和地区的物联网 专项进行汇总， 下图列出了目前提到最多， 也是应用最成熟的八个领 域。但是换个角度再看，不管是工业控制、供应链管理、精准农业， 还是建筑自动化、远程抄表、ETC其实都并不是新的技术领域，而 是在

2、物联网这个大概念下重新包装后再次引起了人们的兴趣。 总的来说，物联网应用传感器改善了信息获取的实时性和准确性， 同时智能终端改变了人们利用和使用信息的习惯。目前存在的主要问题包括应用过于碎片化，缺少满足用户需求的创新型产品 /服务，行业间缺乏信息共享和应用协同渠道，以及安全和隐私保护重视不够三、建设目标章鱼大数据物联网大数据平台是顺应目前信息化技术水平发展、 服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分 析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体 系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的 信息依据，提高政务工作的前瞻性和针对性，加大宏观调控

3、力度，促 进经济持续健康发展。1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化 数据库，为平台打下坚实稳固的数据基础。2、梳理各相关系统数据资源的关联性，编制数据资源目录，建 立信息资源交换管理标准体系， 在业务可行性的基础上， 实现数据信 息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。3、在大数据分析监测基础上，为政府把握经济发展趋势、预见 经济发展潜在问题、辅助经济决策提供基础支撑。四、建设原则物联网大数据平台以物联网数据资源为重点， 以大数据应用为核 心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、

4、 注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平， 促进全省经济持续健康发展。1、统筹规划、分步实施。 结合我省经济发展与改革领域实 际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成 大数据平台的整体架构建设， 后期分步完成业务系统的整合及相互间 数据共享问题。2、整合资源、协同共享。 对信息资源统一梳理，建立经济 发展与改革信息标准资源库和数据规范，逐步消灭“信息孤岛” ，加 快推进数据资源整合，建设共享共用的大数据中心，实现业务协同。3、突出重点、注重实效。 以用户为中心，以需求为导向， 以服务为目的，突出重点，注重实效，加强平台可用性和易用性。4、深化应用、创新

5、驱动。 深入了解用户需求，密切跟踪信 息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度， 促进跨界融合，丰富管理和服务手段。五、建设方案为了保证项目的顺利进行和建设目标的可行性， 章鱼大数据采取 如下几种建设方案。1、数据采集方案。我们统一信息资源标准规范， 建立多维度数据库， 拓宽数据 来源，通过不同的方式汇聚数据，增强分析力度，提高监测预警 的准确性和时效性。1、预留接口，支持其它系统各种数据的上传导入处理。将 现存有关经济运行业务系统中的历史数据和时效数据， 通过上传 数据文件至服务器、 分析提取有效数据导入服务器数据库等方式 采集起来，在本平台上复用。2、支持外接数据的上传

6、导入处理。可以将企业单位或定点 监测机构的数据通过同样的方式采集起来，在本平台上复用。3、支持非结构化数据，即搜索引擎数据、社交媒体数据、 地理空间数据和音视频数据等等。2、数据分析方案。物联网大数据之大并不是难点所在， 其真正难以对付的挑战 来自于数据类型多样、 要求及时响应和数据的不确定性， 而我们 所面临的也正是如此。我们采用批量数据处理系统， 借助于深度学习、 知识计算和 可视化等大数据分析技术， 通过对数据的批量处理挖掘其中的价 值来支持决策和发现新的洞察。3、业务整合方案。在对社会发展相关业务子系统充分调研基础上， 结合项目需 求，可对其进行整合或嵌入处理 （本方案整合公共信用信息

7、服务 平台、投资项目信息管理平台等） 。1、整合处理。将原有数据通过上传或导入方式进行采集， 原有功能模块整合到本平台中， 合二为一， 完美的将数据汇聚起 来。缺点是耗时较长。2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本 平台中，作为子系统单独存在。缺点在于数据共享难以实现。六、建设内容1、宏观经济监测预测及可视化平台政府信息化的最终目标是提高政府的决策水平，其中经济决策是核心内容。为了提高宏观调控决策水平，我们必须从依靠传统统计数据向依靠物联网非统计数据转变，从监测预测宏观经济 总量向监测预测宏观经济先行指标转变，从中长期监测预测向实 时监测预测转变。宏观经济监测预测及可视化平台围绕

8、网络搜索、社交媒体、 电子商务、终端定位和业务交易等五个方面全面整合互联网相关 数据资源，建设以“容量大、形式多、分类细、响应快”为目标 的宏观经济监测预测数据库，构建基于互联网数据的宏观经济非 统计指标监测预测应用平台。围绕重点产业活跃度、区域经济关联度、宏观经济走向社会 预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、 外贸订单变化趋势等方面，构建物联网大数据宏观经济先行指标 和现时预测指标库，研究能客观、准确反映我省宏观经济运行状 况的指标体系，编制“山东指数”。在健全完善监测预警数据库的基础上，充分运用大数据技术 和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析 系列

9、模型，切实提高预测分析的前瞻性、准确性和可靠性。积极拓宽信息发布渠道，建立可视化平台，如采用 Unity3D 引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海 量数据，通过数据处理、存储管理、可视化交互分析等技术，实 现图形化数据查询、可视化关联分析、证据链和情报线索发掘等 功能。利用预测信号灯系统，形象地刻画出宏观经济总体运行状 况，分析经济波动原因，及时了解各地区经济发展的不平衡性， 准确判断和测定经济景气循环运行状态， 提高宏观经济决策水平。2、建立食品安全风险监测大数据分析平台食品安全风险监测大数据平台的基础是感知、收集、分析和 共享覆盖食品生产全过程的相关数据。国家应制定相关

10、法规，强 制推行在农、林、牧、副、渔及食品生产企业和相关主体建立覆 盖食品生产全过程的食品安全风险监测网点，进行动态数据的标 示与感知，设立食品安全风险监测省级及地方大数据分平台，负 责动态收集、分析本省及地方的食品安全监测数据，对本省及地 方的食品安全状况做出评估，对监测发现的可能存在的食品安全 隐患及时发布预警，并将数据及时汇总到食品安全风险监测管理 部门。3 、物联网数据共享交换平台物联网数据共享交换平台是各个平台中的基础性和综合性平 台，是解决“信息孤岛”、实现数据互连互通的基础设施，有利于 提高各类信息资源整合共享，以及信息资源的综合利用。建设物联网数据共享交换平台的首要目标就是要创

11、造一个信息交换、信息共享的方式和环境，按照统一标准和规范，建立信 息资源整合机制，规范数据采集口径、采集方式，规范数据的服 务方式，建立统一的资源信息整合与交换机制。我们按照统一、集约、高效的数据开发利用理念，通过研究 建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中 的信息共享模式，通过以应用为抓手，进一步打通数据流，满足 政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平 台不同应用系统、不同数据库之间的互连互通提供包含提取、转 换、传输和加密等操作的数据交换服务。通过分布式部署和集中式管理架构，有效解决各节点间数据的及时、高效上传下达，在安全、快捷、方便的进行信息交换的同时

12、精准的保证数据的一致性和准确性。章鱼大数据物联网数据共享交换平台的全局目标是建立一个 可扩展、可集成、有统一数据模型、可交换和安全可靠的分布式 系统，对各类物联网资源进行组织和管理。解决物联网信息资源 的发现与定位问题，解决物联网信息资源规划与整理问题。支持 物联网信息集成整合应用、各业务部门办公应用和政府职能决策 应用。面向政务协作、宏观决策、市场监管和社会管理服务。七、技术支持与平台性能1、系统架构建立基于分布式的物联网大数据集群管理系统， 提供物联网大 数据集群管理系统， 功能包含 Hadoop、Hive 、HBase、Sqoop、Flume、 Spark等节点部属及管理，提供实时监控集

13、群的 CPU内存、硬盘 等使用率及相关信息，可以对管理节点、计算节点进行启动、停 止等操作管理。系统架构图如下：2、Hadoop集群生态系统技术架构3、Hadoop核心主要功能设计4、HDFS绍-文件读流程Client向NameNod发起文件读取的请求。NameNod返回文件存储的 DataNode的信息。Client 读取文件信息。5、HDFS绍-文件写流程Client向NameNod发起文件写入的请求。NameNode艮据文件大小和文件块配置情况，返回给 Clie nt它所管理部分DataNode的信息。Client将文件划分为多个Block，根据DataNode的地址信息， 按顺序写入到

14、每一个DataNode块中。6、 MapReduce 映射、化简编程模型输入数据-Map分解任务- 执行并返回结果-Reduce汇总结 果-输出结果7、HBas 分布式数据存储系统Client :使用 HBase RPC机制与 HMaster 和 HRegionServer 进行通信Zookeeper :协同服务管理，HMaster通过Zookeepe可以随 时感知各个 HRegionServer 的健康状况HMaster:? 管理用户对表的增删改查操作HRegionServer: HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS件系统中读写数据HRegion:Hbase 中分

15、布式存储的最小单元，可以理解成一个 TableHStore: HBase存储的核心。由 MemStore和 StoreFile 组成。HLog：每次用户操作写入Memstore的同时，也会写一份数据 到HLog文件2、平台性能及优势1、先进性、开放性。基于 Hadoop/Spark 主流大数据结构的应用技术和开放式的 体系框架，结构化设计，灵活可拆分，具有灵活的可扩充接口， 易于修改调整、二次开发和扩充，最大限度降低因上游技术升级 带来的系统实施风险，保证投资的有效性和延续性。2、可扩展性。由于采用了平台化构建思想，章鱼大数据整个系统可做到与 底层多种硬件环境、操作系统、数据接口的自由适配，保

16、证系统 在软件、硬件环境方面的灵活配置以及未来的拓展应用。采用基于开放的模块化设计，可根据需要进行灵活动态的模 块扩充，并保证原系统环境不受影响。系统提供开放的标准接口，可实现与外围业务系统的无缝集 成应用，灵活扩展系统的业务应用范围。3、稳定性、可靠性。系统采用集群结构应用模式， 集中安装部署， 客户端零安装， 所以系统的运行不受任何客户端单点故障的影响。技术框架的支 撑，可以实现数据信息的持久、稳定连接，确保事务处理的连续 和完整，保证业务数据准确完全。4、其他优势。系貌优势八、硬件系统建设1、服务器采用二十台高性能品牌服务器作为大数据节点进行建设，采用企业级全千兆 三层交换机进行网络数据

17、交换每台节点的配置如下：处理器每节点支持2个英特尔？至强？处理器E5-2620v4 CPU高速缓存15MBQPI总线速率s内存提供12个内存插槽，标配192G内存，支持咼级内存纠错，内存镜像，内存热备等咼级功能磁盘标配3块3TB SAS硬盘标配2块480G SSD硬盘网络控制器集成1个咼性能千兆以太网控制器（双口），支持虚拟化加 速，网络加速，负载均衡，冗余等高级功能电源标配大功率咼效白金级电源，1+1冗余虚拟化技术支持 VMware vSphere Docker、OpenStack等2、实验终端设备采用20台普通品牌PC机作为物联网大数据实验终端设备每台终端配置如下：第四代智能英特尔酷睿13处理器DDR3 8G内存500GB SAT硬盘显卡集成H110芯片显卡声卡集成声卡集成1个高性能千兆以太网控制器显示器20英寸显示器软件系统Win dows 10键盘鼠标有线鼠标、有线键盘