农业云计算及云存储设计方案文档格式.docx
《农业云计算及云存储设计方案文档格式.docx》由会员分享，可在线阅读，更多相关《农业云计算及云存储设计方案文档格式.docx（13页珍藏版）》请在冰豆网上搜索。
物理服务器与网络的连接是通过链路状态来体现的，当服务器被虚拟化后，一个主机内同时运行大量的虚拟机，网络虚拟化将虚拟机产生的网络流量全部交给与服务器相连的物理交换机进行处理，即使同一台物理服务器虚拟机间的流量，也将发往外部物理交换机进行查表处理，之后再180度调头返回到物理服务器，形成了所谓的“发卡弯”转发模式。
网络虚拟化将外网交换机上的众多网络控制策略和流量监管特性引入到虚拟机网络接入层，不但简化了网卡的设计，而且充分利用了外部交换机专用ASIC芯片的处理能力、减少了虚拟网络转发对CPU的开销；
网络虚拟化充分利用外部交换机既有的控制策略特性（ACL、QOS、端口安全等）实现整网端到端的策略统一部署；
网络虚拟化充分利用外部交换机的既有特性增强了虚拟机流量监管能力，如各种端口流量统计，Netstream、端口镜像等。
服务器管理员创建虚拟机，在指定虚拟机的CPU、内存、硬盘等计算参数的同时，指定步骤二中的某个网络资源；
当服务器管理员将创建虚拟机的请求提交之后，网络会首先创建虚拟机；
虚拟机创建成功后，系统平台会将该虚拟机与其所使用网络资源的绑定关系通知给vSwitch；
vSwitch会通过VDP（VSIDiscoveryandConfigurationProtocol）协议将虚拟机及网络资源的绑定关系通知给接入交换机；
接入交换机将根据网络资源的编号向iMC发送请求，iMC收到请求后会将该网络资源对应的网络配置下发到接入交换机上，从而完成了整个虚拟机的创建过程。
网络虚拟化使得网络参与虚拟化计算，变革了原来交叠不清的管理界面和模式，关联了虚拟机变化（创建、迁移、撤销、属性修改等）和网络感知。
通过上述过程，虚拟机不但拥有了CPU、内存、硬盘等计算资源，还拥有了相应的网络资源并据此自动接入网络。
存储虚拟化
存储设备组成单独存储区域网络（StorageAreaNetwork-SAN），大多利用光纤连接，组建FC-SAN。
I/O请求也是直接发送到存储设备。
如果SAN是基于TCP/IP的网络，则通过iSCSI技术，实现IP-SAN网络。
服务器和存储设备间可以任意连接。
为了达到系统的故障快速切换，本方案中配置后端共享存储，以实现动态HA和迁移。
存储虚拟化虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个云计算计算节点同时访问同一虚拟机存储。
由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。
系统支持一台故障后，快速切换到另一台的功能，切换时间大概在0-10分钟以内。
计算虚拟化
服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。
对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。
在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种虚拟服务器的方式被不同的应用使用。
在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。
归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置来决定。
对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。
所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器——比如相近型号、物理距离不远的机架式服务器或者刀片服务器。
在做资源池规划的时候，也需要考虑其规模和功用。
如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：
更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。
但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。
如果有条件的话，通常推荐先审视一下自身的业务应用。
可以考虑将应用分级，将某些级别高的应用尽可能地放在某些独立而规模较小的资源池内，辅以较高级别的存储设备，并配备高级别的运维值守。
而那些级别比较低的应用，则可以被放在那些规模较大的公用资源池（群）中。
初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。
在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。
但是随着云计算平台的上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。
在云计算平台搭建完毕以前，服务器资源池可以如下图所示：
在云计算平台上线以后，原有非云计算平台上的应用会逐步向云计算平台迁移，空出的服务器资源池也会逐渐并入云计算平台的资源池中。
其状态可以用下图所示：
PAAS农业云平台层建设
PAAS平台服务将应用运行所需的IT资源和基础设施以服务的方式提供给用户，包括了中间件服务，信息服务，连通性服务，整合服务和消息服务等多种服务形式。
PaaS模式，基于互联网提供对应用完整生命周期（包括设计、开发、测试和部署等阶段）的支持，减少了用户在购置和管理应用生命周期内所必须的软硬件以及部署应用和IT基础设施的成本，同时简化了以上工作的复杂度。
为了确保高效地交付具备较强灵活性的平台服务，在PaaS模式中，平台服务通常基于自动化的技术通过虚拟化的形式交付，在运行时，自动化，自优化等技术也将被广泛应用，以确保实时动态地满足应用生命周期内的各种功能和非功能需求。
具体来说，搭建传统IT基础平台是一个漫长的过程，通常由申请，审计，硬件购买与运输，硬件安装与配置，软件安装与配置等步骤组成。
在这个过程中繁复的手工配置工作费时费力，而且容易产成人为配置错误。
同时，平台环境的升级维护也面临人为配置错误频繁产生问题，造成不必要的影响和损失。
由于这些原因，搭建完成的应用运行平台，即使在一定时期内不再需要，也不会被及时释放回收，以供新项目使用。
这是造成空闲硬件资源的原因之一。
此外，传统基础平台提供的应用运行能力是静态的。
然而在不同时间，应用负载往往是不一样的。
为了确保高负载时应用的正常运行，应用运行平台必须能够提供最高运行能力，这就造成了非高峰时的众多空闲硬件资源。
云计算的产生，尤其是平台服务的理念，从产生空闲硬件资源的根本原因入手。
建立了快速搭建部署应用运行环境和动态调整应用运行时环境资源这两个目标。
依据虚拟化与自动化技术实现应用运行环境的即时部署以及快速回收，降低了环境搭建时间，避免了手工配置错误，快速重复搭建环境，及时回收资源，减少了低利用率硬件资源的空置。
另一方面，根据应用运行时的需求对应用环境进行动态调整，实现了应用平台的弹性扩展和自优化，减少了非高峰时硬件资源的空置。
在实际应用中，PaaS模式的重要应用场景之一是向用户交付一个支撑应用运行的应用运行平台（ApplicationsRunningPlatform，以下简称ARP）。
基于PaaS模式构建应用运行平台，需要满足以下典型需求：
提供定义应用需求的接口
用户可以方便地定义满足应用功能需求所需的组件，同时可以定义应用的非功能性需求，例如可用性，服务水平等。
提供基于应用需求快速构建应用运行环境的能力
能将应用需求映射为物理的IT资源和基础设施的具体配置和拓扑结构，并进行快速部署。
提供运行时实时动态满足应用需求的能力
将应用需求映射为运行策略，在运行时，根据系统运行的实际状况，例如负载状况，动态地对物理的IT资源和基础设施进行调整，例如调整负载分配或增减计算资源，使ARP具备足够的弹性和灵活性，以实时动态地满足应用需求。
针对上述需求，基于PaaS模式构建ARP的解决方案至少需要包括如下组件：
需求与运行策略库
向用户提供定义应用需求的界面，保存应用需求，并将应用需求转化为部署及运行策略，提供给平台交付组件和运行时控制组件；
软件映像库
提供应用运行平台所需的基础软件；
ARP硬件资源池
基于Hypervisor，以虚拟化的方式，提供应用运行平台所需的硬件资源；
平台交付组件
根据部署或调整策略，通过部署或调整软件及APR硬件资源池来创建或调整应用运行平台；
运行时控制组件：
根据运行策略和实际运行状况动态调整ARP资源池，并向平台交付组件动态提供调整策略。
SAAS农业云应用层建设
在SAAS应用层构建智能运维管理应用、资源体系管理应用、数据资源整合应用、综合事务协同管理应用、农业信息共享应用应用、农业协同办公及信息共享应用应用、智能视讯管理平台应用、农业技术与农业卷宗管理应用、农业培训信息化应用、智能门户应用、农业信息全局视图应用、数据共享交换系统应用，并可按需扩展。
农业云实施建议
第一阶段：
近期在继承现有架构的基础上，加强基础设施的整合、数据的共享以及业务的协同，在保护现有成果的同时，运用新一代虚拟化技术促进云计算IAAS基础层建设基础的完善，进而促进综合类、协同性业务的发展。
第二阶段：
全省按照1932架构体系开展信息化建设。
形成基础设施、数据等资源的共享体系，初步实现基础设施和数据的行业内平台服务；
XX中心云平台PAAS层初步成型，基础支撑服务能力、大数据处理能力显著提升，更好的支撑行业管理、公众服务、决策支撑等业务的发展。
第三阶段：
初步实现具有自适应性的SAAS层云计算架构，按需部署应用。
加强完善协同支撑云平台服务内容、服务能力，应用层实现开放灵活、开放、个性化的信息化系统，建设良好生态。
农业云存储设计
系统设计说明
XX省XXX育种园区建设项目数据中心数据库物理架构分为内部办公网、机关内部办公网、互联网以及灾备中心四个区域，内部办公网是物理隔离，通过工具摆渡等手段实现数据交换。
其中统一业务系统、以“统一业务系统”为核心的业务应用系统部署在内部办公网；
机关内部办公网上的应用系统主要利用农业信息数据信息面向面向农业机关、各相关单位单位等提供信息服务，主要包括智慧农业信息共享应用系统、综合事务协同管理平台等系统；
灾备中心提供站点级、应用级、数据级容灾作用。
这四个功能中心区域之间密切关联、相互依赖。
6大核心数据库架构设计采用集群方式，通过合理设计，可以将不同的应用分布到数据库服务器集群上，在核心服务器性能达到瓶颈时，可以方便的通过增加新的服务器节点来实现系统扩展。
集群机制提供了系统级别的保护，当核心服务器集群中的任何一个出现了故障，这个服务器上的应用可以自动切换到另一个正常的服务器上，保证高级别的系统可用性。
通过数据同步/异步复制技术，在灾备中心建立核心数据库的备份数据库，核心数据库上的所有数据变化都会被同步到备份数据库上。
当核心数据库发生故障会崩溃时，可以通过手工或自动方式，将备用数据库切换为主数据库，从而最小化宕机时间，保证高级别的数据可用性。
本项目中采用本地一体化备份平台实现数据库的联机在线备份，充分保证数据库备份数据的完整性、一致性和可靠性，当业务系统故障造成数据丢失时，可通过离线备份系统实现对数据的恢复，从而保证各业务运行的数据安全性。
系统功能及特点
应用定义的存储模式
应用定义存储的方式将云存储系统服务能力与具体的硬件形态进行剥离，抽象出更加灵活的资源拓展方式。
系统可以随业务需要进行调整自身架构扩展、应用延伸、无需关注底层具体存储形态，可面向应用做出更多适应业务需要的存储功能拓展。
云存储系统的存储容量、性能、策略等等均可通过软件方式进行规划和部署，实时调整系统能力。
同时应用定义存储的虚拟化构建方式可快速将底层存储设备进行块级格式化构建，并通过灵活的数据分发机制提供分布式存储的高精度分发，为对象存储机制、分布式EC技术的结合与应用奠定坚实的基础。
应用定义的存储方式脱离了硬件形态、数量、模式的束缚，将存储管理与控制延展到更为庞大的系统中，为大规模存储系统的构建提供了技术支撑。
高效灵活的空间整合
视频云存储系统具有高效灵活的空间管理能力。
为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。
1）存储资源的虚拟化
对存储空间的管理方面视频云存储系统将全域各存储节点的资源进行虚拟化后，向用户呈现出一个持续的、超大的数据资源池，称之为存储资源池。
存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。
2）存储资源的在线扩展
当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，视频云存储系统能为用户提供十分便易的操作。
用户只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；
同时，在整个存储资源的扩展过程中，视频云存储系统的录像业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展。
云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。
3）虚拟空间的灵活使用
用户对存储资源池的使用完全可以实现灵活应用，可以按照监控系统对存储按容量、覆盖周期的需要将存储资源池的存储资源进行分配。
存储资源的划分采用灵活策略方式，对于已经分配好的并在线运行的存储空间策略依然能够进行调整。
调整方式非常灵活，不但能够做到将录像池进行扩大，同时也能非常灵活的支持将存储空间进行缩小，而这点在传统存储中则非常困难。
4）数据类型的多样化混合存储
视频云存储系统实现对视频、图片、文件、智能结构化数据的统一混合存储。
一套视频云存储即可解决传统数据存储需部署多套存储系统分别存储不同类型数据的问题，不仅解决数据混合存储，实现数据统一管理，而且实现在项目存储架构简化、项目存储投入优化。
高性能的数据提取效率
视频云存储为海量图片处理以及图片智能分析，优化底层存储机制；
采用智能缓存机制，加速IO提取效率；
针对海量图片数据提供高并发即存即取服务；
通过系统智能高速缓存系统，图片提取效率相比传统的机械硬盘存储提升数倍。
针对如人脸抓拍分析等图片大数据应用需求中，视频云存储结合云分析可实现图片即存、即取、即分析的业务需求。
智能可靠的数据保障
视频云存储系统对存储的数据提供智能可靠的数据保障服务，可以根据数据保障级别要求部署N+M保障机制。
视频云存储系统可以实现多台设备故障数据不丢失，在设备故障后可以快速进行数据重构与恢复，并支持基于不同业务进行重构排序，支持重要数据的优先重构工作。
1）N+M数据保障机制
视频云存储系统通过分布式EC算法构建基础的数据保障机制，提供N+M高可靠数据保障能力。
N+M数据保障机制设计中，当一份数据被写入时可按照策略划分为N个数据块，并以N个数据块为基础计算出M个校验块，以N+M个块为一组基础存储单元，称之为条带。
条带中只要不超过M个块数据故障和缺失，都可以依据算法将丢失的数据块恢复出来，以此提供数据的可靠性保障。
N+M可靠性机制与分布式算法相结合，在系统规模设计时将条带中的块数据分散到不同设备中存储，因此系统中若干硬盘或者设备故障都只会损失部分块数据。
系统通过纠删码算法可以快速恢复出故障硬盘或设备中的数据，保障用户数据的不丢失，读取业务不中断，提供可高可靠的数据保障机制。
同时N+M采用的是分布式存储方式，数据恢复或重构时参与的工作的硬件协同工作可以快速恢复数据，提供极高的数据恢复速度。
2）基于业务的智能重构
视频云存储系统采用分布式EC算法，在数据恢复和重构的速度方面相比传统RAID技术有了大幅的提升。
高效的数据恢复速度在安防数据存储业务中为数据的快速访问和不间断访问提供了有利的支持。
同时视频云存储系统结合安防行业特点，深入理解安防行业数据应用场景，结合ErasureCode数据重构速度快的特点，针对安防数据的重要程度实现可分级重构。
即可定义数据优先级，在出现大范围设备损坏时，保障高级别数据优先重构，从而更加快捷、智能的保障用户数据应用的实时性。
灵活稳定的业务保障
视频云存储系统在应用于安防行业的过程中，重点关注安防业务与存储系统之间的优化工作工作，在对于业务的保障机制上具有多重的保障机制。
1）集群化管理节点设计
视频云存储系统在管理层面通过部署集群化，视频云存储管理节点将管理压力、业务压力、调度压力、资源分配压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。
通过这种方式单台视频云存储管理节点的系统消耗更加均衡、合理，可能出现故障的概率降低。
即使视频云存储管理集群中部分（一台或多台）节点出现故障，也不会影响到视频云存储系统的服务，因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理服务。
极端情况下即使管理节点全部故障，存储节点正在执行的录像任务也不会中断，业务持续性依然可以得到保障。
2）集群化存储节点设计
视频云存储系统在存储节点采用集群化设计，所提供的录像服务和流媒体服务也是由视频云存储管理节点统一进行调度的，每台存储节点负责一部分前端的录像工作，整体保持负载均衡状态最大程度利用存储节点系统资源。
同时当某台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这部分业务重新进行分配，保证业务的不中断。
3）高可用业务持续性
视频云存储系统在分布式ErasureCode的N+M设计方案中可用保障数据下载、录像回放等业务的高可靠、高持续性。
条带中不超过M个块数据损坏或者不超过M个设备损坏都可以通过算法恢复出损坏数据。
同时如果超过M个设备损坏，针对视频录像流式存储特点，结合ErasureCode技术特征，亦能进行视频录像回放业务功能，正常播放剩余有效录像数据，最大程度保障视频录像回放业务的持续性。
高可扩展的应用支撑
视频云存储系统是一套为安防行业而设计视频云存储系统。
其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。
1）视频、图片业务直存
常规存储方案在应用于视频、图片业务时仅提供容量空间而无业务流程的优化功能，导致存储路径需经过多个设备环节而增加故障发生概率、成本整体上升。
视频云存储系统将安防应用与存储技术结合，前端视频和图片数据可以直接写入云存储中存储节点，缩短了数据存储路径、提升了数据存储性能，并节省大量服务器投资。
2）流式数据文件系统设计
视频云存储系统的流式文件系统也是专门为视频、图片数据而设计，能够合理将整段数据进行划分。
这样设计的优点是满足视频数据的持续写入。
对于划分的粒度，通过多年视频监控行业的服务经验，同时配合对大数据服务的扩展需要，以及考虑到后期数据读取和应用的频率而进行的专业调整。
在具体存储空间的分配上视频云存储也是自有知识产权的设计，摒弃传统存储的分配方式，流式数据存储方式专为视频、图片数据而特别设计的。
3）高扩展性应用设计
视频录像的应用方面视频云存储也进行了充分的考虑。
如支持对I帧的快速定位、对录像标注、修改、对存储周期采用时间和存储容量双轴线覆盖策略等。
视频云存储这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用反复读取完整录像后再进行分析而得出结论的方式。
这样大大优化了应用的服务质量，使得监控系统的服务也更加专业、有效。
同时为有云计算需求的用户提供了优质的数据基础。
系统配置及软硬件选型原则
1.主要硬件选型原则
（1）选型原则
由于应用系统的复杂性和特殊性，对于硬件选型设计需要采用如下的原则：
统一规划、高可用性、高扩展性、高安全性、高可维护性和合适性价比。
统一规划：
明确应用系统在规划期内的规模，对整个应用系统的模块、用户、流程进行分析，确定总体需求，从而定义出其硬件平台对应的架构和配置。
高可用性：
要求硬件平台具有单点失效保护，能够实现故障预警、报警，具有良好的故障应急处理能力。
如在出现有限个数的服务器、磁盘、存储设备或交换机故障等情况下，系统可以继续运行，不影响业务处理。
高扩展性：
由于应用系统建设是一个长期持续的过程，日后随着应用系统业务规模扩大和业务量的增长，用户数可能会超出预期，当硬件平台的处理能力不够时，要求可以在原有架构的基础上实现灵活扩展。
硬件平台的扩展性主要分成两类：
纵向扩展和横向扩展。
纵向扩展是指通过增加硬件设备的CPU、内存、通道和板卡等资源来提高原有设备的处理能力；
横向扩展是指通过购买新的设备和原有设备并行工作，通过负载分担来实现处理能力扩展。
高安全性：
能够实现良好的信息安全能力，能够应用灵活的安全策略，如对不同用途的服务器进行安全分区以实现不同程度的隔离等。
高可维护性：
维护便捷简单，尽量减少宕机时间，特别是减少进行故障修复、系统扩展和变更时的宕机时间，能够提供友好、全面的监控工具。
合适
升级会员 