一种能效管理系统的云架构及其运行方法资料.docx

1、一种能效管理系统的云架构及其运行方法资料1、一种能效管理系统的云架构，其特征是它包括数据采集平台、云计算平台、业务平台和云存储平台，所述数据采集平台同业务平台、云计算平台和云存储平台分别连接，所述云计算平台还同业务平台和云存储平台分别连接，所述业务平台还同云存储平台连接； 所述数据采集平台包括多个前置通讯模块、通讯调度模块、数据处理模块、定时采集与补测模块、WEB服务模块和WebService接口服务模块；所述多个前置通讯模块通过通讯调度模块与数据处理模块连接，数据处理模块还同定时采集与补测模块、WEB服务模块、WebService接口服务模块分别连接，定时采集与补测模块还同WEB模块连接；所

2、述云计算平台包括数据加工模块、数据整合模块和数据挖掘模块；所述业务平台包括至少一个能源管理模块；所述云存储平台包括至少一个能源管理数据库；所述数据采集平台、云计算平台、业务平台、云存储平台均由云服务器组成。2、根据权利要求1所述的一种能效管理系统的云架构，其特征在于所述业务平台包括预购电管理模块、线损管理模块、电费管理模块、有序用电管理模块、需求侧管理模块、分项计量模块、锅炉能效管理模块、光伏监测系统模块、企业能源管理模块的一个或多个。3、根据权利要求1所述的一种能效管理系统的云架构，其特征在于所述云存储平台包括用电信息管理数据库、分项计量系统数据库、光伏系统数据库、外部系统数据库、采集平台数

3、据库的一个或多个。4、根据权利要求1所述的一种能效管理系统的云架构，其特征在于所述各模块之间的通讯采用Soocket长连接方式通讯。 5、根据权利要求1所述的一种能效管理系统的云架构，其特征在于所述各模块之间采用心跳帧检测连接状态和模块的繁忙程度，当模块需处理的队列容量80%情况下，把事务提交给其它负载均衡模块，当队列容量满时拒绝接收新的事务。6、根据权利要求1所述的一种能效管理系统的云架构，其特征在于各模块间的通讯帧定义内部通讯规约，所述内部通讯规约包括表明数据传递路径，内部命令号，优先级、长度和规约类型。7、根据权利要求6所述的一种能效管理系统的云架构，其特征在于所述包含内部通讯规约的通信

4、帧结构为起始字符、数据区长度n、数据区长度n、起始字符、终端规约、源地址、目的地址、流水号、优先级、命令类型、入库标志、回答标志、数据区、校验码、帧尾。8、根据权利要求1所述的一种能效管理系统的云架构，其特征在于其系统线程的数量有预留配额和弹性配额限制两种配额配置方式，所述预留配额是必须保证的线程数，弹性配额限制是可分配到的最大线程数。9、根据权利要求1所述的一种能效管理系统的云架构，其特征在于所述前置通讯模块以每4万个能效采集点为单位自动适配。 10、根据权利要求9所述的一种能效管理系统的云架构，其特征在于前置通讯模块还包括一个负责终端的连接管理和数据传输的同步异步数据控制机制，当系统增加一

5、个信道或连接数大于4万时，系统会自动从资源池拓展一个前置通讯模块。11、一种能效管理系统的云架构运行方法，其特征在于系统各模块之间通过通信网络连接，它包括：一个数据采集步骤，一个数据分配调度步骤，一个数据处理步骤，一个数据动态拓展和回收步骤，一个数据整合和数据挖掘的云计算步骤， 一个针对数据进行的能效管理决策步骤，一个数据云存储步骤，所述数据分配调度步骤、数据处理步骤、数据动态拓展和回收步骤、数据整合和数据挖掘步骤、能效管理决策步骤、数据云存储步骤均通过云服务器完成。12、根据权利要求11所述的一种能效管理系统的云架构运行方法，其特征在于所述系统数据采集步骤为:a) 当通讯模块接收到主站界面或

6、后台任务下发指令，指令加入发送队列并根据下发对象所支持的通讯规约类型，调用规约解释进行组帧形成具体报文返回给通讯模块；b) 通讯模块在接收到应答帧后，同时与队列中下发指令进行匹配；c) 当匹配数据结束后后，调用规约解释对数据进行识别、解释；d) 判断该数据是否为需要入库的数据，如果该数据是需要入库的数据，则提交给数据库处理模块进行入库处理；e) 在数据处理结束后，将该指令从队列中删除，并将结果返回给主站界面和后台任务。13、根据权利要求11所述的一种能效管理系统的云架构运行方法，其特征在于系统各模块之间进行模块连接检测过程，检测步骤为：a、接收方等待连接请求；b、发送方发送连接请求；c、接收方

7、接收到连接请求后判断是否连接成功，成功接收方则等待心跳报文，不成功则返回步骤a；d、发送方定时发送心跳报文；e、接收方接收到心跳报文并保持连接成功；若接收方在最大时间内未收到心跳报文，则自动断开连接，并返回步骤a。14、根据权利要求11所述的一种能效管理系统的云架构运行方法，其特征在于系统模块之间采用主动动态连接方式，当系统的某一模块发生故障，则与其相关联的所有模块均处于等待状态；当该模块恢复正常后，相关联的模块自动与其联接。15、根据权利要求11所述的一种能效管理系统的云架构运行方法，其特征在于系统通过对不同的工作模块的状态制定诊断规则，动态的对工作模块进行检测，及时发现异常，作为日志进行保

8、存，同时提示管理员，进行必要的维护工作。16、根据权利要求11所述的一种能效管理系统的云架构运行方法，其特征在于当数据传输发生脱机时，各模块具有一定时间的数据保存功能，待模块恢复工作后进行自动续传。一种能效管理系统的云架构及其运行方法技术领域本发明涉及能效管理和云计算领域，具体是一种能效管理系统的云架构及其运行方法。背景技术全球能源的枯竭和能源价格的上涨已经制约了国家和企业的发展，能源使用如何从粗犷型向精细化管理转变已经开始上升到战略性的高度，建立一套能效管理系统成为关键。目前，国际上普遍用“能源效率”(energy efficiency) 来替代上世纪70 年代能源危机后提出的“节能”(en

9、ergy conservation) 一词。能效管理系统建设初期基本按照短期项目需求配置，一般系统都是按照较小规模投资建设，当业务规模增长超出当初设计容量时，系统架构和性能无法满足业务需要，可能会照成系统颠覆和重新建设。在系统扩容和新老系统切换时会给客户业务带来中断和不便。由于能效管理是一项长期的工作，所以在系统建设初期就应考虑未来长远发展，让系统架构可以根据业务发展无缝拓展。发明内容本发明是针对上述技术的缺陷，提出了一种能效管理系统的云架构及其运行方法。本发明的技术方案为：一种能效管理系统的云架构，它包括数据采集平台、云计算平台、业务平台和云存储平台，所述数据采集平台同业务平台、云计算平台和

10、云存储平台分别连接，所述云计算平台还同业务平台和云存储平台分别连接，所述业务平台还同云存储平台连接； 所述数据采集平台包括多个前置通讯模块、通讯调度模块、数据处理模块、定时采集与补测模块、WEB服务模块和WebService接口服务模块；所述多个前置通讯模块通过通讯调度模块与数据处理模块连接，数据处理模块还同定时采集与补测模块、WEB服务模块、WebService接口服务模块分别连接，定时采集与补测模块还同WEB模块连接；所述云计算平台包括数据加工模块、数据整合模块和数据挖掘模块；所述业务平台包括至少一个能源管理模块；所述云存储平台包括至少一个能源管理数据库；所述数据采集平台、云计算平台、业务

11、平台、云存储平台均由云服务器组成。具体的，所述云服务器由服务器集群构成。更优的，所述服务器安装不间断电源。更具体的，所述业务平台包括预购电管理模块、线损管理模块、电费管理模块、有序用电管理模块、需求侧管理模块、分项计量模块、锅炉能效管理模块、光伏监测系统模块、企业能源管理模块的一个或多个。更具体的，所述云存储平台包括用电信息管理数据库、分项计量系统数据库、光伏系统数据库、外部系统数据库、采集平台数据库的一个或多个。更优的，所述各模块之间的通讯采用Soocket长连接方式通讯。更具体的，所述各模块之间采用心跳帧检测连接状态和模块的繁忙程度，当模块需处理的队列容量80%情况下，把事务提交给其它负载

12、均衡模块，当队列容量满时拒绝接收新的事务。更优的，各模块间的通讯帧定义内部通讯规约，所述内部通讯规约包括表明数据传递路径，内部命令号，优先级、长度和规约类型。更具体的，所述包含内部通讯规约的通信帧结构为起始字符、数据区长度n、数据区长度n、起始字符、终端规约、源地址、目的地址、流水号、优先级、命令类型、入库标志、回答标志、数据区、校验码、帧尾。更优的，其系统线程的数量有预留配额和弹性配额限制两种配额配置方式，所述预留配额是必须保证的线程数，弹性配额限制是可分配到的最大线程数。更优的，所述前置通讯模块以每4万个能效采集点为单位自动适配。更优的，前置通讯模块还包括一个负责终端的连接管理和数据传输的

13、同步异步数据控制机制，当系统增加一个信道或连接数大于4万时，系统会自动从资源池拓展一个前置通讯模块。更优的，所述业务平台、云计算平台和云存储平台的服务器安装不间断电源。一种能效管理系统的云架构运行方法，系统各模块之间通过通信网络连接，它包括：一个数据采集步骤，一个数据分配调度步骤，一个数据处理步骤，一个数据动态拓展和回收步骤，一个数据整合和数据挖掘的云计算步骤，一个针对数据进行的能效管理决策步骤，一个数据云存储步骤，所述数据分配调度步骤、数据处理步骤、数据动态拓展和回收步骤、数据整合和数据挖掘步骤、能效管理决策步骤、数据云存储步骤均通过云服务器完成。更优的，所述系统数据采集步骤为:a) 当通讯

14、模块接收到主站界面或后台任务下发指令，指令加入发送队列并根据下发对象所支持的通讯规约类型，调用规约解释进行组帧形成具体报文返回给通讯模块；b) 通讯模块在接收到应答帧后，同时与队列中下发指令进行匹配；c) 当匹配数据结束后后，调用规约解释对数据进行识别、解释；d) 判断该数据是否为需要入库的数据，如果该数据是需要入库的数据，则提交给数据库处理模块进行入库处理；e) 在数据处理结束后，将该指令从队列中删除，并将结果返回给主站界面和后台任务。更优的，系统各模块之间进行模块连接检测过程，检测步骤为：a、接收方等待连接请求；b、发送方发送连接请求；c、接收方接收到连接请求后判断是否连接成功，成功接收方

15、则等待心跳报文，不成功则返回步骤a；d、发送方定时发送心跳报文；e、接收方接收到心跳报文并保持连接成功；若接收方在最大时间内未收到心跳报文，则自动断开连接，并返回步骤a。更优的，系统的云服务器主机采用两台主机共享磁盘阵列的方式实现双机容错。更优的，系统模块之间采用主动动态连接方式，当系统的某一模块发生故障，则与其相关联的所有模块均处于等待状态；当该模块恢复正常后，相关联的模块自动与其联接。更优的，系统通过对不同的工作模块的状态制定诊断规则，动态的对工作模块进行检测，及时发现异常，作为日志进行保存，同时提示管理员，进行必要的维护工作。更优的，当数据传输发生脱机时，各模块具有一定时间的数据保存功能

16、，待模块恢复工作后进行自动续传。本发明的有益效果为：本发明能够根据在客户业务范围不断增长的情况下（小到1个业务模块，大到几十个业务模块）、充分利用已有系统的资源和数据。以往客户在系统建设时很少考虑未来几年后的发展，而能效管理是需要长期不断发展的，对于新的业务单元，客户一般都是单独建立一套独立的系统，这样在能效数据采集上，就会出现通讯信道、系统接口、能效数据计量与采集设备的重复投资建设，根据以往项目数据，通过本发明所述的云架构及其运行方法和方法，可节约总成本大于30%，随着业务模块越多，这种效果越显著。同时该发明还大幅降低了新增业务模块对客户安装维护所带来的影响，系统只需简单的安装和配置相应的模

17、块即可完成新的业务系统的扩展，同时让系统维护人员的维护工作量和能力要求几乎没有变化；本发明还解决了原有系统无法有效的根据数据量、采集点、访问量、计算量等诸多因数，进行动态合理的配置管理系统资源问题，有效的提高了系统对资源动态管理配置的能力，系统实现动态负载均衡，高效、高质的完成能效数据的采集、处理和发布，确保了客户随着业务不断发展，系统也能自动的在不停机的情况下无缝拓展，保障客户业务的连续性，使系统停机时间由原来1-2天，降低为0天。本发明解决了原有系统中单一模块故障导致系统故障问题，有效的提高了系统的容错能力和故障检测恢复能力，大幅提高系统的可靠性。以往系统某一模块发生故障，系统维护人员往往

18、无法准确定位到某个模块的故障，一般都是通过整个系统重启解决问题，而通过本发明的故障检测机制可以准确定位故障位置和类型，并可自动快速接管故障模块工作，同时进行故障处理，系统平均故障发现和恢复时间小于1分钟。本发明解决了原有系统中大规模常用数据重复计算问题，一方面解决了大规模数据计算耗时量大，客户等待时间长的问题，另一方面解决了重复计算带来的系统CPU负载率高的问题。本发明解决了原有系统中对数据指令的优先级问题，可以优先保证客户业务紧急和重要的指令优先执行。本发明解决了原有系统中，各模块在异步处理过程中，某一模块故障导致的数据丢失的问题，各异步处理模块均设有缓存机制，所以系统不但能够做到数据不丢失

19、，同时还能做到故障恢复后各异步模块独立恢复断点执行功能。附图说明图1为本发明能效管理系统结构图。图2为本发明的系统配置图。图3为本发明数据采集流程图。图4为本发明模块连接监测流程图。图5为本发明数据缓存模块架构图。具体实施方式下面对照附图并结合具体实施方式对本发明进行说明。如图1所示，一种能效管理系统的云架构及其运行方法，它包括数据采集平台、云计算平台、业务平台和云存储平台，数据采集平台同业务平台、云计算平台和云存储平台分别连接，云计算平台还同业务平台和云存储平台分别连接，业务平台还同云存储平台连接； 数据采集平台包括多个前置通讯模块、通讯调度模块、数据处理模块、定时采集与补测模块、WEB服务

20、模块和WebService接口服务模块；多个前置通讯模块通过通讯调度模块与数据处理模块连接，数据处理模块还同定时采集与补测模块、WEB服务模块、WebService接口服务模块分别连接，定时采集与补测模块还同WEB模块连接；云计算平台包括数据加工模块、数据整合模块和数据挖掘模块；业务平台包括预购电管理模块、线损管理模块、电费管理模块、有序用电管理模块、需求侧管理模块、分项计量模块、锅炉能效管理模块、光伏监测系统模块、企业能源管理模块；云存储平台包括电信息管理数据库、分项计量系统数据库、光伏系统数据库、外部系统数据库、采集平台数据库。数据采集平台、云计算平台、业务平台、云存储平台均由云服务器组成

21、。云服务器均由服务器集群构成，并安装有不间断电源。例如在某个科技园区里，它通过电表、水表、气表、传感器设备采集园区用户的用能信息和环境参数，通过采集终端、集中终端将能效信息数据上传至云服务器，在云服务器中完成：1) 对用户进行能源诊断与审计，包括分析节能空间；2) 设计能效方案，进行管理培训，包括制定能效培训计划；3) 部署用电设备监测装置，包括安装硬件设施；4) 部署现场物联网络，包括物联网络、通信模块和能效管理服务客户端的连接；5) 部署能效管理主站，用于进行智能化操作及能效管理；6) 系统运行，包括在能效管理主站正常运行硬、软件设施，进行可视化管理、能效评估、技术培训以及长期服务；对能效

22、数据进行数据采集与数据解析与处理与验证，并可通过人工数据填报，保证数据的准确性与完整性。通过云计算平台对数据进行加工、按能源分项、周期、分户、设备类型进行统计计算与数据挖掘。7) 将所获信息数据进行分析，并构建基础数据库和基于用能消费行为的样本模型库即用能设备典型数学模型库；8) 根据步骤7) 的基础数据库和用能设备典型数学模型库所分析的数据结果进行运行成本分析和模式识别；9) 提出优化方案和措施；10) 远程在线调整，无需人工安装节能设备或增加监测点，即可完成优化方案和措施后，返回步骤6)，或者人工安装节能设备或增加监测点，完成优化方案和措施后，返回步骤6)。本发明各模块之间的通讯采用Soo

23、cket长连接方式通讯，具体连接流程见图3。通过这种方式有效地减少了各模块耗费在建立连结与握手的时间，保障了各模块通讯和故障检测的实时性与有效性，提高系统运行效率。本发明各模块之间采用心跳帧检测连接状态和模块的繁忙程度，当模块需处理的队列容量80%情况下，把事务提交给其它负载均衡模块，当队列容量满时拒绝接收新的事务。本发明各模块间的通讯帧定义内部通讯规约，所述内部通讯规约包括表明数据传递路径，内部命令号，优先级、长度和规约类型。包含内部通讯规约的通信帧结构如表1所示，起始字符、数据区长度n、数据区长度n、起始字符、终端规约、源地址、目的地址、流水号、优先级、命令类型、入库标志、回答标志、数据区

24、、校验码、帧尾。1 2 2 1 2 1141212n（0-n）1 1起始字符数据区长度n数据区长度n起始字符终端规约源地址目的地址流水号优先级命令类型入库标志回答标志数据区 校验码帧尾表1本发明系统线程的数量有预留配额和弹性配额限制两种配额配置方式，其中预留配额是必须保证的线程数，弹性配额是可分配到的最大线程数。如图2所示一个典型系统配置，实际可根据系统实际规模与客户要求灵活配置，最小可部署到一台服务器上。本发明的云存储根据业务对数据存储的要求，把数据存放到不同种类、不同位置或不同的表空间中。数据库兼容多种主流数据库类型，如Oracle、SQLServer、MySQL等。本发明的系统需兼容多种

25、规约，通过归规约插件方式实现规约的扫描，组帧与解释，规约插件提供统一的接口函数、参数和标准数据词典。本发明的系统需兼容多种通讯方式，通过前置机通讯机管理不同类型的信道，包括GPRS、CDMA、局域网、光纤、230M无线专网等。前置通讯机还负责终端的连接管理和数据传输的同步异步数据控制，当系统增加一个信道或连接数大于4万时，系统会自动从资源池拓展一个前置通讯机。如此，根据一台标准服务器的资源、系统对数据采集的性能要求、软件的设计容量，在成本与性能之间找到这样一个合理的平衡点。这样客户在保证系统对数据采集性能的基本前提下，使每个采集点花费在前置机服务器上的成本达到最小。本发明的系统线程带有优先级控

26、制，优先级高命令优先处理；每种线程的数量有两种配额配置方式，一种是预留配额，一种是弹性配额限制，即预留配额是必须保证的线程数，弹性配额是可分配到的最大线程数。线程池提供对外接口，提供线程池的当前状态，包括空闲线程数、繁忙线程数等；本发明的系统的数据采集步骤为：a) 当通讯模块接收到主站界面或后台任务下发指令，指令加入发送队列并根据下发对象所支持的通讯规约类型，调用规约解释进行组帧形成具体报文返回给通讯模块；b) 通讯模块在接收到应答帧后，同时与队列中下发指令进行匹配；c) 当匹配数据结束后后，调用规约解释对数据进行识别、解释；d) 判断该数据是否为需要入库的数据，如果该数据是需要入库的数据，则

27、提交给数据库处理模块进行入库处理；e) 在数据处理结束后，将该指令从队列中删除，并将结果返回给主站界面和后台任务。本发明的云计算根据业务对数据的要求，通过ETL工具和事先定义数据规则对采集数据进行处理，计算、加工、抽取合并及数据挖掘工作。本发明的系统中模块间连接，监测流程为：a、接收方等待连接请求；b、发送方发送连接请求；c、接收方接收到连接请求后判断是否连接成功，成功接收方则等待心跳报文，不成功则返回步骤a；d、发送方定时发送心跳报文；e、接收方接收到心跳报文并保持连接成功；若接收方在最大时间内未收到心跳报文，则自动断开连接，并返回步骤a。本发明的系统建立冗余机制及故障监测机制如下：所有的服

28、务器都必须安装不间断电源以防止停电或电压不稳造成的数据丢失的损失，主站服务随服务启动，按照功能的耦合紧密度将整个系统划分成相对独立的几类模块。按照降低风险、提高可靠性的原则可以将不同主题的模块分布在不同的服务器中。主机服务器采用两台主机共享磁盘阵列的方式实现双机容错。在一台主机发生宕机等故障的时候，访问请求会被自动切换到另外一台备用机器。本发明的系统采用主动动态连接方式，一旦系统的某一资源发生故障与之相关联的所有模块处于等待状态不会发生异常错误。当资源恢复正常时，相关模块可自动与其连接，无须人工进行任何干预。本发明的系统通过对不同的信息资源点的状态制定诊断规则，动态的对信息资源点进行检测，及时

29、发现异常，作为日志进行保存，同时提示管理员，进行必要的维护工作。系统中，所有的服务器都必须安装不间断电源以防止停电或电压不稳造成的数据丢失的损失。若真断电时，将不会有太大的影响，下面是一些策略： 部署系统各模块随服务启动，这样在服务器或备份机启动时，系统能够自动运行或接管响应服务。 按照功能的耦合紧密度将整个系统划分成相对独立的几类子系统。按照降低风险、提高可靠性的原则可以将不同主题的子系统分布在不同的服务器中。 系统采用主动动态连接方式，一旦系统的某一资源发生故障与之相关联的所有子系统处于等待状态不会发生异常错误。当资源恢复正常时，相关子系统可自动与其连接，无须人工进行任何干预。这种设计方式

30、在保证系统的稳定可靠的同时，使用户的手工维护量降低到最小，同时对整个系统的故障点作到了隔离，不至于因为一个系统资源的故障而导致整个系统的瘫痪。 系统涉及的信息资源点的运行是否正常直接影响着整个系统的可靠性，每个模块都配有ID号，各模块间通过心跳帧进行连接维护，同时心跳帧附有错误信息内容，系统动态的对信息资源点进行检测，及时发现异常，作为日志进行保存，同时提示管理员，进行必要的维护工作。 系统各模块间通过心跳帧进行连接维护，同时心跳帧附有模块繁忙程度信息内容，当对应模块反馈的处理能力达到设计能力的80%时，系统优先将需要处理的数据或命令提交给其它负载均衡模块。 当模块处理能力达到设计能力的98%

31、时，模块自动启动本地缓存机制，避免数据丢失，待处理能力下降到50%时，开始处理缓存数据。当数据传输发生脱机时，各模块应该能够保存至少7天的自动上报数据数据，等回复后能够自动传输。如图5所示，数据缓存模块的核心是DataQueueManage类，负责对缓存进行管理，缓存分为两种缓存：ProcessDataQueue为数据处理子系统发往前置机的报文缓存，FepDataQueue为前置机上行的报文缓存，该两种缓存均带有优先级处理，通过PriorityBlockingQueue类实现；QueueFileHandler定时检测FepDataQueue的状态： 对于达到DataQueue的容量98%和数据处理子系统都断开的时候，QueueFileHandler将FepDataQueue里的数据保存到文件中； QueueFileHandler在保存数据的时候分两种情况处理： 在没有数据处理子系统连接的时候需将FepDataQueue中的数据全部保存至文件中，如果在保存的时候有数据处理子系统连接则停止保存的工作； 如果数据处理子系统连接正常，则只需将FepDataQueue中的数据量降至容量的70%即可停止保存文件的操作； 在FepDataQueue的容量小于50%的时候，QueueFileHandler将文