基于新一代计量自动化系统建设的电能量数据全过程管控研究.docx

1、基于新一代计量自动化系统建设的电能量数据全过程管控研究基于新一代计量自动化系统建设的电能量数据全过程管控研究 摘 要：随着智能电网发展以及业务应用的深化，对当前局限于单个环节的电能量管理已越来越难以满足电网发展需求的现状，现有计量自动化系统功能应用已经出现较大差异，另外由于各地市应用、管理水平的差异，系统实用化水平也层次不齐，结合国家电网公司近年来在海量实时数据中心构建方面取得的研究理论及在项目建设过程中总结的实践经验，提出了基于新一代计量自动化建设的电能量全过程管控研究的构想，重点在技术架构、功能架构、大数据分析与处理技术等方面实现电能量全过程管控的关键技术进行探讨。 关键词：电能量；海量数

2、据；实时数据；全过程 一、引言 电能量数据全过程管控是南方电网公司信息化建设规划中一条重要主线。近几年，围绕电能量管理，南方电网公司规划并建设了一系列电能量相关系统，如EMS/SCADA、变电站电量采集、营销管理应用、负荷管理、台区监测等系统，但涉及的电能量数据应用仅仅服务于各自专业领域，系统之间缺乏互联互通，电网模型缺乏统一标准，数据资源基本没有共享。在生产运行辅助决策方面，由于计算、监测、分析生产经营核心指标的基础数据分散于上述各系统中，高级辅助决策分析应用难以获得完备的数据支撑。因此，实现覆盖“发、输、变、配、用、调”6个环节全过程电能量数据的集成整合，推动电能量全过程管理信息化建设工作

3、已迫在眉睫。随着南方电网公司新营销系统的全面推进和实施，ERP、数据中心以及数据交换平台的不断完善，目前已具备了实施电能量相关系统数据集成和研究电能量数据全过程管控的基本条件。 二、技术架构 （一）总体架构 计量自动化系统总体架构采用先进技术手段，糅合了应用集群技术、负载均衡技术、数据库存储优化技术以及开源社区软件，根据计量自动化系统不同对象采集需求对数据处理能力进行优化，在满足计量自动化系统支撑电网企业经营管理各环节能力要求的基础上，极大投入降低成本和运维成本，应用集群技术可保证新旧计量自动化系统顺利过渡，充分利用现有的硬件设施，并保留了旧计量自动化系统数据。 在利用大数据分析平台的基础上，

4、结合当前深圳计量自动化主站系统和电能量管理平台的经验，借鉴国内外电力行业内及其他行业的计量体系建设思路，以及海量数据处理的经验，充分考虑未来计量自动化系统业务发展，构建新一代的计量自动化系统。 计量自动化系统总体逻辑架构方案具体通过对数据采集终端、通信信道、前置采集、数据存储、业务应用开展情况的详细分析和综合考虑，将计量自动化系统逻辑架构划分为数据采集层、大数据分析平台、应用层，通过有效的层级结构的划分实现计量自动化系统良好的可扩展性、可复用性、松耦合性的目标，方案如下： （二）功能架构 系统涵盖全网各种计量点及采集终端，集信息采集、监控、分析和计量管理于一体。其主要功能是为深圳供电局提供统一

5、的主站系统，完成对电厂、变电站、公变、专变、低压集抄等发电侧、供电侧、配电侧、售电侧的综合性统一的数据采集监控，为有序用电、远程抄表、负荷控制、预购电、电费结算、市场管理等业务提供实时数据支撑，实现发、供、配、售各侧电能信息的一体化管理分析应用，并在此基础上开展线损四分分析和需求侧管理应用。系统应用设计上采用了模块化和分布式的思想，系统各组成部分之间保证相对的独立性，更好地实现了权限管理，各组成部分的变化和修改不会引起其它部分的变化，保证了系统具有较高的扩展性。 1、业务支撑平台 基于电网层次结构和管理层次结构的电网设备、计量系统档案管理，以树型结构管理电网设备，可灵活构造电网层次结构。系统所

6、有档案参数的维护符合电力用户的习惯，实现面向电力对象的参数维护。 2、数据采集中心 数据采集是主站系统的核心部分，是开展数据分析和应用的基础，对数据的准确性、实时性、扩展性等均有很高的要求。鉴于计量自动化系统包含终端种类众多、数量庞大且存在多种通信协议，为了方便管理和扩展，建立数据采集统一平台。 3、运维监控中心 对每个批次的各种终端、表计设备、SIM卡设备全生命周期的信息管理。从设备到货入库保管，设备领用、安装、调试、运行，计划检修，设备更换、停用、拆除等设备使用流程进行的监控管理。 4、数据管理中心 异常分析模块对主网数据、配网数据、低压数据等数据进行区别分析，根据不同电能量数据的特性实现

7、异常的自动筛选，分析产生的数据异常信息生成异常处理工单，经审核后，根据不同的异常工单处理流程进行流转处理实现问题的闭环处理。对于因通讯盲点、下行通信不稳定等原因导致的数据缺失以及通过用户数据异常分析甄别的异常数据，系统需支持通过修复算法等方式进行数据修复，确保数据的连续性和完整性。 5、数据应用中心 通过对电压、电流、电能示值及电量按南方电网下发的分析规则进行判断，按单一异常分析模型和异常关联模型对异常事件进行分析诊断。通过公司的统一对外接口提供互联网查询服务。随着智能终端的普及，提供多种终端设备的信息查询或推送，支持用电信息WEB查询（电脑）、互动终端查询（终端）、移动端查询（手机）、其它设

8、备查询（电视机）。采用云平台和大数据处理技术，促进电力量测数据的深化应用，实现电力量测和控制的智能化；在数据采集、控制、远方设置以及数据共享等方面实现智能化。 三、设计思路 电能量全过程管理主要集成电量流转环节的电量数据，系统将各个流转环节的电量设计分为4个阶段、12个环节。 数据应用流如图4所示。综合数据平台作为整个系统承上启下的枢纽部分，将12个数据处理步骤串接起来，主要设计3层结构，以实现将分散的电网运行数据提供给管理和决策应用的目标。 四、关键技术 （一）海量数据存储访问 1、采集库与应用库分离 数据架构根据前置通信各自需求不同，分别规划成独立的采集库和应用库，彼此相互独立又紧密同步，

9、降低系统整体停运的风险，同时提升数据安全性。 2、实时数据库引入 引入了实时数据库服务器的概念，其主要目的是在服务器内存中永久驻留各类服务和客户节点需要访问的参数和实时数据，这样把大部分业务对历史数据库的访问转为对实时数据库的访问，就是把对硬盘等存储设备的读写操作转为对内存的读写操作，减少了历史数据服务器的压力，提高了系统访问的性能，增强了系统的稳定性和可用性。另外，通过压缩手段把数据量压下来以压缩形式存储和传输，这样既节约了空间，又提高了传输速率。 3、数据库硬件架构优化 计量自动化系统总体规模较大，工作站并发性访问数据多，并且数据存储量大，因此需要采用高性能的存储设备来满足系统性能。并需要

10、根据应用数据库数据规模把阵列划分，数据保存在不同的磁盘组上防止磁盘访问热点，提高数据处理效率和吞吐量。根据业务规模在系统的基础上对新应用增加相应的卷组，数据存储方式采用裸设备，减少系统资源占用。数据文件名根据应用统一规划名称，方便管理，防止操作错误；数据空间分配采用动态分配策略，提高磁盘分配的灵活性。系统采用SAN结构的磁盘阵列， SAN 网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成，从而保证数据传输的安全性和力度。 4、分级缓存优化 新一代计量自动化系统采用多线程及多级存储缓冲池技术，系统根据存储的数据数量、优先级，动态申请数据库连接，采用多线程技术实现并行

11、存储，同时采用并发控制访问策略减少对数据库访问的资源竞争，提高系统存储效率。 通过内存缓存、连接缓冲池技术提高数据入库能力；同时，缓存技术在应急情况下可利用文件系统存储，提高系统故障时可靠性。 系统数据处理能力的瓶颈主要在于规约解析后的数据入库能力。传统处理模式多为分布式多线程数据采集（通信规约解析），单线程存储（入库），造成存储阻塞。通过线程、数据库连接池技术，软件根据需要处理的数据量动态建立数据库连接，既保证了连接资源不浪费又保证大容量数据采集、计算入库及多用户并发访问的性能。 同时，采用入库前利用内存数据库进行缓存技术。缓存记录数达到阀值后用批处理的方式入库。同时。为了避免缓存记录数在较

12、长时间内无法达到阀值而无法入库的问题.设置时间阀值。只要达到记录阀值或时间阀值.即开始批处理入库操作。批处理入库技术可以避免逐条入库引起的巨大时间开销。 5、数据库优化 1） 采用监测数据库与查询统计数据库分库方式； 2） 系统根据不同数据种类，采用按月分时存储以解决系统访问性能问题； 3） 同时，采用19地区大数据表分区方式； 历史数据库采用集群、功能分区、时间分区策略提高数据库的IO效率，同时有利于数据的备份恢复，以空间换性能：把纵向表变为横向表。 在数据库设计上采用分区、分表的管理方式，提高了数据库的IO，保证了数据入库、查询性能，同时为备份和恢复提供了方便和快速手段，采用分批方式快速写

13、数据。 （二）前置通信服务集群 以线性扩展为指导思想，基于大数据分析平台构建可堆叠的硬件集群架构，整合单台服务运算和存储能力，充分发挥硬件集群性能，着力构建具备可扩展性、可复用性、海量数据处理能力、全面系统监控能力的前置通信服务集群，在逻辑上由终端通信及数据解析处理服务、应用交互服务、数据存储服务、通信资源管理服务组成。 五、展望 尽管深圳供电局此次针对电能量数据投入精力加大力度进行全过程管控研究，但是要彻底解决电网企业电能量信息系统各个层面的不同需求是一项复杂而庞大的系统工程，仍需不断地研究、探索和实践。可以说，整个电力企业基于业务流程构造的电能量信息系统架构是任重而道远的。相信，随着新的理

14、论和新的技术不断的提出、引入、应用到电网企业之中，电能量信息系统将获得更好的平台建设，中国电力事业，也将迎来更加辉煌的明天。 六、结语 电能量集成和生产运营自动化系统综合数据平台的应用，能够实现深圳覆盖“发电、输电、变电、配电、用电和调度”6个环节全过程电能量数据的集成整合，达到了电能量数据资源的共享与应用，为检测实时化和管理精益化提供了数据支撑，同时也提高了相关系统的实用化水平，从而有效地推动了电能量全过程管理信息化建设。 参考文献 1 张炫，基于海量实时数据中心的电能量全生命周期管理J.2014，（3）：279-282 2 郑浩，蒋伟强.电能量全过程管理中电量分析管理系统设计与实现A.2010电力信息化年会论文集C. 3 刁培忠.用电信息采集系统在电力企业的应用分析M.中国电力教育，2010（08）. 4 宇文，肖娣.电力用户用电信息采集系统的研究与应用N.华北电力大学学报.2011. 5 吴慧平.电能量采集系统的设计与应用D.华北电力大学，2012. 6 杨展旗，李健.智能化电量统计模型的设计与实现C.2010电力信息化年会论文集C.