XX系统数据方案.docx
《XX系统数据方案.docx》由会员分享，可在线阅读，更多相关《XX系统数据方案.docx（87页珍藏版）》请在冰豆网上搜索。
XX系统数据方案
XX系统
数据方案
创建日期：
XX.XX.XX
更新日期：
XX.XX.XX
当前版本：
V1.0
编制单位：
XX公司
更改过程
版本号
修改编号
更改时间
更改的
图表和章节号
更改简要描述
更改人
批准人
1概述
XX公司XX系统（以下简称系统）通过安全生产、经营管理、供电服务等工作开展监测分析，通过比变化比增量，激励先进、鼓励进步，来促进市县供电企业管理水平整体进步提升。
数据涉及XX家地市公司企业及XX8家县级供电企业。
展示的数据包括：
概念收益增长率、概念收益增加值、售电量增长率、售电均价、当月同期线损、电费回收、供电投诉及用电报装超时限、百条公用配电线路跳闸率、百台公用配变过载率、用电量分类占比。
1.1.编写目的
定义XX系统（以下简称系统）与其它外部系统之间的数据交互格式及接口实现方式。
指导系统的开发设计、接口设计及数据梳理工作。
1.2.预期读者
本方案预期读者为XX系统所有参与建设的项目经理、数据梳理及开发人员等。
1.3.参考文献
《业务需求规格说明书-XX》
《公司大数据中心应用场景建设编码规范v2.0》
《PMS2.0数据字典》
《营销业务应用管理系统数据字典》
2数据架构
2.
3.
3.1.数据类别
按照国网公司“全业务统一数据中心”顶层设计，该应用场景依托全业务统一数据中心分析域建设，通过全业务统一数据中心完成数据的采集和集成，以“微应用”形式在“大数据应用发布系统”发布。
数据类别分为全业务中心数据、微服务数据、手工导入数据：
全业务中心数据分别来源于营销业务应用系统、PMS2.0系统、大馈线停电分析系统、营销业务应用系统（管理库）及用电信息采集系统。
微服务数据来源于大馈线。
手工导入数据来源于数据库后台维护导入。
各业务系统及手工导入数据同步时间见下图：
3.2.数据关系
从整个业务及流程来分析，数据关系分为数据来源层、数据整合层、应用明细层三个层次：
数据来源层数据来源于营销业务应用系统（全业务和管理库）、PMS2.0系统、大馈线停电分析系统、用电信息采集系统以及需要手工导入的数据。
数据整合层数据是从数据来源层进行分析、汇总整合而来，分别存储在两个数据库中：
全业务中心数据库、大数据场景系统数据库。
应用明细层数据是最终页面展示指标结果数据，指标结果数据从数据整合层汇总而来。
各数据层之间的关系如下：
图1
3.3.数据接口模式
数据接口的实现方式主要通过手工导入、全业务直读数据、存储过程、SQL（开发）、数据库后台维护等方式来实现。
接口实现过程涵盖了数据来源层、数据整合层和应用明细层，其中数据来源层数据为源数据，接口实现方式通过全业务和手工导入方式来实现。
数据整合层的数据是通过从数据来源层的数据进行分析、汇总整合而来，接口实现方式通过全业务、存储过程和SQL（开发）来实现。
应用明细层存储的数据为最终页面指标展示数据，数据从数据整合层汇总而来，接口实现方式通过存储过程来实现。
各数据层涉及的表情况及业务系统信息如下：
数据来源层，共涉及21张表，有12张数据表来源5个业务系统，有9个数据表来源于手工导入。
5个业务系统分别是：
营销业务应用系统（涉及6张表）、PMS2.0系统（涉及4张表）、大馈线停电分析系统（涉及1张表）、营销业务应用系统（管理库）（涉及1张表）及用电信息采集系统；9个手工导入数据表分别是：
供电量表、交易输配电价数据表、市场化电价表、正常电量供电均价表、电价调价表、PMS配变和过载台数表、PMS大馈线和跳闸次数表、95598投诉及业扩报装超期表、生产安全临时表，手工导入数据表均为模板数据。
全业务数据存储于MySQL数据库中，XX数据（手工导入数据）存储于ORACLE数据库中。
数据整合层，共涉及29张表，其中全业务数据中心数据共涉及12张表，XX数据共有17张表。
数据整合层数据是从数据来源层进行分析、汇总整合而来。
数据整合层数据分为全业务数据中心数据和XX数据两大板块，全业务数据中心数据表数据来源于数据来源层中全业务数据中心5个业务系统及手工导入数据整合后的结果，数据存储于MySQL数据库中；XX数据表数据来源于该层全业务数据计算时产生的临时表和中间表，数据存储于ORACLE数据库中。
应用明细层，共涉及12张表，其中11张表来源于数据整合层，1张表来源于数据来源层。
应用明细层存储的是结果数据，数据来自数据整合层中XX部分和数据来源层中1张源数据表（生产安全临时表（T_SXPJ_PRODUCTION_SAFETY_TMP））中的数据，应用层数据均为XX数据，数据存储于ORACLE数据库中。
数据来源层、数据整合层、应用明细层涉及的数据表及相关字段信息详情见附件《附件一XX系统数据字典.xlsx》。
3数据流转明细
数据流转共分为三个层次：
数据来源层、数据整合层、应用明细层。
数据来源层，该层数据为5大业务系统相关数据和手工导入数据。
数据整合层，该层数据分为全业务数据中心数据和市县经营数据，其中全业务数据中心数据为整合存储数据，整合数据通过该层市县经营数据和源数据整合而来，市县经营数据为数据整合过程中需要使用到的临时表和中间表数据。
应用明细层，该层数据为最终页面指标展示数据，数据从数据整合层XX数据及1张源数据生产安全临时表数据而来。
各层之间数据流转关系图：
图2
4.
4.1.数据来源层
经分析梳理，数据来源涉及营销业务应用系统、营销业务应用系统（管理库）、PMS2.0系统、大馈线停电分析系统、用电信息采集系统以及需要手工导入的数据。
数据提供方式有:
（1）从全业务数据中心直连查询：
通过查询权限查询使用数据。
（2）微服务获取数据。
（3）手工导入数据。
1.
2.
3.
3.1.
3.1.1.全业务数据中心数据表
序号
表名
英文表名
对应业务系统
全业务用户名
1
部门扩展表
ISC_SPECIALORG_UNIT_LOCEXT
PMS2.0
pms_scyw
2
单位重过载月统计表
T_PWYX_PBFZ_YDTJB
PMS2.0
pms_scyw
3
站外一次大馈线支线表
T_TX_ZWYC_DKX
PMS2.0
gis_dwzy_his
4
大馈线设备类型
T_SB_ZWYC_DKX
PMS2.0
pms_scyw
5
应收电费信息（已归档）
ARC_A_RCVBL_FLOW
营销业务应用系统
cms_fdpshare
6
应收电费信息（未归档）
A_RCVBL_FLOW
营销业务应用系统
cms_fdpshare
7
电量电费明细表
ARC_E_CONS_PRC_AMT
营销业务应用系统
yyjc
8
供电单位
O_ORG
营销业务应用系统
cms_fdpmaster
9
电价表
E_CAT_PRC
营销业务应用系统
cms_fdpmaster
10
概念收益电量电费表（营销）
ZX_GNSYSJ
营销业务应用系统（管理库）
cms_chadmin
11
用采线损数据
BL_LL_MON_INFO_ORG
用电信息采集系统
cms_cacher02
3.1.2.微服务接口调用
序号
源系统
表名
数据说明
1
大馈线停电分析系统
T_SXPJ_POWER_CUT_INFO
线路跳闸明细清单
ServiceUrl=rmi:
/20.59.65.53:
5550/dataService
ServiceId=43178216-fd28-4ca4-a584-d20d7e86ca31
Params:
（“monthreport”,“yyyymm”）
3.1.3.手工导入
手工导入数据表
序号
表名
英文表名
导入时间
备注
1
安全生产数据
T_SXPJ_PRODUCTION_SAFETY_TMP
每月10号
2
供电量
T_SXPJ_POWER_SUPPLY
每月10号
（数据包含当月，累计，同期当月，同期累计）
3
交易输配电价
T_SXPJ_TD_PRICE
每月10号
（数据包含当年及上年数据）
4
市场化电价
T_SXPJ_MARKET_ELEC_PRICE
每月10号
（数据按年）
5
正常电量供电均价
T_SXPJ_AVG_SELLING_PRICE
每月10号
（数据包含当年及上年数据）
6
电价调价表
T_SXPJ_PRICE_ADJUSTMENT
每月10号
7
PMS配变数量及过载台数数据表
T_SXPJ_TRANSFORMER_INFO
每月10号
义马及舞钢
8
PMS大馈线线路数据表
T_SXPJ_POWER_LINES
每月10号
导入舞钢
9
95598投诉及业扩报装超期数据
T_SXPJ_COMPLAIN_HANDLE
每月10号
导入的数据包含查实投诉数据、重复投诉数据及业扩超期
1.
2.
3.
3.1.
3.1.1.
3.1.2.
3.1.3.
3.1.3.1.安全生产数据
1、安全生产数据简述:
通过数据导入模块导入各市县安全生产数据。
数据直接保存到T_SXPJ_PRODUCTION_SAFETY_TMP表。
2、安全生产数据表（T_SXPJ_PRODUCTION_SAFETY_TMP）的表结构:
中文名称
英文名称
类型
必填
说明
年月
DATA_MONTH
VARCHAR2（10）
N
年月
市县编码
ORGCODE
VARCHAR2（20）
Y
市县编码
市县名称
ORGNAME
VARCHAR2（100）
N
市县名称
人员伤亡（人）
CASUALTIES
INTEGER
N
人员伤亡（人）
有人员责任的电网及设备事件（人）
STAFF_AFFAIR
INTEGER
N
有人员责任的电网及设备事件（人）
安全局面稳定（分）
SAFETY_SCORE
NUMBER（10,1）
N
安全局面稳定（分）
数据生成时间
CREATE_TIME
DATE
N
取系统当前时间
3、数据处理/校验规则:
校验规则：
导入数据时安全局面稳定（分），人员伤亡（人）,有人员责任的电网及设备事件（人）这3个列必须有数据，如果安全局面稳定（分）没有数据就提示让用户录入30,如果人员伤亡（人）,有人员责任的电网及设备事件（人）这两个列没数据则提示用户录入0。
3.1.3.2.供电量数据
1.供电量数据简述:
通过数据导入模块导入各市县累计供电量数据。
数据直接保存到T_SXPJ_POWER_SUPPLY表。
2.供电量数据（T_SXPJ_POWER_SUPPLY）的表结构:
中文名称
英文名称
类型
必填
说明
年月
DATA_MONTH
VARCHAR2（10）
N
年月
市县名称
ORGNAME
VARCHAR2（100）
N
市县名称
市县编码
ORGCODE
VARCHAR2（20）
Y
市县编码根据T_SXPJ_ORGINFO中的ORGCODE更新（该表.ORGNAME匹配T_SXPJ_ORGINFO.COMNAMEANDORGLEVEL='3'）
累计供电量
TOTAL_KWH
NUMBER（32,6）
N
累计供电量
上年累计供电量
YOY_TOTAL_KWH
NUMBER（32,6）
N
上年累计供电量
数据生成时间
CREATE_TIME
DATE
N
取系统当前时间
3.数据处理/校验规则:
校验规则：
导入时需匹配更新市县编码（该字段不能出现重复，发现重复项后删除导入数据）、年月必须为六位（如：
201801）
重复导入要有确认提示，确认后根据年月删除原数据导入新数据。
超过当前操作日期2个月之前的月份数据不允许导入（在前台页面实现）
导入后进行程序检查是否导入完整和准确。
3.1.3.3.交易输配电价数据
1.交易输配电价数据简述:
每月5号通过数据导入模块导入交易输配电价数据。
数据直接保存到
T_SXPJ_TD_PRICE表。
2.交易输配电价数据（T_SXPJ_TD_PRICE）的表结构:
中文名称
英文名称
类型
必填
说明
市县名称
ORGNAME
VARCHAR2（100）
N
市县名称
市县编码
ORGCODE
VARCHAR2（20）
Y
市县编码根据T_SXPJ_ORGINFO中的ORGCODE更新（该表.ORGNAME匹配T_SXPJ_ORGINFO.COMNAMEANDORGLEVEL='3'）
交易输配电价
TTABP
NUMBER（32,6）
N
交易输配电价
生效标识
UPDATE_FLAG
VARCHAR2
（1）
N
1：
有效0：
无效
数据生成时间
CREATE_TIME
DATE
N
取系统当前时间
3.数据处理/校验规则:
校验规则：
导入时需匹配更新市县编码（该字段不能出现重复项）
重复导入要有确认提示，确认后根据年月删除原数据导入新数据。
导入后进行程序检查是否导入完整和准确。
新导入的数据生效标志为1，并根据市县编码查询出表中已存在数据，将生效标识置为0。
3.1.3.4.市场化电价数据
1.市场化电价数据简述:
运监每月10号通过数据导入模块导入市场化电价数据。
数据直接保存到T_SXPJ_MARKET_ELEC_PRICE表。
2.市场化电价数据（T_SXPJ_MARKET_ELEC_PRICE）的表结构:
中文名称
英文名称
类型
必填
说明
年度
DATA_YEAR
VARCHAR2（10）
N
年度
分类
TYPE_NAME
VARCHAR2（60）
N
分类
用电分类
ELEC_CLASS_NAME
VARCHAR2（30）
N
用电分类
电压等级
VOLT_LEVEL
VARCHAR2（30）
N
电压等级
本年市场化电价
MEP
NUMBER（32,6）
N
本年市场化电价
1-上年市场化电量线损率
YOY_MEC_LINE_LOSS_RATE
NUMBER（8,4）
N
1-上年市场化电量线损率
上年平均线损率
YOY_AVG_LINE_LOSS_RATE
NUMBER（8,4）
N
上年平均线损率
上年市场化电价
YOY_MEP
NUMBER（32,6）
N
上年市场化电价
序号
SERIAL_NUM
VARCHAR（10）
Y
序号
数据生成时间
CREATE_TIME
DATE
N
取系统当前时间
3.数据处理/校验规则:
数据处理规则序号依据以下规则生成:
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='115'whereELEC_CLASS_NAME='趸售'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='122'whereELEC_CLASS_NAME='2、差价4分'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='121'whereELEC_CLASS_NAME='1、差价8分'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='114'whereELEC_CLASS_NAME='居民生活用电'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='112'whereELEC_CLASS_NAME='一般工商业'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='117'whereELEC_CLASS_NAME='其它用电'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='113'whereELEC_CLASS_NAME='农业生产用电'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='111'whereELEC_CLASS_NAME='大工业用电'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='116'whereELEC_CLASS_NAME='抽水蓄能'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='137'whereELEC_CLASS_NAME='2、一般工商业及其他用电'andVOLT_CLASS='35-110千伏以下'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='132'whereELEC_CLASS_NAME='1、一般大工业用电'andVOLT_CLASS='35-110千伏以下'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='133'whereELEC_CLASS_NAME='1、一般大工业用电'andVOLT_CLASS='110千伏'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='134'whereELEC_CLASS_NAME='1、一般大工业用电'andVOLT_CLASS='220千伏及以上'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='135'whereELEC_CLASS_NAME='2、一般工商业及其他用电'andVOLT_CLASS='不满1千伏'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='141'whereELEC_CLASS_NAME='一般大工业用电'andVOLT_CLASS='1-10千伏'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='142'whereELEC_CLASS_NAME='一般大工业用电'andVOLT_CLASS='35-110千伏以下'ANDDATA_YEAR='刚导入的年份';
updateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='143'whereELEC_CLASS_NAME='一般大工业用电'andVOLT_CLASS='110千伏'ANDDATA_YEAR='刚导入的年份';
UpdateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='136'whereELEC_CLASS_NAME='2、一般工商业及其他用电'andVOLT_CLASS='1-10千伏'ANDDATA_YEAR='刚导入的年份';
UpdateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='144'whereELEC_CLASS_NAME='一般大工业用电'andVOLT_CLASS='220千伏及以上'ANDDATA_YEAR='刚导入的年份';
UpdateT_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='131'whereELEC_CLASS_NAME='1、一般大工业用电'andVOLT_CLASS='1-10千伏'ANDDATA_YEAR='刚导入的年份';
UPDATET_SXPJ_MARKET_ELEC_PRICEsetSERIAL_NUM='888'whereDATA_YEAR='刚导入的年份'andELEC_CLASS_NAME='大用户直购电';
3.1.3.5.正常电量供电均价数据
1.正常电量供电均价数据简述:
运监每月10号通过数据导入模块导入正常电量供电均价数据。
数据直接保存到T_SXPJ_AVG_SELLING_PRICE表。
2.正常电量供电均价数据（T_SXPJ_AVG_SELLING_PRICE）的表结构:
中文名称
英文名称
类型
必填
说明
年度
DATA_YEAR
VARCHAR2（10）
N
年度
市县名称
ORGNAME
VARCHAR2（100）
N
市县名称
市县编码
ORGCODE
VARCHAR2（20）
Y
市县编码根据T_SXPJ_ORGINFO中的ORGCODE更新（该表.ORGNAME匹配T_SXPJ_ORGINFO.COMNAMEANDORGLEVEL='3'）
正常电量供电均价
APONPS
NUMBER（32,6）
N
正常电量供电均价
数据生成时间
CREATE_TIME
DATE
N
取系统当前时间
3.数据处理/校验规则:
校验规则：
导入时需匹配更新市县编码（该字段不能出现重复项）、年度必须为四位（2018）
3.1.3.6.电价调价表
1.电价调价表数据简述:
运监每月10号通过数据导入模块导入电价调价表数据。
2.电价调价表数据（T_SXPJ_PRICE_ADJUSTMENT）的表结构:
中文名称
英文名称
类型
必填
说明
年月
DATA_MONTH
VARCHAR2（10）
N
年月
分类
TYPE_NAME
VARCHAR2（100）
N
分类
用电分类
ELEC_CLASS_NAME
VARCHAR2（200）
N
用电分类
电压等级
VOLT_LEVEL
VARCHAR2（60）
N
电压等级
变动金额
ADJUSTMENT_SALE
NUMBER（8,4）
N
变动金额（元）
序号
SERIAL_NUM
VARCHAR（10）
Y
序号
数据生成时间
CREATE_TIME
DATE
N
取系统当前时间
3.数据处理/校验规则:
数据处理规则序号
升级会员 