决策支持系统数据质量考核评分模板.docx

1、决策支持系统数据质量考核评分模板江苏电信经营分析系统数据质量考评模板设计随着江苏电信经营分析系统三期的上线，确保系统的稳定可靠运行及数据质量已成为实现对业务分析有效支撑的关键，经营分析系统同各地业务系统之间建立了日接口、月接口。经营分析系统每日、按月抽取加载来自于业务系统接口的数据，并按分析目标进行数据处理，形成KPI指标、日报、专题分析等展示结果，并支撑了企业数据应用门户系统的数据展现、集团数据上传等应用。为了保证经营分析系统日常生产工作的规范性和有序性，进一步提升数据质量，更好的支撑市场营销工作，考虑制定针对数据质量的考评标准，要求各本地网接口及相关责任部门能引起重视，便于规范管理，通过定

2、期通报的方式，对各本地网经营分析接口的及时性和准确性等相关数据质量情况进行考评。下面是初步的考评模板设计及明细规则说明:一、 数据质量考评的评分大类定义数据质量考评的范围定义为各本地网接口或省级接口数据的文件及时率、文件重复率、数据波动性、数据逻辑审核情况及维度配置等情况的检查；分别对上述检查类型进行定义及考评分值定义，其中相关及时率、逻辑性指标的说明以各接口的规范文档做为参考； 评分大类及分值定义如下表：序号考核指标满分1数据一致性202文件及时率153文件重复率104数据波动性155配置有效性206数据逻辑性107异常处理和数据比对10总分100评分大类说明：数据一致性：指各本地网上传经分

3、系统的数据和上传省公司财务数据间的比对，要求在相同口径下基本一致，差异可解释文件及时率：指各日(月)接口数据是否按规定时间完成数据上传文件重复率：指各日(月)接口数据是否在规定时间内因为数据质量问题导致文件重复上传数据波动性：指各日(月)接口数据是否存在数据波动异常情况配置有效性：检查维度配置的未配置情况及配置错误情况数据逻辑性：检查数据是否存在不符合逻辑性规则的情况异常处理和数据比对：考评各市分公司是否按要求完成异常处理并反馈，以及是否按要求完成数据比对各地区评分结果：本地网总分各项得分数据一致性(20.00)文件及时率(15.00) 文件重复率(10.00) 数据波动性(15.00)配置有

4、效性(20.00) 数据逻辑性(10.00) 异常处理和数据比对(10.00)二、 各项评分指标的调整关于各项评分指标调整的考虑：对于上述的各项评分是对经营分析系统日常数据质量情况的实际反映，但有些数据质量原因是因本地网业务系统改造、网络或工具异常等难以控制因素造成；如按实际数据结果进行考评要求，则有失公平，不太符合数据质量管控的初衷；还有些情况：本地网接口方需要一段时间来协调处理的因素，如业务系统接口程序问题等原因造成接口数据缺失或异常，但本地网接口方能够及时发现并通知经分，积极配合进行数据重处理工作；对于能主动发现问题并积极改进的地区，也应该在数据考评结果中有所体现；对于上述的问题处理过程

5、，需要在数据异常处理交互平台上，实现针对各数据考评项中的问题，加入人工判断调整的分值；考评系统将记录原始考评值、系统调整值(同时记录调整原因，由管理人员负责完成)；对一些经常发现的问题进行分类，制定相应的考评处理规范措施： 由于本地网系统升级改造等原因，造成不能及时上传情况的考评处理本地网需在数据上传的帐期内或之前通知经分，经分对相关考评项进行设置，对应帐期的指标不进行考评，如不通知，则继续进行正常考评；问题申报的格式(本地网需填写问题申报单，包括：异常说明、异常起始及结束时间，数据上传截至日期、异常原因类型、异常描述、申报地区、申报人、联系电话、审批人、审批时间、审批状态) 对本地网数据已上

6、传，但能及时通知经分有异常情况的考评处理对已经上传但数据有问题，本地网在数据处理日期的当日10：00点前通知经分，并积极配合重处理工作，则对应的接口及指标考评值由经分根据实际影响情况进行调整；（对应的问题考评项进行跟踪记录本地网反馈情况） 对经分首先发现数据问题，本地网实际解决情况的考评处理对经分首先发现考评项问题，在通知本地网责任人后，当天能够积极配合并成功解决，则对应的接口及指标考评值由经分根据实际影响情况进行调整；（需确认调整方法） 对于反复出现的同类接口同类指标的错误，进行重点考评对当月反复出现的同类接口同类指标的错误，按错误次数多少情况，加大扣除对应考评分值；在月考评时，统计同类问题

7、次数，对实际情况调整考评分值。(确认考评计算方法，是否对除问题申报外的考评进行处理)三、 各项评分详细说明1) 数据一致性（20分）对各本地网上传经分系统的数据和上传省公司财务部的量收数据进行比对，要求在相同口径下基本一致，差异可解释。此项目将来和本地网提供的省定报表进行核对，目前尚不具备考核条件。等具备条件后再进行考核，考核细则待定。2) 文件及时率（15分）考评各本地网各日(月)接口数据是否按规定时间完成数据上传，即接口数据在接口规范定义的需生成时间前生成； 规则：接口生成完成时间在规范定义的接口数据生成完成毕时间之前且文件记录数不为零； 计算公式： 当日文件及时率考评值=（当日实际及时到

8、达接口文件数(*权重)/当日应及时到达接口文件数）*15月累积及时率考评值=当月累积日及时性考评值/截止数据日期的当月天数 其它说明：其中需进行考评的文件接口范围参见考评参数说明部分（链路获取文件接口等不包括在内）；审核文件的行数必须不为0；对于本地网系统升级改造等原因，造成不能及时上传情况的，本地网需在数据上传的帐期内或之前通知经分，经分对相关考评项进行设置，对应帐期的指标不进行考评，如不通知，则继续进行正常考评；需考评的接口可按重要程度调整权重(默认值为1) 输出：各地区文件及时率考评结果表3) 文件重复率（10分）考评各本地网指各日(月)接口数据是否在规定时间内因为数据质量问题导致文件多

9、次上传； 规则：接口生成完成时间在规范定义的接口数据生成完成毕时间之前且文件无重复； 计算公式： 当日文件重复率考评值=（当日应到达接口文件数(*权重)/ 当日实际到达接口文件数）*10月累积重复率考评值=当月累积日重复性考评值/截止数据日期的当月天数 其它说明：其中需进行考评的文件接口范围参见考评参数说明部分（链路获取文件接口等不包括在内）；需考评的接口可按重要程度调整权重(默认值为1) 输出：各地区文件重复率考评结果表4) 数据波动性（15分）检查入库数据是否存在数据波动异常及空值情况 规则：对接口数据的各项需考评指标的波动情况考评，按照定义的波幅告警阀值进行判断其是否波动异常或有指标为零

10、的情况； 计算公式： 日(月累积)数据波动性考评值指标空值考评值(5分)+ 指标数据波动考评值(20分)日指标空值考评值(当日指标为空的数量(*权重)/考评指标总数量)*5月累积指标空值考评值当月累积日指标空值考评值/截止数据日期的当月天数日指标数据波动考评值(当日指标文件波动异常的数量(*权重)/当日的指标数量)*20月累积指标数据波动考评值当月累积日指标数据波动考评值/截止数据日期的当月天数 其它说明：其中需进行考评的指标范围参见考评参数说明部分;需考评的指标可按重要程度调整权重(默认值为1);指标波幅的告警阀值需整理定义,对波动异常但实际人工审核正常的指标可由管理人员修正审核结果为正常

11、输出:各地区指标波动及零指标情况考评结果表5) 配置有效性（20分）检查本地网源编码与经分标准编码维度配置对应情况，消除未配置情况。 规则：对需考评的维表配置项情况考评，检查源编码未配置对应标准编码的数量情况，及配置错误情况(因目前采用界面配置方式，配置错误情况不会出现，暂不加入)； 计算公式： (每日定时检查一次)未配置项占比=(1-未配置项总量/某维度值总量)(*权重)配置有效性考评值(各维度未配置项占比之和/维度数量)*20 其它说明：其中需进行考评的维度范围参见考评参数说明部分；需考评的维度类型按重要程度调整权重(默认值为1)； 输出：各地区各维度未知项数据及占比结果表6) 数据逻辑性

12、（10分）检查数据是否存在不符合指标逻辑性规则的情况，其中数据逻辑判断规则需整理； 规则：对入库数据按定义的指标数据逻辑规则进行审核，检查是否有不符合指标数据逻辑的情况，按检查结果得出考评分值； 计算公式： 数据逻辑规则的定义：(目前列出下面几种，分本地网进行审核)市话次数、时长不为零长途时长、次数不为零窄带时长、次数不为零短信次数不为零市话计费时长应大于通话时长长途计费时长应大于通话时长窄带计费时长应大于通话时长存量流失用户数累计应逐月递增增量用户数累计应逐月递增当日新增数-当日流失数当日到达-前日到达（月指标逻辑审核项同）某数据逻辑性考评值1-(是否审核异常0-正常,1-异常)*(指标权重

13、)日数据逻辑性考评值(指标逻辑性审核异常数之和/指标逻辑性审核总规则数)*5月累积数据逻辑性考评值当月指标逻辑性考评值/截止数据日期的当月天数 其它说明：需考评的数据逻辑性规则需整理定义并与本地网明确;需考评的数据逻辑性规则类型按重要程度调整权重(默认值为1); 输出：各地区数据逻辑性考评结果表7) 异常处理和数据比对以异常处理平台和数据比对平台为基础，考评各市分公司是否按要求完成异常处理并反馈，以及是否按要求完成数据比对。 规则：异常处理平台上，在规定时间内完成异常处理工作和数据比对工作。 计算公式： 异常处理和数据比对考评值异常处理考评值（8分）数据比对考评值（2分）异常处理考评值=（当月

14、实际及时处理的异常数量(*权重)/ 当月应及时处理的异常数量）*8数据比对考评值=（当月实际提供的比对数据(*权重)/ 当月应该提供的比对数据）*2 其它说明：其中记录在异常处理平台上的异常类型分成三类：（1）本地网系统升级改造等原因产生的数据问题（2）本地网主动发现的数据问题，并上报省中心进行处理（3）省中心发现的数据问题，并要求本地网进行处理其中第1类异常在文件及时率项目上反映，并不在本项目上反映，第2，3两类异常在本项目上反映，其中对本地网积极主动发现异常考虑适当加分，对本地网处理异常不积极，导致同类接口同类指标的错误，按错误次数多少情况，加大扣除对应考评分值。需提供的数据比对项目参见数

15、据比对相关文档。需考评的项目可按重要程度调整权重(默认值为1) 输出：各地区异常处理和数据比对考评结果表四、 考评参数说明需考评的接口范围定义对于接口及时性及准确性的检查，需明确需检查的接口清单，检查接口每日（月）是否及时到达、记录是否波动异常。如下：日接口商品实例(日)商品明细实例(日)主产品实例状态(日)附属产品实例(日)主产品实例标识(日)主产品实例附加属性信息(日)主产品实例信息(日)用户地域属性信息(日)数据业务(日)语音话单(日)增值业务话单(日)本地卡话单(日)月接口商品实例(月)用户地域属性信息(月)附属产品实例(月)主产品实例状态(月)主产品实例标识(月)商品明细实例(月)主

16、产品实例附加属性信息(月)主产品实例信息(月)数据业务话单(月增)语音话单(月增)增值业务话单(月增)本地卡话单（全量）维度检查的范围及检查时间定义定义维度检查的时间：每日检查：每日检查时间为8：00逻辑性考评需定义检查的维度范围，如下：维度检查接入产品参数帐目类型参数话单类型参数用户性质参数客户类型参数城乡标识参数功能产品参数付款方式参数付费类型参数卡归属参数卡类型参数套餐目录小灵通套餐目录宽带套餐目录数据逻辑性规则定义按指标逻辑规则定义进行检查是否有不符合指标逻辑的情况，规则定义如下：指标逻辑性(日)市话次数、时长不为零长途时长、次数不为零窄带时长、次数不为零短信次数不为零市话计费时长应大

17、于通话时长长途计费时长应大于通话时长窄带计费时长应大于通话时长市话计费时长应被60整除长途通话计费时长应被6整除存量流失用户数累计应逐月递增增量用户数累计应逐月递增当日新增数-当日流失数当日到达-前日到达指标逻辑性(月)市话次数、时长不为零长途时长、次数不为零窄带时长、次数不为零短信次数不为零市话计费时长应大于通话时长长途计费时长应大于通话时长窄带计费时长应大于通话时长市话计费时长应被60整除长途通话计费时长应被6整除存量流失用户数累计应逐月递增增量用户数累计应逐月递增数据波动性规则定义对应日报指标的波动情况，列出下面日审核指标：(其中用户新增拆机净增指标不审核波动，检查是否为零值)数据波动性

18、(日)市话收入_固话市话收入_小灵通长话收入_固话长话收入_小灵通电话用户数_新增_不为零电话用户数_拆机_不为零电话用户数_净增_不为零电话用户数_活跃电话用户数_到达固话用户数_新增_不为零固话用户数_拆机_不为零固话用户数_净增_不为零固话用户数_活跃固话用户数_到达小灵通用户数_新增_不为零小灵通用户数_拆机_不为零小灵通用户数_净增_不为零小灵通用户数_活跃小灵通用户数_到达宽带用户数_新增_不为零宽带用户数_拆机_不为零宽带用户数_净增_不为零宽带用户数_活跃宽带用户数_到达本地话务量_固话话单张数本地话务量_固话通话时长本地话务量_小灵通话单张数本地话务量_小灵通通话时长长途话务

19、量_固话话单张数长途话务量_固话通话时长长途话务量_小灵通话单张数长途话务量_小灵通通话时长宽带话务量_话单张数宽带话务量_上网时长宽带话务量_下行流量宽带话务量_上行流量宽带话务量_总流量宽带话务量_收入总体话务量_话单张数总体话务量_通话时长窄带业务量无日应用指标互联网接入指标无日应用指标（考虑：需要按维度，如话单类型等查看具体情况，查找数据波动异常原因）数据波动性(月)系统计费总收入统计计费总收入用户到达数统计用户到达数用户新增数统计用户新增数用户拆机数统计用户拆机数用户到达数(用户性质)统计用户到达数(按政企/住宅)用户到达数(产品类型)统计用户到达数(按固定电话/小灵通/宽带/窄带拨

20、号业务/互联网专线业务/基础数据/带宽出租/网元出租/视讯及其他)客户到达数(客户类型)统计客户到达数(按政企客户(行业客户/聚类客户)/公话客户/公众客户)应收总费用(用户性质)统计应收总费用(按政企/住宅)应收总费用(产品类型)统计应收总费用(按固定电话/小灵通/宽带/窄带拨号业务/互联网专线业务/基础数据/带宽出租/网元出租/视讯及其他)应收总费用(客户类型)统计应收总费用(按政企客户(行业客户/聚类客户)/公话客户/公众客户)应收总费用(帐目类型)统计应收总费用(按月租收入/通话收入/增值收入/综合信息应用服务/互联网收入/基础数据收入/网元出租收入/综合优惠费/一次性装移机收入/其它业务收入)话单张数(按话单类型统计)统计按帐目类型统计话单张数(按国内/国际/区间/固话/小灵通/政企/公话分类)本月欠费金额统计本月欠费金额