NBIoT网络质量测试评估规范.docx
《NBIoT网络质量测试评估规范.docx》由会员分享，可在线阅读，更多相关《NBIoT网络质量测试评估规范.docx（23页珍藏版）》请在冰豆网上搜索。
NBIoT网络质量测试评估规范
NB-IoT网络质量测试评估规范
NB-IoT网络质量测试评估规范
中国移动通信有限公司
2017年8月
✓指导方向
a）反映网络覆盖、干扰、资源等方面的问题，指导网络规划建设；
b）指导网络层面的性能和质量优化。
✓测试手段
自动测试平台、自动测试前端ATU、扫频仪。
✓主要指标
a）覆盖、干扰、重叠覆盖度等网络指标；
b）速率、时延、成功率等主要业务指标；
c）基站、小区遍历性指标。
1NB-IoT网络性能测试规范
1.1室外道路测试规范
NB-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试，主要测试方法及要求如下：
1.测试区域
按照网格划分（建设区域）区域进行测试；
2.测试道路
城区范围：
包含背街小巷在内的所有1-4级道路；交通干线：
铁路（重点是高速铁路和动车组）、高速公路、国道省道等；县城城区：
县城城区范围内的主要道路；农村及旅游景点：
乡镇、行政村、旅游景点及连接道路。
3.测试路线
按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试；
4.测试轨迹记录
测试仪表需配备相应GPS设备进行测试轨迹记录。
5.测试仪表及数据处理
必须使用集团集采的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计；
6.测试速度
城区保持正常行驶速度，不设置最高限速，平均车速需达到20Km/h；高速测试按照高速公路实际限速正常行驶；
7.渗透率、重复率
不考虑实际交通情况，渗透率需达到85%以上、重复率不得高于30%。
8.测试条件：
全网下行模拟50%加扰
9.测试方法和步骤
1）步骤1：
采用测试业务1,遍历事先选择的道路行驶路线。
遍历过程中，如果有脱网、掉线，则停车重新恢复业务。
2）步骤2：
采用测试业务2，重复步骤1
3）步骤3：
采用测试业务3，重复步骤1
4）步骤4：
采用测试业务4，重复步骤1
序号
测试业务
测试内容概要
1
NB-IoT空闲态测试
（1）测试终端：
处于Idle态，不做任何业务
（2）扫频仪：
对服务小区和邻区进行扫频
若测试终端和扫频仪的测试结果相当（覆盖、干扰、重叠覆盖度等），则使用测试终端测试即可。
2
Ping小包业务
ping包大小：
20byte
每次从空闲态发起ping包业务，ping响应超时时延设置为30s，ping周期设置60s
3
Ping大包业务
ping包大小：
200byte
每次从空闲态发起ping包业务，ping响应超时时延设置为30s，ping周期设置60s
4
终端开关机
测试终端开机、关机操作：
（1）开机：
终端开机，发起AttachRequest到AttachComplete
（2）关机：
终端从空闲态发出DetachRequest
开机到关机的时间间隔60s；
关机到开机的时间间隔60s。
1.2定点测试规范
NB-IoT定点测试主要采用ATU设备进行网络性能测试，主要测试方法及要求如下：
1.测试楼宇
根据城市的规模，测试楼宇的数量可不同。
楼宇数量至少需满足：
（1）一线城市及省会城市：
40个楼宇
（2）二线城市：
30个楼宇
（3）其他城市：
20个楼宇
所选取的测试楼宇均匀分布于城市的不同网格中，测试楼宇类型包括但不仅限于党政军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。
2.测试选点
从物联网典型应用场景选择测试点，且一个城市所选取的定点场景需遍历到此城市包含的所有业务类型。
场景包括但不仅限于：
a）物联网典型应用场景：
弱电井、车库、地下室、水电气表间、管道井等
b）公众用户所及区域：
走廊、过道、办公区、会议室、楼梯、电梯厅等
∙室内选点要求：
⏹低层楼宇：
五层以下楼宇选取低层，共一层，每层选择2个测试点
⏹中层楼宇：
二十层以下楼宇选取低层、高层各一层，每层选择2个测试点
⏹高层楼宇：
二十层以上楼宇选取低层、中间层、高层各一层，每层选择2个测试点
⏹若楼宇有地下室场景，则地下室也作为测试楼层，选择2个测试点。
∙室外选点：
⏹在每个楼宇外围选择2个室外测试点，测试点尽量为物联网典型应用场景，如室外停车位
3.GPS定位：
测试人员进入楼宇前需首先进入GPS定位、上报测试点。
4.测试仪表及数据处理：
必须使用集团集采或业内成熟的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计。
5.测试步骤
a）步骤1：
在选定的测试定点上，ATU设备进行测试业务1
b）步骤2：
更换为测试业务2，重复步骤1
c）步骤3：
更换为测试业务3，重复步骤1
d）步骤4：
更换为测试业务4，重复步骤1
序号
测试业务
测试内容概要
1
UDP大数据量上传业务
文件大小：
1MByte；
定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次
2
UDP大数据量下载业务
文件大小：
1MByte；
定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次
3
Ping小包业务
ping包大小：
20byte
定点测试，每次从空闲态发起ping包业务，每个点ping包10次
4
Ping大包业务
ping包大小：
200byte
定点测试，每次从空闲态发起ping包业务，每个点ping包10次
2NB-IoT指标分析规范
2.1NB-IoT网络性能评估指标
1.覆盖类指标
该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。
全部网格及各网格分别给出统计结果。
序号
指标
定义
说明
单位
统计log来源
1
覆盖率
覆盖率=条件采样点/总采样点*100；NB-IoT条件采样点：
RSRP>=-94dBm（密集城区）、RSRP>=-97dBm（一般城区）；
综合接收场强和信干比，描述全网的覆盖情况
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
2
平均RSRP
参考信号平均接收电平
从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度
dBm
3.1的步骤1，包括扫频仪和ATU设备的测试结果
3
边缘RSRP
取RSRP中CDF等于5%的值
如果边缘RSRP太低，不能达到网络最低覆盖要求。
如果边缘RSRP过高，小区间干扰也会严重。
故NB-IoT更加重视利用边缘覆盖电平，来评估小区边缘的覆盖
dBm
3.1的步骤1，包括扫频仪和ATU设备的测试结果
4
RSRP连续弱覆盖比例
NB-IoT连续弱覆盖里程/NB-IoT测试里程*100%
评估路测中参考信号RSRP接收功率情况，反映服务小区覆盖的主要指标。
其中：
弱覆盖里程的定义为持续10秒70%的采样点路段满足RSRP<-89dBm（密集城区）、-92dBm（一般城区）。
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
5
RSRP连续无覆盖比例
NB-IoT连续无覆盖里程/NB-IoT测试里程*100%
评估路测中参考信号RSRP接收功率情况，反映服务小区无覆盖的情况。
连续无覆盖里程的定义为持续10秒70%的采样点路段满足RSRP<-99dBm（密集城区）、-102dBm（一般城区）
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
注1：
覆盖率RSRP门限为，NB-IoT的验收指标（规划指标-OTA损耗-车体损耗）。
2.干扰类指标
该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。
全部网格及各网格分别给出统计结果。
序号
指标
定义
说明
单位
统计log来源
1
平均RS-SINR
参考信号平均接收信号与干扰噪声比
从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度
dB
3.1的步骤1，包括扫频仪和ATU设备的测试结果
2
边缘RS-SINR
参考信号平均接收信号与干扰噪声比取CDF（累计概率分布）5%对应的值
从参考信号平均接收信号与干扰噪声比角度，评估全网各小区边缘的干扰强度
dB
3.1的步骤1，包括扫频仪和ATU设备的测试结果
3
连续SINR质差里程占比
连续SINR质差里程/NB-IoT测试里程*100%
评估RS-SINR质差里程；其中：
SINR质差里程定义为持续10秒且70%的采样点CRS-SINR<0dB的连续路段。
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
4
重叠覆盖率
道路重叠覆盖率=重叠覆盖度>=4的采样点/总采样点*100%；重叠覆盖度指与最强信号电平差距在6dB范围内的电平数量，且最强信号RSRP＞-89（密集城区）或92dBm（一般城区）；
重叠覆盖度>=4，即认为存在较严重的重叠覆盖情况；从参考信号平均接收信号电平角度，评估服务小区覆盖范围内强信号邻区叠加的程度
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
5
重叠覆盖里程占比
道路重叠覆里程占比=连续重叠覆盖度>=4的里程/总测试里程*100%
评估全网内重叠覆盖里程占比，一定程度上反映网络建设合理性
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
6
Mod3冲突比例
Mod3冲突比例=Mod3冲突小区数量/测量到的邻区数量总数*100%
PCI=3*GroupID（S-SS）+SectorID（P-SS），如果PCImod3值相同的话，就会造成P-SS的干扰；实际网络必然中存在两邻区PCI模3无法错开的情况。
模3会造成CRS信号相互干扰，使SINR降低；重叠覆盖和模3干扰同时存在，以重叠覆盖影响为主
%
3.1的步骤1，包括扫频仪和ATU设备的测试结果
3.调度类指标
指标来源：
根据一个城市所有的定点测试结果统计（含室外和室内）下述指标，统计时需对不同的ping包大小进行区分统计。
序号
指标
定义
说明
单位
统计log的来源
1
上行物理层速率（含掉线）
物理层总上传量（含掉线）/上传总时长（含掉线），每个点分别计算再求平均。
评估NB-IoT网络上行传输性能的重要指标
Kbps
3.2的步骤1
2
上行物理层速率（不含掉线）
物理层总上传量（不含掉线）/上传总时长（不含掉线），每个点分别计算再求平均。
评估NB-IoT网络上行传输性能的重要指标
Kbps
3.2的步骤1
3
下行物理层速率（含掉线）
物理层总下载量（含掉线）/下载总时长（含掉线），每个点分别计算再求平均。
评估NB-IoT网络下行传输性能的重要指标
Kbps
3.2的步骤2
4
下行物理层速率（不含掉线）
物理层总下载量（不含掉线）/下载总时长（不含掉线），每个点分别计算再求平均。
评估NB-IoT网络下行传输性能的重要指标
Kbps
3.2的步骤2
5
MAC层上行平均BLER
MAC层上行
BLER=上行总错误TB数/上行传输总TB数*100%，每个点分别计算再求平均。
评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量
%
3.2的步骤1
6
MAC层下行平均BLER
MAC层下行BLER=下行总错误TB数/下行传输总TB数*100%，每个点分别计算再求平均。
评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量
%
3.2的步骤2
7
下行NPDSCH平均重复次数
每次调度下行NPDSCH重复次数总和/调度次数，每个点分别计算再求平均。
评估下行业务信道的重复次数，反映空口的质量
次
3.2的步骤2
8
上行NPUSCHFormat1平均重复次数
每次调度上行NPUSCH重复次数总和/调度次数，每个点分别计算再求平均。
评估上行业务信道的重复次数，反映空口的质量
次
3.2的步骤1
9
上行MCS统计
上行MCS平均值=上行码字MCS值总和/上行码字MCS上报次数，最高频率MCS占比=max（每种MCS上报个数/MCS上报个数总和），每个点分别计算再求平均。
评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小
3.2的步骤1
10
下行MCS统计
下行MCS平均值=下行码字MCS值总和/下行码字MCS上报次数，最高频率MCS占比=max（每种MCS上报个数/MCS上报个数总和），每个点分别计算再求平均。
评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小
3.2的步骤2
11
上行NPUSCHFormat1平均调度的子载波个数
每次调度上行NPUSCH子载波数总和/调度次数，每个点分别计算再求平均。
评估上行信道的调度情况
个
3.2的步骤1
12
上行NPUSCHFormat13.75KHz的比例
上行3.75KHz子载波的调度次数/总调度次数，每个点分别计算再求平均。
评估上行信道的调度情况
个
3.2的步骤1
13
上行NPUSCHFormat13.75KHzST的比例
上行3.75KHzST子载波的调度次数/总调度次数，每个点分别计算再求平均。
评估上行信道的调度情况
个
3.2的步骤1
14
上行NPUSCHFormat115KHzST的比例
上行15KHzST子载波的调度次数/总调度次数，每个点分别计算再求平均。
评估上行信道的调度情况
个
3.2的步骤1
15
上行NPUSCHFormat115KHzMT的比例
上行15KHzMT子载波的调度次数/总调度次数，每个点分别计算再求平均。
评估上行信道的调度情况
个
3.2的步骤1
18
定点测试的Ping包成功率
Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。
评估室内外定点测试情况下的业务性能
%
3.2的步骤3和步骤4，两种ping包大小区分统计
19
定点测试的Ping包时延
Ping包总时延/ping包总次数，每个点分别计算再求平均。
评估室内外定点测试情况下的业务性能
秒
3.2的步骤3和步骤4，两种ping包大小区分统计
20
遍历测试的ping包成功率
Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。
评估室外遍历测试情况下的业务性能
%
3.1的步骤2和步骤3，两种ping包大小区分统计
21
遍历测试的ping包时延
Ping包总时延/ping包总次数，每个点分别计算再求平均。
评估室外遍历测试情况下的业务性能
秒
3.1的步骤2和步骤,3，两种ping包大小区分统计
22
定点测试的上行掉线率
上行掉线总次数/发起上行UDP业务的总次数。
所有样本一起计算。
评估NB-IoT网络的稳定程度
%
3.2的步骤1
23
定点测试的下行掉线率
下行掉线总次数/发起下行UDP业务的总次数。
所有样本一起计算。
评估NB-IoT网络的稳定程度
%
3.2的步骤2
4.移动类指标
序号
指标
定义
说明
单位
统计log的来源
1
NB-IoT网内异频重选成功率
NB-IoT网内异频重选成功次数/NB-IoT网内重选尝试次数*100%
评估NB-IoT网内异频重选的连续性、稳定性
%
3.1的步骤1，只涉及ATU设备
2
NB-IoT网内异频重选时延
NB-IoT网内异频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数
评估NB-IoT网内异频重选的连续性、稳定性
秒
3.1的步骤1，只涉及ATU设备
3
NB-IoT网内同频重选成功率
NB-IoT网内同频重选成功次数/NB-IoT网内重选尝试次数*100%
评估NB-IoT网内同频重选的连续性、稳定性
%
3.1的步骤1，只涉及ATU设备
4
NB-IoT网内同频重选时延
NB-IoT网内同频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数
评估NB-IoT网内同频重选的连续性、稳定性
秒
3.1的步骤1，只涉及ATU设备
5
TA区更新成功率
TA区更新成功次数/TA区更新尝试次数*100%
评估：
NB-IoT跨TAList重选情况下业务和状态的连续性、移动性
%
3.1的步骤1，只涉及ATU设备
6
TA更新平均时延
TA更新平均时延=TA更新时延总和/TA更新次数
评估NB-IoT网络位置区更新时延
秒
3.1的步骤1，只涉及ATU设备
7
NB-IoT连接态脱网重搜平均时延
NB-IoT连接态脱网重搜平均时延=脱网重搜时延总和/脱网重搜次数
评估NB-IoT脱网重搜时延
秒
3.1的步骤1，只涉及ATU设备
说明1：
重选时延定义，重选开始->SIB1（不跨TAList）或TAUComplete（跨TAList）
说明2：
TA更新时延定义，TAURequest->TAUComplete
说明3：
道路测试中如有脱网则统计7，没有就不需要统计
5.接入类指标
序号
指标
定义
说明
单位
统计log的来源
1
RRC连接建立成功率
RRC连接建立成功率=RRC连接建立成功次数/RRC连接建立尝试次数*100%
评估系统接入性能的重要指标；其中：
以终端发起RRCConnectionRequest作为一次RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次RRC连接建立成功
%
3.1的步骤2,3,4
2
RRC连接建立平均时延
RRC连接建立平均时延=RRC连接建立时延总和/RRC连接建立成功次数
评估NB-IoT系统接入性能的重要指标；其中：
以终端发起RRCConnectionRequest作为一次RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次RRC连接建立成功
秒
3.1的步骤2,3,4
3
ATTACH成功率
ATTACH成功率=ATTACH成功次数/ATTACH尝试次数*100%
评估NB-IoT系统接入性能的重要指标；其中：
以终端发起ATTACHREQUEST作为一次ATTACH尝试，到终端发送ATTACHCOMPLETE作为一次ATTACH成功
%
3.1的步骤4
4
ATTACH平均时延
ATTACH平均时延=ATTACH时延总和/ATTACH成功次数
评估NB-IoT系统接入性能的重要指标；其中：
以终端发起ATTACHREQUEST作为一次ATTACH尝试，到终端发送ATTACHCOMPLETE作为一次ATTACH成功
秒
3.1的步骤4
5
DETACH成功率
DETACH成功率=DETACH成功次数/DETACH尝试次数*100%
评估NB-IoT系统接入性能的重要指标；其中：
终端触发关机作为1次尝试，到终端发出DETACHREQUEST作为一次DETACH成功
%
3.1的步骤4
6
DETACH平均时延
DETACH平均时延=DETACH时延总和/DETACH成功次数
评估NB-IoT系统接入性能的重要指标；其中：
终端触发关机作为1次尝试，到终端发出DETACHREQUEST作为一次DETACH成功
秒
3.1的步骤4
7
SERVICEREQUEST成功率
SERVICEREQUEST成功率=SERVICE建立成功次数/SERVICE建立尝试次数*100%
评估NB-IoT系统业务建立性能的重要指标；其中：
SERVICE建立成功以UE上发ServiceRequest后，到收到ServiceAccept作为一次服务请求成功
%
3.1的步骤2,3
8
SERVICEREQUEST平均时延
SERVICE平均时延=SERVICE建立时延总和/SERVICE建立成功次数
评估NB-IoT系统接入性能的重要指标；其中：
以UE上发Servicerequest作为服务建立请求,到收到ServiceAccept作为一次服务请求成功，两者时间差为业务请求建立时延
秒
3.1的步骤2,3
2.2NB-IoT遍历小区及基站的统计
本章节指标数据统计来源于3.1“室外道路测试规范”的步骤1和3.2“定点测试规范”
序号
指标
定义
说明
1
小区遍历率（%）
遍历小区总数/现网建设小区总数*100%
根据Dtlog统计遍历小区情况
2
基站遍历率（%）
遍历基站总数/现网建设基站总数*100%
根据Dtlog统计遍历小区情况
3
室外道路的遍历率
遍历的非重复里程/规划路线里程*100%
4
重复里程占比
遍历的重复里程/测试总里程*100%
5
测试总里程
遍历的总里程
6
测试楼宇数
所测试的楼宇总数
7
定点测试数
所测试的定点总数
升级会员 