端到端确定性网络架构和关键技术.docx
《端到端确定性网络架构和关键技术.docx》由会员分享，可在线阅读，更多相关《端到端确定性网络架构和关键技术.docx（12页珍藏版）》请在冰豆网上搜索。
端到端确定性网络架构和关键技术
刘鹏，杜宗鹏，李永竞，陆璐，段晓东
（中国移动通信有限公司研究院，北京100053）
摘要：
新型业务如远程控制、虚拟/增强现实等对网络提出了更高的带宽和时延要求，传统网络已经难以满足。
面向6G的网络演进，需要端到端确定性网络技术保障。
针对当前技术标准研究缺乏对于端到端时延保障的全局考虑，指出了确定性网络需要同时解决单跳和全局的时延问题，提出了端到端确定性网络架构，以及跨网络域和跨协议层的确定性网络技术方案。
最后，针对当前确定性网络应用部署的难点，提出了相应的推进建议。
关键词：
确定性网络；端到端；多域中图分类号：
TN915
文献标识码：
A
doi:
10.11959/j.issn.1000−0801.2021223
End-to-enddeterministicnetworkingarchitectureandkeytechnologies
LIUPeng,DUZongpeng,LIYongjing,LULu,DUANXiaodong
ChinaMobileResearchInstitute,Beijing100053,China
Abstract:
NewservicessuchasremotecontrolandcloudAR/VR,haveputforwardhigherbandwidthandlatencyrequirementsthantraditionalnetwork.6G-orientednetworkevolutionneedsend-to-enddeterministicnetworkingtechnologysupport.Inviewofthelackofglobalconsiderationofend-to-endlatencyguaranteeincurrenttechnicalstandardresearch,itwaspointedoutthatdeterministicnetworkingneedstosolvetheproblemofsinglehopandgloballatencyatthesametime.Anend-to-enddeterministicnetworkingarchitecturewasbuilt,aswellasdetermi-nisticnetworkingtechnicalschemesacrossnetworkingdomainandprotocollayerwasproposed.Finally,accord-ingtothecurrentdifficultiesofdeterministicnetworkingdevelopment,thecorrespondingpromotionsuggestionswereputforward.
Keywords:
deterministicnetworking,end-to-end,multi-domain
1引言
传统的运营商IP网络提供的主要是基于统计
复用的连通服务，仅能提供面向逐包的基于差分服务的质量保障，很难提供逐流的基于综合服务的质量保障。
一方面，从5G面向垂直行业的超可靠低时延通信（ultra-reliableandlowlatencycommunications，uRLLC）业务开始提出了需要实现“端到端”低时延保障的需求[1]。
另一方面，以工业互联网为代表的产业数字化转型发展，促使更多的企业业务上云，这些业务在时延、抖动和可靠性方面提出更为严苛的要求。
在面向6G的网络演进中，确定性网络被纳为其中最关键的技术之一，其潜在的应用场景如沉浸式混合现实、全息通信等[2]，是传统“统计复用、尽力而为”的IP网络无法满足的。
确定性网络是一种通过对网络数据转发行为的控制，实现可预期、可规划的，将时延、抖动和丢包率等控制在确定范围内的网络技术。
越来越多的应用对网络时延的上界/下界提出了严格且明确的诉求，传统数据通信网络提供的“尽力而为”服务已不能满足。
如工业中的运动控制需要保证毫秒级的时延和微秒级的抖动[3]，电力差动保护也需要毫秒级的时延保障[4]，其他如游戏、视频业务也期望得到尽可能稳定、优质的网络服务，时延和抖动等控制在数十毫秒以内，从而保障良好的业务体验。
电气与电子工程师协会（IEEE）于2006年首先开展确定性网络标准的研制，成立了“音视频桥接工作组AVB”，研究音视频局域网络的确定性；2012年更名为“时间敏感网络工作组TSN”[5]，将应用场景扩展至工业、车载以及前传等，至今已经发布一系列核心的标准26项，包含同步、流量控制、配置等内容。
国际互联网工程任务组
（IETF）（于2015年成立“确定性网络（deterministicnetworking，DetNet）工作组”，沿用TSN的技术体系，解决基于IP等网络层的确定性问题。
当前已经发布标准12项，包括场景、架构、数据面的封装、YANG模型配置以及安全性考虑等，下一步计划研究队列调度的机制。
3GPP从R16开始引入TSN机制，支持最基本的5个IEEETSN协议，并对5G网络进行时间同步机制和确定性服务
保障增强，R17阶段对R16进一步增强，并支持基于5G的确定性能力开放，当前标准研究已经进入R18立项讨论阶段。
中国通信标准化协会
（CCSA）各标准技术工作委员会和特设任务组从2018年起均已经开展面向运营商网络、下一代移动无线网络、工业互联网的确定性网络行业标准的制定。
虽然各行业和标准化组织都已经开展确定性网络技术的研究，对于业务的确定性时延要求，目前仍然无法很好地保障。
TSN的时延控制机制适用于范围较小的二层网络，对于长距离、拓扑复杂的网络，TSN的可扩展性并不够优异；DetNet虽然在IP层做了一些工作，但由于继承了TSN的技术，也面临和TSN一样的问题，并且DetNet目前只考虑单管理域的网络[6]，可支持的业务有限。
5G引入TSN还在初期阶段，TSN机制的复杂性对于5G的引入是一个很大的挑战。
除了个别局域网的业务，大部分业务都是需要跨越多域以及多种接入方式的，所以在6G技术体系中，对于确定性网络、端到端的确定性保障的研究是非常必要的。
本文分析了当前确定性网络研究面临的问题，提出了端到端确定性网络架构以及相应技术实现方向和推进策略，以保障业务端到端的时延等需求。
2确定性网络要解决的问题
2.1网络的单跳时延
网络的单跳时延主要由传播时延和节点内时延组成，如图1所示。
其中传播时延是指数据包在链路上传播的时延，主要取决于网络设备之间的链路距离及链路传输速率。
在一个稳定的网络拓扑中，链路距离及链路速率相对稳定，因此链路时延几乎没有变化的空间。
节点内时延主要包括报文的处理、排队、发送和重传等，特别是节点中的排队时延是造成长
图1网络单跳时延
尾效应的主要因素。
当没有任何网络拥塞时，数据报文进入缓冲队列的时延几乎为零，但是网络一旦有拥塞发生，报文必须在网络设备（路由器、交换机）中排队等待。
这个时间不是固定的，与网络繁忙程度以及队列排队机制相关。
网络负载比较轻的时候，不需要排队，无排队时延；负载较重时，排队则可能时延很大（几十到几百毫秒都有可能）。
所以，链路时延的可降低空间十分有限，达到低时延进而实现确定性网络的关键在于减少节点内的时延。
确定性网络中，可以事先调度规划好关键事件的发生序列。
各个子系统之间通过通信任务的特定调度规划和数据包的处理调度，使确定性任务处于一种无冲突的状态，避免了信息在交换过程中不可控制的排队，有效地降低了设备的缓存成本以及传输等待而导致的时延，从而使得整个网络的关键数据包的传送处于确定的状态。
图2给出了在传统IP网络和确定性网络中的端到端传送时延的概率密度分布，可以看到确定性网络的时延和抖动是有上界的。
2.2网络的端到端时延
网络的端到端时延是指业务请求从客户端发出之后，一直到数据中心进行处理所经过的所有网络链路和设备的时延。
如图3所示，网络端到
端单向时延包括以下4种。
图2网络单跳时延
（1）无线侧时延：
无线侧时延主要是指业务数据从端侧发出，经无线空口被无线电接入网
（radioaccessnetwork，RAN）接收的时延。
（2）回传网时延：
从基站连接至用户面功能
（userplanefunction，UPF）的时延，这段网络不同的运营商采用不同的技术，如分组传送网
（packettransportnetwork，PTN）、切片分组网
（slicingpacketnetwork，SPN）以及IP无线电接入网（IP-RAN）技术等。
（3）UPF处理时延：
UPF作为5G核心网的用户面网元，是RAN与数据网络（datanetwork，DN）之间的连接点，负责完成数据报文的识别和重封装。
其中，服务质量（qualityofservice，QoS）
图3端到端的网络时延
映射、深度包检测（deeppacketinspection，DPI）等功能处理会带来一定的时延。
（4）IP承载网时延：
IP承载网主要指省际骨干网、分城域网以及互联网，采用的是IP网络技术。
通常除了局域网业务，其他需要访问外网或者互联网的业务都需要经过多个网络域，包括跨越局域网、运营商不同自治域（autonomoussys-tem，AS）的网络以及不同运营商之间的网络，单个设备的确定性转发无法保障全局的确定性。
当前确定性网络的转发面技术如流量整形、队列调度等均以解决单跳时延为基础，缺少了基于端到端时延保障的考虑。
3端到端确定性网络架构
端到端的确定性网络不仅要解决网络设备对报文处理的时延，也需要协同多域、多运营商的全局时延。
基于以上原则，本文提出了端到端确定性网络的架构，如图4所示。
3.1端到端横向跨网络域
从网络域的角度看，端到端的确定性网络包括3个部分：
用户侧、网络侧及跨网络域。
3.1.1用户侧
用户侧主要是指企业网络。
以工业为例，工业内部网络通常分为信息网络和生产网络[7]，其中离用户站点较近的生产网络对时延有一定的要求。
传统的生产网络采用的总线或工业以太网技术，可以保障时延，但是无法适应工业互联网趋势下的互联互通要求，这也是TSN深入工业想要解决的问题。
TSN的一系列流量控制的机制，适用于企业规模的网络，TSN在工业的融合发展趋势[7]，促使信息和生产系统在网络层互联，应用层语义一致，实现不同系统的互联互通。
3.1.2网络侧
网络侧主要是指运营商网络，包括5G无线侧、接入网、汇聚网和骨干网。
无线侧的确定性是端到端确定性网络的关键环节之一，目前暂无明确的方案，可以考虑采用资源预留的方式优化重要业务的部分时延。
汇聚和接入网络主要采用PTN/SPN/IP-RAN等技术，也都在一定程度上考虑了网络时延的需求，不过是否需要进一步的基于二层或者三层网络的确定性技术支持还有待验证。
骨干网基于IP协议实现，所以基于三层的确
图4端到端确定性网络架构
定性技术是主要的选择。
5G边缘计算的兴起使得数据中心和UPF逐渐融入运营商的融合/接入网络中。
以UPF为分界点，回传网和承载网可能采用不同的技术和协议，这两部分网络也有不同的控制面。
流量从用户侧发出，到UPF之前，通过5G系统的控制面来管理和配置，在UPF之后即进入固网的范围。
5G系统对于流量的QoS有着比较复杂和较为全面的控制，但是在UPF之后，仅仅映射为固网IP协议的差分服务代码点（differentiatedservicescodepoint，DSCP）字段[8-9]，DSCP共定义了64种，但是现阶段并未在现网中应用。
所以一方面流量在5G网络中并没有实现严格的确定性，另一方面在UPF之后无法得知其具体的QoS需求，也无法实现确定性。
现阶段3GPP开始启动对确定性机制的引入，即使两部分网络都实现了确定性，也需要充分感知和交互，才能实现端到端的确定性。
3.1.3跨网络域
跨网络域的情况包括跨同一个运营商网络的多个网络域，不同网络域所采用的网络技术可能不同；也包括跨不同运营商的网络，如用户通常通过某一运营商的网络接入，访问其他运营商网络中的服务。
确定性的业务流在各个网络域都需要被识别才能保证其快速有序的转发，可能涉及时间同步、频率同步、非同步技术的结合，确定性流量标识的解析和重封装，各域所划分时间片的协商等机制。
因此，需要跨域互通的管理系统来建立有效的协商和确定性转发机制，以保证业务流的及时到达，该系统可能根据网络规模以及所属运营商需求，通过集中式或者分布式部署。
3.2端到端纵向跨协议层
确定性网络的实现技术包括数据面、控制面和管理面。
各个功能平面包含了不同的协议，需
要各协议的协同来保障端到端的确定性。
3.2.1数据面
数据面技术是确定性网络的基础，包括流量整形、队列调度、标签解析等，这些机制规定了网络设备中时间敏感流的排序和转发规则，可以单个或者组合使用，达到不同的确定性效果。
（1）流量整形
单个业务的流量可能会呈现出规律性，如工业类的应用、物联网设备周期性的数据采集等，对于整体的网络流量，通常是无规则的。
需要在网络设备处对无规则的流量进行整形，服从一定的规律分布，从而便于后续的处理。
IEEE802.1Qav定义了基于信任的整形，通过信任消耗和累积算法来决定每种流量是否发送和等待[10]。
（2）队列调度
网络设备内部对报文或流的处理一般是基于队列先进先出（firstinputfirstoutput，FIFO）的原则，通过对报文所对应的收发队列的控制，可以调整其在某个网络设备发送的时间，从而达到逐流逐报文可控的效果。
IEEE802.1Qbv[11]
是典型的队列调度机制，也是循环队列调度[12]
（cyclicqueuingandforwarding，CQF）以及异步流量整形[13]（asynchronoustrafficshaping，ATS）等调度的基础。
（3）标签解析
消息在不同网段传输时，由于不同网络的实现技术不同，可能需要对标签进行重新解析和封装。
例如，从L2网络到L3网络，时间敏感流的关键字段需要从以太网帧中解析出来，封装成IP报文。
（4）周期映射
一些非时间同步的确定性网络实现机制，如确定性IP[14]（deterministicIP，DIP），需要基于循环队列的机制对上下游设备进行标签映射。
（5）富语义识别
报文中可能携带其他的扩展信息，如应用的需求信息、时间戳等信息，需要能够对这些扩展信息
进行识别，从而满足多样化的数据面功能的扩展。
3.2.2控制面
控制平面主要包括时间/频率同步、资源预留、流聚合、拓扑生成和路径选择等。
（1）时间/频率同步
时间或频率同步是目前大多数确定性网络实现机制的基础，TSN体系中大部分标准基于时间同步实现，也有基于非时间同步的技术。
（2）资源预留
资源预留是保障确定性网络服务的基础，传统的资源预留协议[15]（resourcereservationpro-tocol，RSVP）或基于流量工程扩展的资源预留协议[16]（RSVP-trafficengineering，RSVP-TE）协议目前应用并不是特别广泛，一方面原因是之前确定性业务并未兴起，另一方面原因是降低了网络资源利用率。
所以需要提升资源预留的粒度和准确度，并且改进广域网络对应流聚合情形下的资源预留方案。
（3）流聚合
在大多数大规模确定性网络中，由于业务的多样性，需要进行流量聚合，详细定义聚合策略，如开始和结束时间、流量类型和特征。
（4）拓扑生成
确定性网络的部署可能是分阶段的，演进过程中并非所有设备都支持确定性网络的功能，可能采取隧道技术或者叠加层（overlay）的方式，因此需要具备确定性网络设备和拓扑生成的功能。
（5）路径选择
在大多数情况下，路径选择与时延有一定关系，需要考虑整个流量负载和应用的需求。
确定性路径的技术如基于IPv6的分段路由协议
（segmentroutingIPv6，SRv6）目前已经比较成熟，可以作为候选方案之一。
3.2.3管理面
管理面需要实现确定性网络的跨域互通管理、资源管理配置、性能检测、多用户配置和能
力调用等功能。
（1）跨域互通管理
配置确定性网络流量在不同网络域的策略，可能包括域间的资源分配和协商等功能。
（2）资源管理配置
可以是一些基本的网络配置，也可以是特定的资源，如YANG模型、端口、周期映射关系等。
（3）性能监测
通过获取网络反馈来调整转发策略，定位故障，并根据历史数据预测网络拥塞。
（4）多用户配置
确定性网络需要考虑一定的应用方的需求，在视频、游戏等应用中，涉及用户之间的交互，因此需要保持同一应用中多用户的一致性，从而达到最优的业务体验，需要同时考虑路径选择和流聚合策略等。
（5）能力调用
向用户云开放确定性网络的能力，如路径计算、门控制列表等。
用户云通常包括基本的网络配置功能，但对于复杂的网络管理或者控制面功能，可以通过调用大网的能力实现。
4端到端确定性网络关键技术探索
基于第3节提出的端到端确定性网络架构，本文将在数据面、控制面、管理面提出相应的技术方案。
端到端的确定性网络的总体思路一方面是解决单个设备的报文处理时延，另一方面要考虑全局的跨域跨层的协同问题。
4.1自适应流量整形机制
造成网络时延剧增的主要原因是流量的微突发，微突发（microbrust）是指端口在非常短的时间（毫秒级别）内收到非常多的突发数据，典型的微突发的持续时间通常在1～100ms，以至于瞬时突发速率达到平均速率的数十倍、数百倍，甚至超过端口带宽。
微突发是网络中的常见情况，如图5所示，产生的原因包括如下3种。
IP流量本身具有突发性、自相似性：
业务流量的波动，以及间歇性、不稳定的特征。
IP网络中的入端口总带宽超过出端口的总带宽，如大带宽的端口向低带宽的出端口发送流量、相同速率的多个入端口向一个出端口发送流量。
IP设备的尽快转发的机制：
传统的高端路由器/交换机设计理念是统计复用，追求大的吞吐量，IP层不处理丢包重传。
图5网络流量速率
TSN的各种有界时延（boundedlatency）的机制中，都会涉及微突发的消除，如通过整形或者时隙隔离避免流量的聚集。
本文提出一种自适应的微突发抑制方案，主要思路如下：
（1）在网络边缘设备执行低时延流量的整形；
（2）在中间转发设备，针对端口的低时延流量进行速率感知和整体的调整；
（3）在每个设备接口上维护一个合适的缓存深度，让报文快速有序转发。
通过缓存深度的自适应调整，保持时刻的流量规则性，如图6所示。
此机制可以应用在各种网络域的转发设备上。
图6自适应流量整形效果
4.2控制面方案：
周期性的资源预留机制
IEEE中定义的CQF引入循环队列机制处理
关键流，所有业务最终由设备根据队列的周期调度来接收和发送。
如果链路时延和处理时延相对于循环时间可以忽略不计，那么对于特定的临界业务流，该机制可以使用两个队列，否则，该机制需要使用更多的队列。
如图7所示，队列1和2
将交替打开和关闭。
当队列1打开并传输数据时，
队列2关闭并接收数据，然后队列2打开并传输
数据，队列1关闭并接收数据。
图7CQF队列调度
在端到端的网络中，由于业务的多样性和网络拓扑结构的复杂性，不建议网络的转发节点感知每个确定性业务流的具体情况，因此需要进行流聚合。
基于流聚合的资源预留机制的方法可以描述如下。
（1）逐流地重塑从入口节点到出口节点的对时间敏感的业务流；
（2）根据目的地地址和交织安排进行流聚合；
（3）将收敛后的流看作一个流，只维持RSVP
的一个会话，从而减少网络中的流数；
转发节点不感知每个业务流的进入和退出，只感知预留带宽的变化，不影响转发的操作。
在申请资源预留时，入口节点可以考虑适当预留更多的资源。
（4）入口节点到其他出口节点的流量将聚合到其他流中并进入特定路径；
（5）如果这些聚合流被转发到同一出口节点，它们都将被调度到同一路径的路由器中的3个队
列。
为了将这些流尽可能均匀地分配给3个队列，可以根据分组循环或字节数将交织流均匀地分配给3个队列。
如图8所示，4个不同的流聚合为一个流，并且平均分布。
图8流的平均分布
4.3数据面方案：
基于时间的信息交互
由于各个网络域采用的基础网络技术不同，对应的确定性机制也可能不同，从数据面角度出发，需要进行一定的信息交互。
假设用户通过5G网络发送业务请求，数据报文将会经过5G回传网、承载网，之后进入数据中心。
5G回传网和承载网目前由两套控制系统，数据面的互通只有UPF处映射为DSCP信息，无法得知其他信息，不利于端到端时延的控制。
业界当前提出了对数据面进行扩展的办法，如应用感知网络[17]（application-awarenetworking，APN），可以应用在确定性网络[18]。
跨域的确定性网络可以通过携带时间信息来实现，如图9所示。
在初始业务请求时，由控制面进行交互协商各域的转发时间；
域内的转发由各域独立完成，在域间节点，需要对剩余时间进行检查，从而评估是否可以按时到达；
如果在某个域转发超过约定的时间，可以进行进一步协商，是否更改后续转发路径，以保障业务报文按时到达。
该方法需要不同网络域的出入口设备对报文种类以及报文携带的时间信息进行识别。
以5G接入为例，5G数据面信息被封装在通用分组无线业务（generalpacketradioservice，GPRS）隧道传输用户面协议[19]（GPRStunnelprotocolforuserplane，GTP-U），UPF需要新增功能识别出对应用的需求信息，并重新封装在IP报文，后由承载网继续传输。
该方法中各网络域的计时由各个域完成，各域出口设备计算在该域所消耗的时间，更新剩余时间信息，并转发给后续的网络域。
各域的控制器可以通过分布式的协议，达成对时间计算的一致性，以及对于转发策略的协商。
4.4管理面方案：
多用户接入的配置
现有技术可以一定程度上保证网络的低时延和确定性转发，但是无法保证多用户在同一服务下的业务一致性。
当不同用户进行同一种业务时，由于所处地理位置不同，所依赖的网络拓扑不同，会造成不同的时延和抖动，从而使原本应获取相同时延、抖动保障的服务，存在差异性和“不公平性”。
这种差异性无法满足多方协作的任务，如工业的多方控制。
同时，也会降低视频/游戏等娱乐和办公类应用体验。
现有的技术方案主要涉及数据面和控制面的流量控制功能实现，还未
升级会员 