互联网网络架构发展白皮书Word格式文档下载.docx
《互联网网络架构发展白皮书Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《互联网网络架构发展白皮书Word格式文档下载.docx（27页珍藏版）》请在冰豆网上搜索。
中间层网络是对基础网络的补充与加强，不会产生直接面向终端用户的新互联网应用，而是服务于互联网的应用，也可称之为叠加网络层。
该层级涉及的企业涵盖面最广，既有专营
CDN和云业务的第三方服务商，也有电信运营商和内容服务提供商，甚至经营网络基础设施的IDC服务提供商、软件服务提供商和硬件设备厂商也加入其中。
最高层是网络应用层，基础网络与叠加网络均为之服务。
这一层级包括web、游戏、视频等各种互联网业务应用，其涉及的企业是各类互联网内容提供商的集合。
2．网络间的互联方式是互联网网络架构核心要素
互联网之所以能够实现全球通达，主要依靠众多网络间的互联互通，互联可以发生在单一层内也可以发生在基础网络层与应用网络层间。
从互联方式来看，可以分为物理互联与逻辑互联。
物理互联是互联网网络之间的物理连接方式，可以分为直接电路相联以及交换中心互联。
直接电路，顾名思义，是两个互联网网
络通过彼此的互通路由器进行直接电路的连接；
交换中心是多个网络主体为连通各自网络而建立的集中交换平台，也是他们之间交换流量和资源的服务场所。
直接电路相连通常适用于较大网络之间的流量交换，交换中心互联通常适用于大网与小网，以及小网之间的小流量集中交换。
逻辑互联是互联网网络之间交换流量与路由信息的方式，可以分为对等互联（Peering）与转接互联（Transit）。
对等互联，指两个网络通过IP路由协议，相互公平地交换各自网络及其客户网络的路由可达信息，但不允许对方通过自己访问与自己建立对等互联关系的第三方网络，对等互联通常适用于规模相当的网络之间，通常是免费模式，如全球顶级运营商AT&
T、NTT、TATA网络间就采取了对等互联。
转接互联，指处于主导地位的网络向其他网络提供（出售）自己网络的完全路由可达信息，后者通过前者而获得互联网的通达性。
与对等互联类似，转接互联也是通过IP路由协议实现不同网络之间的流量和路由信息交换。
但转接互联是典型的客户－提供者的商务关系，用户（通常是下游网络）购买提供者（通常是上游网络，处于主导地位）的业务，转接服务的提供者允许其客户访问自己网络中的任一目的地址，并允许其透过自己的网络访问其他网络，因此转接服务的客户方通常需要按带宽规模向提供方支付互联结算费用，如中国移动、中国联通购买了AT&
T、Verizon等全球顶级运营商的转接服务。
（二）全球互联网网络架构的发展历程
互联网诞生至今，全球互联网网络架构历经深刻变革，伴随着网络架构层级的丰富，网络自身的扁平化也在持续推进。
1．发展初期依托电信运营商架构全球互联网网络
在互联网网络形成之初，能够提供的网络应用非常有限，电信运营商作为基础网络层的主体，负责接入所有的互联网企业与终端用户。
在此阶段，互联网网络架构实则是基础网络层架构，如下图所示：
图2初始阶段全球互联网网络架构
少数电信运营商搭建了全球性的互联网骨干网络，他们之间通过网络两两直联，构成了全球互联网的顶层架构。
这些电信运营商也被称之为Tier-1级运营商或全球顶级运营商。
其他区域或地区级
的电信运营商，其互联网网络主要集中在某个区域或某个国家甚至某几个城市，他们通过购买Tier-1级运营商的转接服务，或者通过加强彼此之间的网络对等互联，实现全球通达，这些电信运营商被称之为Tier-2或Tier-3级运营商。
而其他终端用户、互联网内容提供商、各类有上网需求的企业主要通过接入这些电信运营商的网络实现连通。
2．逐步形成多类主体广泛互联共同架构
进入二十一世纪后，随着互联网跨越式的发展，新业务新应用不断涌现，互联网日渐融入到人们工作、生活中，为满足人们不断提升的互联网应用体验要求，互联网业务需要尽可能靠近用户端，也推动着互联网网络架构一方面从基础网络单层结构扩展为基础网络与应用网络的多层结构，另一方面，网络互联方式更加丰富，网络主体在多个层面广泛对等互联，推向架构逐步迈向扁平。
图3发展阶段全球互联网网络架构
这一阶段的主要特征总结如下：
一是Tier2、Tier3级运营商积极寻找互联机会。
随着Tier2、
Tier3级运营商网络的扩张，网间流量快速增长，在高昂转接结算费的压力下，下游网络开始寻找广泛对等互联机会。
根据PCH《2016年全球对等互联调查报告》，互联协议中99.98%属于对等互联，仅有
0.02%属于购买转接服务。
与此同时，低连通度网络1比例正在大幅缩减，2011年-2016年，低连通度网络占比从62%降至35%，缩减近一半。
二是各类互联网企业自建网络，形成应用网络层。
随着互联网内容提供商的规模扩张，业务节点的不断增加，完全依托电信运营商网络难以实现多节点内容的实时同步与便利调度，互联网内容提供商纷纷自建骨干网络。
与此同时，随着互联网创新的活跃，互联网上出现了将互联网应用更便捷地推向用户终端的CDN服务商，提供弹性网络资源降低互联网应用开发成本的云服务提供商，他们与互联网内容提供商一样，也搭建了自有骨干网，共同构建应用网络层。
三是交换中心的出现，促进网络扁平化演进。
互联网交换中心的出现，吸引了包括中小电信运营商、互联网内容提供商、学校、研究机构等网络的广泛接入。
各类网络主体通过接入交换中心，实现“一点接入、多点连通”，很好地满足了他们低成本、广覆盖的互
1对等互联网络数量少于10个
联需求，促进网络的扁平化演进。
3．网络掌控力从基础网络层转向应用网络层
现阶段，随着互联网应用形态的不断丰富，互联网应用创新的日益活跃，互联网网络架构的应用网络层越发壮大，大型内容提供商、CDN和云服务提供商开始掌握网络话语权，如下图所示：
图4现阶段全球互联网网络架构
这一阶段的特征总结如下：
一是交换中心成为网间互联架构重要组成。
随着应用网络层的壮大，交换中心作为分发内容资源的有力推手，在全球范围内迅速发展，并进一步推动网间互联架构网状网演进。
根据Peeringdb统计数据，目前全球交换中心已达到600+个，遍及119个国家；
交换中心建立的互联关系约为直联的两倍；
全球交换中心流量保持50-100%年增长率，顶级交换中心承载流量达到Tbps量级，全球流
量互通枢纽地位日益突出。
根据PCH的统计，大型互联网交换中心
接入了数百家网络主体，如下图所示：
图5全球大型交换中心接入网络数量
数据来源：
PCH
二是互联网企业成长壮大，具备与基础电信企业的对话能力。
以Google、微软等公司为代表的大型互联网企业开始了全面的网络基础设施布局，涉足了包括自有骨干网、海缆、宽带接入（有线、无线）、数据中心、云服务、DNS域名解析等多个领域。
从节点来看，如CDN服务提供商Akamai在全球100多个国家、900多个城市拥有超过2500多个节点，甚至高于全球顶级运营商的节点数量；
从网络规模来看，全球互联网企业自建骨干网带宽复合增长率70%，远超运营商骨干网带宽39%复合增长率。
由此，大型内容提供商议价能力和互联地位大幅提升，Google、Amazon、Facebook等都与多家Tier1运营商实现对等互联。
表1国际大型互联网企业互联网络数量
互联网企业
互联数量2
购买转接数
对等互联数
Google.inc
3
345
Facebook.inc
16
332
Yahoo!
5
307
A,Inc.
22
289
HE
三是应用层网络正在牵引网络流量与网络架构的变迁。
互联网的流量不再完全由基础网络层的路由策略决定，应用层网络通过部署全局负载均衡（GSLB）、CDN等方式引导自有流量。
从流量看，Akamai承载全球30%的流量，而Google的网络一旦发生故障，将影响全球
40%流量，这都充分说明了应用网络层对于网络的掌控力正在逐步加强。
（三）全球互联网网络流量流向的变迁
全球互联网发展驶入快车道，流量增长不断提速。
全球化背景下，区域之间、国家之间的信息往来日趋频繁。
作为数据传输和资源共享的主要载体，互联网在支撑企业跨境运营、公众跨境访问方面发挥了重要作用，其承载的数字化信息流量在加速增长。
2012年
-2016年，全球互联网流量从510.6EB攀升至1125.6EB，年复合增长率达到21.9%；
预计2017年-2021年，全球互联网流量将以更高的速度增长至3200EB以上，这对互联网网络架构有效承载流量提出更高要求。
2其中购买转接数为2015年的数据，对等互联数是2017年11月数据
4000
3000
2000
1000
2012年2013年2014年2015年2016年2017年2018年2019年2020年2021年
上一年到达值本年度增幅
CiscoWhitePaper
图62012-2021年全球互联网流量增长情况（单位：
EB）
从全球互联网流量地理分布来看，流量集中度持续降低。
2012-2016年，北美洲在全球洲际带宽中的占比始终位居各大洲之首，但占比从40%下降到35%；
欧美之间的洲际带宽占比从34%下降到21%；
其他所有洲际方向的互联网带宽占比均有所提升，充分说明全球流量朝着更为均匀的方向演进，也充分表明互联网网络架构正在朝着地域均衡化的方向变迁。
2012年2016年
TeleGeography
图72012年和2016年全球互联网流量地理分布
配合完成视频分发、提升用户体验的CDN网络逐渐成为互联网流量的主要载体。
随着蓝光、4K、超高清等技术渐被广泛应用于各类视频服务，互联网视频业务对全球互联网流量的贡献力度正在逐年增强。
2012年-2016年，互联网视频业务流量在全球互联网流量中的占比从65%上升到73%。
而CDN网络作为保障视频业务质量的基础，受到愈来愈多的互联网视频服务提供商的青睐，而互联网巨头倾向于自建CDN实现包括视频在内的多种静态自有内容的分发。
由此，CDN对互联网流量的承载和疏导作用日益凸显，自建CDN成为主力军。
2012年-2016年，CDN承载流量在全球互联网流量中的占比从
33.7%上升到52.0%，其中Google、Amazon、Facebook和Microsoft等巨头自建CDN的流量占比在2016年达到61%；
预计2017年-2021年，CDN承载流量在全球互联网流量中的占比将持续累积至70%以上，这恰好是网络掌控力转向应用网络层的例证。
100%
80%
60%
40%
20%
0%
CDN流量占比非CDN流量占比
图82012-2021年CDN承载流量的占比
（四）全球互联网网络架构演进
1．“网随云动”推动网络架构整体变革
全球云计算市场快速平稳增长，流量规模不断攀升。
未来几年全球云计算市场进入稳定期，继续保持快速平稳增长。
以公有云市场为例，根据Gartner预测，2017年全球公有云市场将达到2468亿美元，年增长率18%，未来几年公有云市场年复合增长率为16.3%，预计2020年将达到3834亿美元。
同时，全球云计算流量规模保持同步增长。
根据Cisco预测，未来几年云数据中心流量年复合增长率为30%，预计2020年将达到14.1ZB/年，占全球数据中心总流量的92%。
云计算兴起改变互联网流量模型，以DC为中心网络重构全面启动。
随着云计算的快速兴起，数据中心间流量交互需求显著增长，互联网流量模型从数据中心-用户向数据中心-数据中心转变，根据
Cisco预测，到2020年数据中心间流量在数据中心外部流量中占比将达到39%。
为应对流量模型变化，适应云计算发展对网络的诉求，近年来全球运营商陆续发布网络重构战略，并开始着手推进网络云化，以DC为中心进行网络资源部署，预计将于2020-2025年完成网络重构调整。
此外，越来越多的大型互联网企业开始构建DCI（数据中心互联）网络，并通过SDN技术实现网络资源统一调度，与运营商网络重构战略不谋而合。
例如，谷歌利用光纤资源把全球12个主要IDC进行了互联，并使用SDN进行资源调度，宣称可以达到95%的链路利用率。
2．云互联需求推动网络架构持续演进
随着云计算应用领域的不断拓展以及SDN技术成熟，公有云、私有云/企业数据中心逐渐成为互联互通重要主体，以云互联为目标部署网络的趋势显著。
随着云计算的快速兴起，全球企业开始广泛使用云资源，部分企业根据自身需要以及不同云公司的服务特点，甚至需要接入多个云资源。
根据RightScale《2017年云计算调查报告》统计数据，1002家受访企业中95%使用云服务，使用云服务的企业中，20%的企业接入多个公有云，平均每个企业接入1.8个公有云。
云资源的广泛使用催生多种云互联需求，包括公有云内部互联、公有云和私有云互联、公有云之间互联等。
而交换中心通过提供多云接入能够扩大业务服务的地理覆盖范围；
能够通过自动部署以及高级业务监控管理简化操作及业务部署时间；
基于一对多连接的流量聚合能够提高带宽使用效率，从而以更低价格服务更多客户；
其安全、高吞吐量、低延时的网络能够促使客户将更多服务迁移至云端；
还能够加入数据中心的企业客户生态中，所有的这些利好促使着交换中心朝着云交换中心方向变迁。
国际上已经出现如Equinix和Megaport等云交换中心企业，这些企业将多家云服务商（GoogleCloud、AmazonAWS、MicrosoftAzure等）汇聚接入，为企业客户提供按需、动态、灵活的云计算接入服务，如下图所示。
图9Equnix多云接入交换中心架构
3．互联网网络架构各类主体竞合关系日益复杂
未来，随着应用网络层的持续壮大，互联网企业与电信运营商对于网络流量主导权博弈日益白热化，从而衍生出了复杂的各类主体竞合关系。
一方面，互联网企业积极进入电信运营商领域。
不论是Google曾在美国试点的GoogleFiber、搭建的浮空通信平台，还是Google、XX、阿里、腾讯纷纷运营的公共递归DNS，都属于互联网企业对于基础网络层业务的尝试。
而迅雷、小米等诸多互联网企业试图将CDN的缓存节点推向用户边缘，则算是对基础网络层服务的间接替代。
另一方面，电信运营商同样开始试水应用网络层业务。
德国电信、Vodafone等国际运营商，我国的三大运营商都开始运营云业务，
我国三大运营商还自建了CDN网络，此外，中国移动在全国部署的十大基地，这些都是电信运营商对应用网络层业务的探索。
而Cisco通过收购Opendns进军公共递归DNS、华为推出华为云、IBM推出“4个9”的公共递归DNS，则是设备厂商和信息技术服务商进军互联网网络市场的表现。
随着互联网网络架构主体的多样化，竞合关系的复杂化，全球互联网网络架构正朝着“你中有我，我中有你”的方向演进。
二、我国互联网网络架构发展状况
（一）我国互联网网络整体架构及网络主体方
1994年，随着中国教育与科研计算机网、中国科学技术网、中国金桥信息网的先后建成，并实现与美国NSFNET网络的互联，标志着中国互联网网络的正式诞生。
通过近23年的发展，与全球互联网网络一样，中国互联网网络同样形成了基础网络层和应用网络层（含叠加网络层和网络应用层）的层级结构。
我国的基础网络层，其典型企业既有网络覆盖全国的中国电信、中国联通、中国移动、鹏博士等国家级互联网接入服务提供商，也有网络主要集中在某个省市或某几个省市的歌华有线、方正宽带、华数宽带等省级互联网接入服务提供商，还有大量小区互联网接入服务提供商，仅负责某几个小区的终端用户接入。
其中，中国电信、中国联通、中国移动是我国主导电信运营商，其运营的基础网络，
覆盖最广、承载用户最多，三家之间通过对等互联的方式实现互联互通，而其他电信运营商都是作为这三家的客户，通过购买三家的转接带宽接入其网中。
我国的叠加网络层涉及的典型企业既有电信运营商和内容服务提供商，也有专营CDN和云业务的第三方服务商。
我国基础电信企业电信、联通、移动均有自己的CDN，主要服务于IPTV等自有业务的分发；
大型内容服务提供商通常也建有自己的CDN网络，如爱奇艺、新浪、搜狐等，主要用于自有视频等大流量业务的分发；
此外，网宿科技、蓝汛、帝联是第三方CDN服务提供商，帮助互联网企业将业务推送到离用户最近的网络节点。
云业务方面，我国基础电信企业，以BAT为代表的大型互联网企业，以网宿、蓝汛为代表的CDN企业，以高升控股、供销大数据为代表的IDC企业，以金山为代表的软件服务企业，以华为为代表设备制造企业均有涉足云业务领域。
我国的网络应用层，是最具中国特色的层级，在该层级中，除部分大型互联网内容提供商外，我国大量互联网内容提供商基本都依托基础网络与叠加网络开展业务，没有构建企业网络，该层级典型代表包括综合门户类的新浪、搜狐，视频类的爱奇艺、乐视，搜索类XX、搜狗，电子交易类的阿里巴巴、京东，即时通信类的腾讯等互联网公司。
1．我国基础电信运营商网络发展状况
考虑到我国基础电信运营商中国电信、中国联通和中国移动，
是国家级互联网接入服务提供商，也是我国主导电信运营商，拥有覆盖全国的、最为完整的基础网络，其运营的公众互联网承载了我国七成左右的家庭宽带用户，是我国规模最大的三张基础网络，同时也是我国互联网网络的典型代表。
因此本节以三家主导电信运营商运营的公众互联网网络为例说明其网内、网间发展状况。
从网内结构来看，主要采用分层汇接方式，纵向分为骨干网、城域网和接入网三个层级。
首先，骨干网是最顶层的省际高速网络，基础电信运营商在各省省会及主要城市设置骨干节点，并在节点间设置直联链路，共同构成骨干网。
骨干网内按分层方式设置核心节点、接入节点等，但近两年骨干网分层结构日渐模糊，逐渐向单层次、网状网（full-mesh）发展。
其次，骨干网之下设置省网及城域网，用于省内流量的疏导，但近年来，随着网络扁平的不断深化，大部分省网基本被取消。
城域网内部架构通常采用分层星形汇接结构，一般分为两到三层，下层节点以星形汇接的方式上联至上层节点。
城域网流量经过层层汇聚后，省际流量汇聚到骨干节点后再通过骨干网疏导。
最后，城域网之下设置接入网，用于宽带用户/企业接入互联网。
接入网包含固定接入网和移动接入网两部分。
固定接入网即宽带用户/企业通过DSL、光纤等固定方式接入，随着光纤宽带网络建设加速实施，目前大部分用户采用光纤接入方式；
移动接入网即移动用户通过基站的移动方式接入（不含WIFI方式），随着
4G网络大规模部署，4G用户逐渐成为主流，具体见下图。
图10我国主导运营商公众互联网网络网内架构示意图
从网内带宽来看，公众互联网骨干网带宽增长迅猛，超过
500Tbps。
随着大流量互联网应用的快速发展，骨干网压力日渐增大，各基础电信运营商一方面推动骨干网络的不断扁平，增加连接方向，减少转接跳数，另一方面积极筹建骨干网新平面，全面启用400G平台与原有骨干网共同承担省际流量疏导。
截至2017年6月，我国基础电信运营商公众互联网的骨干网络总带宽已超过500Tbps。
网间架构以直联为主，网间带宽接近4T。
我国基础电信运营商的公众互联网网间主要通过设置在京沪穗等13个城市的骨干直联点，以及设置在京沪穗的交换中心实现互联，如下图所示。
图11我国主导运营商公众互联网网间架构示意图
与全球常用的互联结算方式有所不同的是，我国基础电信运营商之间采取了付费对等的结算方式。
中国移动的公众互联网网络规模略小于中国电信与中国联通，因此需要向另外两家支付互联结算费用，截至2017年底，中国移动的结算单价为12万/G/月。
此外，为更好满足互联网业务需求，除上述公众互联网外，三大基础电信运营商还搭建了面向企业服务的精品网络，以及CDN、数据中心互联网（DCI）等多个网络。
一是，三大运营商均搭建了企业精品网络，用于企业专线、内部重点业务流量的疏导，精品网与公众互联网共用城域网与接入网，但完全独立建设骨干网，相较于公众互联网骨干网70%左右的带宽利用率，精品网的骨干网带宽利用率长期保持50%以下的轻载，以保证重点业务流量的疏导性能。
二是，三大运营商均搭建了CDN网络，主要用于IPTV、视频等自有内容分发，已全面覆盖31省，部分CDN已下沉到BRAS层级，总流量达到百T以上。
三是，中国电信、中国联通还搭建了数据中心互联网络，
用于数据中心间流量疏导。
中国电信在原有骨干网基础上，打造了
全新DCI骨干网，形成6个骨干节点、两个云基地数据中心节点、
13个分布式IDC节点的框架结构。
中国联通通过改造IP承载A网，建成了覆盖全国300余个地市的DCI网络。
2．我国大型互联网企业网络发展状况
近年来，随着互联网业务不断发展，大型互联网企业在网络体系中的地位得到显著提升。
升级会员 