流媒体内容分发技术.docx

1、流媒体内容分发技术流媒体内容分发技术随着Internet网络的日趋普及和信息传输技术的快速发展，Internet上的传输内容已逐渐由单纯的文字传输转变成为包含文本、音频、视频的多媒体数据传输，这样的改变不仅使Internet使用者能获得更为丰富多样的信息，同时也代表着多媒体网络时代的来临。以前，多媒体文件需要从服务器上下载后才能播放。由于多媒体文件一般都比较大，下载整个文件往往需要很长的时间，限制了人们在互联网上使用多媒体数据进行交流。面对有限的带宽和拥挤的拨号网络，要实时实现窄带网络的视频、音频传输，最好的解决方案就是采用流式媒体的传输方式。流媒体应用的一个最大的好处是用户不需要花费很长时间

2、将多媒体数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地的缓冲区中就可以开始播放了。流媒体的特点是数据量大、传输持续时间长、并且对延迟、抖动、丢包率、带宽等QoS指标要求严格，在当前的因特网上构建大规模的性价比高的流媒体系统是一个具有挑战性的工作。因特网上的传统流媒体系统是基于Client/Server模式的，一般包括一台或多台服务器，若干客户机。我们将系统能同时服务的客户总数称为系统容量，C/S模式的流媒体系统容量主要是由服务器端的网络输出带宽决定的，有时服务器的处理能力，内存大小，I/O速率也影响到系统的容量。在C/S模式下，由于传输流媒体占用的带宽大，持续时间长，而服务器

3、端可利用的网络带宽有限，所以即使是使用高档服务器，其系统容量也不过几百个客户，根本就不具有经济规模性。另外，由于因特网不能保证QoS，如果客户机距服务器较远，则流媒体传输过程中的延迟、抖动、带宽、丢包率等指标也将更加不确定，服务器为每一个客户都要单独发送一次流媒体内容，从而网络资源的消耗也十分巨大。对此业界相继提出了多种解决方案，比较重要的有内容分发网络 (Content Delivery Network，CDN)和IP组播 (IP Multicast)，以及对等网络（P2P）内容分发方式等。一、CDNCDN的全称是Content Delivery Network，即内容分发网络。其目的是通过

4、在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络”边缘”，使用户可以就近取得所需的内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。实际上，内容分发布网络(CDN)是一种新型的网络构建方式，它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度， CDN代表了一种基于质量与秩序的网络服务模式。简单地说，内容发布网(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件，而内容

5、管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来说，内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有”一跳”(Single Hop)之遥。同时，代理缓存是内容提供商源服务器（通常位于CDN服务提供商的数据中心）的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验，而这些用户是不能容忍请求响应时间有任何延迟的。据统计，采用CDN技术，能处理整个网站页面的 70%95的内容

6、访问量，减轻服务器的压力，提升了网站的性能和可扩展性。与目前现有的内容发布模式相比较，CDN强调了网络在内容发布中的重要性。通过引入主动的内容管理层的和全局负载均衡，CDN从根本上区别于传统的内容发布模式。在传统的内容发布模式中，内容的发布由ICP的应用服务器完成，而网络只表现为一个透明的数据传输通道，这种透明性表现在网络的质量保证仅仅停留在数据包的层面，而不能根据内容对象的不同区分服务质量。此外，由于IP网的”尽力而为”的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充分的、远大于实际所需的带宽通量来实现的。在这样的内容发布模式下，不仅大量宝贵的骨干带宽被占用，同时ICP的应用服

7、务器的负载也变得非常重，而且不可预计。当发生一些热点事件和出现浪涌流量时，会产生局部热点效应，从而使应用服务器过载退出服务。这种基于中心的应用服务器的内容发布模式的另外一个缺陷在于个性化服务的缺失和对宽带服务价值链的扭曲，内容提供商承担了他们不该干也干不好的内容发布服务。纵观整个宽带服务的价值链，内容提供商和用户位于整个价值链的两端，中间依靠网络服务提供商将其串接起来。随着互联网工业的成熟和商业模式的变革，在这条价值链上的角色越来越多也越来越细分。比如内容应用的运营商、托管服务提供商、骨干网络服务提供商、接入服务提供商等等。在这一条价值链上的每一个角色都要分工合作、各司其职才能为客户提供良好的

8、服务，从而带来多赢的局面。从内容与网络的结合模式上看，内容的发布已经走过了ICP的内容（应用）服务器和IDC这两个阶段。IDC的热潮也催生了托管服务提供商这一角色。但是，IDC并不能解决内容的有效发布问题。内容位于网络的中心并不能解决骨干带宽的占用和建立IP网络上的流量秩序。因此将内容推到网络的边缘，为用户提供就近性的边缘服务，从而保证服务的质量和整个网络上的访问秩序就成了一种显而易见的选择。而这就是内容发布网(CDN)服务模式。CDN的建立解决了困扰内容运营商的内容”集中与分散”的两难选择，无疑对于构建良好的互联网价值链是有价值的，也是不可或缺的最优网站加速服务。CDN的应用利用CDN，视频

9、网站无需投资昂贵的各类服务器、设立分站点，应用CDN网络，把内容复制到网络的最边缘，使内容请求点和交付点之间的距离缩至最小，从而促进Web站点性能的提高，具有重要的意义。CDN 网络的建设主要有企业建设的CDN网络，为企业服务；IDC的CDN网络，主要服务于IDC和增值服务；网络运营上主建的CDN网络，主要提供内容推送服务；CDN网络服务商，专门建设的CDN用于做服务，用户通过与CDN机构进行合作，CDN负责信息传递工作，保证信息正常传输，维护传送网络，而网站只需要内容维护，不再需要考虑流量问题。CDN能够为网络的快速、安全、稳定、可扩展等方面提供保障。IDC建立CDN网络，IDC运营商一般需

10、要有分布各地的多个IDC中心，服务对象是托管在IDC中心的客户，利用现有的网络资源，投资较少，容易建设。例如某IDC全国有10个机房，加入IDC的CDN网络，托管在一个节点的Web服务器，相当于有了10个镜像服务器，就近供客户访问。宽带城域网，域内网络速度很快，出城带宽一般就会瓶颈，为了体现城域网的高速体验，解决方案就是将Internet网上内容高速缓存到本地，将Cache部署在城域网各POP点上，这样形成高效有序的网络，用户仅一跳就能访问大部分的内容，这也是一种加速所有网站CDN的应用。CDN的技术原理传统未加缓存服务的访问过程：由上图可见，用户访问未使用CDN缓存网站的过程为：1）用户向浏

11、览器提供要访问的域名；2）浏览器调用域名解析函数库对域名进行解析，以得到此域名对应的IP地址；3）浏览器使用所得到的IP地址，域名的服务主机发出数据访问请求； 4）浏览器根据域名主机返回的数据显示网页的内容。通过以上四个步骤，浏览器完成从用户处接收用户要访问的域名到从域名服务主机处获取数据的整个过程。CDN网络是在用户和服务器之间增加Cache 层，如何将用户的请求引导到Cache上获得源服务器的数据，主要是通过接管DNS实现，下面让我们看看访问使用CDN缓存后的网站的过程：通过上图，我们可以了解到，使用了CDN缓存后的网站的访问过程变为： 1）用户向浏览器提供要访问的域名； 2）浏览器调用域

12、名解析库对域名进行解析，由于CDN对域名解析过程进行了调整，所以解析函数库一般得到的是该域名对应的CNAME记录；3）为了得到实际IP地址，浏览器需要再次对获得的CNAME域名进行解析以得到实际的IP地址；在此过程中，使用的全局负载均衡DNS解析，如根据地理位置信息解析对应的IP 地址，使得用户能就近访问。4）此次解析得到CDN缓存服务器的IP地址，浏览器在得到实际的IP地址以后，向缓存服务器发出访问请求；5）缓存服务器根据浏览器提供的要访问的域名，通过Cache内部专用DNS解析得到此域名的实际IP地址，再由缓存服务器向此实际IP地址提交访问请求；6）缓存服务器从实际IP地址得得到内容以后，

13、一方面在本地进行保存，以备以后使用，另一方面把获取的数据返回给客户端，完成数据服务过程；7）客户端得到由缓存服务器返回的数据以后显示出来并完成整个浏览的数据请求过程。 通过以上的分析，为了实现既要对普通用户透明(即加入缓存以后用户客户端无需进行任何设置，直接使用被加速网站原有的域名即可访问)，又要在为指定的网站提供加速服务的同时降低对ICP的影响，只要修改整个访问过程中的域名解析部分，以实现透明的加速服务，下面是CDN网络实现的具体操作过程。作为ICP，只需要把域名解释权交给CDN运营商，其他方面不需要进行任何的修改；操作时，ICP修改自己域名的解析记录，一般用cname方式指向CDN网络Ca

14、che服务器的地址。作为CDN运营商，首先需要为ICP的域名提供公开的解析，为了实现sortlist，一般是把ICP的域名解释结果指向一个CNAME记录；当需要进行sortlist时，CDN运营商可以利用DNS对CNAME指向的域名解析过程进行特殊处理，使DNS服务器在接收到客户端请求时可以根据客户端的IP地址，返回相同域名的不同IP地址；由于从cname获得的IP地址，并且带有hostname信息，请求到达Cache之后，Cache必须知道源服务器的IP地址，所以在CDN运营商内部维护一个内部DNS服务器，用于解释用户所访问的域名的真实IP地址；在维护内部DNS服务器时，还需要维护一台授权服

15、务器，控制哪些域名可以进行缓存，而哪些又不进行缓存，以免发生开放代理的情况。CDN的网络架构CDN网络架构主要由两大部分，分为中心和边缘两部分，中心指CDN网管中心和DNS重定向解析中心，负责全局负载均衡，设备系统安装在管理中心机房，边缘主要指异地节点，CDN分发的载体，主要由Cache和负载均衡器等组成。当用户访问加入CDN服务的网站时，域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略，将当时最接近用户的节点地址提供给用户，使用户能够得到快速的服务。同时，它还与分布在世界各地的所有CDNC节点保持通信，搜集各节点的通信状态，确保不将用户的请求分配到

16、不可用的CDN节点上，实际上是通过DNS做全局负载均衡。对于普通的Internet用户来讲，每个CDN节点就相当于一个放置在它周围的WEB。通过全局负载均衡DNS的控制，用户的请求被透明地指向离他最近的节点，节点中CDN服务器会像网站的原始服务器一样，响应用户的请求。由于它离用户更近，因而响应时间必然更快。每个CDN节点由两部分组成：负载均衡设备和高速缓存服务器负载均衡设备负责每个节点中各个Cache的负载均衡，保证节点的工作效率；同时，负载均衡设备还负责收集节点与周围环境的信息，保持与全局负载DNS的通信，实现整个系统的负载均衡。高速缓存服务器（Cache）负责存储客户网站的大量信息，就像一

17、个靠近用户的网站服务器一样响应本地用户的访问请求。CDN的管理系统是整个系统能够正常运转的保证。它不仅能对系统中的各个子系统和设备进行实时监控，对各种故障产生相应的告警，还可以实时监测到系统中总的流量和各节点的流量，并保存在系统的数据库中，使网管人员能够方便地进行进一步分析。通过完善的网管系统，用户可以对系统配置进行修改。理论上，最简单的CDN网络有一个负责全局负载均衡的DNS和各节点一台Cache，即可运行。DNS支持根据用户源IP地址解析不同的IP，实现就近访问。为了保证高可用性等，需要监视各节点的流量、健康状况等。一个节点的单台Cache承载数量不够时，才需要多台Cache，多台Cach

18、e同时工作，才需要负载均衡器，使Cache群协同工作。二 P2P基于P2P的流媒体技术是一项非常有前途的技术,该技术不需要互联网、路由器和网络基础设施的支持，因此性价比高且易于部署。流媒体用户不只是下载流媒体数据，而且还把数据上载给其它用户，因此，这种方法可以扩大用户组的规模，且需求越多，资源也越多。由于视频流服务对带宽资源的要求高、服务时间长，使得在上提供视频点播极具挑战性，特别是当某个节目趋向流行时，系统会在短时间内收到大量异步服务请求，而传统的在服务器端为每个请求单独分配一条流的模式无法容纳大规模的点播请求。因此，如何使系统具有高可扩展性也就成为其核心问题。而基于P2P技术的点播系统，可

19、以有效的利用网络上的资源，极大的缓解了大量异步服务请求对服务器造成的性能瓶颈，流媒体内容分发系统要面临以下几个问题：一、服务器的输出带宽成为瓶颈例如某个流媒体服务器接入互联网的速度为45Mbps，传输一个30帧/秒，320X240像素的视频内容，需要不低于1Mbps的传输速度以保证流畅回放，此服务器最多同时接受45个并发请求，这对于一个热点内容而言如新闻、赛事的直播是远不能满足要求的。并且当服务规模进一步扩大时，服务器和服务器端网络承受的负荷直线上升。二、为网络用户提供服务的规模受限基于中心服务器的系统，因受到自身服务器性能和网络带宽的影响，使得能服务的规模受到极大的限制。近年来研究界和工业界

20、提出了多种解决方案，比较重要的有内容分发网络和广播等。但是，这些解决方案的共同特点是需要有专门的硬件支持，比如需要在全球各地部署多个服务器，通过服务器之间协同工作，分发多媒体数据而广播更是需要修改目前的路由机制，广泛部署复杂的支持广播功能的路由器。这样不仅耗资巨大，而且并不能从根本上解决上面提出的问题。三、底层网络的负担加重传统的互联网应用系统是典型的客户/服务器形式，如网页浏览时，客户端先发出请求，然后从网站服务器上下载网页或程序。这种模式在以数据为主的浏览时代底层网络尚可应付，但随着音频、视频的大量出现，客户/服务器模式就出现了严重的性能问题。例如，一个比特率为300kbps的视频节目，如

21、果同时有1000人访问，那么服务器端网络带宽必须达到300Mbps以上，如果此时要支持更多的用户数据就是难上加难了，所以在要实现在网络上的普及，采用传统的模式会导致底层网络负担加重，而影响用户的应用体验。首先针对服务器的输出带宽成为瓶颈这个问题，产生的原因是由于同时产生大量的并发访问点播服务器，这样造成视频服务器同时传输数据，产生数据拥塞而导致视频质量下降，就形成了输出带宽瓶颈。而P2P技术能够使服务分散化，平衡负载，即每个用户既充当消费者，享受共享媒体资源，又充当服务者，为其他用户提供媒体内容，这样就消除了大量的并发访问服务器，就解决了服务器的输出带宽问题。其次针对为网络用户提供服务的规模受

22、限这个问题，产生的原因和上个问题产生的根源实际上是一样的，由于带宽和服务器性能受限，所以致使服务器不能为网络用户提供大规模的视频服务，同样因为有效的减轻了服务器的负担，分散了网络的负载，所以通过P2P技术服务商可以提供大规模的视频点播服务。最后一个是底层网络的负担加重这个问题，这个问题是因为传统结构，导致所有的访问都是集中在少数几个中心服务器上，这样大量集中不间断的连续访问中心服务器，就导致了底层网络的负担，而通过使用P2P技术，因为视频服务可以分散在许多不同的客户端点上，使得数据的访问非常分散，这样就有效的减轻了底层网络的负担，使得网路能平衡负载。从体系结构上，P2P 网络分为以下三类：1.

23、 集中式 P2P 网络：集中式 P2P 网络是C/S 和P2P 模式的混合。集中式 P2P网络是P2P系统的雏形，它存在着中心服务器，负责记录共享信息以及对信息的查询进行反馈。各节点向中心服务器注册自己的信息，通过对中心服务器的访问，进行信息查询，然后在两个节点之间进行直接交互。在这种模式下，所有资料都存在各个节点上，中心服务器只保留索引信息。这种 P2P 网络的代表主要有Napster、BitTorrent。以服务器为核心的P2P集中式网络，其容错性与服务器的故障概率有关，如果使用多台服务器组成集群，并且提供冗余、替代机制使得某台服务器故障时，其他服务器可以代替它继续提供服务。但是，增加和升

24、级服务器的代价较高。Napster 作为集中式 P2P 结构的代表，也存在许多的缺点。在Napster基础上，后起的混合式P2P系统都采用了一些增强机制来提高网络的效率，如BitTorrent提供文件分片机制，限定用户在下载的同时必须上传，以此来杜绝自私节点的存在，这些都提高了网络的工作效率。2. 非结构化分布式 P2P网络：这种网络是以分布、松散的结构来组织网络，不存在真正的网络中心。其代表性的系统有：Gnutella、KaZaA、eDonkey和 Freenet。其中Gnutella 是最简单又最具有代表性的，Freenet 则要复杂很多，而发展到后来的 KaZaA 和eDonkey通过超

25、级节点来组织成双层的 P2P 网络，其超级节点层自组织成非结构化网络，所以也将其归结到此类。非结构化分布式 P2P 网络有以下三个优点：第一，网络拓扑简单，开发实现难度低；第二，高容错性和良好的自适应性；第三，可以达到非常高的安全性和匿名性。这种 P2P 网络的有以下三个缺点：第一，路由效率不高；第二，可扩展性不高；第三，数据无法准确定位。正是由于这些缺陷，才有了结构化分布式P2P 网络的提出。3. 结构化分布式P2P网络：这种网络是以准确、严格的结构来组织网络，并能高效的定位节点和数据。在这种网络结构中，文件和指针存放在确定的位置上。系统提供从文件标识到存放该文件节点标识的映射服务。通过这种

26、方法，系统提供了一个可扩展的方案实现了文件的精确匹配查询。P2P模式的流媒体服务系统并不改变现有的流媒体传输协议和流媒体服务器系统的架构，甚至可以不必改变现有的系统，而只需增加新的模块和功能。P2P模式的流媒体服务系统只需在现有流媒体服务系统的基础之上，改变C/S模式下的服务方式和数据传输路径。模式的流媒体服务系统将同时请求同一节目的用户归为一组，然后以这组用户作为结点形成一棵树。树结构能保证用户计算机不相互传送同样的数据而形成数据风暴。服务器是树的根，树中的第一层的用户直接从服务器获取数据，树中第二层的用户从第一层用户那里获取数据，以此类推。用户计算机与服务器相比还是有很多的差异。用户计算机

27、由用户控制，可能随意退出某个节目的观看而导致不能再为其他的用户提供服务。同时用户计算机的性能和用户端的网络带宽都不是很高，因此能支持的用户数一般都在两、三个左右。用户计算机在整个模式的流媒体服务系统中具有短暂性，如何保证它的退出而不影响其他的用户收看节目采用冗余的数据路径，在一条数据路径失败后用户迅速从另一条路径获取数据，然后再在观看当前节目的用户组中为自己找到一条新的数据路径备份。通过这些冗余的路径，用户计算机之间进行信息交换，使得整个系统更加稳定。目前大部分的研究内容集中在媒体流分发策略的研究上，这些研究大致可以分为两类：（1）应用层组播树应用层组播树适合于架构视频直播服务系统或应用到视频

28、点播系统中某热门节目的服务策略，即适合于节目请求率高、并发请求量大的媒体应用需求。其思想是在各对等节点之间、在应用层之上构建树型覆盖结构。树的根节点是直播源，直播源可以是实时压缩的媒体数据流或流化的热门节目，树的每个节点在接收数据的同时转发数据。在基于应用层组播树的P2P流媒体分发系统中，首先要解决的问题是组播树的构建，最简单的模型是PeerCast。在PeerCast中节点被组织成一个树状结构，树的父节点给子节点提供服务。在PeerCast中，节点的加入和离开策略都很简单，但也容易导致树的不平衡。在组播树中，如果节点离根节点越远，则数据的时延就越大，因此，树的深度应该尽可能短。但是每个节点的

29、有限输出带宽限制了节点的宽度。理想的组播树是在深度和宽度之间能够有效的平衡，事实上，当所有节点的深度都为1的时候就退化成了传统的客户端-服务器模型了。ZigZag模型能够有效的构造组播树，它定义了一整套完整的树的构建规则，保证树的深度维持在O(logN), N为系统中的节点数量，此外，ZigZag还拥有很多优良的特性。另一个重要问题是组播树中的叶子节点只作为单纯的客户端，没有参与到媒体的分发，而通常叶子节点在树中所占的比例非常大，因此，基于树的系统没有充分利用所有节点的能力，解决这个问题的一个比较简单而有效的模型是同时构造两棵或多棵组播树，通过在系统中部署多重描述编码MDC，每个组播树组播一个

30、描述，节点把接收到的所有描述进行叠加以提高视频质量。因为只要收到一个描述就可以单独解码，因此这种系统也可以很好的解决节点不稳定的问题，典型的模型为SplitStream和CooperNet。（2）非树型P2P媒体服务系统 对于视频点播系统中请求率相对不高、并发请求少的节目，可以采用非树型对等模式媒体服务的服务策略。所谓非树型，就是指在服务节点和请求节点之间的逻辑拓扑结构不再是树型结构，请求节点不再通过树的中间节点中转得到数据，而是首先找到为其提供服务的服务节点集合，然后制定相应的多源流调度策略，最后直接由这个服务节点集合中的节点提供服务。该类研究主要涉及三个基本问题：一是媒体内容搜索，即如何找

31、到所需的完整的媒体数据；二是媒体流调度与控制，即在保障QoS前提下，采用什么策略将媒体数据传输到本地；三是媒体数据布局与存储，即由于媒体文件数据量大，研究如何将媒体数据切分并在已被服务节点中冗余布局的策略。采用这种模式进行服务，既可能是传统C/S模式视频点播系统的候补者，即在视频服务器不能满足用户需求的情况下，由对等节点提供服务；也可能是其替代者，完全由其提供服务，无需视频服务器，只需普通视频源节点即可。非树型P2P媒体服务系统以Promise、GnuStream，DONet为代表。三、CDN与P2P的结合内容分发网络和 P2P 技术是当前互联网比较流行的两种技术，他们都有各自的优缺点。内容分

32、发网络的核心是将内容从中心服务器推送到靠近用户的边缘服务器上，使用户能够更快更好的获取数据服务，提高用户的服务质量保障。但是内容分发网络从本质上来说是还是基于C/S架构的，虽然这种方式可以提供可靠的服务能力以及较高的服务质量，但是系统的扩展性较差。另外，由于用户访问的突发性和不均匀性使得内容分发网络的性能很难提升。P2P 技术具有天然的可扩展性和系统级的可靠性，因为服务来自每个节点，当节点增加时，整个系统的服务能力增加。然而，P2P 技术也有其明显的缺陷：首先，缺乏可管理性；其次，无法保障用户的服务质量要求。这两种技术有一定的互补性，如果将这两种技术结合，尽可能的发挥这两种技术的优势，就可以构建出一个更加强大的内容承载平台。P2P 与内容分发网络结合的方式有两种：一种是 CDN-on-P2P，这种结合方式是将内容分发网络的管理方式引入 P2P 网络，组建一个以 CDN 为核心，以 P2P为服务边缘的系统，用户通过 P2P 客户端来获取服务。另一种是 P2P-on-CDN，这种方式是将 P2P 技术引入到内容分发网络，将CDN 的各个代理服务器以 P2P的方式组织起来，从而提升内容分发网络的性能。