信息网络基础Netflix研究报告.docx

1、信息网络基础 Netflix研究报告 信息网络基础Unreeling Netflix: Understanding and Improving Multi-CDN Movie Delivery阅读笔记学院电子信息工程学院班级通信1212学号姓名指导教师陈一帅目录1 论文概要 2 简介 2.1 Netflix 2.2 CDN 3 论文分析 Netflix视频流的基本结构平台4 扩展推荐 5 阅读感悟 6 参考文献 1 论文概要 Unreeling Netflix: Understanding and Improving Multi-CDN Movie Delivery是一篇有关多内容配送网络电影

2、传送技术的非常重要的论文。论文的作者是Vijay Kumar Adhikari和Yang Guo、Fang Hao等，而且这是一篇2012年发表在 Proceedings IEEE INFOCOM的论文。 IEEE 即：电气和电子工程师协会，一个致力于电气、电子、计算机工程和与科学有关的领域的开发和研究，有非常大影响力的国际学术组织，而NFOCOM=International Conference on Computer Communications即计算机通信国际会议，INFOCOM是IEEE组织在通信网络领域的旗舰性会议，也是目前国际通信网络领域的一大标志性会议。很遗憾没有在网上查到关于第

3、一位外国作者的更多信息，但可以确定的是这位作者肯定是比较优秀的，在这个领域发表过不少类型其他论文。 本文第一部分是通篇的概述，第二章节介绍了Netflix视频流系统的架构和 CDN选择策略，第三章节有关CDN性能测量，还有第四节探讨的是为了提高视频传输性能的CDN分配替代策略。第五部分讨论了作者所做的相关工作，第六部分总结全文并对未来的工作进行了讨论。2 简介Netflix Netflix是一家在线影片租赁提供商。公司能够提供Netflix超大数量的DVD，而且能够让顾客快速方便的挑选影片，同时免费递送。Netflix已经连续五次被评为顾客最满意的网站。可以通过PC、TV及iPad、iPhon

4、e收看电影、电视节目，可通过Wifi，Xbox360，PS3等设备连接TV。 其优势首先是看电视的便捷，通过互联网的流媒体视频打破了看电视的时间、地点限制。不必限定于客厅或者卧室，也不再限定于电视机这个屏幕，只要连接上互联网的电脑、手机、PAD屏幕都可以看视频，躺着看，坐车看。我们传统的看电视方式是以电视机为中心，许多人围绕着电视机，Netflix的OTT TV实现了以人为中心，各种屏幕围绕着人。OTT TV的开放式视频服务体验是对传统电视的超越，代表了未来的方向。这是Netflix成功的最基本原因。 其次，Netflix的OTT TV是天然的VOD，海量的视频内容自由点播，吃食堂变成了吃自助

5、餐。还有就是Netflix物美价廉，他每月收费大约只有传统电视运营商的十分之一，用户决定订阅之前还有一个月的免费试看时间，而且网上支付可以随时自主取消订购。 最后，用户如何在那个海量的视频库中找到自己想看的节目，Netflix花了很大的功夫来发现每个用户的个性化的收视喜好。推荐引擎是Netflix公司的一个关键服务，用户在一个个性化网页上对影片做出1到5的评级。Netflix将这些评级放在一个巨大的数据集里，该数据集容量超过了50亿条。Netflix使用推荐算法和软件来标识具有相似品味的观众对影片可能做出的评级。60%的用户直接选择了推荐引擎推荐的节目。 在总结一下就是：用很便宜的价格、革命性

6、的看电视方式提供非常便捷、满足人性化需求的服务，是Netflix的最大的成功之道。CDNCDN(Content Delivery Network)技术原理：CDN 概述 CDN的全称是Content Delivery Network，即内容分发网络。其目的是通过在现有的Internet中增加一层新的CACHE(缓存)层，将网站的内容发布到最接近用户的网络边缘的节点，使用户可以就近取得所需的内容，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，提高用户访问网站的响应速度。 Cache层的技术，消除数据峰值访问造成的结点设备阻塞。Cache服务器具有缓

7、存功能，所以大部分网页对象（Web page object）,如html, htm, php等页面文件，gif,tif,png,bmp等图片文件，以及其他格式的文件，在有效期（TTL）内，对于重复的访问，不必从原始网站重新传送文件实体, 只需通过简单的认证（Freshness Validation）- 传送几十字节的Header，即可将本地的副本直接传送给访问者。由于缓存服务器通常部署在靠近用户端，所以能获得近似局域网的响应速度，并有效减少广域带宽的消耗。不仅能提高响应速度，节约带宽，对于加速Web服务器，有效减轻源服务器的负载是非常有效的。根据加速对象不同，分为 客户端加速 和 服务器加速。

8、客户端加速: Cache部署在网络出口处，把常访问的内容缓存在本地，提高响应速度和节约带宽；服务器加速: Cache部署在服务器前端，作为Web服务器的代理缓存机，提高Web服务器的性能，加速访问速度如果多台Cache加速服务器且分布在不同地域，需要通过有效地机制管理Cache网络，引导用户就近访问(比如通过DNS引导用户)，全局负载均衡流量，这是CDN内容传输网络的基本思想。CDN对网络的优化作用主要体现在如下几个方面 - 解决服务器端的“第一公里”问题 - 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响 - 减轻了各省的出口带宽压力 - 缓解了骨干网的压力 - 优化了网上热点内容的分布C

9、DN 的工作原理传统访问过程(未加速缓存服务)我们先看传统的未加缓存服务的访问过程，以便了解CDN缓存访问方式与未加缓存访问方式的差别：由上图可见，用户访问未使用CDN缓存网站的过程为:用户输入访问的域名,操作系统向LocalDns查询域名的ip地址.LocalDns向ROOT DNS查询域名的授权服务器(这里假设LocalDns缓存过期)ROOT DNS将域名授权dns记录回应给LocalDnsLocalDns得到域名的授权dns记录后,继续向域名授权dns查询域名的ip地址域名授权dns 查询域名记录后，回应给LocalDnsLocalDns将得到的域名ip地址，回应给 用户端用户得到域名

10、ip地址后，访问站点服务器站点服务器应答请求，将内容返回给客户端。CDN访问过程(使用缓存服务)CDN网络是在用户和服务器之间增加Cache层，主要是通过接管DNS实现,将用户的请求引导到Cache上获得源服务器的数据下面让我们看看访问使用CDN缓存后的网站的过程：通过上图，我们可以了解到，使用了CDN缓存后的网站的访问过程变为：用户输入访问的域名,操作系统向LocalDns查询域名的ip地址.LocalDns向ROOT DNS查询域名的授权服务器(这里假设LocalDns缓存过期)ROOT DNS将域名授权dns记录回应给LocalDnsLocalDns得到域名的授权dns记录后,继续向域名

11、授权dns查询域名的ip地址域名授权dns 查询域名记录后(一般是CNAME)，回应给LocalDnsLocalDns得到域名记录后,向智能调度DNS查询域名的ip地址智能调度DNS 根据一定的算法和策略(比如静态拓扑，容量等),将最适合的CDN节点ip地址回应给LocalDnsLocalDns将得到的域名ip地址，回应给 用户端用户得到域名ip地址后，访问站点服务器CDN节点服务器应答请求，将内容返回给客户端.(缓存服务器一方面在本地进行保存，以备以后使用，二方面把获取的数据返回给客户端，完成数据服务过程)通过以上的分析我们可以得到，为了实现对普通用户透明(使用缓存后用户客户端无需进行任何设

12、置)访问，需要使用DNS(域名解析)来引导用户来访问Cache服务器，以实现透明的加速服务. 由于用户访问网站的第一步就是域名解析,所以通过修改dns来引导用户访问是最简单有效的方式。 CDN网络的组成要素对于普通的Internet用户，每个CDN节点就相当于一个放置在它周围的网站服务器.通过对dns的接管，用户的请求被透明地指向离他最近的节点，节点中CDN服务器会像网站的原始服务器一样，响应用户的请求.由于它离用户更近，因而响应时间必然更快.从上面图中 虚线圈起来的那块，就是CDN层,这层是位于 用户端 和 站点服务器之间.3 论文分析 本文接下来分为了二、三、四、五、六节，五个部分去介绍他

13、要讲述的内容，其中包括第二部分介绍的Netflix视频流系统的架构 和 CDN选择策略。 作者他们遵守基本的服务行为，创建了一个新的用户帐户，登录Netflix网站播放电影。他们监测了流量在所有活动的记录过程中所涉及的服务器的主机名。然后他们执行了DNS决议收集所有和浏览器有联系的规范名称（cnames）和所有服务器的名称，IP地址。还进行了WHOIS 6 用来查找IP地址的主人，作者话中提到WHOIS是一种协议规范。作者所做的一系列工作得出了这样一张表：其实就是总结了最相关的主机名和它们的主人。以下这张图它由四个主要部分组成：分别是：Netflix数据中心，亚马逊云，CDN和 players

14、。NEtflix数据中心。这个服务器主要处理两主要功能：（netflix data center）（a）登记新用户帐户、还有捕获用户的付款信息（包括信用卡或PayPal账户），（b）是什么呢，基于是否用户是否登录的分别，将用户重定向到或。（我理解movie就是进去了，sign up我们都知道就是还得重新注册的意思）还有一个特点，发现了这个服务器在电影播放期间并不与客户进行互动，这是符合Netflix团队最近的演示。Amazon cloud. 亚马逊云 亚马逊云起到了非常重要的作用，并且完成了大部分的工作关键的功能比如：内容的摄入，日志记录/分析，DRM，CDN路由，用户登录，和移动设备的支持，

15、这些都是在亚马逊云做的。 除了是由Netflix主办，其他大部分Netflix服务器比如和被Amazon云服务的。这表明了Netflix使用各种亚马逊的云服务，从EC2和S3，到sdb和VPC，这里面细的知识内容也不赘述。Content Distribution Networks (CDNs). 内容分发网络（CDN）。Netflix 采用多CDN网络的视频内容交付给最终用户。编码和DRM保护的视频来源是亚马逊的云，还要与备份到CDN网络中。Netflix拥有三个CDN：Akamai，风头，Level-3。对于同一质量水平的视频，同样的编码内容是从以上所有的三个CDN中交付。Players.

16、Netflix使用Silverlight去下载，解码和桌面Web浏览器播放Netflix的电影。Silverlight在运行的环境中可以作为mostweb浏览器的一个插件。当然，也有用于手机和其它设备如Wii，Roku播放器，本篇论文的重点不在于这里，而是在台式电脑上运行Silverlight播放器。Netflix使用DASH（HTTP动态流）协议流。在dash里面（也有说是“短跑”），这里面每个视频在几个不同的质量等级编码，并分为小的块，这个小块是什么呢，是这个长度不超过几秒钟的视频片段。客户端请求一个视频片段，同时通过HTTP。在每个下载中，它的措施都是，收到了带宽然后运行速率测定算法 ，

17、之后再要求确定下一块质量。也就是说短跑允许玩家自在块边界之间由切换不同的质量水平。4拓展内容关于：网络视频技术问答：如何部署一个视频网站目前主流的视频网站，都采用图中所示的架构，由网站服务器、视频配置文件服务器、视频服务器、播放状态收集服务器组成。其中，视频服务器最引入注意。5阅读感悟 尽管Netflix很流行与普及，但令人惊讶的是很少有研究关注到流媒体服务平台。据我们所知，这是第一篇采用系统的去解读Netflix视频流的结构。同时对采用三个CDN进行广泛的测量研究。 首先选这篇题目是因为我对netflix有一定的兴趣，但其实文章页数并不短读起来比想象之中困难了不少，不过最后还是坚持看这篇，就

18、是因为我很好奇为什么netflix能够立足于全球十大视频网站之中，并且是唯一一个收费站点，感觉非常了不起。 此外，抛开内容来讲，论文本身也是非常值得欣赏的。这篇论文长度虽不简短，包含了研究的重要步骤及结论，但并没有像现在大学中泛滥的论文（比如本文）那样，掺杂大量的对于专业领域的读者来说是常识性的东西，也没有任何无关废话。整篇论文的思路非常清晰，标题也极具吸引力和表达力，内容组织合理，流畅，公式和图表的安排都尽可能少而精，值得我们学习。6 参考文献1 Sandvine, “Global Internet Phenomena Report, Spring 2011,” http:/ broadba

19、nd trends.asp, 2011.2 A. Cockroft, C. Hicks, and G. Orzell, “Lessons Netflix Learned fromthe AWS Outage,” Netflix Techblog, 2011.3 “Microsoft Silverlight,” 4 Pomelo LLC, “Analysis of Netixs security framework for Watch Instantlyservice.” 2009.5 S. Akhshabi et al., “An experimental evaluation of rate

20、-adaptationalgorithms in adaptive streaming over http,” in MMSys11.6 L. Daigle, “WHOIS Protocol Specification,” RFC 3912, 2004.7 “Tamper Data,” addons.mozilla.org/en-US/firefox/addon/tamper-data.8 “Dummynet,” http:/info.iet.unipi.it/!luigi/dummynet/.9 A. Cockroft, “Netflix Cloud Architecture,” Veloc

21、ity conference, 2011.10 “Amazon Web Services,” .11 D. K. Krishnappa et al., “On the feasibility of prefetching and cachingfor online tv services: a measurement study on hulu,” in PAM11.12 V. K. Adhikari, S. Jain, Y. Chen, and Z.-L. Zhang, “Vivisecting youtube:An active measurement study,” in INFOCOM

22、12 Mini-conference, 2012.13 A.-J. Su et al., “Drafting behind akamai: inferring network conditionsbased on cdn redirections,” IEEE/ACM Trans. Netw., 2009.14 C. Huang, A. Wang, J. Li, and K. W. Ross, “Understanding hybrid cdnp2p:why limelight needs its own red swoosh,” in NOSSDAV 08.15 A. Downey, “Us

23、ing pathchar to estimate internet link characteristics,”in ACM SIGCOMM CCR, 1999.16 M. Jain and C. Dovrolis, “ Pathload: A Measurement Tool for End-to-End Available Bandwidth ,” in PAM02, March 2002.17 D. Croce, T. En-Najjary, G. Urvoy-Keller, and E. W. Biersack, “Fastavailable bandwidth sampling for adsl links: Rethinking the estimationfor larger-scale measurements,” in PAM 09, 2009, pp. 6776.1628