第1讲-hcm-云计算技术原理-2013.3.5.pptx

1、2011-2012学年春季研究生选修课程云计算技术原理CloudComputing:PrinciplesandTechnologies教学组：胡春明,李建欣,沃天宇,林学练2013年3月5日下午16:00-17:45新主楼B216ACT2011-20132课程概况课程时间、地点16学时，8次课程,3月5日-4月23日：每周二下午第7节：16:00-16:50，第8节：16:55-17:45地点：新主楼B216课程目的掌握“云计算”的概念掌握支撑云计算的关键技术原理了解云计算相关技术面临的挑战和研究热点课程定位研究生专业选修课：Overview+Research-oriented讲解为主；课下查

2、阅资料、论文分析鼓励形成2-3人的论文分析小组开展联合研究3课程概述课程考核方式平时：20%鼓励平时上课时积极提出问题、参与讨论小组论文报告：30%每小组1次，选择论文做20分钟报告在课程中随堂安排研究综述：50%可选择课程覆盖的任何一个技术主题，选择一个具体问题，调研现状提交一份研究报告给出你的思路、建议提交时间：4月10日课上分组报告4联系方式课程的交流方式邮件为主：请决定选课的同学发邮件到，确认注册所有课程相关信息、课件通过邮件发送课程网站：由ACT实验室提供支持，发布课程的ppt，辅助资料等指导教师联系方式办公室：新主楼G1119/G506办公室电话：82339679，手机：13717

3、524539答疑/讨论：每周一下午16:00，提前预约课程内容和安排日期日期课程主题课程主题主要内容主要内容备注备注3.5云计算概述云计算概述3.12主要系统工作3.19技术原理(1)系统虚拟化3.26技术原理(2)分布式存储技术邀请阿里云专家4.2技术原理(3)并行数据处理技术邀请百度专家4.9技术原理(4)云安全4.16技术原理(5)数据中心与资源调度4.23技术原理(6)云端融合与桌面虚拟化课程总结，报告讲解第一部分云计算的概述从一组漫画说起最开始，人们使用算盘后来，人们使用电脑再后来，人们有了网络来源：http:/ eClient/ServClient/ServererNetwork

4、Network ComputingComputingVirtualVirtual ComputingComputing EnvironmentEnvironmentIBM:IT15年周期观点IBM前首席执行官LouisGerstner认为：计算模式每隔15年发生一次变革1980年前后以PC的普及为标志1965年前后的变革以大型机为标志1995年前后则发生了互联网革命1.1数据经济时代数据泛滥100万交易万交易/hr,2.5PB数据数据每秒产生数据每秒产生数据40TB40TB4 4亿用户、亿用户、400400亿张照亿张照片片零售行业零售行业科学计算科学计算网络生活网络生活 2010年2月经济学人

5、出版：“数据、无处不在的数据”专刊。信息从稀缺走向极大丰富，带来便利的同时也导致大麻烦1.1数据经济时代数据新经济时代首席研究战略官Mundie计算机科学家Hellerstein社会信息学家James Cortada海量数据使我们处在一个新的时代海量数据使我们处在一个新的时代 (Different Period)The Industrial Revolution of Data 数据的工业革命数据的工业革命The Data-centred Economy is Just Nascent 以数据为中心的经济刚刚开始以数据为中心的经济刚刚开始 1.1数据经济时代资本经济数据经济科研：真理在数据中理

6、论证明;实验物理;计算仿真第4种模式:Data-intensiveScienceDiscovery产业：效益在长尾中不再仅仅关注大规模典型垄断性产品创造新模式，涵盖海量的零散需求MoneyPeopleData1.1数据经济时代拥有大规模、运行的数据拥有大规模、运行的数据，及其有效的及其有效的分析处理能力分析处理能力，成为核心竞争力！成为核心竞争力！用户分析用户分析Amazon利用其Kindle分析用户在线阅读习惯拼写检查拼写检查微软20年花费数百万美元Google基于用户数据分析医疗转变医疗转变美国等发展”Evidence-based Medicine”医学保持核心竞争力：只有不断提高保持核心

7、竞争力：只有不断提高ITIT数据处理能力！数据处理能力！1.1数据经济时代那么，能否造出很牛很牛的机器呢？现在的计算机已经很牛了Top500超级计算机排名天河1号：峰值已超过1PFlops1.1数据经济时代那么，能否造出很牛很牛的机器呢？现在的计算机已经很牛了还能继续牛，但遭遇技术墙摩尔定律1.1数据经济时代那么，能否造出很牛很牛的机器呢？现在的计算机已经很牛了还能继续牛，但遭遇技术墙摩尔定律单位功耗10,00010,0001,0001,00010010010101 170708080909000001010PowerDensity(W/cmPowerDensity(W/cm2 2)40044

8、00480088008808080808085808580868086286286386386486486PentiumPentiumprocessorsprocessorsHotPlateHotPlateNuclearReactorNuclearReactorRocketNozzleRocketNozzleSunsSurfaceSunsSurface1.1数据经济时代那么，能否造出很牛很牛的机器呢？现在的计算机已经很牛了还能继续牛，但遭遇技术墙摩尔定律单位功耗总能耗1.1数据经济时代那么，能否造出很牛很牛的机器呢？现在的计算机已经很牛了还能继续牛，但遭遇技术墙但数据处理的需求仍在快速增长1.

9、1数据经济时代那么，能否造出很牛很牛的机器呢？现在的计算机已经很牛了还能继续牛，但遭遇技术墙但数据处理的需求仍在快速增长因此，必须利用网络的力量分而治之第一部分内容提要1.1数据经济时代：云计算出现的大背景数据正在改变科研、商业和生活1.2计算技术的发展历程从主机计算、客户服务器计算到网络计算传统的并行分布处理网格计算与P2P计算1.2计算机技术的发展历史计算机硬件的发展(1)ENICA(1946.2.15),“埃尼阿克”University of Pennsylvania庞然大物18000个电子管1500个继电器等器件总体积约90立方米重达30吨占地170平方米一间30多米长的房间耗电量为1

10、40千瓦每秒5000次加法，或者400次乘法一条炮弹的轨道用20秒钟就算出来 1.2计算机技术的发展历史计算机硬件的发展(2)VonNeumann结构和EDVAC方案(1950)计算机硬件的发展(3)IBMSystem/360(1964),S/370(1970)现代意义的“大型机”,以集成电路作为主要元件操作系统、编译系统和应用程序与硬件逐步分离，形成“软件”的概念多道程序，分时系统1.2计算机技术的发展历史1.2计算机技术的发展历史计算机硬件的发展(4)Intel4004(1971.11.15)大规模集成电路时代Intel80083500个晶体管,主频0.5MHz1.2计算机技术的发展历史计

11、算机硬件的发展(5)Altair8800微机(1974)第一台“个人用计算机”IBMPCAT/XT(1981)PersonalComputerIntel8088/MSDOS第一个月的订货超过24万台造就了一个PC时代1.2发展历史计算机硬件的发展(6)Top500(2012/11):1st:TitanCray:17.59PFlops,PEAK(峰值):27.33PFlops560,640Cores8th:天河1号2.57PFlops,PEAK(峰值):4.7PFlops186,368Cores1.2发展历史计算机硬件的发展(6)Top500(2012/12):1st:TitanCrayClus

12、ter是高性能计算的主流“计算”向“云/网络”的变迁单机多机协同处理紧耦合松耦合简单通信协同MainframMainframe eClient/ServClient/ServererNetwork Network ComputingComputingVirtualVirtual ComputingComputing EnvironmentEnvironmentApplicationsApplicationsProcessinProcessing gDataData网络化网络化普适化普适化智能化智能化传统的并行、分布计算以一台集群计算机为边界以一台集群计算机为边界MPI:消息通信的编程接口能否让

13、多台计算机联合起来求解一个大问题能否让多台计算机联合起来求解一个大问题?元计算：1995年:I-WAY的Dream网格计算Grid本意为“电力网”电力网的特征并网发电：发电与用电的广域分布统一管理：统一调度，统一监控，统一配置电网、送电、变电利用基础设施简化终端用户使用透明性，按需分配（ServiceOnDemand）复杂的服务质量要求：能力预留、综合调度网格计算Grid本意为“电力网”计算网格电力vs计算力进一步抽象：计算机资源大容量存储器资源大量信息、知识资源算法、例程、特定软件资源电力vs?资源能力资源能力ResourceCapacity什么是网格（续）网格：一种在广域环境下的新型分布计

14、算模式对比：RPC?Client/Server?本质上是一种：Client/ServerNetwork的计算模式目标：做好两件事资源共享：Server的能力如何共享，并支持逻辑上的集中管理协同问题求解：Server之间如何协议以实现复杂的应用需求网格计算的几个例子：DataGridLHC:大型强子对撞机GRID Tutorial-How to use LCG4 experiments:ATLAS Alice CMS LHCb27 km long pipe网格计算的几个例子：DataGrid目前集成了33个国家的140个计算中心2008年执行1亿个计算任务网格计算的几个例子：DataGridTi

15、er2 Centre 1 TIPSOnline SystemOffline Processor Farm 20 TIPSCERN Computer CentreFermiLab 4 TIPSFrance Regional Centre Italy Regional Centre Germany Regional Centre InstituteInstituteInstituteInstitute 0.25TIPSPhysicist workstations100 MBytes/sec100 MBytes/sec622 Mbits/sec1 MBytes/secThere is a“bunch

16、 crossing”every 25 nsecs.There are 100“triggers”per secondEach triggered event is 1 MByte in sizePhysicists work on analysis“channels”.Each institute will have 10 physicists working on one or more channels;data for these channels should be cached by the institute serverPhysics data cachePBytes/sec 622 Mbits/sec or Air Freight(deprecated)Tier2 Centre 1 TIPSTier2 Centre 1 TIPSTier2 Centre 1 TIPSCaltech 1 TIPS622 Mbits/secTier 0Tier 0Tier 1Tier 1Tier 2Tier 2Tier 4Tier 41 TIPS is approximately 25,00