虚拟化与云计算实验报告材料docWord格式文档下载.docx
《虚拟化与云计算实验报告材料docWord格式文档下载.docx》由会员分享，可在线阅读，更多相关《虚拟化与云计算实验报告材料docWord格式文档下载.docx（14页珍藏版）》请在冰豆网上搜索。
7.F2进入系统配置界面。
8.选择到Configuremanagementnetwork去配置网络。
9.配置完毕后，注意重启网络以使设置生效，点击restartmanagementnetwork，测试网络设置是否正确，点testmanagementnetwork。
至此，sever端安装完毕。
配置
1.添加机器名：
在DNS服务器上添加相关正反解析设置。
2.License设置：
Vsphereclient登陆后，清单→配置→已获许可的功能→编辑
输入license
3.时间与NTP服务设置：
Vsphereclient登陆后，清单→配置→时间配置→属性
钩选上NTP客户端
选项中，NTP设置设添加NTP服务器，然后在常规中开启NTP服务
确定后等待5-10MIN，时间会与NTP服务器同步。
Hadoop安装
Hadoop是一个易于安装易于使用的系统，他既适用于云计算的新人学习，也适用于对云计算已经有一定研究的人深入学习（包括网格计算，并行计算等等）。
Hadoop源于nutch，hadoop的两位创始人想开发一款开源的网络搜索引擎，但是在管理大量计算机时遇到了问题。
后来google发表了关于GFS与MapReduce的论文，他们把论文中的思想应用到了Nutch中。
最初他们把系统应用与20台机器上，但是很快他们发现为了处理互联网上的数据，他们需要上千台机器，这个问题超出了两个人能解决的程度。
这是yahoo对hadoop产生了兴趣并成立开发小组帮助他们将这部分内容从nutch中分离出来，成为一个独立的系统，取名hadoop。
Nutch也是hadoop的顶级项目之一，hadoop源于nutch，也独立于nutch。
虽然两者已经互相独立，但是还有很紧密的联系。
与此类似，hadoop也并不是一个单独的项目，hadoop内出了最基本的hadoopcommon外，还有hdfs，mapreduce，zookeeper。
同时也有一些相关项目，比如avro，chukwa，hbase，hive，mahout，pig（这些项目中很多都是从hadoop的子项目升级为apache的顶级项目的，由此可见hadoop的火热）。
对于新手，我们推荐按照默认方式安装hadoop，即同时安装hadoopcommon，hadoophdfs，hadoopmapreduce。
目前，Hadoop可以运行在linux，unix，windows系统上。
实际上hadoop是为在linux平台上使用而开发出来的。
但是hadoop在一些主流的unix版本（甚至包括MacOSX）也运行良好。
对于windows，这个问题有些复杂。
如果你想在windows上运行hadoop，那么你必须先安装Cygwin以模拟linux环境，然后再安装hadoop。
安装hadoop前，你需要先安装java6与ssh，java6必须是sun公司的jdk，这是hadoop编译运行的需要，ssh推荐安装openssh（免费的~），安装ssh是因为hadoop需要通过ssh协议来启动各个节点上的守护进程。
Hadoop安装过程
安装hadoop的过程很简单，hadoop的使用也很简单，同时也很灵活。
首先，需要在每台机器上安装jdk1.6和openssh
一．安装jdk1.6：
安装JDK是一个很简单的过程，以ubuntu为例。
第一步：
确保可以连接到互联网，输入命令：
sudoapt-getinstallsun-java6-jdk，输入密码。
在接下来的三个确认中输入（或点击）Yes（或ok），你就可以安装java了。
这里先解释一下sudo这个命令，sudo这个命令能够允许普通用户执行某些或全部root权限命令，sudo命令提供了详尽的日志，可以记录下每个用户使用它做了什么；
同时sudo也提供了灵活的管理方式，可以限制用户使用的命令；
他的配置文件为/etc/sudoers。
Apt全称为theAdvancedPackagingTool，是ubuntu的软件包管理软件，通过它你可以无需考虑软件依赖关系，直接安装你所需要的软件，而apt会自动下载有依赖关系的包，并按顺序安装，在ubuntu中安装有他的一个图形化界面程序synaptic（中文译名为“新立得”），有兴趣的话也可以使用这个程序来安装你所需要的软件。
（如果你想了解更多可以查看一下关于debian计划的资料）
第二步，配置环境变量：
输入命令：
sudogedit/etc/profile，输入密码，打开profile文件。
在最下面输入如下内容：
#setJavaEnvironment
exportJAVA_HOME=（你的java安装位置，一般为/usr/lib/jvm/java-6-sun）
exportCLASSPATH="
.:
$JAVA_HOME/lib:
$CLASSPATH"
exportPATH="
$JAVA_HOME/:
$PATH"
这一步的意义是配置环境变量，使你的系统可以找到java。
第三步:
验证java是否安装成功。
新建文件Helloworld.java输入如下内容：
publicclassHelloworld{
publicstaticvoidmain（Stringargs[]）{
System.out.println（“HelloWorld”）;
}
javacHelloworld.java;
（生成编译文件）
javaHelloworld
如果出现“HelloWorld”说明java程序可以运行，也即java已经安装成功。
二．安装openssh:
同样的，以ubuntu为例，用户名为u：
第一步，确认已经连接上互联网，输入命令：
sudoapt-getinstallssh
第二步，配置可以无密码登陆本机:
首先查看在u用户下是否存在.ssh文件夹（注意ssh前面有“.”，这是一个隐藏文件夹），输入命令：
ls–a/home/u。
一般来说，安装ssh时会自动在当前用户下创建这个隐藏文件夹，如果没有的，可以手动创建一个。
接下来，输入命令：
ssh-keygen-tdsa-P'
'
–f~/.ssh/id_dsa
在ubuntu中,~代表当前用户文件夹，这里即/home/u。
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是ssh的一对私钥和公钥，类似于钥匙及锁，把id_da.pub（公钥）追加到授权的key里面去，输入命令：
cat~/.ssh/id_dsa.pub>
>
~/.ssh/authorized_keys
至此无密码登陆本机以安装完成。
第三步，验证ssh已安装成功及无密码登陆本机，输入命令：
sshlocalhost
如果可以登录，说明已经安装成功
第四步，将authorized_keys拷贝到其他主机
实际上，在hadoop的安装过程中，是否无密码登陆不是必须的，但是如果不配置无密码登陆的话，每次启动hadoop，都需要输入密码以登陆到每台daotanode，考虑到一般的hadoop集群动辄数十数百台机器，因此一般来说都会配置ssh的无密码登陆。
三．安装hadoop：
在安装hadoop前，我们需要先修改主机的几个配置文件：
在下面这个文件，添加你的主机需要识别的主机名及其对应的ip地址
/etc/hosts:
127.0.0.1localhost
10.37.128.2master
10.37.128.3slave1
10.37.128.4slave2
在下面这个文件修改你的主机名
/etc/hostname:
你的主机名（如master，slave1等）
同时根据需要，我们要在/home/你的用户名这个文件夹下创立tmp文件夹作为hdfs的存储文件夹。
在master上，下载hadoop-0.20.2.tar.gz并将其解压，这里将其解压到用户目录下，一般为/home/[你的用户名]/，这里假设用户名为u，进入conf文件夹，修改配置文件：
conf/Hadoop-env.sh:
exportJAVA_HOME=“你的java安装地址”
指定java位置
conf/core-site.xml:
<
?
xmlversion="
1.0"
xml-stylesheettype="
text/xsl"
href="
configuration.xsl"
!
--Putsite-specificpropertyoverridesinthisfile.-->
configuration>
property>
<
name>
fs.default.name<
/name>
value>
hdfs:
//master:
9000<
/value>
/property>
hadoop.tmp.dir<
/home/u/tmp<
/configuration>
这是hadoop核心的配置文件，这里配置的是hdfs（hadoop的分布式文件系统）的地址及端口号，后一项配置为hdfs的存储文件夹，这个文件夹需要你自己创建。
conf/hdfs-site.xml:
dfs.replication<
2<
dfs.name.dir<
/home/u/hdfs/name<
dfs.data.dir<
/home/u/hdfs/data<
这是hadoop中hdfs的配置，配置的备份方式，默认为3。
conf/mapred-site.xml:
mapred.job.tracker<
master:
9001<
这是hadoop中mapreduce的配置文件，配置的是jobtracker的地址及端口
conf/masters:
master
这个文件指明了谁是master，也可以填写ip地址，填写主机名是为了便于区分。
conf/slaves:
slave1
slave2
这个文件指明了谁是slave，同样也可以填写ip地址。
需要注意的是，如果安装的是0.20之前的版本，那么只有一个配置文件，即为hadoop-site.xml。
另一个需要注意的是hadoop的配置不仅仅这几项，hadoop在启动时，会用这几项的配置去修改默认配置，也就是说，hadoop有完整的默认配置，你在这里进行配置只是相当于修改hadoop的默认配置，这种做法既可以保证程序的安全性，不易出错，对于用户来说，这种做法也很方便。
如果你想查看hadoop的默认配置，可以到docs中查看core-default.html,hdfs-default.html,和mapred-default.html这三个文件（0.20版本）.
修改完这几个文件之后，通过scp命令将hadoop文件夹发送到其他节点上（slave1，slave2），用户名为u
scp–r/home/u/hadoopslave1:
/home/u/
scp–r/home/u/hadoopslave2:
至此，hadoop就可以说是安装完成了
启动hadoop前，需格式化hadoop的文件系统hdfs（这点与windows是一样的，重新分区后的卷总是需要格式化的），在master上，进入hadoop文件夹
bin/hadoopnamenode–format
格式化文件系统，接下来，启动hadoop，输入命令：
bin/start-all.sh（全部启动）
最后，验证hadoop是否安装成功。
打开浏览器，分别输入网址
http:
//localhost:
50030（mapreduce的web页面）
50070（hdfs的web页面）
如果都能查看，说明hadoop已经安装成功。
对于hadoop来说，mapreduce及hdfs都是必须的，但是如果有必要的话，你依然可以只启动hdfs（start-dfs.sh）或mapreduce（start-mapred.sh）
如果你的hadoop并没有正常工作，那你可查看log文件加下的日志内容一查看哪里出现问题。
五．向hadoop集群添加新的节点
Hadoop的管理机制很灵活，你可以动态的添加节点，配置新添加的三个节点，我们先给他们分配ip地址
10.37.128.5—slave,datanode,tasktracker—slave3（主机名）
10.37.128.6—slave,datanode,tasktracker—slave4（主机名）
10.37.128.7—slave,datanode,tasktracker—slave5（主机名）
同样的，在新添加的节点上安装jdk1.6及openssh。
同样进行hadoop的配置，当然你也可以直接从master拷贝，修改masters及slaves文件（经测试，如果不修改，也可以连接上，但是你下次启动时需要再次手动连入集群）。
输入以下命令：
bin/hadoop-daemon.sh--config./confstartdatanode
bin/hadoop-daemon.sh--config./confstarttasktracker
这样就可以把新的节点联入集群中。
从上面这个你可以很明显的看出，第一步是启动datanode，第二步是启动tasktracker。
这里在介绍两个命令，就是重启坏死的节点，排除问题后，在坏死的节点上输入命令：
bin/hadoop-daemon.shstartdatanode
bin/hadoop-daemon.shstartjobtracker
其实，参照上例，你可以看出，这个命令就是重启节点，也就是说，在重启的节点上输入启动命令，就可以把节点重新联入hadoop集群。
以上就是我们配置hadoop及日常使用时遇到的一些小问题。
同时我们搭建了一个用于mapreduce编程的网站，你可以在上面练习编写mapreduce程序，网站的地址是。
现在开放注册。
想要学习mapreduce编程的朋友可以先到这个网站上练习一下。
你对云计算的感想以及认识
认识：
云计算（CloudComputing）是网格计算（GridComputing）、分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）等传统计算机技术和网络技术发展融合的产物。
它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。
CloudComputing的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力！
云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。
云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。
这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。
这可是一种革命性的举措，打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。
它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。
最大的不同在于，它是通过互联网进行传输的。
云计算的蓝图已经呼之欲出：
在未来，只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。
从这个角度而言，最终用户才是云计算的真正拥有者。
云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一个成员使用。
感想：
云计算为我们使用网络提供了几乎无限多的可能：
为存储和管理数据提供了几乎无限多的空间，也为我们完成各类应用提供了几乎无限强大的计算能力。
想像一下，当你驾车出游的时候，只要用手机连入网络，就可以直接看到自己所在地区的卫星地图和实时的交通状况，可以快速查询自己预设的行车路线，可以请网络上的好友推荐附近最好的景区和餐馆，可以快速预订目的地的宾馆，还可以把自己刚刚拍摄的照片或视频剪辑分享给远方的亲友……
离开了云计算，单单使用个人电脑或手机上的客户端应用，我们是无法享受这些便捷的。
个人电脑或其他电子设备不可能提供无限量的存储空间和计算能力，但在“云”的另一端，由数千台、数万台甚至更多服务器组成的庞大的集群却可以轻易地做到这一点。
个人和单个设备的能力是有限的，但云计算的潜力却几乎是无限的。
当你把最常用的数据和最重要的功能都放在“云”上时，我们相信，你对电脑、应用软件乃至网络的认识会有翻天覆地的变化，你的生活也会因此而改变。
互联网的精神实质是自由、平等和分享。
作为一种最能体现互联网精神的计算模型，云计算必将在不远的将来展示出强大的生命力，并将从多个方面改变我们的工作和生活。
无论是普通网络用户，还是企业员工，无论是IT管理者，还是软件开发人员，他们都能亲身体验到这种改变。
升级会员 