大数据平台部署方案完整版.docx

1、大数据平台部署方案完整版大数据平台部署方案完整版1.环境配置主机地址主机地址用户名密码172.26.40.74rootcloud4c172.26.40.75rootcloud4c172.26.40.76rootcloud4c172.26.40.77rootcloud4c172.26.40.78rootcloud4c查看服务器硬件环境信息查看CPU型号：cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq c查看物理CPU颗数：cat /proc/cpuinfo | grep physical | uniq c四颗一核的CPU查看CPU运行模式：g

2、etconf LONG_BIT查看CPU是否支持64位：cat /proc/cpuinfo | grep flags | grep lm | wcl结果大于0, 说明支持64bit计算. lm指long mode, 支持lm则是64bit查看操作系统版本和内核查看操作系统版本：cat /etc/issue或者lsb_release -a查看内核信息：关闭防火墙和SELinex1.关闭防火墙：service iptables stop（临时关闭）chkconfig iptables off（重启后生效）2.关闭SELINUX，SELinux功能是一种强制存取控制的实现，能够进一步的增强Linux

3、系统的安全性，但是开启此项功能会给初学者带来很多的不便，大多都关闭此项功能setenforce 0 （临时生效） 修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）所有主机时间同步1.查看目前主机时间：date2.修改时间：date -s 00:00:003.时间同步(主机)，将172.26.40.74的本地时钟作为时间供给源，这样，即便它失去网络连接，它也可以继续为网络提供服务yum install ntpvi /etc/ntp.confserver 127.127.1.0fudge 127.127.1.0 stratum 104.重新启

4、动服务service ntpd stopservice ntpd start5.其他机器同步，等待大概五分钟，再到其他机上同步该机器时间（先确保时区一样，否则同步以后时间也是有时区差的）ntpdate 172.26.40.746.date查看时间是否同步完成安装JDK1.查看Linux自带的JDK是否已安装：java version2.获得如下信息，表明有自带JDK需要卸载3.查看jdk的信息：rpm -qa|grep java4.卸载自带的jdk：rpm -e -nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm -e -node

5、ps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_645.解压安装新的Oracle JDK，将jdk-7u79-linux-x64.tar.gz放在/usr/local目录下，解压tar -zxvf jdk-7u79-linux-x64.tar.gz6.配置环境变量vi /etc/profileexport JAVA_HOME=/usr/local/jdk1.7.0_79export PATH=$PATH:$JAVA_HOME/bin:export CLASS_PATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/

6、lib/tools.jar7.查看JDK是否配置成功source /etc/profilejava version8.卸载自己安装的JDK方法rpm -e -nodeps jdk-1.7.0_67（jdk-1.7.0_67为自己安装的JDK版本）Maven安装1.去maven官网下载maven的安装包，并上传。2.解压缩maven的安装包tar -zxvf apache-maven-3.3.9-bin.tar.gz3.配置maven环境变量vim .bash_profileexport MAVEN_HOME=/home/hadoop/apache-maven-3.3.9export PATH=

7、$PATH:$MAVEN_HOME/bin4.测试maven是否配置成功配置主机名1.在172.26.40.74执行如下命令vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master1 执行如下命令查看主机名是否修改成功service network restarthostname2.在172.26.40.75执行如下命令vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master23.在172.26.40.76执行如下命令vi /etc/sysconfig/networkNETWORKING=y

8、esHOSTNAME=Slave14.在172.26.40.77执行如下命令vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Slave25.在172.26.40.78执行如下命令vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Slave3配置hosts映射在所有节点添加如下配置：vi /etc/hosts172.26.40.74 Master1172.26.40.75 Master2172.26.40.76 Slave1172.26.40.77 Slave2172.26.40.78 Slave3新建

9、hadoop用户为所有节点新建一个hadoop用户配置SSH免密码登录配置主机之间hadoop用户的SSH免密码登录1.在所有节点执行如下命令以生成秘钥：ssh-keygen -t rsa2.进入.ssh/目录，并复制id_rsa.pub文件生成一个新的文件 authorized_keys3.验证每个节点自己的免密码登录是否成功4.将其它节点的秘钥拷贝到Master1节点ssh-copy-id -i Master15.将Master1最终生成的密码拷贝到Master2、Slave1、Slave2、Slave36.测试节点之间免密码登录是否配置成功2.安装Zookeeper因为zookeeper

10、有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的，所以本次选择在Master1、Master2、Slave1、Slave2、Slave3上安装Zookeeper1.在Master1上解压安装Zookeepertar -zxvf zookeeper-3.4.8.tar.gz修改配置文件2.修改配置文件zoo.cfgcd /home/hadoopR/zookeeper-3.4.8/confcp zoo_sample.cfg zoo.cfgvim zoo.cfgdataDir=/home/hadoopR/tmp/zookeeperdataLogDir=/home/had

11、oopR/tmp/zookeeper/datalogclientPort=2181initLimit=10syncLimit=5tickTime=2000autopurge.snapRetainCount=10autopurge.purgeInterval=1server.1=Master1:2888:3888server.2=Master2:2888:3888server.3=Slave1:2888:3888server.4=Slave2:2888:3888server.5=Slave3:2888:38881)server.X 用来配置ZooKeeper 集群中的各节点，并建议X 的值和my

12、id 保持一致。2)端口2181 用于监听客户端的连接，端口2888 用于Leader 监听Follower 的连接，而3888则用于Leader 选举。3)dataDir 用来指定快照文件存放目录，便于快速恢复；dataLogDir 用来指定事务日志文件存放目录。如果只指定了dataDir，而没指定dataLogDir，则事务日志文件也存放于dataDir 指定的目录。为了达到性能最大化，一般建议把dataDir和dataLogDir分到不同的磁盘上，这样就可以充分利用磁盘顺序写的特性。4)默认，autopurge 的两个参数是被注释的。“autopurge.purgeInterval”指定

13、自动清理快照文件和事务日志文件的时间，单位为小时，默认为0 表示不自动清理，这个时候可以使用脚本zkCleanup.sh 手动清理。不清理的结果是占用的磁盘空间越来越大。“autopurge.snapRetainCount”用于指定保留快照文件和事务日志文件的个数，默认为3。5)ticktickTime默认为2000，2-20倍的minSessionTimeout与maxSessionTimeout 注： tickTime 心跳基本时间单位毫秒，ZK基本上所有的时间都是这个时间的整数倍。3.修改/bin/zkEnv.sh1)设置环境变量ZOO_LOG_DIR 为zookeeper 的日志存放目

14、录，如：export ZOO_LOG_DIR=/home/hadoopR/tmp/zookeeper/datalog可将这一行放在ZOOKEEPER_PREFIX 之后。2)再修改下ZOO_LOG4J_PROP，以让日志不是输出到zookeeper.out，而是写入到日志文件，将：ZOO_LOG4J_PROP=INFO,CONSOLE，改成：ZOO_LOG4J_PROP=INFO,ROLLINGFILE4.修改conf/log4j.propertieslog4j.appender.ROLLINGFILE.MaxFileSize=100MBlog4j.appender.ROLLINGFILE.M

15、axBackupIndex=10设置每个日志文件大小为100M，滚动10 个。5.将Master1上配置好的Zookeeper安装文件拷贝到Master2、Slave1、Slave2、Slave3上scp -r /home/hadoopR/zookeeper-3.4.8 Master2:/home/hadoopR/scp -r /home/hadoopR/zookeeper-3.4.8 Slave1:/home/hadoopR/scp -r /home/hadoopR/zookeeper-3.4.8 Slave2:/home/hadoopR/scp -r /home/hadoopR/zookeeper-3.4.8 Slave3:/home/hadoopR/设置myid6.在Master1、Master