大数据环境集群环境搭建Word下载.docx

1、2、集群的最小环境就是三台。因为后面要搭建ZooKeeper、kafka等集群。4、在安装的时候,另外两台服务器的centos镜像文件必须重新拷贝一份,放在新的目录里,使用各自自己的镜像文件。5、服务器的硬盘文件也必须重新选择一个新的目录,以更好的区分。6、安装好之后,记得要在三台机器的/etc/hosts文件中,配置全三台机器的ip地址到hostname的映射,而不能只配置本机,这个很重要！7、在windows的hosts文件中也要配置全三台机器的ip地址到hostname的映射。配置集群ssh免密码登录1、首先在三台机器上配置对本机的ssh免密码登录生成本机的公钥,过程中不断敲回车即可,s

2、sh-keygen命令默认会将公钥放在/root/.ssh目录下ssh-keygen-t rsa将公钥复制为authorized_keys文件,此时使用ssh连接本机就不需要输入密码了cd /root/.sshcp id_rsa.pub authorized_keys2、接着配置三台机器互相之间的ssh免密码登录使用ssh-copy-id -i spark命令将本机的公钥拷贝到指定机器的authorized_keys文件中方便好用Hadoop 2.4.1集群搭建安装hadoop包1、使用hadoop-2.4.1.tar.gz,使用WinSCP上传到CentOS的/usr/local目录下。2、

3、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop4、配置hadoop相关环境变量vi .bashrc 或者 vi/etc/profileexport HADOOP_HOME=/usr/local/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource .bashrc修改hadoop相关的配置文件进入/usr/local/hadoop/etc/hadoop 目录下修改core-site.xmlname/namevalue

4、hdfsspark1:9000 /设置hdfs集群对外提供的目录/property修改hdfs-site.xml /设置hdfs的一些目录,放在/usr/local/data的目录下面/usr/local/data/namenode/usr/local/data/datanode/usr/local/data/tmpdfs.replication3 /设置副本数修改mapred-site.xml/mapreduce的框架设置为yarnyarn修改yarn-site.xmlspark1mapreduce_shuffle修改slaves文件spark1spark2spark3在另外两台机器上搭建h

5、adoop1、使用如上配置在另外两台机器上搭建hadoop,可以使用scp命令将spark1上面的hadoop安装包和.bashrc或者/etc/profile 配置文件都拷贝过去。scp -r hadoop rootspark1:/usr/local/scp -r hadoop rootspark2:scp -r /etc/profile rootspark1:/etc/scp -r /etc/profile rootspark2:2、要记得对.bashrc文件或者/etc/profile进行source,以让它生效。3、记得在spark2和spark3的/usr/local目录下创建dat

6、a目录。启动hdfs集群1、格式化namenode：在spark1上执行以下命令,hdfs namenode -format2、启动hdfs集群：start-dfs.sh3、验证启动是否成功：jps、50070端口查看是否启动成功spark1：namenode、datanode、secondarynamenodespark2：datanodespark3：启动yarn集群1、启动yarn集群：start-yarn.sh2、验证启动是否成功：jps、8088端口resourcemanager、nodemanagernodemanagerhive0.13搭建安装hive包1、将的apache-hi

7、ve-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。3、重命名hive目录：mv apache-hive-0.13.1-bin hive4、配置hive相关的环境变量,下面以.bashrc文件操作vi .bashrcexport HIVE_HOME=/usr/local/hiveexport PATH=$HIVE_HOME/bin安装MySQL1、在spark1上安装mysql。2、使用yum安装mysql server。yum inst

8、all -y mysql-serverservice mysqld startchkconfig mysqld on3、使用yum安装mysql connectoryum install -y mysql-connector-java4、将mysql connector拷贝到hive的lib包中cp /usr/share/java/mysql-connector-java-.jar /usr/local/hive/lib5、在mysql上创建hive元数据库,并对hive进行授权createdatabaseifnotexists hive_metadata;grantallprivileges

9、on hive_metadata.* tohive% identified by;localhostspark1flush privileges; /刷新授权use hive_metadata;配置hive-site.xmlmv hive-default.xml.template hive-site.xmlvi hive-site.xmljdbc:mysqlspark1:3306/hive_metadata?createDatabaseIfNotExist=truehive/user/hive/warehouse配置hive-env.sh和hive-config.shmv hive-env.s

10、h.template hive-env.shvi /usr/local/hive/bin/hive-config.sh验证hive是否安装成功直接输入hive命令,可以进入hive命令行ZooKeeper 3.4.5集群搭建安装ZooKeeper包1、将zookeeper-3.4.5.tar.gz使用WinSCP拷贝到spark1的/usr/local目录下。2、对zookeeper-3.4.5.tar.gz进行解压缩：tar -zxvf zookeeper-3.4.5.tar.gz。3、对zookeeper目录进行重命名：mv zookeeper-3.4.5 zk。4、配置zookeeper

11、相关的环境变量vi .bashrc 或者 vi /etc/profileexport ZOOKEEPER_HOME=/usr/local/zkexport PATH=$ZOOKEEPER_HOME/bin配置zoo.cfg 在/usr/local/zk/conf目录下vi zoo.cfg修改：dataDir=/usr/local/zk/data新增：server.0=spark1:2888:3888server.1=spark2:server.2=spark3:设置zk节点标识cd zkmkdirdatacddatavi myid搭建zk集群1、在另外两个节点上按照上述步骤配置ZooKeepe

12、r,使用scp将zk和.bashrc拷贝到spark2和spark3上即可。scp -r zk rootslave1:2、唯一的区别是spark2和spark3的标识号分别设置为1和2。与myid 中的值修改为1 和2启动ZooKeeper集群1、分别在三台机器上执行：zkServer.sh start。2、检查ZooKeeper状态：zkServer.sh status。kafka_2.9.2-0.8.1集群搭建安装Scala1、将scala-2.11.4.tgz使用WinSCP拷贝到spark1的/usr/local目录下。2、对scala-2.11.4.tgz进行解压缩：tar -zxv

13、f scala-2.11.4.tgz。3、对scala目录进行重命名：mv scala-2.11.4 scala4、配置scala相关的环境变量export SCALA_HOME=/usr/local/scalaexport PATH=$SCALA_HOME/bin5、查看scala是否安装成功：scala -version6、按照上述步骤在spark2和spark3机器上都安装好scala。使用scp将scala和.bashrc拷贝到spark2和spark3上即可。安装Kafka包1、将kafka_2.9.2-0.8.1.tgz使用WinSCP拷贝到spark1的/usr/local目录下

14、。2、对kafka_2.9.2-0.8.1.tgz进行解压缩：tar -zxvf kafka_2.9.2-0.8.1.tgz。3、对kafka目录进行改名：mv kafka_2.9.2-0.8.1 kafka4、配置kafkavi /usr/local/kafka/config/server.propertiesbroker.id：依次增长的整数,0、1、2、3、4,集群中Broker的唯一idzookeeper.connect=:2181,:21815、安装slf4j将slf4j-1.7.6.zip上传到/usr/local目录下把slf4j中的slf4j-nop-1.7.6.jar复制到k

15、afka的libs目录下面搭建kafka集群1、按照上述步骤在spark2和spark3分别安装kafka。用scp把kafka拷贝到spark2和spark3行即可。2、唯一区别的,就是server.properties中的broker.id,要设置为1和2启动kafka集群1、在三台机器上分别执行以下命令：nohup bin/kafka-server-start.sh config/server.properties & 必须在kafka的主目录下执行 cd /kafka2、解决kafka Unrecognized VM option UseCompressedOops问题vi bin/k

16、afka-run-class.shif -z $KAFKA_JVM_PERFORMANCE_OPTS ; thenKAFKA_JVM_PERFORMANCE_OPTS=-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=truefi去掉-XX:+UseCompressedOops即可3、使用jps检查启

17、动是否成功测试kafka集群使用基本命令检查kafka是否搭建成功bin/kafka-topics.sh-zookeeper192.168.0.110:2181,192.168.0.111:2181,192.168.0.112:2181-topicTestTopic-replication-factor1-partitions1-create在spark1上执行bin/kafka-console-producer.sh-broker-list192.168.1.107:9092,192.168.1.108:9092,192.168.1.109:9092-topicTestTopic在spark

18、2上执行bin/kafka-console-consumer.sh-zookeeper192.168.1.107:2181,192.168.1.108:2181,192.168.1.109:2181-topicTestTopic-from-beginningSpark 1.3.0集群搭建安装spark包1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。2、解压缩spark包：tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。3、更改spark目录名：mv spark-1.3.0-bin-hadoop2.

19、4 spark4、设置spark环境变量export SPARK_HOME=/usr/local/sparkexport PATH=$SPARK_HOME/binexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib修改spark-env.sh文件1、cd /usr/local/spark/conf2、cp spark-env.sh.template spark-env.sh3、vi spark-env.shexport SPARK_MASTER_IP=export SPARK_WORKER_MEMORY=1gexport

20、 HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop安装spark集群在另外两个节点进行一模一样的配置,使用scp将spark和.bashrc拷贝到spark2和spark3即可。启动spark集群1、在spark目录下的sbin目录2、执行 ./start-all.sh3、使用jsp和8080端口可以检查集群是否启动成功4、进入spark-shell查看是否正常Spark1.3.0升级1.5安装spark包1、停止Spark 1.3.0集群：SPARK_HOME/sbin/stop-all.sh2、将spark-1.5.1-bin-hadoop2.4.t

21、gz使用WinSCP上传到/usr/local目录下。3、解压缩spark包：tar zxvf spark-1.5.1-bin-hadoop2.4.tgz。4、修改spark环境变量export SPARK_HOME=/usr/local/spark-1.5.1-bin-hadoop2.4export SPARK_MASTER_IP=192.168.1.107scp -r spark-1.5.1-bin-hadoop2.4 rootspark1:2、执行./start-all.shhadoop fs -put spark.txt /val lines = sc.textFileval word

22、s = lines.flatMap line.split val pairs = words.map val counts = pairs.reduceByKeycounts.foreach println flume-ng-1.5.0-cdh5.3.6安装安装flume1、将flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。3、对flume目录进行重命名：mv apache-flume-1.5.0-cdh5.3.6-bin flumevi /.bashrcexport FLUME_HOME=/usr/local/flumeexport FLUME_CONF_DIR=$FLUME_HOME/confexport PATH=$FLUME_HOME/binsource /.bashrc修改flume配置文件vi /usr/local/flume/conf/flume-conf.propertiesagent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1配置source1agent1.sources.source1.type=spooldiragent1.sources.source1.sp