Spark实验报告Word文件下载.docx
《Spark实验报告Word文件下载.docx》由会员分享，可在线阅读，更多相关《Spark实验报告Word文件下载.docx（9页珍藏版）》请在冰豆网上搜索。
3、编辑~/.bash_profile文件增加SCALA_HOME环境变量配置，
exportJAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
exportCLASSPATH=.:
$JAVA_HOME/jre/lib:
$JAVA_HOME/lib:
$JAVA_HOME/lib/tools.jar
exportSCALA_HOME=/home/spark/opt/scala-2.11.4
exportHADOOP_HOME=/home/spark/opt/hadoop-2.6.0
PATH=$PATH:
$HOME/bin:
$JAVA_HOME/bin:
${SCALA_HOME}/bin
立即生效source~/.bash_profile
4、验证scala：
scala-version
5、copy到slave机器scp~/.bash_profilespark@10.126.45.56:
~/.bash_profile
6、下载spark，wget
7、在master主机配置spark：
将下载的spark-1.2.0-bin-hadoop2.4.tgz解压到~/opt/即~/opt/spark-1.2.0-bin-hadoop2.4，配置环境变量SPARK_HOME
#set
javaenv
exportSPARK_HOME=/home/spark/opt/spark-1.2.0-bin-hadoop2.4
${SCALA_HOME}/bin:
${SPARK_HOME}/bin:
${HADOOP_HOME}/bin
配置完成后使用source命令使配置生效
进入sparkconf目录：
[spark@S1PA11opt]$cdspark-1.2.0-bin-hadoop2.4/
[spark@S1PA11spark-1.2.0-bin-hadoop2.4]$ls
bin
conf
data
ec2
examples
lib
LICENSE
logs
NOTICE
python
README.md
RELEASE
sbin
work
[spark@S1PA11spark-1.2.0-bin-hadoop2.4]$cdconf/
[spark@S1PA11conf]$ls
fairscheduler.xml.template
metrics.properties.template
slaves.template
spark-env.sh
log4j.properties.template
slaves
spark-defaults.conf.template
spark-env.sh.template
first：
修改slaves文件，增加两个slave节点S1PA11、S1PA222
[spark@S1PA11conf]$vislaves
S1PA11
S1PA222
second：
配置spark-env.sh
首先把spark-env.sh.templatecopy
spark-env.sh
vi
spark-env.sh文件在最下面增加：
exportSPARK_MASTER_IP=10.58.44.47
exportSPARK_WORKER_MEMORY=2g
exportHADOOP_CONF_DIR=/home/spark/opt/hadoop-2.6.0/etc/hadoop
HADOOP_CONF_DIR是Hadoop配置文件目录，SPARK_MASTER_IP主机IP地址，SPARK_WORKER_MEMORY是worker使用的最大内存
完成配置后，将spark目录copyslave机器scp-r~/opt/spark-1.2.0-bin-hadoop2.4
spark@10.126.45.56:
~/opt/
8、启动spark分布式集群并查看信息
[spark@S1PA11sbin]$./start-all.sh
查看：
[spark@S1PA11sbin]$jps
31233ResourceManager
27201Jps
30498NameNode
30733SecondaryNameNode
5648Worker
5399Master
15888JobHistoryServer
如果HDFS没有启动，启动起来.
查看slave节点：
[spark@S1PA222scala]$jps
20352Bootstrap
30737NodeManager
7219Jps
30482DataNode
29500Bootstrap
757Worker
9、页面查看集群状况：
进去spark集群的web管理页面，访问
因为我们看到两个worker节点，因为master和slave都是worker节点
我们进入spark的bin目录，启动spark-shell控制台
访问http:
//master:
4040/，我们可以看到sparkWEBUI页面
spark集群环境搭建成功了
10、运行spark-shell测试
之前我们在/tmp目录上传了一个README.txt文件，我们现在就用spark读取hdfs中README.txt文件
取得hdfs文件：
count下READM.txt文件中文字总数，
我们过滤README.txt
包括The单词有多个
我们算出来一共有4个The单词
我们通过wc也算出来有4个The单词
我们再实现下Hadoopwordcount功能：
首先对读取的readmeFile执行以下命令：
其次使用collect命令提交并执行job:
我们看下WEBUI界面执行效果：
二、统计单词个数例子,使用sparkapi
WordCount:
步骤1：
valsc=newSparkContext（args（0）,“WordCount”,System.getenv（“SPARK_HOME”）,Seq（System.getenv（“SPARK_TEST_JAR”）））
valtextFile=sc.textFile（args
（1））
valinputFormatClass=classOf[SequenceFileInputFormat[Text,Text]]
varhadoopRdd=sc.hadoopRDD（conf,inputFormatClass,classOf[Text],classOf[Text]）
步骤3：
valresult=hadoopRdd.flatMap{
case（key,value）=>
value.toString（）.split（“\\s+”）;
}.map（word=>
（word,1））.reduceByKey（_+_）
将产生的RDD数据集保存到HDFS上。
可以使用SparkContext中的saveAsTextFile哈数将数据集保存到HDFS目录下，默认采用Hadoop提供的TextOutputFormat，每条记录以“（key,value）”的形式打印输出，你也可以采用saveAsSequenceFile函数将数据保存为SequenceFile格式等，result.saveAsSequenceFile（args
（2））当然，一般我们写Spark程序时，需要包含以下两个头文件：
importorg.apache.spark._importSparkContext.需要注意的是，指定输入输出文件时，需要指定hdfs的URI，比如输入目录是hdfs:
//hadoop-test/tmp/input，输出目录是hdfs:
//hadoop-test/tmp/output，其中，“hdfs:
//hadoop-test”是由Hadoop配置文件core-site.xml中参数fs.default.name指定的，具体替换成你的配置即可。
升级会员 