1、并 保存到home目录.$ tar -zxf scala-2.9.3.tgz$ sudo mv scala-2.9.3 /usr/lib$ sudo vim /etc/profile# add the following lines at the endexport SCALA_HOME=/usr/lib/scala-2.9.3export PATH=$PATH:$SCALA_HOME/bin# save and exit vim#make the bash profile take effect immediatelysource /etc/profile# test$ scala -ver
2、sion3. 下载预编译好的Spark下载预编译好的Spark,spark-0.7.2-prebuilt-hadoop1.tgz.如果你想从零开始编译,则下载源码包,但是我不建议你这么做,因为有一个Maven仓库,twitter4j.org, 被墙了,导致编译时需要翻墙,非常麻烦。如果你有DIY精神,并能顺利翻墙,则可以试试这种方式。4. 本地模式4.1 解压$ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz4.2 设置SPARK_EXAMPLES_JAR 环境变量$ gedit /etc/profile# add the following lines a
3、t the endexport SPARK_EXAMPLES_JAR=/home/jay/spark-0.7.2/examples/target/scala-2.9.3/spark-examples_2.9.3-0.7.2.jar# save and exit vim#make the bash profile take effect immediately$ source /etc/profile这一步其实最关键,很不幸的是,官方文档和网上的博客,都没有提及这一点。我是偶然看到了这两篇帖子,Running SparkPi,Null pointer exception when running
4、 ./run spark.examples.SparkPi local,才补上了这一步,之前死活都无法运行SparkPi。4.3 (可选)设置 SPARK_HOME环境变量,并将SPARK_HOME/bin加入PATH$ gedit /etc/profile# add the following lines at the endexport SPARK_HOME=/home/jay/spark-0.7.2export PATH=$PATH:$SPARK_HOME/bin# save and exit vim#make the bash profile take effect immediate
5、ly$ source /etc/profile4.4 现在可以运行SparkPi了$ cd /spark-0.7.2$ ./run spark.examples.SparkPi local 5. 集群模式5.1 安装Hadoop用VMware Workstation 创建三台CentOS 虚拟机,hostname分别设置为 master, slave01, slave02,设置SSH无密码登陆,安装hadoop,然后启动hadoop集群。参考我的这篇博客,在CentOS上安装Hadoop.5.2 Scala在三台机器上都要安装 Scala 2.9.3 , 按照第2节的步骤。JDK在安装Hado
6、op时已经安装了。5.3 在master上安装并配置Spark解压设置SPARK_EXAMPLES_JAR 环境变量在 inconf/spark-env.sh中设置SCALA_HOME$ cd /spark-0.7.2/conf$ mv spark-env.sh.template spark-env.sh$ vim spark-env.sh# add the following lineexport SCALA_HOME=/usr/lib/scala-2.9.3# save and exit在conf/slaves, 添加Spark worker的hostname, 一行一个。$ vim sl
7、avesslave01slave02# save and exit(可选)设置 SPARK_HOME环境变量,并将SPARK_HOME/bin加入PATH5.4 在所有worker上安装并配置Spark既然master上的这个文件件已经配置好了,把它拷贝到所有的worker。注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。$ cd$ scp -r spark-0.7.2 devslave01:$ scp -r spark-0.7.2 devslave02:按照第5.3节设置SPARK_EXAMPL
8、ES_JAR环境变量,配置文件不用配置了,因为是直接从master复制过来的,已经配置好了。5.5 启动 Spark 集群在master上执行$ cd /spark-0.7.2$ bin/start-all.sh检测进程是否启动$ jps11055 Jps2313 SecondaryNameNode2409 JobTracker2152 NameNode4822 Master浏览master的web UI(默认http:/localhost:8080). 这是你应该可以看到所有的word节点,以及他们的CPU个数和内存等信息。 #5.6 运行SparkPi例子$ cd /spark-0.7.2
9、$ ./run spark.examples.SparkPi spark:/fang:7077(可选)运行自带的例子,SparkLR 和 SparkKMeans.#Logistic Regression#./run spark.examples.SparkLR spark:7077#kmeans$ ./run spark.examples.SparkKMeans spark:7077 ./kmeans_data.txt 2 15.7 从HDFS读取文件并运行WordCount$ cd /spark-0.7.2$ hadoop fs -put README.md .$ MASTER=spark:
10、7077 ./spark-shellscala val file = sc.textFile(hdfs:/master:9000/user/dev/README.md)scala val count = file.flatMap(line = line.split( ).map(word = (word, 1).reduceByKey(_+_)scala count.collect()5.8 停止 Spark 集群$ cd /spark-0.7.2$ bin/stop-all.sh二、安装工具sbt,来运行Scala程序1、下载sbt通用平台压缩包:sbt-0.13.5.tgzhttp:/ww
11、w.scala-sbt.org/download.html2、建立目录,解压文件到所建立目录$ sudo mkdir /opt/scala/sbt$ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scala/ 3、建立启动sbt的脚本文件/*选定一个位置,建立启动sbt的脚本文本文件,如/opt/scala/sbt/ 目录下面新建文件名为sbt的文本文件*/$ cd /opt/scala/sbt/$ vim sbt/*在sbt文本文件中添加 BT_OPTS=-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled
12、 -XX:MaxPermSize=256Mjava $SBT_OPTS -jar bin/sbt-launch.jar $然后按esc键 输入 :wq 保存退出,注意红色字体中的路径可以是绝对路径也可以是相对路径,只要能够正确的定位到解压的sbt文件包中的sbt-launch.jar文件即可*/修改sbt文件权限/$ chmod u+x sbt 4、配置PATH环境变量,保证在控制台中可以使用sbt命令$ vim /.bashrc/*在文件尾部添加如下代码后,保存退出*/export PATH=/opt/scala/sbt/:$PATH/*使配置文件立刻生效*/$ source /.bashr
13、c5、测试sbt是否安装成功/*第一次执行时,会下载一些文件包,然后才能正常使用,要确保联网了,安装成功后显示如下*/$ sbt sbt-versioninfo Set current project to sbt (in build file:/opt/scala/sbt/)info 0.13.56、sbt命令下运行Scala程序编写好Scala程序,保存为.scala形式,拷贝程序文件到安装目录下,命令行下进入安装目录,运行sbt命令,显示出info信息,之后运行run命令,即可运行写好的Scala程序。三、Scala程序也可在eclipse中编写运行,只需安装一个Scala-IDE插件1
14、、安装完eclipse后,直接安装Scala-IDE即可,2、重启eclipse,运行Scala程序。 Go to “File” - “New” - “Other” and select “Scala Project” from the folder “Scala Wizards”Chose a project name and select “Finish”Select “File” - “New” - “Scala Object” to create a new object,EnterHelloas the name for the object and putgreeteras the
15、 package name aboveSave the file and select “Run” - “Run” from the menu. Chose to run as “Scala Application”四、使用sbt工具将Scala程序打包,在spark集群环境下运行如下Scala程序代码:此段程序主要功能通过两个job并行分析spark自带的README.md文件中包含a和b字母分别有多少行。一、我们还需要建立一个simple.sbt文件,来加入spark库依赖,scala程序执行的时候便可以调用spark库。建立好simple.sbt文件后,由于需要对整个工程进行打包成jar文件才能执行,官网建议使用sbt(simple buildtool)这个工具对整个工程进行打包,而sbt对工程的目录有一定的要求,二、如下图所示建立好工程目录。由于sbt工具并不是linux自带的软件,因此还需要安装,安装好了sbt工具后,运行sbt package命令(电脑需要联网),电脑会分析工程自行下载一些其他需要的文件,然后将文件打包,在我的电脑上在下图所示的目录中会生成simple-project_2.10-1.0.jar的包。三、这个时候进入spark安装目录下,运行spark-submit命令并附带一些参数便可得到结果。我们看到包含a的行数为73行,包含b的行数为35行。
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1