spark開(kāi)發(fā)環(huán)境配置及流程(intellijidea)

《spark開(kāi)發(fā)環(huán)境配置及流程(intellijidea)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。

1、Spark開(kāi)發(fā)環(huán)境配置及流程之前已經(jīng)將集群配置完成（詳見(jiàn)Hadoop2.6.0搭建過(guò)程.doc和Spark1.2搭建過(guò)程.doc文檔），開(kāi)發(fā)環(huán)境中的JDK，Scala部分就不介紹了，下面直接介紹我們用的開(kāi)發(fā)工具InterlijIDEA。為什么選擇IntellijIDEA？因?yàn)樗玫闹С諷cala項(xiàng)目，目前Spark開(kāi)發(fā)團(tuán)隊(duì)使用它作為開(kāi)發(fā)環(huán)境。1.下載直接到官方網(wǎng)站下載頁(yè)面下載（http://www.jetbrains.com/idea/download/）。有收費(fèi)的完整版，也有免費(fèi)的基本版本，收費(fèi)的網(wǎng)上也有破解方案。2.解壓解壓到/usr

2、/local，這是因?yàn)橹暗腟cala和Spark都放這里，也可以根據(jù)自己喜好。[hadoop@lenovo0Downloads]$sudotar-vxzfideaIC-14.1.tar.gz-C/usr/local/改個(gè)名字，然后授權(quán)給hadoop用戶。[hadoop@lenovo0local]$cd/usr/local/[hadoop@lenovo0local]$sudomvideaIC-14.1ideaIC14[hadoop@lenovo0local]$sudochown-Rhadoop:hadoopideaIC14/3.啟動(dòng)在解壓的

3、文件夾下有個(gè)文件介紹怎么打開(kāi)應(yīng)用，還有一些設(shè)置信息，大家可以看一看：通過(guò)cat命令可以查看，我只截了一些關(guān)鍵的：根據(jù)提示，我們直接進(jìn)入到文件夾bin目錄下執(zhí)行./idea.sh即可啟動(dòng)：之后便可以根據(jù)UI提示界面創(chuàng)建快捷方式，方便下次啟動(dòng)。1.在IDEA中安裝Scala插件在IDEA的設(shè)置里面，直接搜索“plugins”，在右邊的展開(kāi)中搜索“scala”，點(diǎn)擊相應(yīng)的按鈕添加插件即可：2.配置Spark應(yīng)用開(kāi)發(fā)環(huán)境這里以SparkPi程序?yàn)槔印?.1創(chuàng)建ScalaProject，設(shè)置名稱，JDK和Scala路徑：5.2選擇菜單中的“File

4、”→“projectstructure”→“Libraries”，然后點(diǎn)擊“+”導(dǎo)入spark-assembly-1.2.0-hadoop2.4.0.jar。這個(gè)jar包包含Spark的所有依賴包和Spark源碼。一開(kāi)始我們下載的Spark版本是預(yù)編譯版本的（見(jiàn)《Sparkonyarn搭建過(guò)程》），所以這個(gè)包可以在解壓的Spark目錄下lib目錄里找到，假如說(shuō)下載的沒(méi)有編譯的，需要通過(guò)sbt/sbtassembly命令打包。同樣的，假如IDEA不能識(shí)別Scala庫(kù)，也是用這種方法，路徑是Scala的安裝路徑。5.3現(xiàn)在可以開(kāi)發(fā)Scala程序

5、。右鍵新建一個(gè)scala類(lèi)，就可以寫(xiě)程序了。我們直接復(fù)制SparkPi的代碼，這個(gè)代碼在Spark文件example目錄下可以找到源碼：源碼實(shí)際上是行不通的，要加上我紅框標(biāo)出來(lái)的兩句話。第一句設(shè)置master的ip和端口，第二句調(diào)用addJar方法將我們壓縮好的jar包提交到Spark集群（壓縮方法在后面介紹）。1.運(yùn)行Spark程序像上面我們編寫(xiě)完代碼，有兩種方法運(yùn)行我們的程序，一個(gè)是IDEA中的run方法，另一個(gè)是將我們的程序打包成jar包，在Spark集群上用命令行執(zhí)行。在集群上運(yùn)行Spark應(yīng)用Jar包：選擇“File”→“Proj

6、ectStructure”→“Artifact”，單機(jī)“+”，選擇“JAR”→“FromModuleswithdependencies”，然后選擇main函數(shù)和Jar包的輸出路徑：在主菜單中選擇“Build”→“BuildArtifact”編譯生成Jar包。最后到j(luò)ar包的目錄下執(zhí)行java-jarSparkTest.jar即可。Run方法：在IDEA菜單中選擇“Run”→“EditConfigurations”出現(xiàn)如下界面：點(diǎn)左上角的“+”，選擇“Application”，在右邊的拓展中改一下name，選擇Main函數(shù)：然后點(diǎn)擊右上角的綠

7、色運(yùn)行箭頭即可：以上介紹了整個(gè)Spark應(yīng)用開(kāi)發(fā)流程以及如何編譯調(diào)試程序。