環(huán)境：
scala：2.12.10
spark：3.0.3
1、創(chuàng)建scala maven項(xiàng)目，如下圖所示：
2、
不同版本scala編譯參數(shù)可能略有不同，筆者使用的scala版本是2.12.10，scala-archetype-simple插件生成的pom文件
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
<plugin> <groupid>org.scala-tools</groupid> <artifactid>maven-scala-plugin</artifactid> <version>2.15.0</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testcompile</goal> </goals> <configuration> <args> <arg>-make:transitive</arg> <arg>-dependencyfile</arg> <arg>${project.build.directory}/.scala_dependencies</arg> </args> </configuration> </execution> </executions></plugin> |
要去除-make:transitive這個(gè)參數(shù)，否則會(huì)報(bào)錯(cuò)。
3、創(chuàng)建sparkpi object類
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
object sparkpi { def main(args: array[string]): unit = { val spark = sparksession .builder .appname("spark pi") .master("spark://172.21.212.114:7077") .config("spark.jars","e:\\work\\polaris\\polaris-spark\\spark-scala\\target\\spark-scala-1.0.0.jar") .config("spark.executor.memory","2g") .config("spark.cores.max","2") .config("spark.driver.host", "172.21.58.28") .config("spark.driver.port", "9089") .getorcreate() //spark = new sparkcontext(conf). val slices = if (args.length > 0) args(0).toint else 2 val n = math.min(100000l * slices, int.maxvalue).toint // avoid overflow val count = spark.sparkcontext.parallelize(1 until n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y <= 1) 1 else 0 }.reduce(_ + _) println(s"pi is roughly ${4.0 * count / (n - 1)}") spark.stop() }} |
4、執(zhí)行打包命令：
5、點(diǎn)擊idea run執(zhí)行即可：
6、結(jié)果如下所示：
ps：
1、創(chuàng)建sparksession時(shí)需要指定idea所在機(jī)器ip地址，因?yàn)槟J(rèn)會(huì)把spark driver所在機(jī)器域名發(fā)送過(guò)去，導(dǎo)致無(wú)法解析（在spark 服務(wù)器上配置idea所在機(jī)器域名也可以，但是這樣太不靈活）
2、spark-3.0.3默認(rèn)使用的scala版本是2.12.10，所以要注意idea使用scala版本，否則會(huì)出現(xiàn)serailizableid不一致的兼容問(wèn)題
到此這篇關(guān)于idea創(chuàng)建spark maven項(xiàng)目并連接遠(yuǎn)程spark集群的文章就介紹到這了,更多相關(guān)idea spark集群內(nèi)容請(qǐng)搜索服務(wù)器之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！
原文鏈接：https://blog.csdn.net/john1337/article/details/119995531
