Spark local模式

local:本地运行spark任务,只有一个线程;
local[K]: 本地运行spark任务,以K个线程运行;
local[*]: 本地运行spark任务,按本机cpu核心数来设置spark线程数;

  • spark-shell进入模式
spark-shell --master local[*] ...
  • spark代码
object SparkTest {

    def main(args: Array[String]): Unit = {
        val conf:SparkConf = new SparkConf()
                .setMaster("local[*]")
                .setAppName("SparkTest")
        
        val sc:SparkContext = new SparkContext(conf)
        
    }
}
如果觉得我的文章对你有用,请随意赞赏