local:本地运行spark任务,只有一个线程;
local[K]: 本地运行spark任务,以K个线程运行;
local[*]: 本地运行spark任务,按本机cpu核心数来设置spark线程数;

  • spark-shell进入模式

    spark-shell --master local[*] ...
  • spark代码

    object SparkTest {
    
      def main(args: Array[String]): Unit = {
          val conf:SparkConf = new SparkConf()
                  .setMaster("local[*]")
                  .setAppName("SparkTest")
          
          val sc:SparkContext = new SparkContext(conf)
          
      }
    }
最后修改:2022 年 09 月 03 日
如果觉得我的文章对你有用,请随意赞赏