spark提供了三種方式來配置:
Spark properties 控制應用的參數 可以使用SparkConf在程序中寫明或java參數來控制
環境變量 是針對節點的 在conf/spark-env.sh下
Logging log4j.properties
Spark properties
可設置的選項:
spark.app.name app's name
spark.driver.cores
spark.driver.maxResultSize
spark.diver.memory
在client模式執行時應該使用java參數設置不能使用SparkConf
spark.executor.memory
spark.extraListeners
spark.local.dir 默認為/tmp
spark.logConf
spark.master
spark.submit.deployMode
spark.log.callerContext
spark.driver.supervise