來源：https://www.iteblog.com/archives/1140.html
作者：過往記憶
時間：20140924
Spark的系統配置參數有三種方法：
- Spark Properties屬性配置
- Environment variables環境變量
- Logging日志配置
一. Spark Properties屬性配置
屬性配置有三種配置方式。
<li> 代碼配置方式
<code>
val conf = new SparkConf()
.setMaster("local[2]")
.setAppName("CountingSheep")
.set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)
</code>
<li>命令行參數方式
在spark-submit和spark-shell命令的參數中指定。
<code>
./bin/spark-submit --name "My app" --master local[4] --conf spark.shuffle.spill=false
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar
</code>
spark-shell只支持–master這種形式的參數。spark-submit除了支持這種形式的參數外，還支持–conf標識。
<li>配置文件spark-defaults.conf方式
spark-submit還會讀取spark-submit中的配置項
<code>
spark.master spark://5.6.7.8:7077
spark.executor.memory 512m
spark.eventLog.enabled true
spark.serializer org.apache.spark.serializer.KryoSerializer
</code>
如果幾種形式的參數有沖突，以第一種方式的優先級最高，第二種方式的優先級次之，第三種方式的優先級最低。
