@[TOC](解決spark streaming長時間運行日志不斷增長問題)
組件：
基于CDH5.13、spark2.2.X
背景：
由于spark streaming是7*24小時不間斷運行的，日志必然會越來越多到最后大的驚人，在此小二記錄一下解決日志越來越大的過程，以便需要之人。
一、spark streaming log 日志
首先官網的
spark.executor.logs.rolling.enabled
spark.executor.logs.rolling.maxRetainedFiles
spark.executor.logs.rolling.enableCompression
spark.executor.logs.rolling.maxSize
spark.executor.logs.rolling.strategy
spark.executor.logs.rolling.time.interval
spark.executor.logs.rolling.strategy
在yarn-client，yarn-cluster中都是不起作用的。于是問了一個谷大爺之后，決定開始采用設置log4j.properties的方法
client模式下：
--driver-java-options "-Dlog4j.configuration=file:driver-log4j.properties" --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=file:executor-log4j.properties --files ./driver-log4j.properties,./executor-log4j.properties
需要注意的是client模式下是--driver-java-options，因為SparkContext的config起作用的時候，driver已經啟動的了
cluster模式
--conf spark.eventLog.enabled=false --conf spark.driver.extraJavaOptions=-Dlog4j.configuration=file:driver-log4j.properties --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=file:executor-log4j.properties --files ./driver-log4j.properties,./executor-log4j.properties
driver-log4j.properties
log4j.rootLogger =info,stdout
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm} %5p %t %c{2}:%L - %m%n
driver端只進行標準輸出
executor-log4j.properties
log4j.rootLogger =info,stdout,rolling
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm} %5p %t %c{2}:%L - %m%n
log4j.appender.rolling=org.apache.log4j.RollingFileAppender
log4j.appender.rolling.layout=org.apache.log4j.PatternLayout
log4j.appender.rolling.layout.conversionPattern=%-d{yyyy-MM-dd HH:mm:ss} %5p %t %c{2}:%L - %m%n
log4j.appender.rolling.maxFileSize=100MB
log4j.appender.rolling.maxBackupIndex=5
log4j.appender.rolling.file=${spark.yarn.app.container.log.dir}/stdout
log4j.appender.rolling.encoding=UTF-8
executor既要進行標準輸出又要輸出到文件，標準輸出其實最主要的就是方便client時調試，cluster模式標準輸出完全可以去掉，如果不需要在打印臺或者類似打印臺的地方查看日志。
需要注意的log4j.appender.rolling.file的文件為stdout，方便對標準輸出的日志和輸出到文件的日志進行統一管理，避免標準輸出的日志文件越來越大
當然了對log4j日志的所有操作在此都是有效的
二、spark streaming event log
針對spark streaming的event log，CDH默認是打開的，配置方式基于CM，而apache 版本的默認是關閉的，目前也不知道event log的確切用處，在此就將它關閉
--conf spark.eventLog.enabled=false
下面給出一個完整版的，以client為例
SPARK_KAFKA_VERSION=0.10 nohup spark2-submit --master yarn --deploy-mode client --name spark-commom-orders --driver-class-path=kafka010/kafka-clients-0.10.2.1.jar --conf spark.eventLog.enabled=false --conf spark.driver.extraJavaOptions=-Dlog4j.configuration=file:driver-log4j.properties --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=file:executor-log4j.properties --files ./driver-log4j.properties,./executor-log4j.properties --jars $(echo sparklib0.10/*.jar | tr ' ' ',') --XXX ./spark-common-1.0-SNAPSHOT.jar > /dev/null 2>&1 &
其中SPARK_KAFKA_VERSION=0.10是基于spark-streaming-kafka-0-10_2.11可依情況采用
關于重復提交jar包問題，請看一下文章
