Spark-HistoryServer在運(yùn)行過程中會(huì)打印自身進(jìn)程的日志，這里是指打印在${SPARK_HOME}/logs目錄下，名稱為spark-spark-org.apache.spark.deploy.history.HistoryServer-1-node.hostname.out的日志，非eventLog。這個(gè)日志在Spark層面沒有做相應(yīng)的控制，也沒有相應(yīng)的參數(shù)做調(diào)優(yōu)。這種情況下該日志文件會(huì)無限增長(zhǎng)，最終將磁盤打滿。前面我分享過一篇關(guān)于Driver/Executor日志控制的文章（在這里），這篇算是姊妹篇吧。
明確問題后，解決的思路就是更改其日志輸出策略，修改${SPARK_HOME}/conf下面的log4j.properties策略。我這邊這個(gè)文件只做HistoryServer的日志控制，所以可以做一下簡(jiǎn)單的修改：
log4j.rootLogger=info,historyserver log4j.appender.historyserver=org.apache.log4j.RollingFileAppender log4j.appender.historyserver.layout=org.apache.log4j.PatternLayout log4j.appender.historyserver.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n log4j.appender.historyserver.Threshold=INFO log4j.appender.historyserver.ImmediateFlush=TRUE log4j.appender.historyserver.Append=TRUE log4j.appender.historyserver.File=${SPARK_HOME}/logs/historyserver.log log4j.appender.historyserver.MaxFileSize=1GB log4j.appender.historyserver.MaxBackupIndex=2 log4j.appender.historyserver.Encoding=UTF-8
這樣日志就能滾動(dòng)輸出循環(huán)刪除了，最多保留2個(gè)，每個(gè)1G大小
如果上面的log4j.properties還有其他策略需要配置，那就需要吧HistoryServer中相應(yīng)的進(jìn)程類做日志路由了，即指定類名的日志輸出，比如：
log4j.logger.org.apache.spark.deploy.history.HistoryServer=info,historyserver
