webui metrics 外部設施 都可以用來監控spark應用的運行
每一個sparkcontext可以啟動一個webui,默認是在4040端口,如果是有多個sparkcontext運行,會依次延后綁定4041 4042
注意該界面只有在應用運行的時候才有,如果想要持久化的日志記錄,需要在啟動之前配置spark.eventLog.enabled來保持持久化的日志。
可以啟動spark的history server來在應用結束后仍可獲得webui
./sbin/start-history-server.sh
默認查看端口為18080