spark master web ui 端口8080被占用解決方法
spark master web ui 默認端口為8080,當系統有其它程序也在使用該接口時,啟動master時也不會報錯,spark自己會改用其它端口,自動端口號加1,但為了可以控制到指定的端口,我們可以自行設置,修改方法:
1、cd SPARK_HOME/sbin
2、vi start-master.sh
3、定位到下面部分內容:
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8080
fi
4、修改上面的端口為其它可用端口就行
例子:我在start-master.sh 中指定master web ui 端口為8088,然后運行./start-all.sh腳本啟動程序時,日志中包含如下肉容:
15/07/15 14:16:08 WARN Utils: Service 'MasterUI' could not bind on port 8088. Attempting port 8089
.
15/07/15 14:16:12 INFO Utils: Successfully started service 'MasterUI' on port 8089.
15/07/15 14:16:12 INFO MasterWebUI: Started MasterWebUI at http://192.168.209.141:8089
15/07/15 14:16:15 INFO Master: I have been elected leader! New state: ALIVE
從這日志可以看出,自動改到8089端口,master能正常啟動