組件 |Daemon |端口 |配置 |說明
--|
HDFS |DataNode |50010 |dfs.datanode.address |datanode服務端口，用于數據傳輸
| |50075 |dfs.datanode.http.address |http服務的端口
| |50475 |dfs.datanode.https.address |https服務的端口
| |50020 |dfs.datanode.ipc.address |ipc服務的端口
|NameNode |50070 |dfs.namenode.http-address |http服務的端口
| |50470 |dfs.namenode.https-address |https服務的端口
| |8020 |fs.defaultFS |接收Client連接的RPC端口，用于獲取文件系統metadata信息。
|journalnode |8485 |dfs.journalnode.rpc-address |RPC服務
| |8480 |dfs.journalnode.http-address |HTTP服務
|ZKFC |8019 |dfs.ha.zkfc.port |ZooKeeper FailoverController，用于NN HA
YARN |ResourceManager |8032 |yarn.resourcemanager.address |RM的applications manager(ASM)端口
| |8030 |yarn.resourcemanager.scheduler.address |scheduler組件的IPC端口
| |8031 |yarn.resourcemanager.resource-tracker.address |IPC
| |8033 |yarn.resourcemanager.admin.address |IPC
| |8088 |yarn.resourcemanager.webapp.address |http服務端口
|NodeManager |8040 |yarn.nodemanager.localizer.address |localizer IPC
| |8042 |yarn.nodemanager.webapp.address |http服務端口
| |8041 |yarn.nodemanager.address |NM中container manager的端口
|JobHistory Server |10020 |mapreduce.jobhistory.address |IPC
| |19888 |mapreduce.jobhistory.webapp.address |http服務端口
HBase |Master |60000 |hbase.master.port |IPC
| |60010 |hbase.master.info.port |http服務端口
|RegionServer |60020 |hbase.regionserver.port |IPC
| |60030 |hbase.regionserver.info.port |http服務端口
|HQuorumPeer |2181 |hbase.zookeeper.property.clientPort |HBase-managed ZK mode，使用獨立的ZooKeeper集群則不會啟用該端口。
| |2888 |hbase.zookeeper.peerport |HBase-managed ZK mode，使用獨立的ZooKeeper集群則不會啟用該端口。
| |3888 |hbase.zookeeper.leaderport |HBase-managed ZK mode，使用獨立的ZooKeeper集群則不會啟用該端口。
Hive |Metastore |9083 |/etc/default/hive-metastore中export PORT=<port>來更新默認端口 |
|HiveServer |10000 |/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認端口 |
ZooKeeper |Server |2181 |/etc/zookeeper/conf/zoo.cfg中clientPort=<port> |對客戶端提供服務的端口
| |2888 |/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標藍部分 |follower用來連接到leader，只在leader上監聽該端口。
| |3888 |/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標藍部分 |用于leader選舉的。只在electionAlg是1,2或3(默認)時需要。
所有端口協議均基于TCP。
對于存在Web UI（HTTP服務）的所有hadoop daemon，有如下url：
/logs
日志文件列表，用于下載和查看/logLevel
允許你設定log4j的日志記錄級別，類似于hadoop daemonlog/stacks
所有線程的stack trace，對于debug很有幫助-
/jmx
服務端的Metrics，以JSON格式輸出。/jmx?qry=Hadoop:*會返回所有hadoop相關指標。
/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值，例如/jmx? get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。
這個請求的處理類：org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路徑特定相應信息。
NameNode:http://:50070/
/dfshealth.jsp
HDFS信息頁面，其中有鏈接可以查看文件系統/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
顯示DEAD或LIVE狀態的datanode/fsck
運行fsck命令，不推薦在集群繁忙時使用！
DataNode:http://:50075/
- /blockScannerReport
每個datanode都會指定間隔驗證塊信息
