Node Cluster

Nodejs的設(shè)計架構(gòu)和nginx類似，是多進程單線程模型。由于Node單線程的限制，在多核服務(wù)器上，需啟動多個進程才能最大化地利用服務(wù)器的性能。Node V0.8以后引入了cluster模塊，它通過一個主進程（Master）管理多個子進程（Worker）的方式實現(xiàn)集群功能。 下面是一個簡單的例子：

// master
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;
 
if (cluster.isMaster) {
    console.log(numCPUs);
    for (var i = 0; i < numCPUs; i++) {
        var worker = cluster.fork();
    }
} else {
    require("./app.js");
}

// worker
var http = require('http');
http.createServer(function(req, res) {
    res.writeHead(200);
    res.end("hello world\n");
}).listen(8000);

通信

主進程和子進程之間通過IPC（Inter-Process Communication，進程間通信）實現(xiàn)進程間的通信。進程間通過send方法發(fā)送信息，通過監(jiān)聽message事件收取信息，這和cluster模塊繼承的EventEmitter對象是一致的：

// master
// 監(jiān)聽子進程的事件
worker.on('message', function(message) {
    console.log(message.from + ': ' + message.type + ' ' + message.data.number + ' = ' + message.data.result);
});
// 往子進程中發(fā)送消息
for(var wid in cluster.workers) {
    cluster.workers[wid].send({
        type: 'masterToWorker',
        from: 'master',
        data: {
            number: Math.floor(Math.random() * 50)
        }
    });
}

// worker
// 子進程監(jiān)聽事件 并發(fā)送回主進程
process.on('message', function(message) {
    if(message.type === 'masterToWorker') {
        process.send({
            type:'workerTomaster',
            from: 'Worker ' + process.pid,
            data: {}
        });
    }
});

負(fù)載均衡

通過例子可知，子進程是通過cluster.fork()方法實現(xiàn)的。linux的fork是系統(tǒng)提供的產(chǎn)生進程的方法，那么為什么需要借助cluster去實現(xiàn)集群，而不直接fork呢？這里的問題概括為兩個：

1. fork的進程監(jiān)聽統(tǒng)一端口，會報端口暫用的錯誤
2. fork的進程之間由于沒有負(fù)載均衡，容易把請求集中到一個或者幾個進程上，從而造成驚群問題

對于問題1，cluster模塊對net模塊進行hack處理，如果是Master進程，那么監(jiān)聽端口；若是Worker進程，那么不會監(jiān)聽。
對于問題2，cluster自帶了負(fù)載均衡功能。Master進程負(fù)責(zé)接收請求，然后根據(jù)調(diào)度算法轉(zhuǎn)發(fā)給某一個子進程。默認(rèn)的調(diào)度算法是round-robin，也就是把請求依次分給每個子進程，每個子進程處理的請求數(shù)是相同的。 可以通過環(huán)境變量修改調(diào)度算法：

env NODE_CLUSTER_SCHED_POLICY="none" node app.js

在 通過源碼解析 Node.js 中 cluster 模塊的主要功能實現(xiàn) 這邊文章中有對這問題1的詳細(xì)分析。

pm2

pm2基于cluster進行了封裝，它能自動監(jiān)控進程狀態(tài)、重啟進程、停止不穩(wěn)定的進程（避免無限循環(huán)）等。利用pm2時，可以在不修改代碼（如果自己實現(xiàn)，需要參考上面的例子進行修改）的情況下實現(xiàn)負(fù)載均衡集群。 具體的用法可以參見官網(wǎng) 或者 PM2 介紹。

pm2源碼

pm2的源碼地址是 https://github.com/Unitech/pm2 。bin文件夾下的pm2文件，負(fù)責(zé)處理命令行輸入；lib文件夾下的 Satan.js 和 God.js 存放主要邏輯，前者要調(diào)用后者的方法。

源碼結(jié)構(gòu)

先來一張pm2的架構(gòu)圖：

框架圖.png

pm2包括 Satan進程、God Deamon守護進程、進程間的遠(yuǎn)程調(diào)用rpc、cluster等幾個概念：

1. 如果不知道點西方文化，還真搞不清他的文件名為啥是 Satan 和 God：

撒旦（Satan），主要指《圣經(jīng)》中的墮天使（也稱墮天使撒旦），被看作與上帝的力量相對的邪惡、黑暗之源，是God的對立面。

Satan.js提供了程序的退出、殺死等方法，因此它是魔鬼；God.js 負(fù)責(zé)維護進程的正常運行，當(dāng)有異常退出時能保證重啟，所以它是上帝。作者這么命名，我只能說一句：oh my god。
God進程啟動后一直運行，它相當(dāng)于cluster中的Master進程，守護者worker進程的正常運行。

2. rpc（Remote Procedure Call Protocol）是指遠(yuǎn)程過程調(diào)用，也就是說兩臺服務(wù)器A，B，一個應(yīng)用部署在A服務(wù)器上，想要調(diào)用B服務(wù)器上應(yīng)用提供的函數(shù)/方法，由于不在一個內(nèi)存空間，不能直接調(diào)用，需要通過網(wǎng)絡(luò)來表達調(diào)用的語義和傳達調(diào)用的數(shù)據(jù)。同一機器不同進程間的方法調(diào)用也屬于rpc的作用范疇。
   代碼中采用了axon-rpc 和 axon 兩個庫，基本原理是提供服務(wù)的server綁定到一個域名和端口下，調(diào)用服務(wù)的client連接端口實現(xiàn)rpc連接。 后續(xù)新版本采用了pm2-axon-rpc 和 pm2-axon兩個庫，綁定的方法也由端口變成.sock文件，因為采用port可能會和現(xiàn)有進程的端口產(chǎn)生沖突。

執(zhí)行流程

程序的執(zhí)行流程圖如下：

執(zhí)行流程.png

每次命令行的輸入都會執(zhí)行一次satan程序。如果God進程不在運行，首先需要啟動God進程。然后根據(jù)指令，satan通過rpc調(diào)用God中對應(yīng)的方法執(zhí)行相應(yīng)的邏輯。
以 pm2 start app.js -i 4為例，God在初次執(zhí)行時會配置cluster，同時監(jiān)聽cluster中的事件：

// 配置cluster
cluster.setupMaster({
  exec : path.resolve(path.dirname(module.filename), 'ProcessContainer.js')
});

// 監(jiān)聽cluster事件
(function initEngine() {
  cluster.on('online', function(clu) {
    // worker進程在執(zhí)行
    God.clusters_db[clu.pm_id].status = 'online';
  });

  // 命令行中 kill pid 會觸發(fā)exit事件，process.kill不會觸發(fā)exit
  cluster.on('exit', function(clu, code, signal) {
    // 重啟進程 如果重啟次數(shù)過于頻繁直接標(biāo)注為stopped
    God.clusters_db[clu.pm_id].status = 'starting';

    // 邏輯
    ...
  });
})();

在God啟動后， 會建立Satan和God的rpc鏈接，然后調(diào)用prepare方法。prepare方法會調(diào)用cluster.fork，完成集群的啟動：

God.prepare = function(opts, cb) {
  ...
  return execute(opts, cb);
};
function execute(env, cb) {
  ...
  var clu = cluster.fork(env);
  ...
  God.clusters_db[id] = clu;

  clu.once('online', function() {
    God.clusters_db[id].status = 'online';
    if (cb) return cb(null, clu);
    return true;
  });

  return clu;
}

執(zhí)行結(jié)果

在linux中，通過 ps aux | grep node 可以看到運行中的node進程：

node進程.png

God Deamon進程.png

小技巧

分享幾個在閱讀pm2源碼時，可能用到的小技巧：

1. 如何調(diào)試源碼
   在源碼 package.json 文件中可以看到 bin 這個屬性，通過npm安裝后，就可以執(zhí)行pm2這個指令。
   pm2的執(zhí)行環(huán)境是node，如果想本地運行pm2源碼，可以采用如下方式啟動：

node  /pm2文件路徑/bin/pm2  要啟動的服務(wù)(app.js)  

根據(jù)上面的配置，實現(xiàn)pm2的啟動。別忘了Webstorm這個前端利器。

2. 多進程調(diào)試
   由于cluster是多進程模式，如果對子進程進行調(diào)試，需要在啟動子進程時添加調(diào)試參數(shù)。在源碼中fork()的地方添加如下參數(shù)，同時要注意端口沖突：

  fork('worker.js', [], {
      env: {},
      silent : false,
      execArgv: ['--debug-brk=13789']   // 子進程調(diào)試端口設(shè)置
  })

3. 如何讀源碼
   pm2工程從13年開始已經(jīng)有了很多個版本的演進。如果拿最新版本的源碼去讀，由于它包含了很多輔助功能，往往會被搞的頭暈眼花。
   我選擇從第一個穩(wěn)定版本(tag 為0.4.10)入手分析其基本執(zhí)行原理，這個版本的功能比較簡單，也是程序結(jié)構(gòu)最清晰的時候。
   可以通過 git tag 和 git checkout *** 切換到特定版本，然后debug 運行調(diào)試分析。

總結(jié)

pm2也是采用cluster.fork實現(xiàn)的集群，這也就是所謂的萬變不離其宗。由于God Deamon這個Master進程一直執(zhí)行，可以保證對每一個子進程監(jiān)聽事件，從而進行相應(yīng)的操作。

參考文章

解讀Node.js的cluster模塊
關(guān)于pm2的fork啟動模式和cluster模式的區(qū)別
Node.js clustering made easy with PM2
TODO：淺談pm2基本工作原理
通過源碼解析 Node.js 中 cluster 模塊的主要功能實現(xiàn)