一、I/O復(fù)用模型解讀
Tomcat的NIO是基于I/O復(fù)用來(lái)實(shí)現(xiàn)的。對(duì)這點(diǎn)一定要清楚，不然我們的討論就不在一個(gè)邏輯線上。下面這張圖學(xué)習(xí)過(guò)I/O模型知識(shí)的一般都見(jiàn)過(guò)，出自《UNIX網(wǎng)絡(luò)編程》，I/O模型一共有阻塞式I/O，非阻塞式I/O，I/O復(fù)用(select/poll/epoll)，信號(hào)驅(qū)動(dòng)式I/O和異步I/O。這篇文章講的是I/O復(fù)用。
這里先來(lái)說(shuō)下用戶態(tài)和內(nèi)核態(tài)，直白來(lái)講，如果線程執(zhí)行的是用戶代碼，當(dāng)前線程處在用戶態(tài)，如果線程執(zhí)行的是內(nèi)核里面的代碼，當(dāng)前線程處在內(nèi)核態(tài)。更深層來(lái)講，操作系統(tǒng)為代碼所處的特權(quán)級(jí)別分了4個(gè)級(jí)別。不過(guò)現(xiàn)代操作系統(tǒng)只用到了0和3兩個(gè)級(jí)別。0和3的切換就是用戶態(tài)和內(nèi)核態(tài)的切換。更詳細(xì)的可參照《深入理解計(jì)算機(jī)操作系統(tǒng)》。I/O復(fù)用模型，是同步非阻塞，這里的非阻塞是指I/O讀寫(xiě)，對(duì)應(yīng)的是recvfrom操作，因?yàn)閿?shù)據(jù)報(bào)文已經(jīng)準(zhǔn)備好，無(wú)需阻塞。說(shuō)它是同步，是因?yàn)?，這個(gè)執(zhí)行是在一個(gè)線程里面執(zhí)行的。有時(shí)候，還會(huì)說(shuō)它又是阻塞的，實(shí)際上是指阻塞在select上面，必須等到讀就緒、寫(xiě)就緒等網(wǎng)絡(luò)事件。有時(shí)候我們又說(shuō)I/O復(fù)用是多路復(fù)用，這里的多路是指N個(gè)連接，每一個(gè)連接對(duì)應(yīng)一個(gè)channel，或者說(shuō)多路就是多個(gè)channel。復(fù)用，是指多個(gè)連接復(fù)用了一個(gè)線程或者少量線程(在Tomcat中是Math.min(2,Runtime.getRuntime().availableProcessors()))。
上面提到的網(wǎng)絡(luò)事件有連接就緒，接收就緒，讀就緒，寫(xiě)就緒四個(gè)網(wǎng)絡(luò)事件。I/O復(fù)用主要是通過(guò)Selector復(fù)用器來(lái)實(shí)現(xiàn)的，可以結(jié)合下面這個(gè)圖理解上面的敘述。
二、TOMCAT對(duì)IO模型的支持
tomcat從6以后開(kāi)始支持NIO模型，實(shí)現(xiàn)是基于JDK的java.nio包。這里可以看到對(duì)read body 和response body是Blocking的。關(guān)于這點(diǎn)在第6.3節(jié)源代碼閱讀有重點(diǎn)介紹。
三、TOMCAT中NIO的配置與使用
在Connector節(jié)點(diǎn)配置protocol="org.apache.coyote.http11.Http11NioProtocol"，Http11NioProtocol協(xié)議下默認(rèn)最大連接數(shù)是10000，也可以重新修改maxConnections的值，同時(shí)我們可以設(shè)置最大線程數(shù)maxThreads，這里設(shè)置的最大線程數(shù)就是Excutor的線程池的大小。在BIO模式下實(shí)際上是沒(méi)有maxConnections，即使配置也不會(huì)生效，BIO模式下的maxConnections是保持跟maxThreads大小一致，因?yàn)樗且徽?qǐng)求一線程模式。
四、NioEndpoint組件關(guān)系圖解讀
我們要理解tomcat的nio最主要就是對(duì)NioEndpoint的理解。它一共包含LimitLatch、Acceptor、Poller、SocketProcessor、Excutor5個(gè)部分。LimitLatch是連接控制器，它負(fù)責(zé)維護(hù)連接數(shù)的計(jì)算，nio模式下默認(rèn)是10000，達(dá)到這個(gè)閾值后，就會(huì)拒絕連接請(qǐng)求。Acceptor負(fù)責(zé)接收連接，默認(rèn)是1個(gè)線程來(lái)執(zhí)行，將請(qǐng)求的事件注冊(cè)到事件列表。有Poller來(lái)負(fù)責(zé)輪詢，Poller線程數(shù)量是cpu的核數(shù)Math.min(2,Runtime.getRuntime().availableProcessors())。由Poller將就緒的事件生成SocketProcessor同時(shí)交給Excutor去執(zhí)行。Excutor線程池的大小就是我們?cè)贑onnector節(jié)點(diǎn)配置的maxThreads的值。在Excutor的線程中，會(huì)完成從socket中讀取http request，解析成HttpServletRequest對(duì)象，分派到相應(yīng)的servlet并完成邏輯，然后將response通過(guò)socket發(fā)回client。在從socket中讀數(shù)據(jù)和往socket中寫(xiě)數(shù)據(jù)的過(guò)程，并沒(méi)有像典型的非阻塞的NIO的那樣，注冊(cè)O(shè)P_READ或OP_WRITE事件到主Selector，而是直接通過(guò)socket完成讀寫(xiě)，這時(shí)是阻塞完成的，但是在timeout控制上，使用了NIO的Selector機(jī)制，但是這個(gè)Selector并不是Poller線程維護(hù)的主Selector，而是BlockPoller線程中維護(hù)的Selector，稱之為輔Selector。詳細(xì)源代碼可以參照 第6.3節(jié)。
五、NioEndpoint執(zhí)行序列圖
在下一小節(jié)NioEndpoint源碼解讀中我們將對(duì)步驟1-步驟11依次找到對(duì)應(yīng)的代碼來(lái)說(shuō)明。
六、NioEndpoint源碼解讀
6.1、初始化
無(wú)論是BIO還是NIO，開(kāi)始都會(huì)初始化連接限制，不可能無(wú)限增大，NIO模式下默認(rèn)是10000。
public void startInternal() throws Exception {
if (!running) {
//省略代碼...
initializeConnectionLatch();
//省略代碼...
}
}
protected LimitLatch initializeConnectionLatch() {
if (maxConnections==-1) return null;
if (connectionLimitLatch==null) {
connectionLimitLatch = new LimitLatch(getMaxConnections());
}
return connectionLimitLatch;
}
6.2、步驟解讀
下面我們著重?cái)⑹龈鶱IO相關(guān)的流程，共分為11個(gè)步驟，分別對(duì)應(yīng)上面序列圖中的步驟。
步驟1：綁定IP地址及端口，將ServerSocketChannel設(shè)置為阻塞。
這里為什么要設(shè)置成阻塞呢，我們一直都在說(shuō)非阻塞。Tomcat的設(shè)計(jì)初衷主要是為了操作方便。這樣這里就跟BIO模式下一樣了。只不過(guò)在BIO下這里返回的是Socket，NIO下這里返回的是SocketChannel。
public void bind() throws Exception {
//省略代碼...
serverSock.socket().bind(addr,getBacklog());
serverSock.configureBlocking(true);
//省略代碼...
selectorPool.open();
}
步驟2：啟動(dòng)接收線程
public void startInternal() throws Exception {
if (!running) {
//省略代碼...
startAcceptorThreads();
}
}
//這個(gè)方法實(shí)際是在它的超類AbstractEndpoint里面
protected final void startAcceptorThreads() {
int count = getAcceptorThreadCount();
acceptors = new Acceptor[count];
for (int i = 0; i < count; i++) {
acceptors[i] = createAcceptor();
Thread t = new Thread(acceptors[i], getName() + "-Acceptor-" + i);
t.setPriority(getAcceptorThreadPriority());
t.setDaemon(getDaemon());
t.start();
}
}
步驟3：ServerSocketChannel.accept()接收新連接
protected class Acceptor extends AbstractEndpoint.Acceptor {
@Override
public void run() {
while (running) {
try {
//省略代碼...
SocketChannel socket = null;
try {
socket = serverSock.accept();//接收新連接
} catch (IOException ioe) {
//省略代碼...
throw ioe;
}
//省略代碼...
if (running && !paused) {
if (!setSocketOptions(socket)) {
//省略代碼...
}
} else {
//省略代碼...
}
} catch (SocketTimeoutException sx) {
} catch (IOException x) {
//省略代碼...
} catch (OutOfMemoryError oom) {
//省略代碼...
} catch (Throwable t) {
//省略代碼...
}
}
}
}
步驟4：將接收到的鏈接通道設(shè)置為非阻塞
步驟5：構(gòu)造NioChannel對(duì)象
步驟6：register注冊(cè)到輪詢線程
protected boolean setSocketOptions(SocketChannel socket) {
try {
socket.configureBlocking(false);//將連接通道設(shè)置為非阻塞
Socket sock = socket.socket();
socketProperties.setProperties(sock);
NioChannel channel = nioChannels.poll();//構(gòu)造NioChannel對(duì)象
//省略代碼...
getPoller0().register(channel);//register注冊(cè)到輪詢線程
} catch (Throwable t) {
//省略代碼...
}
//省略代碼...
}
步驟7：構(gòu)造PollerEvent，并添加到事件隊(duì)列
protected ConcurrentLinkedQueue<Runnable> events = new ConcurrentLinkedQueue<Runnable>();
public void register(final NioChannel socket)
{
//省略代碼...
PollerEvent r = eventCache.poll();
//省略代碼...
addEvent(r);
}
步驟8：啟動(dòng)輪詢線程
public void startInternal() throws Exception {
if (!running) {
//省略代碼...
// Start poller threads
pollers = new Poller[getPollerThreadCount()];
for (int i=0; i<pollers.length; i++) {
pollers[i] = new Poller();
Thread pollerThread = new Thread(pollers[i], getName() + "-ClientPoller-"+i);
pollerThread.setPriority(threadPriority);
pollerThread.setDaemon(true);
pollerThread.start();
}
//省略代碼...
}
}
步驟9：取出隊(duì)列中新增的PollerEvent并注冊(cè)到Selector
public static class PollerEvent implements Runnable {
//省略代碼...
@Override
public void run() {
if ( interestOps == OP_REGISTER ) {
try {
socket.getIOChannel().register(socket.getPoller().getSelector(), SelectionKey.OP_READ, key);
} catch (Exception x) {
log.error("", x);
}
} else {
//省略代碼...
}//end if
}//run
//省略代碼...
}
步驟10：Selector.select()
public void run() {
// Loop until destroy() is called
while (true) {
try {
//省略代碼...
try {
if ( !close ) {
if (wakeupCounter.getAndSet(-1) > 0) {
keyCount = selector.selectNow();
} else {
keyCount = selector.select(selectorTimeout);
}
//省略代碼...
}
//省略代碼...
} catch ( NullPointerException x ) {
//省略代碼...
} catch ( CancelledKeyException x ) {
//省略代碼...
} catch (Throwable x) {
//省略代碼...
}
//省略代碼...
Iterator<SelectionKey> iterator =
keyCount > 0 ? selector.selectedKeys().iterator() : null;
while (iterator != null && iterator.hasNext()) {
SelectionKey sk = iterator.next();
KeyAttachment attachment = (KeyAttachment)sk.attachment();
if (attachment == null) {
iterator.remove();
} else {
attachment.access();
iterator.remove();
processKey(sk, attachment);//此方法跟下去就是把SocketProcessor交給Excutor去執(zhí)行
}
}//while
//省略代碼...
} catch (OutOfMemoryError oom) {
//省略代碼...
}
}//while
//省略代碼...
}
步驟11：根據(jù)選擇的SelectionKey構(gòu)造SocketProcessor提交到請(qǐng)求處理線程
public boolean processSocket(NioChannel socket, SocketStatus status, boolean dispatch) {
try {
//省略代碼...
SocketProcessor sc = processorCache.poll();
if ( sc == null ) sc = new SocketProcessor(socket,status);
else sc.reset(socket,status);
if ( dispatch && getExecutor()!=null ) getExecutor().execute(sc);
else sc.run();
} catch (RejectedExecutionException rx) {
//省略代碼...
} catch (Throwable t) {
//省略代碼...
}
//省略代碼...
}
6.3、NioBlockingSelector和BlockPoller介紹
上面的序列圖有個(gè)地方我沒(méi)有描述，就是NioSelectorPool這個(gè)內(nèi)部類，是因?yàn)樵谡w理解tomcat的nio上面在序列圖里面不包括它更好理解。在有了上面的基礎(chǔ)后，我們?cè)趤?lái)說(shuō)下NioSelectorPool這個(gè)類，對(duì)更深層了解Tomcat的NIO一定要知道它的作用。NioEndpoint對(duì)象中維護(hù)了一個(gè)NioSelecPool對(duì)象，這個(gè)NioSelectorPool中又維護(hù)了一個(gè)BlockPoller線程，這個(gè)線程就是基于輔Selector進(jìn)行NIO的邏輯。以執(zhí)行servlet后，得到response，往socket中寫(xiě)數(shù)據(jù)為例，最終寫(xiě)的過(guò)程調(diào)用NioBlockingSelector的write方法。代碼如下：
public int write(ByteBuffer buf, NioChannel socket, long writeTimeout,MutableInteger lastWrite) throws IOException {
SelectionKey key = socket.getIOChannel().keyFor(socket.getPoller().getSelector());
if ( key == null ) throw new IOException("Key no longer registered");
KeyAttachment att = (KeyAttachment) key.attachment();
int written = 0;
boolean timedout = false;
int keycount = 1; //assume we can write
long time = System.currentTimeMillis(); //start the timeout timer
try {
while ( (!timedout) && buf.hasRemaining()) {
if (keycount > 0) { //only write if we were registered for a write
//直接往socket中寫(xiě)數(shù)據(jù)
int cnt = socket.write(buf); //write the data
lastWrite.set(cnt);
if (cnt == -1)
throw new EOFException();
written += cnt;
//寫(xiě)數(shù)據(jù)成功，直接進(jìn)入下一次循環(huán)，繼續(xù)寫(xiě)
if (cnt > 0) {
time = System.currentTimeMillis(); //reset our timeout timer
continue; //we successfully wrote, try again without a selector
}
}
//如果寫(xiě)數(shù)據(jù)返回值cnt等于0，通常是網(wǎng)絡(luò)不穩(wěn)定造成的寫(xiě)數(shù)據(jù)失敗
try {
//開(kāi)始一個(gè)倒數(shù)計(jì)數(shù)器
if ( att.getWriteLatch()==null || att.getWriteLatch().getCount()==0) att.startWriteLatch(1);
//將socket注冊(cè)到輔Selector，這里poller就是BlockSelector線程
poller.add(att,SelectionKey.OP_WRITE);
//阻塞，直至超時(shí)時(shí)間喚醒，或者在還沒(méi)有達(dá)到超時(shí)時(shí)間，在BlockSelector中喚醒
att.awaitWriteLatch(writeTimeout,TimeUnit.MILLISECONDS);
}catch (InterruptedException ignore) {
Thread.interrupted();
}
if ( att.getWriteLatch()!=null && att.getWriteLatch().getCount()> 0) {
keycount = 0;
}else {
//還沒(méi)超時(shí)就喚醒，說(shuō)明網(wǎng)絡(luò)狀態(tài)恢復(fù)，繼續(xù)下一次循環(huán)，完成寫(xiě)socket
keycount = 1;
att.resetWriteLatch();
}
if (writeTimeout > 0 && (keycount == 0))
timedout = (System.currentTimeMillis() - time) >= writeTimeout;
} //while
if (timedout)
throw new SocketTimeoutException();
} finally {
poller.remove(att,SelectionKey.OP_WRITE);
if (timedout && key != null) {
poller.cancelKey(socket, key);
}
}
return written;
}
也就是說(shuō)當(dāng)socket.write()返回0時(shí)，說(shuō)明網(wǎng)絡(luò)狀態(tài)不穩(wěn)定，這時(shí)將socket注冊(cè)O(shè)P_WRITE事件到輔Selector，由BlockPoller線程不斷輪詢這個(gè)輔Selector，直到發(fā)現(xiàn)這個(gè)socket的寫(xiě)狀態(tài)恢復(fù)了，通過(guò)那個(gè)倒數(shù)計(jì)數(shù)器，通知Worker線程繼續(xù)寫(xiě)socket動(dòng)作。看一下BlockSelector線程的代碼邏輯：
public void run() {
while (run) {
try {
......
Iterator iterator = keyCount > 0 ? selector.selectedKeys().iterator() : null;
while (run && iterator != null && iterator.hasNext()) {
SelectionKey sk = (SelectionKey) iterator.next();
KeyAttachment attachment = (KeyAttachment)sk.attachment();
try {
attachment.access();
iterator.remove(); ;
sk.interestOps(sk.interestOps() & (~sk.readyOps()));
if ( sk.isReadable() ) {
countDown(attachment.getReadLatch());
}
//發(fā)現(xiàn)socket可寫(xiě)狀態(tài)恢復(fù)，將倒數(shù)計(jì)數(shù)器置位，通知Worker線程繼續(xù)
if (sk.isWritable()) {
countDown(attachment.getWriteLatch());
}
}catch (CancelledKeyException ckx) {
if (sk!=null) sk.cancel();
countDown(attachment.getReadLatch());
countDown(attachment.getWriteLatch());
}
}//while
}catch ( Throwable t ) {
log.error("",t);
}
}
events.clear();
try {
selector.selectNow();//cancel all remaining keys
}catch( Exception ignore ) {
if (log.isDebugEnabled())log.debug("",ignore);
}
}
使用這個(gè)輔Selector主要是減少線程間的切換，同時(shí)還可減輕主Selector的負(fù)擔(dān)。
七、關(guān)于性能
下面這份報(bào)告是我們壓測(cè)的一個(gè)結(jié)果，跟想象的是不是不太一樣？幾乎沒(méi)有差別，實(shí)際上NIO優(yōu)化的是I/O的讀寫(xiě)，如果瓶頸不在這里的話，比如傳輸字節(jié)數(shù)很小的情況下，BIO和NIO實(shí)際上是沒(méi)有差別的。NIO的優(yōu)勢(shì)更在于用少量的線程hold住大量的連接。還有一點(diǎn)，我們?cè)趬簻y(cè)的過(guò)程中，遇到在NIO模式下剛開(kāi)始的一小段時(shí)間內(nèi)容，會(huì)有錯(cuò)誤，這是因?yàn)橐话愕膲簻y(cè)工具是基于一種長(zhǎng)連接，也就是說(shuō)比如模擬1000并發(fā)，那么同時(shí)建立1000個(gè)連接，下一時(shí)刻再發(fā)送請(qǐng)求就是基于先前的這1000個(gè)連接來(lái)發(fā)送，還有TOMCAT的NIO處理是有POLLER線程來(lái)接管的，它的線程數(shù)一般等于CPU的核數(shù)，如果一瞬間有大量并發(fā)過(guò)來(lái)，POLLER也會(huì)頓時(shí)處理不過(guò)來(lái)。
八、總結(jié)
NIO只是優(yōu)化了網(wǎng)絡(luò)IO的讀寫(xiě)，如果系統(tǒng)的瓶頸不在這里，比如每次讀取的字節(jié)說(shuō)都是500b，那么BIO和NIO在性能上沒(méi)有區(qū)別。NIO模式是最大化壓榨CPU，把時(shí)間片都更好利用起來(lái)。對(duì)于操作系統(tǒng)來(lái)說(shuō)，線程之間上下文切換的開(kāi)銷很大，而且每個(gè)線程都要占用系統(tǒng)的一些資源如內(nèi)存，有關(guān)線程資源可參照這篇文章《一臺(tái)java服務(wù)器可以跑多少個(gè)線程》。因此，使用的線程越少越好。而I/O復(fù)用模型正是利用少量的線程來(lái)管理大量的連接。在對(duì)于維護(hù)大量長(zhǎng)連接的應(yīng)用里面更適合用基于I/O復(fù)用模型NIO，比如web qq這樣的應(yīng)用。所以我們要清楚系統(tǒng)的瓶頸是I/O還是CPU的計(jì)算。
轉(zhuǎn)載請(qǐng)注明作者及出處，并附上鏈接http://www.lxweimin.com/p/76ff17bc6dea
參考資料：
http://tomcat.apache.org/tomcat-7.0-doc/config/http.html
http://gearever.iteye.com/blog/1844203
《Tomcat內(nèi)核設(shè)計(jì)剖析》
《深入理解計(jì)算機(jī)操作系統(tǒng)》
《UNIX網(wǎng)絡(luò)編程》卷1
