1.簡介
在本文中,我們將介紹Netty - 一個異步事件驅(qū)動的網(wǎng)絡(luò)應(yīng)用程序框架。
Netty的主要目標(biāo)是構(gòu)建基于NIO(或可能是NIO.2)的高性能協(xié)議服務(wù)器,以及使網(wǎng)絡(luò)和業(yè)務(wù)邏輯組件分離和松耦合。它可以實現(xiàn)廣泛使用的協(xié)議,例如HTTP或你自己的特定協(xié)議。
2.核心概念
Netty是一個非阻塞框架。與阻塞IO相比具有高吞吐量。了解非阻塞IO對于理解Netty的核心組件及其關(guān)系至關(guān)重要。
2.1 Channel
Channel是Java NIO的基礎(chǔ)。它代表一個能夠執(zhí)行諸如讀寫之類的IO操作的開放式連接。
2.2 Future
Netty中Channel上的每個IO操作都是非阻塞的。
這意味著在調(diào)用后立即返回每個操作。標(biāo)準(zhǔn)Java庫中有一個Future接口,但它對Netty來說并不方便 —— 我們只能詢問Future有關(guān)操作的完成情況,或者阻塞當(dāng)前線程直到操作完成。
這就是Netty擁有自己的ChannelFuture接口的原因。我們可以將回調(diào)傳遞給ChannelFuture,它將在操作完成時調(diào)用。
2.3 Events和Handler
Netty使用事件驅(qū)動的應(yīng)用程序范式,因此數(shù)據(jù)處理的管道是通過處理程序的一系列事件。事件和處理程序可以與入站和出站數(shù)據(jù)流相關(guān)。入站事件可以是以下內(nèi)容:
- Channel激活和停用
- 讀取操作事件
- Exception事件
- 用戶事件
出站事件更簡單,通常與打開/關(guān)閉連接和寫入/刷新數(shù)據(jù)有關(guān)。
Netty應(yīng)用程序包含幾個網(wǎng)絡(luò)和應(yīng)用程序邏輯事件及其handler。Channnel事件處理程序的基接口是ChannelHandler及其祖先ChannelOutboundHandler和ChannelInboundHandler。
Netty提供了一個龐大的ChannelHandler實現(xiàn)層次結(jié)構(gòu)。值得注意的是只是空實現(xiàn)的適配器,例如ChannelInboundHandlerAdapter和ChannelOutboundHandlerAdapter。當(dāng)我們只需要處理所有事件的一部分時,我們可以擴(kuò)展這些適配器。
此外,還有許多特定協(xié)議的實現(xiàn),例如HTTP,例如HttpRequestDecoder,HttpResponseEncoder,HttpObjectAggregator。在Netty的Javadoc中熟悉它們會很好。
2.4 編碼器和解碼器
在我們使用網(wǎng)絡(luò)協(xié)議時,我們需要執(zhí)行數(shù)據(jù)序列化和反序列化。為此,Netty 為解碼器引入了ChannelInboundHandler的特殊擴(kuò)展,這些解碼器能夠解碼傳入數(shù)據(jù)。大多數(shù)解碼器的基類是ByteToMessageDecoder。
為了編碼傳出的數(shù)據(jù),Netty有很多擴(kuò)展了ChannelOutboundHandler的類,稱為編碼器。MessageToByteEncoder是大多數(shù)編碼器實現(xiàn)的基礎(chǔ)。我們可以使用編碼器和解碼器將消息從字節(jié)序列轉(zhuǎn)換為Java對象,反之亦然。
3.示例服務(wù)器應(yīng)用程序
3.1 依賴
首先,我們需要在pom.xml中提供Netty依賴:
<dependency>
<groupId>io.netty</groupId>
<artifactId>netty-all</artifactId>
<version>4.1.10.Final</version>
</dependency>
我們可以在Maven Central上找到最新版本。
3.2 數(shù)據(jù)模型
請求數(shù)據(jù)類將具有以下結(jié)構(gòu):
public class RequestData {
private int intValue;
private String stringValue;
// standard getters and setters
}
假設(shè)服務(wù)器接收請求并返回intValue乘以2.Response將只有單個int值:
public class ResponseData {
private int intValue;
// standard getters and setters
}
3.3 請求解碼器
現(xiàn)在我們需要為協(xié)議消息創(chuàng)建編碼器和解碼器。
應(yīng)該注意的是,Netty使用套接字接收緩沖區(qū),它不是表示隊列,而是表示為一堆字節(jié)。這意味著當(dāng)服務(wù)器未收到完整消息時,可以調(diào)用我們的入站處理程序。
我們必須確保在處理之前收到了完整的消息,并且有很多方法可以做到這一點。
首先,我們可以創(chuàng)建一個臨時的ByteBuf并將所有入站字節(jié)附加到它,直到我們得到所需的字節(jié)數(shù):
public class SimpleProcessingHandler
extends ChannelInboundHandlerAdapter {
private ByteBuf tmp;
@Override
public void handlerAdded(ChannelHandlerContext ctx) {
System.out.println("Handler added");
tmp = ctx.alloc().buffer(4);
}
@Override
public void handlerRemoved(ChannelHandlerContext ctx) {
System.out.println("Handler removed");
tmp.release();
tmp = null;
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
ByteBuf m = (ByteBuf) msg;
tmp.writeBytes(m);
m.release();
if (tmp.readableBytes() >= 4) {
// request processing
RequestData requestData = new RequestData();
requestData.setIntValue(tmp.readInt());
ResponseData responseData = new ResponseData();
responseData.setIntValue(requestData.getIntValue() * 2);
ChannelFuture future = ctx.writeAndFlush(responseData);
future.addListener(ChannelFutureListener.CLOSE);
}
}
}
上面顯示的示例看起來有點奇怪,但有助于我們了解Netty的工作原理。我們的處理程序的每個方法在其相應(yīng)的事件發(fā)生時被調(diào)用。因此,我們在添加處理程序時初始化緩沖區(qū),在接收新字節(jié)時填充數(shù)據(jù),并在獲取足夠數(shù)據(jù)時開始處理它。
我們故意不使用stringValue —— 以這種方式解碼會不必要地復(fù)雜。這就是為什么Netty提供有用的解碼器類,它們是ChannelInboundHandler的實現(xiàn):ByteToMessageDecoder和ReplayingDecoder 。
如上所述,我們可以使用Netty創(chuàng)建一個Channel處理管道。所以我們可以將解碼器作為第一個處理程序,處理邏輯處理程序可以在它之后。
RequestData的解碼器如下所示:
public class RequestDecoder extends ReplayingDecoder<RequestData> {
private final Charset charset = Charset.forName("UTF-8");
@Override
protected void decode(ChannelHandlerContext ctx,
ByteBuf in, List<Object> out) throws Exception {
RequestData data = new RequestData();
data.setIntValue(in.readInt());
int strLen = in.readInt();
data.setStringValue(
in.readCharSequence(strLen, charset).toString());
out.add(data);
}
}
這種解碼器的想法非常簡單。它使用ByteBuf的實現(xiàn),當(dāng)緩沖區(qū)中沒有足夠的數(shù)據(jù)用于讀取操作時,它會拋出異常。
當(dāng)捕獲到異常時,緩沖區(qū)將重繞到開頭,解碼器將等待新的數(shù)據(jù)部分。解碼執(zhí)行后,當(dāng)out列表不為空時,解碼停止。
3.4 響應(yīng)編碼器
除解碼RequestData外,我們還需要對消息進(jìn)行編碼。此操作更簡單,因為在寫操作發(fā)生時我們有完整的消息數(shù)據(jù)。
我們可以在主處理程序中將數(shù)據(jù)寫入Channel,或者我們可以分離邏輯并創(chuàng)建一個擴(kuò)展MessageToByteEncoder的處理程序,它將捕獲寫入ResponseData操作:
public class ResponseDataEncoder
extends MessageToByteEncoder<ResponseData> {
@Override
protected void encode(ChannelHandlerContext ctx,
ResponseData msg, ByteBuf out) throws Exception {
out.writeInt(msg.getIntValue());
}
}
3.5 請求處理
由于我們在單獨的處理程序中執(zhí)行解碼和編碼,我們需要更改ProcessingHandler:
public class ProcessingHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg)
throws Exception {
RequestData requestData = (RequestData) msg;
ResponseData responseData = new ResponseData();
responseData.setIntValue(requestData.getIntValue() * 2);
ChannelFuture future = ctx.writeAndFlush(responseData);
future.addListener(ChannelFutureListener.CLOSE);
System.out.println(requestData);
}
}
3.6 Server BootStrap
現(xiàn)在讓我們把它們放在一起并運行我們的服務(wù)器:
public class NettyServer {
private int port;
// constructor
public static void main(String[] args) throws Exception {
int port = args.length > 0
? Integer.parseInt(args[0]);
: 8080;
new NettyServer(port).run();
}
public void run() throws Exception {
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch)
throws Exception {
ch.pipeline().addLast(new RequestDecoder(),
new ResponseDataEncoder(),
new ProcessingHandler());
}
}).option(ChannelOption.SO_BACKLOG, 128)
.childOption(ChannelOption.SO_KEEPALIVE, true);
ChannelFuture f = b.bind(port).sync();
f.channel().closeFuture().sync();
} finally {
workerGroup.shutdownGracefully();
bossGroup.shutdownGracefully();
}
}
}
上面的ServerBootStrap示例中使用的類的詳細(xì)信息可以在它們的Javadoc中找到。最有趣的部分是這一行:
ch.pipeline().addLast(
new RequestDecoder(),
new ResponseDataEncoder(),
new ProcessingHandler());
在這里,我們定義入站和出站處理程序,它們將以正確的順序處理請求和輸出。
4. 客戶端應(yīng)用
客戶端應(yīng)該執(zhí)行反向編碼和解碼,因此我們需要一個RequestDataEncoder和ResponseDataDecoder:
public class RequestDataEncoder
extends MessageToByteEncoder<RequestData> {
private final Charset charset = Charset.forName("UTF-8");
@Override
protected void encode(ChannelHandlerContext ctx,
RequestData msg, ByteBuf out) throws Exception {
out.writeInt(msg.getIntValue());
out.writeInt(msg.getStringValue().length());
out.writeCharSequence(msg.getStringValue(), charset);
}
}
public class ResponseDataDecoder
extends ReplayingDecoder<ResponseData> {
@Override
protected void decode(ChannelHandlerContext ctx,
ByteBuf in, List<Object> out) throws Exception {
ResponseData data = new ResponseData();
data.setIntValue(in.readInt());
out.add(data);
}
}
此外,我們需要定義一個ClientHandler,它將發(fā)送請求并從服務(wù)器接收響應(yīng):
public class ClientHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelActive(ChannelHandlerContext ctx)
throws Exception {
RequestData msg = new RequestData();
msg.setIntValue(123);
msg.setStringValue(
"all work and no play makes jack a dull boy");
ChannelFuture future = ctx.writeAndFlush(msg);
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg)
throws Exception {
System.out.println((ResponseData)msg);
ctx.close();
}
}
現(xiàn)在讓我們bootstrap客戶端:
public class NettyClient {
public static void main(String[] args) throws Exception {
String host = "localhost";
int port = 8080;
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
Bootstrap b = new Bootstrap();
b.group(workerGroup);
b.channel(NioSocketChannel.class);
b.option(ChannelOption.SO_KEEPALIVE, true);
b.handler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch)
throws Exception {
ch.pipeline().addLast(new RequestDataEncoder(),
new ResponseDataDecoder(), new ClientHandler());
}
});
ChannelFuture f = b.connect(host, port).sync();
f.channel().closeFuture().sync();
} finally {
workerGroup.shutdownGracefully();
}
}
}
我們可以看到,服務(wù)器引導(dǎo)有許多共同點。
現(xiàn)在我們可以運行客戶端的main方法并查看控制臺輸出。正如預(yù)期的那樣,我們得到的ResponseData的intValue等于246。
總結(jié)
在本文中,我們對Netty進(jìn)行了一個簡單的介紹。我們展示它的Channel和ChannelHandler等核心組件。此外,我們做了一個簡單的非阻塞協(xié)議服務(wù)器和客戶端。