1 Netty編解碼框架

在上一節(jié)中，我們提到TCP的粘包、拆包問題，可以通過自定義通信協(xié)議的方式來解決。通信協(xié)議就是通信雙方約定好的數(shù)據(jù)格式，發(fā)送方按照這個數(shù)據(jù)格式來發(fā)送，接受方按照這個格式來解析。典型的協(xié)議包括：定長協(xié)議、特殊字符分隔符協(xié)議、報文頭指定Length等。在確定了使用什么通信協(xié)議的情況下，發(fā)送方和接收方要完成的工作不同：

編碼：發(fā)送方要將發(fā)送的二進制數(shù)據(jù)轉換成協(xié)議規(guī)定的格式的二進制數(shù)據(jù)流，稱之為編碼(encode)，編碼功能由編碼器(encoder)完成。

解碼：接收方需要根據(jù)協(xié)議的格式，對二進制數(shù)據(jù)進行解析，稱之為解碼(decode)，解碼功能由解碼器(decoder)完成。

編解碼：如果有一種組件，既能編碼，又能解碼，則稱之為編碼解碼器(codec)。這種組件在發(fā)送方和接收方都可以使用。

因此對于開發(fā)人員而言，我們要做的工作主要就是2點：確定協(xié)議、編寫協(xié)議對應的編碼/解碼器。

協(xié)議分為公有協(xié)議和私有協(xié)議。所謂公有協(xié)議，指的是業(yè)界普遍遵循的通信協(xié)議，Netty提供了大量公有協(xié)議數(shù)據(jù)格式的編碼解碼器，從而簡化開發(fā)者的使用。例如：

你想開發(fā)一個基于Netty的郵件服務器，你將會發(fā)現(xiàn)Netty針對POP3、IMAP、SMTP協(xié)議的數(shù)據(jù)格式都提供了相應的編碼解碼器。
如果你想自己開發(fā)一個web服務器，你會發(fā)現(xiàn)Netty提供好了HTTP協(xié)議、Websocket協(xié)議相應的編解碼器。
甚至，對于一些業(yè)界流行的組件，如redis、memcached這兩個緩存服務器，netty都提供了相應的解碼器，因此如果你有意愿的話，可以自己編寫訪問redis、memcached服務器的client，甚至是開源出去給其他人使用。

另外一方面，可能有的時候，我們希望定義一些私有協(xié)議，例如你們的公司需要編寫一個RPC框架，這個框架僅限于公司內部使用。這個時候，因為協(xié)議本身還沒有，對應的編解碼器也沒有，所以我們就要自己實現(xiàn)。

Netty提供了一套完善的編解碼框架，不論是公有協(xié)議/私有協(xié)議，我們都可以在這個框架的基礎上，非常容易的實現(xiàn)相應的編碼/解碼器。輸入的數(shù)據(jù)是在ChannelInboundHandler中處理的，數(shù)據(jù)輸出是在ChannelOutboundHandler中處理的。因此編碼器/解碼器實際上是這兩個接口的特殊實現(xiàn)類，不過它們的作用僅僅是編碼/解碼。

2 解碼器

對于解碼器，Netty中主要提供了抽象基類ByteToMessageDecoder和MessageToMessageDecoder

1B171BD0-9287-4212-8A4D-112ACC0DEDF6.png

2.1 抽象類ByteToMessageDecoder

用于將接收到的二進制數(shù)據(jù)(Byte)解碼，得到完整的請求報文(Message)。

通常，ByteToMessageDecoder解碼后內容會得到一個ByteBuf實例列表，每個ByteBuf實例都包含了一個完整的報文信息。你可以直接把這些ByteBuf實例直接交給之后的ChannelInboundHandler處理，或者將這些包含了完整報文信息的ByteBuf實例解析封裝到不同的Java對象實例后，再交其處理。不管哪一種情況，之后的ChannelInboundHandler在處理時不需要在考慮粘包、拆包問題。

不過，ByteToMessageDecoder提供的一些常見的實現(xiàn)類：

FixedLengthFrameDecoder：定長協(xié)議解碼器，我們可以指定固定的字節(jié)數(shù)算一個完整的報文
LineBasedFrameDecoder：行分隔符解碼器，遇到\n或者\r\n，則認為是一個完整的報文
DelimiterBasedFrameDecoder：分隔符解碼器，與LineBasedFrameDecoder類似，只不過分隔符可以自己指定
LengthFieldBasedFrameDecoder：長度編碼解碼器，將報文劃分為報文頭/報文體，根據(jù)報文頭中的Length字段確定報文體的長度，因此報文提的長度是可變的
JsonObjectDecoder：json格式解碼器，當檢測到匹配數(shù)量的"{" 、”}”或”[””]”時，則認為是一個完整的json對象或者json數(shù)組。

這些實現(xiàn)類，都只是將接收到的二進制數(shù)據(jù)，解碼成包含完整報文信息的ByteBuf實例后，就直接交給了之后的ChannelInboundHandler處理。之所以不將ByteBuf中的信息封裝到Java對象中，道理很簡單，Netty根本不知道開發(fā)者想封裝到什么對象中，甚至不知道報文中的具體內容是什么，因此不如直接把包含了完整報文信息的ByteBuf實例，交給開發(fā)人員來自己解析封裝。

當然也有例外，例如Netty提供的XmlDecoder，直接將二進制數(shù)據(jù)流解析成Aalto XML parser類庫中定義的xml對象。

我們也可以自定義ByteToMessageDecoder，此時需要覆蓋ByteToMessageDecoder的decode方法：

protected abstract void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception;

參數(shù)的作用如下：

in：需要解碼的二進制數(shù)據(jù)。
List<Object> out：解碼后的有效報文列表，我們需要將解碼后的報文添加到這個List中。之所以使用一個List表示，是因為考慮到粘包問題，因此入?yún)⒌膇n中可能包含多個有效報文。當然，也有可能發(fā)生了拆包，in中包含的數(shù)據(jù)還不足以構成一個有效報文，此時不往List中添加元素即可。

另外特別要注意的是，在解碼時，不需要直接調用ByteBuf的readXXX方法來讀取數(shù)據(jù)，而是應該首先要判斷能否構成一個有效的報文。例如對于以下的案例，假設協(xié)議規(guī)定傳輸?shù)臄?shù)據(jù)都是int類型的整數(shù)：

WX20180909-193812@2x.png

上圖中顯式輸入的ByteBuf中包含4個字節(jié)，每個字節(jié)的值分別為：1，2，3，4。我們自定義一個ToIntegerDecoder進行解碼，盡管這里我看到了4個字節(jié)剛好可以構成一個int類型整數(shù)，

但是在真正解碼之前，我們并不知道ByteBuf包含的字節(jié)數(shù)能否構成一個或者多個完成的有效報文，因此需要首先判斷ByteBuf中剩余可讀的字節(jié)，是否大于等于4

，如下：

public class ToIntegerDecoder extends ByteToMessageDecoder {
    @Override
   public void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
    if (in.readableBytes() >= 4) {
        out.add(in.readInt());
    } }
}

只有在可讀字節(jié)數(shù)>=4的情況下，我們才進行解碼，即讀取一個int，并添加到List中。

在可讀字節(jié)數(shù)小于4的情況下，我們并沒有做任何處理，假設剩余可讀字節(jié)數(shù)為3，不足以構成1個int。那么父類ByteToMessageDecoder發(fā)現(xiàn)這次解碼List中的元素沒有變化，則會對in中的剩余3個字節(jié)進行緩存，等待下1個字節(jié)的到來，之后再回到調用ToIntegerDecoder的decode方法。

另外，細心的讀者可能注意到了，在ToIntegerDecoder的decode方法中，每次最多只讀取一個1個int。如果ByteBuf中的字節(jié)數(shù)很多，例如為16，那么可以構成4個int，而這里只讀取了1個int，那么剩余12字節(jié)怎么辦？這個其實不用擔心，ByteToMessageDecoder再每次回調子類的decode方法之后，都會判斷輸入的ByteBuf中是否還有剩余字節(jié)可讀，如果還有，會再次回調子類的decode方法，直到某個回調decode方法List中的元素個數(shù)沒有變化時才停止，元素個數(shù)沒有變化，實際上意味著子類已經沒有辦法從剩余的字節(jié)中讀取一個有效報文。

由于存在剩余可讀字節(jié)時，ByteToMessageDecoder會自動再次回調子類decode方法，因此筆者建議在實現(xiàn)ByteToMessageDecoder時，decode方法每次只解析一個有效報文即可，沒有必要一次全部解析出來。

2.2 抽象類MessageToMessageDecoder

ByteToMessageDecoder是將二進制流進行解碼后，得到有效報文。而MessageToMessageDecoder則是將一個本身就包含完整報文信息的對象轉換成另一個Java對象。

舉例來說，前面介紹了ByteToMessageDecoder的部分子類解碼后，會直接將包含了報文完整信息的ByteBuf實例交由之后的ChannelInboundHandler處理，此時，你可以在ChannelPipeline中，再添加一個MessageToMessageDecoder，將ByteBuf中的信息解析后封裝到Java對象中，簡化之后的ChannelInboundHandler的操作。

另外，一些場景下，有可能你的報文信息已經封裝到了Java對象中，但是還要繼續(xù)轉成另外的Java對象，因此一個MessageToMessageDecoder后面可能還跟著另一個MessageToMessageDecoder。一個比較容易的理解的類比案例是Java Web編程，通常客戶端瀏覽器發(fā)送過來的二進制數(shù)據(jù)，已經被web容器(如tomcat)解析成了一個HttpServletRequest對象，但是我們還是需要將HttpServletRequest中的數(shù)據(jù)提取出來，封裝成我們自己的POJO類，也就是從一個Java對象(HttpServletRequest)轉換成另一個Java對象(我們的POJO類)。

除了一些公有協(xié)議的解碼器外，Netty提供的MessageToMessageDecoder實現(xiàn)類較少，主要是：

StringDecoder：用于將包含完整的報文信息的ByteBuf轉換成字符串。我們可以將其與ByteToMessageDecoder的一些實現(xiàn)類聯(lián)合使用，以LineBasedFrameDecoder為例，其將二進制數(shù)據(jù)流按行分割后封裝到ByteBuf中。我們可以在其之后再添加一個StringDecoder，將ByteBuf中的數(shù)據(jù)轉換成字符串。

Base64Decoder：用于Base64編碼。例如，前面我們提到LineBasedFrameDecoder、DelimiterBasedFrameDecoder等ByteToMessageDecoder實現(xiàn)類，是使用特殊字符作為分隔符作為解碼的條件。但是如果報文內容中如果本身就包含了分隔符，那么解碼就會出錯。此時，對于發(fā)送方，可以先使用Base64Encoder對報文內容進行Base64編碼，然后我們選擇Base64編碼包含的64種字符之外的其他特殊字符作為分隔符。在解碼時，首先特殊字符進行分割，然后通過Base64Decoder解碼得到原始的二進制字節(jié)流。

MessageToMessageDecoder的類聲明如下：

public abstract class MessageToMessageDecoder<I> extends ChannelInboundHandlerAdapter

其中泛型參數(shù)I表示我們要解碼的消息類型。例前面，我們在ToIntegerDecoder中，把二進制字節(jié)流轉換成了一個int類型的整數(shù)。

類似的，MessageToMessageDecoder也有一個decode方法需要覆蓋，如下：

/**
* 參數(shù)msg，需要進行解碼的參數(shù)。例如ByteToMessageDecoder解碼后的得到的包含完整報文信息ByteBuf
* List<Object> out參數(shù)：將msg經過解析后得到的java對象，添加到放到List<Object> out中
*/
protected abstract void decode(ChannelHandlerContext ctx, I msg, List<Object> out) throws Exception;

例如，現(xiàn)在我們想編寫一個IntegerToStringDecoder，把前面編寫的ToIntegerDecoder輸出的int參數(shù)轉換成字符串，此時泛型I就應該是Integer類型。

WX20180909-193852@2x.png

IntegerToStringDecoder源碼如下所示：

public class IntegerToStringDecoder extends MessageToMessageDecoder<Integer> {
    @Override
    public void decode(ChannelHandlerContext ctx, Integer msg List<Object> out) throws Exception {
        out.add(String.valueOf(msg));
    }
}

此時我們應該按照如下順序組織ChannelPipieline中ToIntegerDecoder和IntegerToStringDecoder 的關系：

ChannelPipieline ch=....
ch.addLast(new ToIntegerDecoder());
ch.addLast(new IntegerToStringDecoder());

也就是說，前一個ChannelInboudHandler輸出的參數(shù)類型，就是后一個ChannelInboudHandler的輸入類型。

特別需要注意的一點是，如果我們指定MessageToMessageDecoder的泛型參數(shù)為ByteBuf，表示其可以直接針對ByteBuf進行解碼，那么其是否能替代ByteToMessageDecoder呢？

答案是不可以的。因為ByteToMessageDecoder除了進行解碼，還要會對不足以構成一個完整數(shù)據(jù)的報文拆包數(shù)據(jù)(拆包)進行緩存。而MessageToMessageDecoder則沒有這樣的邏輯。

因此通常的使用建議是，使用一個ByteToMessageDecoder進行粘包、拆包處理，得到完整的有效報文的ByteBuf實例，然后交由之后的一個或者多個MessageToMessageDecoder對ByteBuf實例中的數(shù)據(jù)進行解析，轉換成POJO類。

3 編碼器

與ByteToMessageDecoder和MessageToMessageDecoder相對應，Netty提供了對應的編碼器實現(xiàn)MessageToByteEncoder和MessageToMessageEncoder，二者都實現(xiàn)ChannelOutboundHandler接口。

C62F858C-5306-4456-B20B-D07648BE4594.png

相對來說，編碼器比解碼器的實現(xiàn)要更加簡單，原因在于解碼器除了要按照協(xié)議解析數(shù)據(jù)，還要要處理粘包、拆包問題；而編碼器只要將數(shù)據(jù)轉換成協(xié)議規(guī)定的二進制格式發(fā)送即可。

3.1 抽象類MessageToByteEncoder

MessageToByteEncoder也是一個泛型類，泛型參數(shù)I表示將需要編碼的對象的類型，編碼的結果是將信息轉換成二進制流放入ByteBuf中。子類通過覆寫其抽象方法encode，來實現(xiàn)編碼，如下所示：

public abstract class MessageToByteEncoder<I> extends ChannelOutboundHandlerAdapter {
....
     protected abstract void encode(ChannelHandlerContext ctx, I msg, ByteBuf out) throws Exception;
}

可以看到，MessageToByteEncoder的輸出對象out是一個ByteBuf實例，我們應該將泛型參數(shù)msg包含的信息寫入到這個out對象中。

MessageToByteEncoder使用案例：

public class IntegerToByteEncoder extends MessageToByteEncoder<Integer> {
    @Override
    protected void encode(ChannelHandlerContext ctx, Integer msg, ByteBuf out) throws Exception {
        out.writeInt(msg);//將Integer轉成二進制字節(jié)流寫入ByteBuf中
    }
}

3.2 抽象類MessageToMessageEncoder

MessageToMessageEncoder同樣是一個泛型類，泛型參數(shù)I表示將需要編碼的對象的類型，編碼的結果是將信息放到一個List中。子類通過覆寫其抽象方法encode，來實現(xiàn)編碼，如下所示：

public abstract class MessageToMessageEncoder<I> extends ChannelOutboundHandlerAdapter {
   ...
   protected abstract void encode(ChannelHandlerContext ctx, I msg, List<Object> out) throws Exception;
   ...
}

與MessageToByteEncoder不同的，MessageToMessageEncoder編碼后的結果放到的out參數(shù)類型是一個List中。例如，你一次發(fā)送2個報文，因此msg參數(shù)中實際上包含了2個報文，因此應該解碼出兩個報文對象放到List中。

MessageToMessageEncoder提供的常見子類包括：

LineEncoder：按行編碼，給定一個CharSequence(如String)，在其之后添加換行符\n或者\r\n，并封裝到ByteBuf進行輸出，與LineBasedFrameDecoder相對應。
Base64Encoder：給定一個ByteBuf，得到對其包含的二進制數(shù)據(jù)進行Base64編碼后的新的ByteBuf進行輸出，與Base64Decoder相對應。
LengthFieldPrepender：給定一個ByteBuf，為其添加報文頭Length字段，得到一個新的ByteBuf進行輸出。Length字段表示報文長度，與LengthFieldBasedFrameDecoder相對應。
StringEncoder：給定一個CharSequence(如：StringBuilder、StringBuffer、String等)，將其轉換成ByteBuf進行輸出，與StringDecoder對應。
細心的讀者注意到了，這些MessageToMessageEncoder實現(xiàn)類最終輸出的都是ByteBuf，因為最終在網絡上傳輸?shù)亩家嵌M制數(shù)據(jù)。

在后面的章節(jié)中，我們將會對上述提到的編碼/解碼器如何使用進行詳細的介紹。

4 編碼解碼器Codec

編碼解碼器同時具有編碼與解碼功能，特點同時實現(xiàn)了ChannelInboundHandler和ChannelOutboundHandler接口，因此在數(shù)據(jù)輸入和輸出時都能進行處理。Netty提供提供了一個ChannelDuplexHandler適配器類，編碼解碼器的抽象基類 ByteToMessageCodec 、MessageToMessageCodec都繼承與此類，如下：

0BF45DAD-EA36-44E1-8946-A844F2BBCC6D.png

ByteToMessageCodec內部維護了一個ByteToMessageDecoder和一個MessageToByteEncoder實例，可以認為是二者的功集合，泛型參數(shù)I是接受的編碼類型：

public abstract class ByteToMessageCodec<I> extends ChannelDuplexHandler {
    private final TypeParameterMatcher outboundMsgMatcher;
    private final MessageToByteEncoder<I> encoder;
    private final ByteToMessageDecoder decoder = new ByteToMessageDecoder(){…}
  
    ...
    protected abstract void encode(ChannelHandlerContext ctx, I msg, ByteBuf out) throws Exception;
    protected abstract void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception;
    ...
}

MessageToMessageCodec內部維護了一個MessageToMessageDecoder和一個MessageToMessageEncoder實例，可以認為是二者的功集合，泛型參數(shù)INBOUND_IN和OUTBOUND_IN分別表示需要解碼和編碼的數(shù)據(jù)類型。

public abstract class MessageToMessageCodec<INBOUND_IN, OUTBOUND_IN> extends ChannelDuplexHandler {
   private final MessageToMessageEncoder<Object> encoder= ...
   private final MessageToMessageDecoder<Object> decoder =…
   ...
   protected abstract void encode(ChannelHandlerContext ctx, OUTBOUND_IN msg, List<Object> out) throws Exception;
   protected abstract void decode(ChannelHandlerContext ctx, INBOUND_IN msg, List<Object> out) throws Exception;
}

由于前面已經分析了編碼器和解碼器，這里對于編碼解碼器不再進行過多說明。在后面章節(jié)中，我們將詳細介紹不同編碼、解碼器的詳細使用方法。

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

15 Netty編解碼框架

15 Netty編解碼框架

1 Netty編解碼框架

2 解碼器

2.1 抽象類ByteToMessageDecoder

2.2 抽象類MessageToMessageDecoder

3 編碼器

3.1 抽象類MessageToByteEncoder

3.2 抽象類MessageToMessageEncoder

4 編碼解碼器Codec

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

15 Netty編解碼框架

1 Netty編解碼框架

2 解碼器

2.1 抽象類ByteToMessageDecoder

2.2 抽象類MessageToMessageDecoder

3 編碼器

3.1 抽象類MessageToByteEncoder

3.2 抽象類MessageToMessageEncoder

4 編碼解碼器Codec

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频