一、TCP 粘包和拆包基本介紹
TCP是面向連接的，面向流的，提供高可靠性服務。收發兩端（客戶端和服務器端）都要有一一成對的socket，因此，發送端為了將多個發給接收端的包，更有效的發給對方，使用了優化方法（Nagle算法），將多次間隔較小且數據量小的數據，合并成一個大的數據塊，然后進行封包。這樣做雖然提高了效率，但是接收端就難于分辨出完整的數據包了，因為面向流的通信是無消息保護邊界的。
由于TCP無消息保護邊界, 需要在接收端處理消息邊界問題，也就是我們所說的粘包、拆包問題。
TCP粘包、拆包圖解
假設客戶端分別發送了兩個數據包D1和D2給服務端，由于服務端一次讀取到字節數是不確定的，故可能存在以下四種情況：
- 1、服務端分兩次讀取到了兩個獨立的數據包，分別是D1和D2，沒有粘包和拆包。
- 2、服務端一次接受到了兩個數據包，D1和D2粘合在一起，稱之為TCP粘包。
- 3、服務端分兩次讀取到了數據包，第一次讀取到了完整的D1包和D2包的部分內容，第二次讀取到了D2包的剩余內容，這稱之為TCP拆包。
- 4、服務端分兩次讀取到了數據包，第一次讀取到了D1包的部分內容D1_1，第二次讀取到了D1包的剩余部分內容D1_2和完整的D2包。
特別要注意的是，如果TCP的接受滑窗非常小，而數據包D1和D2比較大，很有可能會發生第五種情況，即服務端分多次才能將D1和D2包完全接受，期間發生多次拆包。
二、 粘包、拆包發生原因
產生原因主要有這3種：滑動窗口、MSS/MTU限制、Nagle算法
1、滑動窗口
TCP流量控制主要使用滑動窗口協議，滑動窗口是接受數據端使用的窗口大小，用來告訴發送端接收端的緩存大小，以此可以控制發送端發送數據的大小，從而達到流量控制的目的。這個窗口大小就是我們一次傳輸幾個數據。對所有數據幀按順序賦予編號，發送方在發送過程中始終保持著一個發送窗口，只有落在發送窗口內的幀才允許被發送；同時接收方也維持著一個接收窗口，只有落在接收窗口內的幀才允許接收。這樣通過調整發送方窗口和接收方窗口的大小可以實現流量控制。
現在來看一下滑動窗口是如何造成粘包、拆包的？
粘包：假設發送方的每256 bytes表示一個完整的報文，接收方由于數據處理不及時，這256個字節的數據都會被緩存到SO_RCVBUF(接收緩存區）中。如果接收方的SO_RCVBUF中緩存了多個報文，那么對于接收方而言，這就是粘包。
拆包：考慮另外一種情況，假設接收方的窗口只剩了128，意味著發送方最多還可以發送128字節，而由于發送方的數據大小是256字節，因此只能發送前128字節，等到接收方ack后，才能發送剩余字節。這就造成了拆包。
2、MSS和MTU分片
MSS：是Maximum Segement Size縮寫，表示TCP報文中data部分的最大長度，是TCP協議在OSI五層網絡模型中傳輸層對一次可以發送的最大數據的限制。
MTU：最大傳輸單元是Maxitum Transmission Unit的簡寫，是OSI五層網絡模型中鏈路層(datalink layer)對一次可以發送的最大數據的限制。
當需要傳輸的數據大于MSS或者MTU時，數據會被拆分成多個包進行傳輸。由于MSS是根據MTU計算出來的，因此當發送的數據滿足MSS時，必然滿足MTU。
為了更好的理解，我們先介紹一下在5層網絡模型中應用通過TCP發送數據的流程：
對于應用層來說，只關心發送的數據DATA，將數據寫入socket在內核中的發送緩沖區SO_SNDBUF即返回，操作系統會將SO_SNDBUF中的數據取出來進行發送。
傳輸層會在DATA前面加上TCP Header，構成一個完整的TCP報文。
當數據到達網絡層(network layer)時，網絡層會在TCP報文的基礎上再添加一個IP Header，也就是將自己的網絡地址加入到報文中。
到數據鏈路層時，還會加上Datalink Header和CRC。
當到達物理層時，會將SMAC(Source Machine，數據發送方的MAC地址)，DMAC(Destination Machine，數據接受方的MAC地址 )和Type域加入。
可以發現數據在發送前，每一層都會在上一層的基礎上增加一些內容，下圖演示了MSS、MTU在這個過程中的作用。
MTU是以太網傳輸數據方面的限制，每個以太網幀都有最小的大小64bytes最大不能超過1518bytes。刨去以太網幀的幀頭 （DMAC目的MAC地址48bit=6Bytes+SMAC源MAC地址48bit=6Bytes+Type域2bytes）14Bytes和幀尾 CRC校驗部分4Bytes（這個部分有時候大家也把它叫做FCS），那么剩下承載上層協議的地方也就是Data域最大就只能有1500Bytes這個值 我們就把它稱之為MTU。
由于MTU限制了一次最多可以發送1500個字節，而TCP協議在發送DATA時，還會加上額外的TCP Header和Ip Header，因此刨去這兩個部分，就是TCP協議一次可以發送的實際應用數據的最大大小，也就是MSS。
MSS長度=MTU長度-IP Header-TCP Header
TCP Header的長度是20字節，IPv4中IP Header長度是20字節，IPV6中IP Header長度是40字節，因此：在IPV4中，以太網MSS可以達到1460byte；在IPV6中，以太網MSS可以達到1440byte。
需要注意的是MSS表示的一次可以發送的DATA的最大長度，而不是DATA的真實長度。發送方發送數據時，當SO_SNDBUF中的數據量大于MSS時，操作系統會將數據進行拆分，使得每一部分都小于MSS，這就是拆包，然后每一部分都加上TCP Header，構成多個完整的TCP報文進行發送，當然經過網絡層和數據鏈路層的時候，還會分別加上相應的內容。
需要注意: 默認情況下，與外部通信的網卡的MTU大小是1500個字節。而本地回環地址的MTU大小為65535，這是因為本地測試時數據不需要走網卡，所以不受到1500的限制。
3、Nagle算法
TCP/IP協議中，無論發送多少數據，總是要在數據(DATA)前面加上協議頭(TCP Header+IP Header)，同時，對方接收到數據，也需要發送ACK表示確認。
即使從鍵盤輸入的一個字符，占用一個字節，可能在傳輸上造成41字節的包，其中包括1字節的有用信息和40字節的首部數據。這種情況轉變成了4000%的消耗，這樣的情況對于重負載的網絡來是無法接受的。
為了盡可能的利用網絡帶寬，TCP總是希望盡可能的發送足夠大的數據。（一個連接會設置MSS參數，因此，TCP/IP希望每次都能夠以MSS尺寸的數據塊來發送數據）。
Nagle算法就是為了盡可能發送大塊數據，避免網絡中充斥著許多小數據塊。
Nagle算法的基本定義是任意時刻，最多只能有一個未被確認的小段。 所謂“小段”，指的是小于MSS尺寸的數據塊，所謂“未被確認”，是指一個數據塊發送出去后，沒有收到對方發送的ACK確認該數據已收到。
Nagle算法的規則：
- 1、如果SO_SNDBUF(發送緩沖區）中的數據長度達到MSS，則允許發送；
- 2、如果該SO_SNDBUF中含有FIN，表示請求關閉連接，則先將SO_SNDBUF中的剩余數據發送，再關閉；
- 3、設置了TCP_NODELAY=true選項，則允許發送。TCP_NODELAY是取消TCP的確認延遲機制，相當于禁用了Nagle 算法。
- 4、未設置TCP_CORK選項時，若所有發出去的小數據包（包長度小于MSS）均被確認，則允許發送;
- 5、上述條件都未滿足，但發生了超時（一般為200ms），則立即發送。
三、通信協議
在了解了粘包、拆包產生的原因之后，現在來分析接收方如何對此進行區分。道理很簡單，如果存在不完整的數據(拆包)，則需要繼續等待數據，直至可以構成一條完整的請求或者響應。
通過定義通信協議(protocol)，可以解決粘包、拆包問題。協議的作用就定義傳輸數據的格式。這樣在接受到的數據的時候：
- 如果粘包了，就可以根據這個格式來區分不同的包。
- 如果拆包了，就等待數據可以構成一個完整的消息來處理。
3.1、定長協議
定長協議：顧名思義，就是指定一個報文的必須具有固定的長度。例如，我們規定每3個字節，表示一個有效報文，如果我們分4次總共發送以下9個字節：
+---+----+------+----+
| A | BC | DEFG | HI |
+---+----+------+----+
那么根據協議，我們可以判斷出來，這里包含了3個有效的請求報文，如下：
+-----+-----+-----+
| ABC | DEF | GHI |
+-----+-----+-----+
在定長協議中：
- 發送方，必須保證發送報文長度是固定的。如果報文字節長度不能滿足條件，如規定長度是1024字節，但是實際需要發送的內容只有900個字節，那么不足的部分可以補充0。因此定長協議可能會浪費帶寬。
- 接收方，每讀取到固定長度的內容時，則認為讀取到了一個完整的報文。
提示：Netty中提供了FixedLengthFrameDecoder，支持把固定的長度的字節數當做一個完整的消息進行解碼。
3.2、特殊字符分隔符協議
在包尾部增加回車或者空格符等特殊字符進行分割 。例如，按行解析，遇到字符\n、\r\n的時候，就認為是一個完整的數據包。對于以下二進制字節流：
+--------------+
| ABC\nDEF\r\n |
+--------------+
那么根據協議，我們可以判斷出來，這里包含了2個有效的請求報文
+-----+-----+
| ABC | DEF |
+-----+-----+
在特殊字符分隔符協議中：
- 發送方，需要在發送一個報文時，需要在報文尾部添加特殊分割符號。
- 接收方，在接收到報文時，需要對特殊分隔符進行檢測，直到檢測到一個完整的報文時，才能進行處理。
在使用特殊字符分隔符協議的時候，需要注意的是，我們選擇的特殊字符，一定不能在消息體中出現，否則可能會出現錯誤的拆包。例如，發送方希望把”12\r\n34”，當成一個完整的報文，如果是按行拆分，那么就會錯誤的拆分為2個報文。一種解決策略是，發送方對需要發送的內容預先進行base64編碼，由于base64編碼只包含64個字符：0-9、a-z、A-Z、+、/，我們可以選擇這64個字符之外的特殊字符作為分隔符。
提示：netty中提供了DelimiterBasedFrameDecoder根據特殊字符進行解碼。事實上，我們熟悉的的緩存服務器redis，也是通過換行符來區分一個完整的報文。
3.3、變長協議
將消息區分為消息頭和消息體，在消息頭中，我們使用一個整形數字，例如一個int，來表示消息體的長度。而消息體實際實際要發送的二進制數據字節。以下是一個基本格式：
header body
+--------+----------+
| Length | Content |
+--------+----------+
在變長協議中：
- 發送方，發送數據之前，需要先獲取需要發送內容的二進制字節大小，然后在需要發送的內容前面添加一個整數，表示消息體二進制字節的長度。
- 接收方，在解析時，先讀取內容長度Length，其值為實際消息體內容(Content)占用的字節數，之后必須讀取到這么多字節的內容，才認為是一個完整的數據報文。
提示：Netty中提供了LengthFieldPrepender給實際內容Content進行編碼添加Length字段，接受方使用LengthFieldBasedFrameDecoder解碼。
3.4、序列化
序列化本質上已經不是為了解決粘包和拆包問題，而是為了在網絡開發中可以更加的便捷。在變長協議中，我們看到可以在實際要發送的數據之前加上一個length字段，表示實際要發送的數據的長度。這實際上給我們了一個很好的思路，我們完全可以將一個對象轉換成二進制字節，來進行通信，例如使用一個Request對象表示請求，使用一個Response對象表示響應。
序列化框架有很多種，我們在選擇時，主要考慮序列化/反序列化的速度，序列化占用的體積，多語言支持等。下面列出了業界流行的序列化框架：
提示：xml、json也屬于序列化框架的范疇，上面的表格中并沒有列出。
一些網絡通信的RPC框架通常會支持多種序列化方式，例如dubbo支持hessian、json、kyro、fst等。在支持多種序列化框架的情況下，在協議中通常需要有一個字段來表示序列化的類型，例如，我們可以將上述變長協議的格式改造為：
+--------+-------------+------------+
| Length | serializer | Content |
+--------+-------------+------------+
這里使用1個字節表示Serializer的值，使用不同的值代表不同的框架。
發送方，選擇好序列化框架后編碼后，需要指定Serializer字段的值。
接收方，在解碼時，根據Serializer的值選擇對應的框架進行反序列化。
3.5、壓縮
通常，為了節省網絡開銷，在網絡通信時，可以考慮對數據進行壓縮。常見的壓縮算法有lz4、snappy、gzip等。在選擇壓縮算法時，我們主要考慮壓縮比以及解壓縮的效率。
我們可以在網絡通信協議中，添加一個compress字段，表示采用的壓縮算法：
+--------+-----------+------------+------------+
| Length | serializer| compress | Content |
+--------+-----------+------------+------------+
通常，我們沒有必要使用一個字節，來表示采用的壓縮算法，1個字節可以標識256種可能情況，而常用壓縮算法也就那么幾種，因此通常只需要使用2~3個bit來表示采用的壓縮算法即可。
另外，由于數據量比較小的時候，壓縮比并不會太高，沒有必要對所有發送的數據都進行壓縮，只有再超過一定大小的情況下，才考慮進行壓縮。如rocketmq，producer在發送消息時，默認消息大小超過4k，才會進行壓縮。因此，compress字段，應該有一個值，表示沒有使用任何壓縮算法，例如使用0。
3.6、查錯校驗碼
一些通信協議傳輸的數據中，還包含了查錯校驗碼。典型的算法如CRC32、Adler32等。java對這兩種校驗方式都提供了支持，java.util.zip.Adler32、java.util.zip.CRC32。
+--------+-----------+------------+------------+---------+
| Length | serializer| compress | Content | CRC32 |
+--------+-----------+------------+------------+---------+
這里并不對CRC32、Adler32進行詳細說明，主要是考慮，為什么需要進行校驗?
有人說是因為考慮到安全，這個理由似乎并不充分，因為我們已經有了TLS層的加密，CRC32、Adler32的作用不應該是為了考慮安全。
一位同事的觀點，我非常贊同：二進制數據在傳輸的過程中，可能因為電磁干擾，導致一個高電平變成低電平，或者低電平變成高電平。這種情況下，數據相當于受到了污染，此時通過CRC32等校驗值，則可以驗證數據的正確性。
另外，通常校驗機制在通信協議中，是可選的配置的，并不需要強制開啟，其雖然可以保證數據的正確，但是計算校驗值也會帶來一些額外的性能損失。如Mysql主從同步，雖然高版本默認開啟CRC32校驗，但是也可以通過配置禁用。
小結
本節通過一些基本的案例，講解了在TCP編程中，如何通過協議來解決粘包、拆包問題。在實際開發中，通常我們的協議會更加復雜。例如，一些RPC框架，會在協議中添加唯一標識一個請求的ID，一些支持雙向通信的RPC框架，如sofa-bolt，還會添加一個方向信息等。當然，所謂復雜，無非是在協議中添加了某個字段用于某個用途，只要弄清楚這些字段的含義，也就不復雜了。
參考：
https://www.cnblogs.com/Leo_wl/p/10297113.html
https://www.cnblogs.com/sidesky/p/6913109.html
https://blog.csdn.net/u022812849/article/details/107254239
