一次網(wǎng)絡(luò)異常的Case

緣起:

最近一個(gè)項(xiàng)目要上線,我負(fù)責(zé)的應(yīng)用需要和設(shè)備進(jìn)行通信,按照之前約定的協(xié)議,大家使用的是tcp/ip 的通信方式。設(shè)備側(cè)作為server,而我們作為的是client,其中心跳維護(hù)是由client側(cè)主動(dòng)發(fā)起。

在入場(chǎng)聯(lián)調(diào)的時(shí)候,雙方在一個(gè)命令回復(fù)的報(bào)文里面產(chǎn)生了分歧。我們認(rèn)為沒(méi)有收到設(shè)備側(cè)的回復(fù),但是設(shè)備廠家說(shuō)我已經(jīng)回復(fù)了,幾番爭(zhēng)論之后,我們開(kāi)始抓包分析(之前都是通過(guò)我們應(yīng)用的日志信息確認(rèn)問(wèn)題)。在Linux服務(wù)上進(jìn)行網(wǎng)絡(luò)抓包,最常見(jiàn)的就是使用tcpdump,它功能很強(qiáng)大,他提供了很多參數(shù)以及正則表達(dá)式來(lái)對(duì)抓包的數(shù)據(jù)進(jìn)行過(guò)濾。而我們這里就是簡(jiǎn)單粗暴的對(duì)eth0這個(gè)網(wǎng)卡上的所有通信信息進(jìn)行抓包。當(dāng)通過(guò)tcpdump把包抓下來(lái)之后,然后通過(guò)scp到本機(jī),然后通過(guò)wireshark在本機(jī)分析抓包結(jié)果,最后確認(rèn)與設(shè)備側(cè)的通信問(wèn)題。

具體的tcpdump的命令介紹,可以參考這篇文章:戳這里

解決:

我們這里用到的命令就是:

tcpdump -s 0 -w /tmp/aa

就是獲取所有通信包信息,并將信息寫(xiě)入到/tmp下的aa文件中。在本機(jī)用wireshark打開(kāi)這個(gè)aa文件,過(guò)濾出屬于2000端口的信息,截圖如下:

最后通過(guò)抓包分析確認(rèn)是設(shè)備廠商的問(wèn)題,最后問(wèn)題解決。


擴(kuò)展:

因?yàn)轫?xiàng)目近期上線,通信上的問(wèn)題有可能隨時(shí)發(fā)生,因此需要把tcpdump一直開(kāi)著,這樣方便出現(xiàn)問(wèn)題后快速定位問(wèn)題。而Tcpdump寫(xiě)文件的方式是一直在同一個(gè)文件上進(jìn)行追加,如果一定時(shí)間后,這個(gè)文件就會(huì)變得非常大,這樣不利于后面的分析。因此,我們需要對(duì)dump出來(lái)的文件,做一個(gè)切割。

第一次我們想到的是通過(guò)cronolog這個(gè)屌炸天的東東來(lái)進(jìn)行分割,在網(wǎng)上搜索對(duì)應(yīng)的應(yīng)用你發(fā)現(xiàn)先很多人將其應(yīng)用到Nginx或者Apache的日志處理上。經(jīng)過(guò)一番嘗試發(fā)現(xiàn)這哥們無(wú)法與tcpdump進(jìn)行合并使用(也許是沒(méi)有找到使用方法),無(wú)賴放棄轉(zhuǎn)戰(zhàn)另一條路。

第二次我們想到使用一個(gè)死循環(huán)的腳本,通過(guò)tcpdump的-c參數(shù),將按照每多少個(gè)通信包一個(gè)文件的方式進(jìn)行生成,最后腳本完成試驗(yàn)效果不錯(cuò),幾乎是每隔50M左右一個(gè)文件。如下截圖:

腳本如下:

#!/bin/sh

n=0

while true ; do
    n=$(( $n + 1 ))
    tcpdump -s 0 -c 102400 -w /tmp/tcpdump/tcpdump.out.$n
done

最后:

通過(guò)這個(gè)case,我想廠商或者聯(lián)調(diào)的另一方不相信你的程序日志是可以理解的,但是你可以通過(guò)公認(rèn)的工具,找到事實(shí),他就必須得相信了,所以我們要有這種快速找到問(wèn)題的能力。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,247評(píng)論 6 543
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,520評(píng)論 3 429
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事?!?“怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 178,362評(píng)論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 63,805評(píng)論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,541評(píng)論 6 412
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 55,896評(píng)論 1 328
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,887評(píng)論 3 447
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 43,062評(píng)論 0 290
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,608評(píng)論 1 336
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,356評(píng)論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,555評(píng)論 1 374
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,077評(píng)論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,769評(píng)論 3 349
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 35,175評(píng)論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 36,489評(píng)論 1 295
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 52,289評(píng)論 3 400
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,516評(píng)論 2 379

推薦閱讀更多精彩內(nèi)容

  • 簡(jiǎn)介 用簡(jiǎn)單的話來(lái)定義tcpdump,就是:dump the traffic on a network,根據(jù)使用者...
    保川閱讀 5,981評(píng)論 1 13
  • linux資料總章2.1 1.0寫(xiě)的不好抱歉 但是2.0已經(jīng)改了很多 但是錯(cuò)誤還是無(wú)法避免 以后資料會(huì)慢慢更新 大...
    數(shù)據(jù)革命閱讀 12,200評(píng)論 2 33
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 134,826評(píng)論 18 139
  • 我叫阿凰,是個(gè)女孩,今年8歲,從小生活在這黑水鎮(zhèn)。爹娘說(shuō),在我出生的前一天晚上,娘夢(mèng)見(jiàn)一只鳳凰飛進(jìn)了娘的肚子,...
    Tiky魏川激萌小福祿閱讀 402評(píng)論 0 0
  • “媽,給我150元錢?”寫(xiě)作業(yè)的若桐告訴我要錢。我拿了錢就放在若桐的書(shū)包里?!皨?,都不問(wèn)問(wèn)我要這么都錢干什么嗎?”...
    晚巷清風(fēng)閱讀 234評(píng)論 0 2