Linux服務器瞬時負載居高問題小記

有史以來負載突然居高的,有點嚇人。

如圖示:

image.png

使用vmstat命令查看:

PS: vmstat(Virtual Memory Statistics 虛擬內存統計) 命令用來顯示Linux系統虛擬內存狀態,也可以報告關于進程、內存、I/O等系統整體運行狀態

image.png

發現奇葩的的--r值:這個高?。。?br> PS:
r: 運行隊列中進程數量,這個值也可以判斷是否需要增加CPU。(長期大于1)

正常的情況下的r值是:

image.png
說明的問題:

可能有異常的情況很多的進程一直在創建

image.png
查看一些可能的進程:

因為公司的業務又使用的一些定時的任務,定時執行一些服務。所有核查一下一些進程信息:

ps -ef |grep python
image.png

果然是這一推的進程在作祟!?。。?!
直接結束上述的相關進程后,就好了!!

批量刪除對應的進程:

批量刪除示例:

[root@web-1 online]# ps -ef | grep remind_service | grep -v color | cut -c 9-15
 14900 
[root@web-1 online]# ps -ef | grep remind_service | grep -v color | cut -c 9-15
 14900 
[root@web-1 online]# ps -ef | grep remind_service 
root     14900  1076  0 08:00 ?        00:00:05 python /data/service/online/remind_service/main.py
root     30707 22682  0 11:33 pts/0    00:00:00 grep --color=auto remind_service
[root@web-1 online]# 

image.png

說明:

“grep xxxx”的輸出結果是,所有含有關鍵字“remind_service”的進程。

“grep -v xxxxx”是在列出的進程中去除含有關鍵字“color”的進程。

“cut -c 9-15”是截取輸入行的第9個字符到第15個字符,而這正好是進程號PID。

“xargs kill -s 9”中的xargs命令是用來把前面命令的輸出結果(PID)作為“kill -s 9”命令的參數,并執行該命令?!発ill -s 9”會強行殺掉指定進程。


$ps -ef | grep read_sight_service_syn_vedio | grep -v color | cut -c 9-15 | xargs kill -s 9

或者----------------------

$ pgrep read_sight_service_syn_vedio | xargs kill -s 9

排查了下,不知道為啥定時執行的任務不斷執行創建了!這個目前暫時還不是很清楚!

常用的排查方法

===============================
2018-12-17 09:31:49
===============================
常用的排查方法:來源:https://yq.aliyun.com/articles/129599?spm=a2c4e.11155435.0.0.3a0b7379DbjA8P

批量刪除進程

$ps -ef | grep read_sight_service_syn_vedio | grep -v color | cut -c 9-15 | xargs kill -s 9

統計TCP連接數

[root@web-1 ~]# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
ESTABLISHED 92
TIME_WAIT 5560

列出消耗高的線程:

LANG=C ps -eT -o%cpu,pid,tid,ppid,comm | grep -v CPU | sort -n -r | head -20

統計線程消耗的總的CPU:

{ LANG=C ps -eT -o%cpu,pid,tid,ppid,comm | sed -e 's/^ *//' | tr -s ' ' | grep -v CPU | sort -n -r | cut -d ' ' -f 1 | xargs -I{} echo -n "{} + " && echo ' 0'; } | bc -l

列出內存消耗高的進程:

LANG=C ps -e -o%mem,pid,tid,ppid,comm | grep -v MEM | sort -n -r | head -20

統計內存消耗情況:

{ LANG=C ps -e -o%mem,pid,tid,ppid,comm | sed -e 's/^ *//' | tr -s ' ' | grep -v MEM | sort -n -r | cut -d ' ' -f 1 | xargs -I{} echo -n "{} + " && echo ' 0'; } | bc -l

列出導致CPU負載高的線程:

LANG=C ps -eTo stat,pid,tid,ppid,comm,args | perl -ne 'chomp;if (m!^\s*(\S*[RD]+\S*.*)!) {print qq[$1\n];}'

dstat 負載情況查看:

[root@web-1 ~]# dstat -l
---load-avg---
 1m   5m  15m 
1.43 1.23 1.24
1.31 1.21 1.23
1.31 1.21 1.23

找出占用資源最高的進程和用戶

[root@web-1 ~]dstat --top-mem --top-io --top-cpu
--most-expensive- ----most-expensive---- -most-expen
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,619評論 6 539
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,155評論 3 425
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,635評論 0 382
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,539評論 1 316
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,255評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,646評論 1 326
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,655評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,838評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,399評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,146評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,338評論 1 372
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,893評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,565評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,983評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,257評論 1 292
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,059評論 3 397
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,296評論 2 376

推薦閱讀更多精彩內容

  • linux資料總章2.1 1.0寫的不好抱歉 但是2.0已經改了很多 但是錯誤還是無法避免 以后資料會慢慢更新 大...
    數據革命閱讀 12,200評論 2 33
  • 系統管理與維護命令 date date(選項)(參數) | 選項 | 說明 | | :-------- | ...
    蓓蓓的萬能男友閱讀 3,924評論 0 5
  • 如果你想知道你的服務器正在做干什么,你就需要了解一些基本的命令,一旦你精通了這些命令,那你就是一個專業的 Linu...
    七寸知架構閱讀 10,910評論 1 71
  • Linux進程管理原理 Linux的進程管理,就是對硬件各資源進行分配、調度、銷毀等工作,其主要部件的管理為:CP...
    魏鎮坪閱讀 1,262評論 0 6
  • 姓名:李格 公司:海南蔚藍時代實業有限公司 組別:第420期樂觀4組 【日精進打卡第62天】 【知~學習】 背誦《...
    熊貓醬panda閱讀 172評論 0 0