如果你的Linux服務器突然負載暴增，告警短信快發爆你的手機，如何在最短時間內找出Linux性能問題所在？Netflix性能工程團隊的Brendan Gregg寫下了這篇博文，來看他們是怎樣通過十條命令在一分鐘內對機器性能問題進行診斷。
1. 概述
1. uptime
2. dmesg | tail
3. vmstat 1
4. mpstat -P ALL 1
5. pidstat 1
6. iostat -xz 1
7. free -m
8. sar -n DEV 1
9. sar -n TCP,ETCP 1
10. top
其中一些命令需要安裝sysstat包，有一些由procps包提供。這些命令的輸出，有助于快速定位性能瓶頸，檢查出所有資源（CPU、內存、磁盤IO等）的利用率（utilization）、飽和度（saturation）和錯誤（error）度量，也就是所謂的USE方法。
2. 命令介紹
- uptime命令
[root@Dev-Test-203 ~]# uptime
16:44:05 up 14 days, 11 min, 2 users, load average: 0.03, 0.06, 0.11
這個命令可以快速查看機器的負載情況。在Linux系統中，這些數據表示等待CPU資源的進程和阻塞在不可中斷IO進程（進程狀態為D）的數量。這些數據可以讓我們對系統資源使用有一個宏觀的了解。
命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負載情況。通過這三個數據，可以了解服務器負載是在趨于緊張還是區域緩解。如果1分鐘平均負載很高，而15分鐘平均負載很低，說明服務器正在命令高負載情況，需要進一步排查CPU資源都消耗在了哪里。反之，如果15分鐘平均負載很高，1分鐘平均負載較低，則有可能是CPU資源緊張時刻已經過去。
上面例子中的輸出，可以看見最近1分鐘的平均負載非常高，且遠高于最近15分鐘負載，因此我們需要繼續排查當前系統中有什么進程消耗了大量的資源。可以通過下文將會介紹的vmstat、mpstat等命令進一步排查。
-
dmesg | tail命令
[root@Dev-Test-203 ~]# dmesg | tail
[1210442.606862] udevadm[27145]: Successfully loaded SELinux database in 4.303ms, size on heap is 314K.
[1210442.606882] udevadm[27145]: calling: info
[1210442.616993] udevadm[27147]: Successfully loaded SELinux database in 15.054ms, size on heap is 314K.
[1210442.617028] udevadm[27147]: calling: info
[1210442.624811] udevadm[27150]: Successfully loaded SELinux database in 8.161ms, size on heap is 314K.
[1210442.624832] udevadm[27150]: calling: info
[1210442.633353] udevadm[27153]: Successfully loaded SELinux database in 5.328ms, size on heap is 314K.
[1210442.633380] udevadm[27153]: calling: info
[1210442.646637] udevadm[27158]: Successfully loaded SELinux database in 4.374ms, size on heap is 314K.
[1210442.646656] udevadm[27158]: calling: info
該命令會輸出系統日志的最后10行。這些日志可以幫助排查性能問題。千萬不要忘了這一步。
-
vmstat 1命令
[root@Dev-Test-203 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 32608 233992 916 2008624 0 0 1 10 7 7 3 3 94 0 0
5 0 32608 231060 916 2008652 0 0 0 9 4505 6121 8 15 77 0 0
0 0 32608 233396 916 2008688 0 0 0 0 7646 10633 12 14 74 0 0
0 0 32608 232608 916 2008648 0 0 0 114 7189 11091 8 5 86 1 0
0 0 32608 233028 916 2008656 0 0 0 0 1338 1987 2 1 98 0 0
0 0 32608 233028 916 2008660 0 0 0 0 1243 1876 1 1 98 0 0
0 0 32608 232604 916 2008660 0 0 0 18 2001 2659 3 2 95 1 0
0 0 32608 232656 916 2008668 0 0 0 0 1481 2167 1 1 98 0 0
0 0 32608 232636 916 2008676 0 0 0 151 1666 2315 5 1 94 1 0
0 0 32608 232532 916 2008680 0 0 0 0 1302 1758 2 1 97 0 0
0 0 32608 232532 916 2008684 0 0 0 0 1516 2335 2 1 97 0 0
5 0 32608 230012 916 2008688 0 0 0 9 3579 5516 10 13 77 0 0
vmstat命令，每行會輸出一些系統核心指標，這些指標可以讓我們更詳細的了解系統狀態。后面跟的參數1，表示每秒輸出一次統計信息，表頭提示了每一列的含義，這幾介紹一些和性能調優相關的列：
r：等待在CPU資源的進程數。這個數據比平均負載更加能夠體現CPU負載情況，數據中不包含等待IO的進程。如果這個數值大于機器CPU核數，那么機器的CPU資源已經飽和。
free：系統可用內存數（以千字節為單位），如果剩余內存不足，也會導致系統性能問題。下文介紹到的free命令，可以更詳細的了解系統內存的使用情況。
si, so：交換區寫入和讀取的數量。如果這個數據不為0，說明系統已經在使用交換區（swap），機器物理內存已經不足。
us, sy, id, wa, st：這些都代表了CPU時間的消耗，它們分別表示用戶時間（user）、系統（內核）時間（sys）、空閑時間（idle）、IO等待時間（wait）和被偷走的時間（stolen，一般被其他虛擬機消耗）。
上述這些CPU時間，可以讓我們很快了解CPU是否出于繁忙狀態。一般情況下，如果用戶時間和系統時間相加非常大，CPU出于忙于執行指令。如果IO等待時間很長，那么系統的瓶頸可能在磁盤IO。
-
mpstat -P ALL 1命令
[root@Dev-Test-203 ~]# mpstat -P ALL 1
Linux 3.10.0-514.6.1.el7.x86_64 (Dev-Test-203) 05/09/2017 _x86_64_ (4 CPU)
04:52:23 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
04:52:24 PM all 1.75 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 97.24
04:52:24 PM 0 3.00 0.00 2.00 0.00 0.00 0.00 0.00 0.00 0.00 95.00
04:52:24 PM 1 2.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 97.00
04:52:24 PM 2 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 98.00
04:52:24 PM 3 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 98.00
該命令可以顯示每個CPU的占用情況，如果有一個CPU占用率特別高，那么有可能是一個單線程應用程序引起的。
-
pidstat 1命令
[root@Dev-Test-203 ~]# pidstat 1
Linux 3.10.0-514.6.1.el7.x86_64 (Dev-Test-203) 05/09/2017 _x86_64_ (4 CPU)
04:54:13 PM UID PID %usr %system %guest %CPU CPU Command
04:54:14 PM 102 4768 0.96 0.96 0.00 1.92 1 redis-server
04:54:14 PM 106 7208 0.00 0.96 0.00 0.96 0 haproxy
04:54:14 PM 0 8994 0.96 2.88 0.00 3.85 3 pidstat
04:54:14 PM 0 12940 4.81 0.96 0.00 5.77 0 dockerd
04:54:14 PM 0 12960 0.00 0.96 0.00 0.96 3 loop0
04:54:14 PM 0 16610 0.96 0.00 0.00 0.96 3 rancher-metadat
04:54:14 PM 0 17338 0.96 0.00 0.00 0.96 1 plugin-manager
04:54:14 PM 0 24713 10.58 9.62 0.00 20.19 1 cadvisor
04:54:14 PM 109 27286 1.92 1.92 0.00 3.85 3 beam.smp
04:54:14 PM 999 27733 0.96 0.96 0.00 1.92 1 daphne
pidstat命令輸出進程的CPU占用率，該命令會持續輸出，并且不會覆蓋之前的數據，可以方便觀察系統動態。
-
iostat -xz 1命令
[root@Dev-Test-203 ~]# iostat -xz 1
Linux 3.10.0-514.6.1.el7.x86_64 (Dev-Test-203) 05/09/2017 _x86_64_ (4 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
3.49 0.00 2.65 0.23 0.00 93.63
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.01 0.15 0.08 2.08 2.06 21.69 22.02 0.03 12.92 5.26 13.21 5.21 1.12
dm-0 0.00 0.00 0.08 2.13 2.00 21.28 21.10 0.03 13.65 5.29 13.94 5.08 1.12
dm-1 0.00 0.00 0.01 0.10 0.03 0.40 8.01 0.00 19.17 8.54 20.04 0.25 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 27.20 0.00 10.77 6.23 17.66 5.07 0.00
dm-3 0.00 0.00 0.03 0.09 0.57 1.63 38.43 0.00 8.55 2.50 10.28 4.03 0.05
dm-4 0.00 0.00 0.00 0.00 0.04 0.01 59.16 0.00 3.76 3.44 5.59 2.00 0.00
dm-5 0.00 0.00 0.00 0.00 0.01 0.00 53.15 0.00 2.74 1.85 11.37 1.02 0.00
dm-7 0.00 0.00 0.00 0.00 0.01 0.09 41.04 0.00 6.63 3.26 7.06 4.42 0.00
dm-8 0.00 0.00 0.00 0.00 0.01 0.08 36.56 0.00 4.91 1.87 5.22 4.78 0.00
dm-9 0.00 0.00 0.00 0.01 0.02 0.09 29.21 0.00 6.90 2.31 7.40 3.35 0.00
dm-10 0.00 0.00 0.00 0.00 0.04 0.00 64.19 0.00 1.60 1.01 11.22 0.64 0.00
dm-11 0.00 0.00 0.00 0.00 0.01 0.00 40.18 0.00 7.79 6.85 18.77 1.47 0.00
dm-12 0.00 0.00 0.00 0.00 0.01 0.00 43.22 0.00 1.72 1.69 1.98 1.33 0.00
dm-13 0.00 0.00 0.00 0.00 0.02 0.00 52.31 0.00 3.18 2.19 14.03 0.96 0.00
dm-6 0.00 0.00 0.00 0.00 0.02 0.00 63.19 0.00 1.49 0.90 6.86 1.13 0.00
dm-14 0.00 0.00 0.00 0.00 0.02 0.00 60.85 0.00 4.88 3.77 17.47 1.37 0.00
dm-15 0.00 0.00 0.00 0.00 0.03 0.01 51.59 0.00 5.24 3.76 6.88 3.00 0.00
dm-16 0.00 0.00 0.00 0.00 0.06 0.03 52.55 0.00 4.52 3.33 6.92 2.56 0.00
dm-17 0.00 0.00 0.01 0.04 0.09 0.97 45.18 0.00 11.00 4.92 11.77 7.90 0.04
dm-18 0.00 0.00 0.00 0.00 0.01 0.00 43.23 0.00 4.25 1.18 27.08 1.24 0.00
dm-19 0.00 0.00 0.00 0.00 0.03 0.00 35.95 0.00 1.69 0.09 18.49 0.17 0.00
iostat命令主要用于查看機器磁盤IO情況。該命令輸出的列，主要含義是：
r/s, w/s, rkB/s, wkB/s：分別表示每秒讀寫次數和每秒讀寫數據量（千字節）。讀寫量過大，可能會引起性能問題。
await：IO操作的平均等待時間，單位是毫秒。這是應用程序在和磁盤交互時，需要消耗的時間，包括IO等待和實際操作的耗時。如果這個數值過大，可能是硬件設備遇到了瓶頸或者出現故障。
avgqu-sz：向設備發出的請求平均數量。如果這個數值大于1，可能是硬件設備已經飽和（部分前端硬件設備支持并行寫入）。
%util：設備利用率。這個數值表示設備的繁忙程度，經驗值是如果超過60，可能會影響IO性能（可以參照IO操作平均等待時間）。如果到達100%，說明硬件設備已經飽和。
如果顯示的是邏輯設備的數據，那么設備利用率不代表后端實際的硬件設備已經飽和。值得注意的是，即使IO性能不理想，也不一定意味這應用程序性能會不好，可以利用諸如預讀取、寫緩存等策略提升應用性能。
-
free –m命令
[root@Dev-Test-203 ~]# free -m
total used free shared buff/cache available
Mem: 3790 1620 197 211 1973 1633
Swap: 3967 31 3936
free命令可以查看系統內存的使用情況，-m參數表示按照兆字節展示。最后兩列分別表示用于IO緩存的內存數，和用于文件系統頁緩存的內存數。需要注意的是，如果出現行-/+ buffers/cache，看上去緩存占用了大量內存空間。這是Linux系統的內存使用策略，盡可能的利用內存，如果應用程序需要內存，這部分內存會立即被回收并分配給應用程序。因此，這部分內存一般也被當成是可用內存。
如果可用內存非常少，系統可能會動用交換區（如果配置了的話），這樣會增加IO開銷（可以在iostat命令中提現），降低系統性能。
-
sar -n DEV 1命令
[root@Dev-Test-203 ~]# sar -n DEV 1
Linux 3.10.0-514.6.1.el7.x86_64 (Dev-Test-203) 05/09/2017 _x86_64_ (4 CPU)
04:58:58 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
04:58:59 PM veth4e7f1d9f 4.00 4.00 0.98 3.39 0.00 0.00 0.00
04:58:59 PM veth36889dc3 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM veth3d7a6375 7.00 8.00 0.48 0.65 0.00 0.00 0.00
04:58:59 PM veth5b95b0ac 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM vethbed2b08d 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM vethf6fc7307 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM enp4s0 48.00 34.00 9.72 4.64 0.00 0.00 0.00
04:58:59 PM enp6s0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM veth5c95e8a 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM vethd0c9b86 14.00 13.00 82.92 1.42 0.00 0.00 0.00
04:58:59 PM veth852aa04f 23.00 23.00 6.19 6.25 0.00 0.00 0.00
04:58:59 PM vethab289cc8 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM docker_gwbridge 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:58:59 PM docker0 25.00 25.00 84.73 6.21 0.00 0.00 0.00
sar命令在這里可以查看網絡設備的吞吐率。在排查性能問題時，可以通過網絡設備的吞吐量，判斷網絡設備是否已經飽和。
-
sar -n TCP,ETCP 1命令
[root@Dev-Test-203 ~]# sar -n TCP,ETCP 1
Linux 3.10.0-514.6.1.el7.x86_64 (Dev-Test-203) 05/09/2017 _x86_64_ (4 CPU)
05:20:58 PM active/s passive/s iseg/s oseg/s
05:20:59 PM 2.00 0.00 32.00 38.00
05:20:58 PM atmptf/s estres/s retrans/s isegerr/s orsts/s
05:20:59 PM 0.00 0.00 0.00 0.00 0.00
05:20:59 PM active/s passive/s iseg/s oseg/s
05:21:00 PM 9.00 0.00 63.00 204.00
05:20:59 PM atmptf/s estres/s retrans/s isegerr/s orsts/s
05:21:00 PM 4.00 0.00 0.00 0.00 8.00
05:21:00 PM active/s passive/s iseg/s oseg/s
05:21:01 PM 0.00 0.00 12.00 13.00
05:21:00 PM atmptf/s estres/s retrans/s isegerr/s orsts/s
05:21:01 PM 0.00 0.00 0.00 0.00 0.00
05:21:01 PM active/s passive/s iseg/s oseg/s
05:21:02 PM 0.00 0.00 22.00 27.00
05:21:01 PM atmptf/s estres/s retrans/s isegerr/s orsts/s
05:21:02 PM 0.00 0.00 0.00 0.00 0.00
sar命令在這里用于查看TCP連接狀態，其中包括：
- active/s：每秒本地發起的TCP連接數，既通過connect調用創建的TCP連接；
- passive/s：每秒遠程發起的TCP連接數，即通過accept調用創建的TCP連接；
- retrans/s：每秒TCP重傳數量；
TCP連接數可以用來判斷性能問題是否由于建立了過多的連接，進一步可以判斷是主動發起的連接，還是被動接受的連接。TCP重傳可能是因為網絡環境惡劣，或者服務器壓力過大導致丟包。
-
top命令
[root@Dev-Test-203 ~]# top
top - 17:23:42 up 14 days, 50 min, 2 users, load average: 6.79, 2.41, 0.96
Tasks: 397 total, 1 running, 396 sleeping, 0 stopped, 0 zombie
%Cpu(s): 9.9 us, 11.2 sy, 0.0 ni, 78.7 id, 0.0 wa, 0.0 hi, 0.2 si, 0.0 st
KiB Mem : 3881888 total, 203632 free, 1657044 used, 2021212 buff/cache
KiB Swap: 4063228 total, 4030692 free, 32536 used. 1676340 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
24713 root 20 0 513752 157296 7476 S 7.0 4.1 100:58.55 cadvisor
11943 root 20 0 1086896 35264 9264 S 6.3 0.9 133:55.98 telegraf
9561 root 20 0 1097140 38020 9232 S 6.0 1.0 136:29.51 telegraf
19998 root 20 0 648876 30200 9456 S 4.3 0.8 96:42.35 telegraf
12940 root 20 0 2558440 92736 20692 S 3.0 2.4 53:01.38 dockerd
12948 root 20 0 1424740 19336 4492 S 2.7 0.5 14:51.40 docker-containe
27286 109 20 0 2253776 96864 3268 S 2.7 2.5 57:25.64 beam.smp
27733 polkitd 20 0 265736 75964 8556 S 2.0 2.0 35:29.90 daphne
11698 telegraf 20 0 497988 23824 9232 S 1.7 0.6 45:52.80 telegraf
4768 102 20 0 36996 3104 1348 S 1.0 0.1 4:20.36 redis-server
513 root 20 0 36820 5756 5468 S 0.7 0.1 16:51.69 systemd-journal
922 root 20 0 467664 7584 6496 S 0.7 0.2 15:57.66 rsyslogd
32741 root 20 0 157980 2576 1532 R 0.7 0.1 0:00.21 top
9 root 20 0 0 0 0 S 0.3 0.0 15:43.40 rcu_sched
586 106 20 0 38492 1656 388 S 0.3 0.0 0:00.01 haproxy
15710 root 20 0 142904 5140 3876 S 0.3 0.1 0:00.28 sshd
top命令包含了前面好幾個命令的檢查的內容。比如系統負載情況（uptime）、系統內存使用情況（free）、系統CPU使用情況（vmstat）等。因此通過這個命令，可以相對全面的查看系統負載的來源。同時，top命令支持排序，可以按照不同的列排序，方便查找出諸如內存占用最多的進程、CPU占用率最高的進程等。
但是，top命令相對于前面一些命令，輸出是一個瞬間值，如果不持續盯著，可能會錯過一些線索。這時可能需要暫停top命令刷新，來記錄和比對數據。
