前言

在對一個web進行性能測試過程中，需要開發者掌握一些概念，例如性能測試，到底要測試什么？常見的測試指標有哪些？要怎么做調優？
這里分享一個案例。

案例

有一個接口，需要對上傳文件進行分析，流程是上傳一個zip文件，解壓后進行校驗，分析處理后，對文件進行簽名，同時返回前也會驗證簽名一次，再進行zip壓縮輸出，返回到平臺，有幾個重要參數，例如，文件摘要值、對文件操作的算法。

zip操作簡圖

初步解析

這個案例看完后，從開發的角度上看，我們可能會思考，哪一些步驟會出現哪一些瓶頸，哪一個步驟需要采用什么角度來進行優化？
1）簽名所用到的算法，對算法調優，或者降低安全性選用低運算的算法
2）上傳大文件與下載大文件的網絡傳輸，與本地文件多次讀取的處理
3）多文件下，考慮zip的壓縮與解壓的調優處理
4）不考慮立即同步，是否可以采用異步調用的方式
5）web應用，tomcat容器對上傳文件存放在臨時文件，考慮減少IO讀寫
6）有哪些可以采用緩存的方式
7）JVM調優、有那些對象不需要每次都加載、處理...

簽名算法

沒整理好，待補充

網絡傳輸

沒整理好，待補充

zip的壓縮與解壓

經過壓力測試，通過阿里的arthur工具包，發現在壓縮與解壓過程，耗時不遜于文件上傳下載。
這里采用了not buffer copy、buffer copy、nio copy、nio mapped copy、nio pip copy這幾種方式來對比壓縮過程，文件流讀取

zip壓縮策略

代碼遲點更新到github，待補充，各位看官稍安勿躁

異步調用

接口返回，就不采取同步了，而是提供一個返回的調用接口，執行完返回到這個回調接口，這種方式可以大大提升文件的并發吞吐量。
代碼遲點更新到github，待補充，各位看官稍安勿躁

臨時文件

考慮是web應用+內存，文件讀取遠遠沒那么簡單，因為不可能完全讓內存去直接對文件操作，所以需要將zip臨時存放在服務器上，而不是內存上。
同時如果是tomcat，還會有臨時目錄處理上傳文件，從接口上拿到的數據，并不是請求的數據，而是從tomcat臨時文件中再一次獲取的數據。
所以這里有居多的IO操作
1）tomcat從獲取請求數據在臨時文件夾（地址:tomcat.tmp.path）；
2）接口獲取臨時文件位置的數據，存放在配置上指定的文件夾（地址:config.file.path）；
3）解壓文件，需要將這些files存放在又一個臨時文件夾（地址:unzip.files.path）；
4）對這一個個文件進行一次頁面的簽名，防止文件篡改，簽完名，同時驗證簽名值存放臨時文件夾（地址:sign.files.path）；
5）接著通過unzip對簽名文件進行壓縮到一個臨時文件夾（地址:sign.zip.path）；
6）接口讀取該地址返回。

需要改造的方向：
1）將tomcat默認的臨時文件夾存放，通過springboot的配置改為制定配置的位置
如果是用springboot2.x.x，那么配置server.tomcat.basedir就行了
2）考慮響應式編程，對這個邏輯進行重新設計與重構，即解壓一個文件，就立馬消費（進行簽名+驗簽），接著在準備壓縮，一套流程走一起
... ...
沒整理好，待補充

3. 從性能測試的角度上看，需要測試什么呢？吞吐量、一次請求的響應時間、并發用戶數、還有資源使用率，其中資源使用率，例如有CPU的使用情況（算法處理與常規運算），內存使用率（保證足夠大的空間能夠對單個文件進行處理），磁盤IO的處理（文件讀取與寫入）

資源使用命令

介紹完以上的一些調優方案，這里介紹一些常用的常見的測試指標，來查看系統資源的命令（Linux）

CPU占用率

vmstat 3
# 查看cpu最后一項，記錄us、sy、id的數據值
# us ：用戶進程消耗的CPU時間百分比
# sy ： 內核進程消耗CPU時間百分比
# id ： CPU處在空閑狀態的時間百分比
# us+sy參考值為80%，如果大于80%，說明可能存在CPU資源不足的情況
# 綜上所述，CPU性能評估中重點注意r、us、sy和id列的值。

vmstat查看CPU占用率

或者采用top命令，可以觀察%CPU選項，輸入數字1可進行排序

top查看CPU占用率

內存使用率

top
# 控制臺上實時監控，查看Mem中從測試開始到測試各個階段使用的內存有多大，MEM占比有多少，這里可以輸入字母m來切換顯示模式

free
# 不會實時監控，只測試一次

top查看內存使用率

free查看內存使用率

網絡I/O

# eno1 為使用的端口
dstat -t -clmnsyr --tcp --net-packets -N eno1

dstat 查看網絡IO變化

磁盤I/O

vmstat 3
# bi ： 從塊設備讀入數據的總量，即讀磁盤，單位kB/s
# bo ： 寫入到塊設備的數據總量，即寫磁盤，單位kB/s

vmstat 查看磁盤IO變化

使用iostat -d -x -k 1 2獲取磁盤IO的數據變化情況

iostat 查看磁盤IO變化

未完待續，持續更新

性能測試工具

JMX的使用

配置JAVA或者是web容器里的JAVA_OPTS類似的參數，指定JMX的

Jstat的使用

Jmeter

可視化zabbix

jmeter雖然也可以看，但是效果不佳

可視化zabbix