Gor,又稱為GoReplay,是采用Golang 編寫的一個開源的 HTTP 實時流量復制工具。它只需要在 LB 或者 Varnish 入口服務器上執行一個進程,就可以把生產環境的流量復制到任何地方,比如 Staging 環境、Dev 環境。常用于壓測及線上問題復現。
Gor支持的常用功能
Gor 支持流量的放大和縮小、頻率限制,這樣不需要搭建和生產環境一致的服務器集群也可以正確測試。
Gor 還支持根據正則表達式過濾流量,這意味著可以單獨測試某個 API 服務。
Gor還可以修改 HTTP 請求頭,比如替換 User-Agent, 或者增加某些 HTTP Header 。
Gor 還可以把請求記錄到文件,以備回放和分析。Gor 支持和 ElasticSearch 集成,將流量存入 ES 進行實時分
可用輸入:
--input-raw - 用于捕獲HTTP流量,您應該指定IP地址或接口和應用程序端口。有關捕獲和重放流量的更多信息。
--input-file- 接受之前使用的文件--output-file。更多關于保存和從文件重播
--input-tcp - 如果您決定將來自多個轉發器Gor實例的流量轉發給它,則由Gor聚合實例使用。閱讀關于使用Aggregator-forwarder設置。
可用輸出:
--output-http - 重放HTTP流量到給定的端點,接受基礎URL。閱讀[關于它的更多信息](重播HTTP流量)
--output-file - 記錄傳入的流量到文件。更多關于保存和從文件重播
--output-tcp- 將傳入數據轉發給另一個Gor實例,并與其一起使用--input-tcp。閱讀關于Aggregator-forwarder設置的更多信息。
--output-stdout - 用于調試,輸出所有數據到stdout。
Gor 常用實踐場景
1、當需要對線上服務進行整體性能壓測時,可將線上請求擴大N倍,進行引流,將請求擴大1倍,也可縮小,調整"|"后面的百分比即可。
gor --input-raw :80 --http-allow-method GET --output-http "http://127.0.0.1:8080|200%"
2、流量實時復制引流
gor --input-raw :80 --output-http "http://10.x.x.x:8080"
3、如果目標服務器使用的庫與線上機器一樣,且只需要引流Get方法的請求。
gor --input-raw :80 --http-allow-method GET --output-http "http://10.x.x.x:8080"
4、只復制某個URL請求,--http-allow-url參數,-http-allow-url參數可用正則表達式(--output-http-url-regexp在gor 0.16已經過期,使用--http-allow-url代替)。
goreplay -input-raw 10.100.x.x:80 --output-http "http://10.200.x.x:80|100%" --http-set-header "Host:rec.api.mgtv.com" --http-allow-url '^/ott/like'
5、多目標服務器的流量復制引流,有點類似nginx的mirror。
gor --input-raw :80 --output-http "http://target_server:8080" --output-http "http://target_server2:8080"
6、性能壓力測試(可以將流量復制到文件,然后再對他們進行回放。回放的時候,流量會維持原始的時間間隔。如果你使用了百分比來進行速率限制,那么回放的速率會相應的增加或減少。有了這種速率限制,gor就可以用來進行壓力測試。)
gor -input-file="/root/test.gor|500%" -output-http="http://127.0.0.1:80|500%" --input-file-loop --exit-after 30s