golang profile用法

概要

profile就是定時采樣，收集cpu，內存等信息，進而給出性能優化指導，golang 官方提供了golang自己的性能分析工具的用法，也給出了指導，官方的介紹

環境

golang環境， graphviz

生成profile方法

golang目前提供了3中profile，分別是 cpu profile, memery profile, blocking profile, 對于如何生成這些profile有兩種辦法，一種是使用 net/http/pprof 包，一種是需要自己手寫代碼，下面分別介紹一下

1. net/http/pprof 方法

這種方法是非常非常簡單的，只需要引入 net/http/pprof 包就可以了，網頁上可以查看

package main

import (
    "fmt"
    "log"
    "net/http"
    _ "net/http/pprof"
)

func main() {
    go func() {
        for {
            fmt.Println("hello world")
        }
    }()
    log.Fatal(http.ListenAndServe("0.0.0.0:8080", nil))
}

http://127.0.0.1:8080/debug/pprof 查看整體信息
http://127.0.0.1:8080/debug/pprof/profile 可以將cpu profile下載下來觀察分析

從terminal進入profile，進行細致分析
go tool pprof http://localhost:6060/debug/pprof/profile
go tool pprof http://localhost:6060/debug/pprof/heap
go tool pprof http://localhost:6060/debug/pprof/block

  1. 寫代碼的方法
func main() {
    cpuf, err := os.Create("cpu_profile")
    if err != nil {
        log.Fatal(err)
    }
    pprof.StartCPUProfile(cpuf)
    defer pprof.StopCPUProfile()

    ctx, _ := context.WithTimeout(context.Background(), time.Second*5)
    test(ctx)

    time.Sleep(time.Second * 3)
    memf, err := os.Create("mem_profile")
    if err != nil {
        log.Fatal("could not create memory profile: ", err)
    }
    if err := pprof.WriteHeapProfile(memf); err != nil {
        log.Fatal("could not write memory profile: ", err)
    }
    memf.Close()
}

func test(c context.Context) {
    i := 0
    j := 0
    go func() {
        m := map[int]int{}
        for {
            i++
            m[i] = i
        }
    }()
    go func() {
        m := map[int]int{}
        for {
            j++
            m[i] = i
        }
    }()
    select {
    case <-c.Done():
        fmt.Println("done, i", i, "j", j)
        return
    }
}

會生成兩個profile，一個是cpu的，一個是內存的。進入proflie 方法

go tool pprof main profile
main 代表的是二進制文件，也就是編譯出來的可執行文件
profile 就是上文中生成的profile，可以是cpu_profile, 也可以是mem_profile

對于cpu_profile 來說，代碼開始的時候就可以開始統計了
mem_profile 部分代碼如果寫在代碼開始的位置是統計不出來的，需要找到一個比較好的位置

如何分析 profile

1.示例代碼如下
package main

import (
    "flag"
    "fmt"
    "log"
    "math/rand"
    "os"
    "runtime/pprof"
    "sort"
    "time"
)

var num = 100000000
var findNum = 10000000

var t = flag.String("t", "map", "use map")

func main() {
    cpuf, err := os.Create("cpu_profile")
    if err != nil {
        log.Fatal(err)
    }
    pprof.StartCPUProfile(cpuf)
    defer pprof.StopCPUProfile()

    flag.Parse()
    if *t == "map" {
        fmt.Println("map")
        findMapMax()
    } else {
        fmt.Println("slice")
        findSliceMax()
    }
}

func findMapMax() {
    m := map[int]int{}
    for i := 0; i < num; i++ {
        m[i] = i
    }

    for i := 0; i < findNum; i++ {
        toFind := rand.Int31n(int32(num))
        _ = m[int(toFind)]
    }
}

func findSliceMax() {
    m := make([]int, num)
    for i := 0; i < num; i++ {
        m[i] = i
    }

    for i := 0; i < findNum; i++ {
        toFind := rand.Int31n(int32(num))
        v := sort.SearchInts(m, int(toFind))
        fmt.Println(v)
    }
}

代碼很簡單，主要是為了介紹如何分析profile，達到效果即可，不要在意細節。
這段代碼就是分別用 map, slice 兩種數據結構, 先生成 num 個元素，在從map, slice 中 隨機找到 findNum 個元素， 選用map 還是 slice 可以通過 -t 來指定，本demo采用 非 net/http/pprof 方式

2.準備工作

需要生成 profile 文件 和 二進制文件
生成二進制文件: go build main.go (執行命令后會生成 main 二進制文件)
生成 profile: ./main (不指定-t ，默認使用map數據結構,會生成 cpu_profile, 這個文件就是我們要分析的profile)

3.分析profile
  • 現在準備工作做好了，我們目前生成了 main 二進制可執行文件，cpu_profile 性能分析需要的profile, 接下來我們要正式進入profile進行分析了
  • go tool pprof main cpu_profile 執行這個命令就進入了profile 文件了，這時候我們已經可以開始分析代碼了
  • 輸入help，可以查看都支持哪些操作，有很多命令可以根據需要進行選擇，我們只介紹4個我自己比較喜歡用的命令 web, top, peek, list
    *web----- 在profile輸入 web, 會生成網頁版的調用分析圖（需要安裝 graphviz）如下圖：
    web

    輸入web命令后，會自動打開瀏覽器出現如下內容：
    web2

這樣就可以看到每個步驟占用多少時間了，可以對性能進行大致的分析，但是很多時候可能出現的并不是我們關心的，比如這個demo中看到的都是不認識的函數（其實都是map的runtime操作）

  • top----- 在profile 中輸入top，會列出來幾個最耗時的操作


    web2

因為性能統計都是采樣操作，所以不是每次統計出來的都一樣， 最重要的是經常統計出來的都是底層操作，并不是我們關心的，而且也不是每個人都能看得懂，我們更需要一種直觀的辦法，很直觀的能把自己寫的代碼耗時都看出來，下面就介紹一種我個人覺得非常好的方法。

  • peek,list 妙用
    peek 是用來查詢 函數名字的(這個名字是list需要使用的名字，并不完全等于函數名)
    list 是用來將函數時間消耗列出來的
    1）list main.main


    web2

  1. peek findMapMax (因為根據1可以看出來消耗都在 findMapMax)


    web2

    3）list main.findMapMax (根據2可以看出來名字是 main.findMapMax)


    web2

妙用 peek list指令可以很直觀的看出來，我們的代碼問題在 m[i] = i, 這就說明了就是map的寫操作耗費了38.75s, 而44行的讀操作只用了2.35s, 針對這個demo，我們要優化的就是 m[i] = i ，因為這句操作已經語言級別的，我們是沒有能力對他進行優化的，所以這時候如果需求只能用map，那么這個程序幾乎沒有優化空間了，如果需求可以使用其他的數據結構，那我們肯定會把map修改為slice，眾所周知 map 每次存一個函數都要進行hash計算，而且存的多了到達一定的數量，還要重新對map進行重新分配空間的操作，所以肯定是耗時的。

總結

  1. go run main.go -t=slice 會使用slice的數據結構，同學們可以自行按照文章的方法進行分析一下，檢驗一下自己掌握的如何。
  2. 在profile中執行help命令，會列出所有的命令，有興趣可以去研究
  3. memory 也是同樣的分析方法，demo 中 mem_profile 生成的位置可能需要調整，我沒有進行驗證，降低memory 使用也會大幅提升性能。
  4. 還有一種 blocking profile 在手寫方式中沒有給出，有興趣的可以自己google一下

過早的優化是萬惡之源

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容