[譯]7 個測量 Python 腳本和控制內存以及 CPU 使用率的技巧

譯自:Marina mele的 7 tips to Time Python scripts and control memory and cpu usage
當運行一個復雜的 Python 程序,它需要很長時間來執行。你或許想提升它的執行時間。但如何做?
首先,你需要工具來查明你代碼的瓶頸,比如,那部分執行花費的時間長。用這個方法,你可以首先專注于提升這部分的速度。
而且,你也應該控制內存和 CPU 使用率,因為它可以為你指出的代碼可以改進的新的部分。
所以,在本文中,我將對 7 個不同的 Python 工具發表意見,給你一些關于你函數執行時間和內存以及 CPU 使用率的見解。

  1. 使用一個裝飾器來測量你的函數
    測量一個函數最簡單的方式就是定義一個裝飾器來測量運行該函數的運行時間,并打印該結果:
import time
from functools import wraps
 
 
def fn_timer(function):
    @wraps(function)
    def function_timer(*args, **kwargs):
        t0 = time.time()
        result = function(*args, **kwargs)
        t1 = time.time()
        print ("Total time running %s: %s seconds" %
               (function.func_name, str(t1-t0))
               )
        return result
    return function_timer

這時,你已經在你想測量的函數之前添加了裝飾器,像:

@fn_timerdef 
myfunction(...): ...

例如,讓我們測量下排序一個 2000000 個隨機數的數組會花費多長時間:

@fn_timer
def random_sort(n):
    return sorted([random.random() for i in range(n)])
 
 
if __name__ == "__main__":
 random_sort(2000000)

如果你運行你的腳本,你將看到:

Total time running random_sort: 1.41124916077 seconds

  1. 使用 timeit 模塊
    另外一個選項是使用 timeit 模塊,它給你測量一個平均時間。
    為了運行它,在你的終端執行以下命令:
    $ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"

timing_functions
是你腳本的名字。
在輸出的最后,你會看到一些像這樣的東西:
4 loops, best of 5: 2.08 sec per loop

表明了運行這個測試 4 次(-n 4),并在每個測試中重復平均 5 次(-r 5),最佳的結果是 2.08 秒。
如果你沒有指定測試或者重復,它默認是 10 次循環和 5 次重復。

  1. 使用 Uinx 的 time 命令
    盡管如此,裝飾器和 timeit 模塊都是基于 Python 的。這就是為什么 unix time 工具或許有用,因為它是一個外部的 Python 測量。
    為了運行 time 工具類型:
    $ time -p python timing_functions.py

將給出如下輸出:
Total time running random_sort: 1.3931210041 secondsreal 1.49user 1.40sys 0.08

第一行來自于我們定義的裝飾器,其他三行是:
real 表明了執行腳本花費的總時間
User 表明了執行腳本花費在的 CPU 時間
Sys 表明了執行腳本花費在內核函數的時間

因此, real time 和 user+sys 相加的不同或許表明了時間花費在等待 I/O 或者是系統在忙于執行其他任務。

  1. 使用 cProfile 模塊
    如果你想知道花費在每個函數和方法上的時間,以及它們被調用了多少次,你可以使用 cProfile 模塊。
    $ python -m cProfile -s cumulative timing_functions.py

現在你將看到你的代碼中每個函數被調用多少次的詳細描述,并且它將通過累積花費在每個函數上面的時間來排序(感謝 -s cumulative
選項)

cprofile_python.png

你將看到花費在運行你的腳本的總時間是比以前高的。這是我們測量每個函數執行時間的損失。

  1. 使用 line_profiler 模塊
    line_profiler 給出了在你代碼每一行花費的 CPU 時間。
    這個模塊首先應該被安裝,使用命令:
    $ pip install line_profiler

下一步,你需要指定你想使用裝飾器 @profile
評估哪個函數(你不需要把它 import 到你的文件中)。

@profile
def random_sort2(n):
    l = [random.random() for i in range(n)]
    l.sort()
    return l
 
if __name__ == "__main__":
    random_sort2(2000000)

最后,你可以通過鍵入以下命令取得 random_sort2
函數逐行的描述:
$ kernprof -l -v timing_functions.py

-l
標識表明了逐行和 -v
標識表明詳細輸出。使用這個方法,我們看到了數組結構花費了 44% 的計算時間,sort() 方法花費了剩余的 56%。

kernprof_line_profiler.png

你也將看到,由于時間測量,這個腳本執行花費的或許更長。

  1. 使用 memory_profiler 模塊
    memory_profiler 模塊被用于在逐行的基礎上,測量你代碼的內存使用率。盡管如此,它可能使得你的代碼運行的更慢。
    安裝:
    $ pip install memory_profiler

也建議安裝 psutil 包,使得 memory_profile
模塊運行的更快:
$ pip install psutil

類似 line_profiler
的方式,使用裝飾器 @profile
來標記哪個函數被跟蹤。下一步,鍵入:
$ python -m memory_profiler timing_functions.py

是的,前面的腳本比之前的 1 或 2 秒需要更長的時間。并且,如果你不安裝 psutil
模塊,你將一直等待結果。

memory_profiler.png

看上面的輸出,注意內存使用率的單位是 MiB,這代表的是兆字節(1MiB = 1.05MB)。

  1. 使用 guppy 包
    最后,使用這個包,你可以跟蹤每個類型在你代碼中每個階段(字符, 元組, 字典 等等)有多少對象被創建了。
    安裝:
    $ pip install guppy

下一步,像這樣添加到你的代碼中:

from guppy import hpy
 
 
def random_sort3(n):
    hp = hpy()
    print "Heap at the beginning of the function\n", hp.heap()
    l = [random.random() for i in range(n)]
    l.sort()
    print "Heap at the end of the function\n", hp.heap()
    return l
 
 
if __name__ == "__main__":
    random_sort3(2000000)

并且這樣運行你的代碼:
$ python timing_functions.py

你將看到一些像下面的輸出:

Guppy_Python.png

通過配置 heap 在你的代碼的不同地方,你可以在腳本中學到對象的創建和銷毀。

如果你想學習更多提升你 Python 代碼的知識,我建議你看看 2014 年 11 月出版的 High Performance Python: Practical Performant Programming for Humans 這本書。

其實吧,先用Python寫好腳本是正經的。。。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容