python多任務之多進程

一個任務是一個進程,進程內的子任務稱為線程。
多任務的實現有3種方式:

  • 多進程模式;
  • 多線程模式;
  • 多進程+多線程模式。

線程是最小的執行單元,而進程由至少一個線程組成。如何調度進程和線程,完全由操作系統決定,程序自己不能決定什么時候執行,執行多長時間。

這次主要學習的是多進程的實現。
有下面三種方法。

os.getpid()父進程的PID
os.getppid() 子進程的PID

一、os.fork()

import os
os.fork()
print('1111111111')

fork函數一旦運行就會生出一條新的進程,2個進程一起執行導致輸出了2行。

import os
import time

res = os.fork()
print('res == %d'%res)
if res == 0:
    print('我是子進程,我的pid是:%d,我的父進程id是:%d'%(os.getpid(),os.getppid()))
else:
    print('我是父進程,我的pid是:%d'%os.getpid())```

執行結果:

res == 105297
我是父進程,我的pid是:105296
res == 0
我是子進程,我的pid是:105297,我的父進程id是:105296```
fork()運行時,會有2個返回值,返回值為大于0時,此進程為父進程,且返回的數字為子進程的PID;當返回值為0時,此進程為子進程。
注意:父進程結束時,子進程并不會隨父進程立刻結束。同樣,父進程不會等待子進程執行完。

???我也不知道為什么,似乎fork只能在py文件中實現。
在命令行中執行函數后直接進入了子進程,打字都是隔一個出現的。并且也無法退出,除非ctrl+Z強制退出。

二、multiprocessing.Process

from multiprocessing import Process
import time

def A():
    while True:
        print('正在調用函數')
        time.sleep(1)#推遲執行的秒數

p = Process(target = A) #創建進程對象,并指定進程將來要執行的函數.
p.start()  #啟動進程.

執行結果:

正在調用函數
正在調用函數
正在調用函數
......```

再敲段代碼,實現多進程同步執行:

import time
from multiprocessing import Process

def A(num):
while True:
print('正在調用函數%d'%num)
time.sleep(1)

for i in range(2):
p = Process(target = A, args = (i,)) #創建進程對象,并指定進程將來要執行的函數.
p.start() #啟動進程.

exit()```

執行結果:

正在調用函數0
正在調用函數1
正在調用函數0
正在調用函數1
......

注意Process創建的進程必須執行完,主程序才會結束,用exit()也不能強退。
Process 創建進程的類:
Process([group [, target [, name [, args [, kwargs]]]]])
target表示調用對象,args表示調用對象的位置參數元組,如果只有一個參數要用(a,)來表示他是一個元組。kwargs表示調用對象的字典。Name為別名。Group實質上不使用。

方法有:is_alive()、.join([timeout])、run()、start()、terminate()
屬性有:authkey、daemon(要通過start()設置)、exitcode(進程在運行時為None、如果為–N,表示被信號N結束)、name、pid

Process類中,注意daemon是父進程終止后自動終止,且自己不能產生新進程,必須在start()之前設置。

三、multiprocessing.Process的run()方法

import os
import time
from multiprocessing import Process

class NewProcess(Process): #繼承Process類創建一個新類
    def __init__(self,num):
        self.num = num
        super().__init__()

def run(self):  #重寫Process類中的run方法.
        while True:
            print('我是進程%d,我的pid是:%d'%(self.num,os.getpid()))
            time.sleep(1)

for i in range(2):
    p = NewProcess(i)
    p.start()```

執行結果:

我是進程0,我的pid是:105653
我是進程1,我的pid是:105654
我是進程0,我的pid是:105653
我是進程1,我的pid是:105654
我是進程0,我的pid是:105653
我是進程1,我的pid是:105654
...```

當不給Process指定target時,會默認調用Process類里的run()方法。這和指定target效果是一樣的,只是將函數封裝進類之后便于理解和調用。

四、multiprocessing.Pool 進程池

import time
from multiprocessing import Pool

def A():
        for i in range(5):
            print(i)
            time.sleep(1)
#進程里有多少個數字
pool = Pool(2) #定義進程池大小 即一次性可以同時運行的進程
for i in range(5):#生成多少個進程
    pool.apply_async(A) #使用非阻塞方式調用func,阻塞是apply()
#阻塞:主程序不運行,運行完一個子程序再運行下一個子程序。
#非阻塞:同時運行幾個子程序,取決于pool大小

pool.close() #關閉Pool,使其不再接受新的任務
pool.join() #主進程阻塞,等待子進程的退出

對Pool對象調用join()方法會等待所有子進程執行完畢。調用join()之前必須先調用close(),調用close()之后就不能繼續添加新的Process了。
Pool.terminate():一旦運行到此步,不管任務是否完成,立即終止。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 對多進程的補充 對比下面兩段代碼 if name=='main':... print('Parent pr...
    JEZAU閱讀 522評論 0 0
  • 1.進程 1.1多線程的引入 現實生活中 有很多的場景中的事情是同時進行的,比如開車的時候手和腳共同來駕駛汽車,再...
    TENG書閱讀 515評論 0 0
  • 又來到了一個老生常談的問題,應用層軟件開發的程序員要不要了解和深入學習操作系統呢? 今天就這個問題開始,來談談操...
    tangsl閱讀 4,164評論 0 23
  • 1.1.1多任務的引入 什么叫“多任務”呢?簡單地說,就是操作系統可以同時運行多個任務。打個比方,你一邊在用瀏覽器...
    PythonMaO閱讀 479評論 0 1
  • @(python)[筆記] 目錄 一、什么是進程 1.1 進程的概念 進程的概念起源于操作系統,是操作系統最核心的...
    CaiGuangyin閱讀 1,272評論 0 9