Golang調度器

原文: http://morsmachine.dk/go-scheduler

為什么在內核的線程調度器之外Go還需要一個自己的調度器?

  1. POSIX線程API是對已有的UNIX進程模型的邏輯擴展,因此線程和進程在很多方面都類似。例如,線程有自己的信號掩碼,CPU affinity(進程要在某個給定的 CPU 上盡量長時間地運行而不被遷移到其他處理器的傾向性),cgroups。但是有很多特性對于Go程序來說都是累贅。 2. 另外一個問題是基于Go語言模型,OS的調度決定并不一定合理。例如,Go的垃圾回收需要內存處于一致性的狀態,這需要所有運行的線程都停止。垃圾回收的時間點是不確定的,如果僅由OS來調度,將會由大量的線程停止工作。
  2. 單獨開發一個Go的調度器能讓我們知道什么時候內存處于一致性的狀態。也就是說,當開始垃圾回收時,運行時只需要為當時正在CPU核上運行的那個線程等待即可,而不是等待所有的線程。

線程模型——高級語言對內核線程的封裝實現

  1. N:1模型,N個用戶空間線程在1個內核空間線程上運行。優勢是上下文切換非常快但是無法利用多核系統的優點。
  2. 1:1模型,1個內核空間線程運行一個用戶空間線程。這種充分利用了多核系統的優勢但是上下文切換非常慢,因為每一次調度都會在用戶態和內核態之間切換。(POSIX線程模型(pthread),Java)
  3. M:N模型, 每個用戶線程對應多個內核空間線程,同時也可以一個內核空間線程對應多個用戶空間線程。Go打算采用這種模型,使用任意個內核模型管理任意個goroutine。這樣結合了以上兩種模型的優點,但缺點就是調度的復雜性。

Golang的調度器實現

Go的調度器使用了三種結構:M,P,S

  • M代表內核線程,類似于標準的POSIX線程,M代表machine。
  • G代表goroutine,它擁有自己的棧,程序計數器(instruction counter)和一些關于goroutine調度的信息(如正在阻塞的channel)。
  • P代表processor,表示調度的上下文。可以把它看作是一個局部的調度器,讓Go代碼跑在一個單獨的線程上。這是讓Go從一個N:1調度器映射到一個M:N調度器的關鍵。

如上圖所示,每個線程運行了一個goroutine,所以必須得維持一個上下文P。

上下文的數量由啟動時環境變量$GOMAXPROCS或者是由runtime的方法GOMAXPROCS()決定(默認值為1,Go1.5以后默認值為CPU的核心數)。這意味著在程序執行的任意時刻都只有$GOMAXPROCS個goroutine在同時運行。

灰色的goroutine沒有在運行,等待被調度。它們被維護在一個隊列(runqueues)里。當一個go語句執行,就將一個新的goroutine添加到隊列尾;當運行當前goroutine到調度點時,就從隊列中彈出一個新的goroutine。

每一個context擁有一個局部的runqueue。之前版本的Go調度器只有一個全局的帶有互斥鎖的runqueue,這樣線程經常被阻塞等待其它線程解鎖,在多核機器上性能表現及其差。

之所以要維護多個context,是因為當一個OS線程被阻塞時,我們可以把contex移到其它的線程中去。

如上圖所示,當一個內核線程M0要被阻塞時,P將會去M1上繼續運行。Go的調度器保證了擁有足夠的線程跑所有的contexts。因為還有在執行的goroutine,M0會暫時掛起。當syscall返回時,M0會嘗試獲取一個context來運行G0。一般情況下,它會從其它內核線程偷一個過來。如果沒有偷到,它會把G0放到一個全局的runqueue內,將自己放回線程池,進入睡眠狀態。

當contexts運行完所有的本地runqueue時,它會從全局runqueue拉取goroutine。contexts也會周期性檢查全局runqueue是否存在goroutine,以防止全局runqueue中的goroutine餓死。

這就是為什么Go程序多線程運行的原因,即使GOMAXPROCS只有1。

另外一種情況就是某個context的goroutine運行完了,全局runqueue也沒有了goroutine,而其它context還有大量goroutine需要運行。這時候就需要從其它的地方獲取goroutine。如圖所示,context會嘗試從其它context的runqueue里面偷一半的goroutine。這樣就能確保所有的線程都能以最大負荷運行。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,247評論 6 543
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,520評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,362評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,805評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,541評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,896評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,887評論 3 447
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,062評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,608評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,356評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,555評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,077評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,769評論 3 349
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,175評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,489評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,289評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,516評論 2 379

推薦閱讀更多精彩內容

  • 概要 本文從幾個角度入手,描述和學習調度器原理 講解調度器的基本概念 go語言的作者實現的C的協程庫 libtas...
    zengfan閱讀 6,414評論 0 21
  • http://skoo.me/go/2013/11/29/golang-schedule?hmsr=studygo...
    baboon閱讀 2,271評論 0 3
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,826評論 18 139
  • 正文開始之前先拋出一個思考:讓一個靜態網站滿足海量用戶訪問本質上是一個并行問題還是并發問題? 并發的世界 并發這個...
    謝培陽閱讀 1,984評論 3 16
  • Goroutine是Go里的一種輕量級線程——協程。相對線程,協程的優勢就在于它非常輕量級,進行上下文切換的代價非...
    witchiman閱讀 4,857評論 0 9