Go Slice 最大容量大小是怎么來的

image

原文地址:Go Slice 最大容量大小是怎么來的

前言

在《深入理解 Go Slice》中,我們提到了 “根據其類型大小去獲取能夠申請的最大容量大小” 的處理邏輯。今天我們將更深入地去探究一下,底層到底做了什么東西,涉及什么知識點?

Go Slice 對應代碼如下:

func makeslice(et *_type, len, cap int) slice {
    maxElements := maxSliceCap(et.size)
    if len < 0 || uintptr(len) > maxElements {
        ...
    }

    if cap < len || uintptr(cap) > maxElements {
        ...
    }

    p := mallocgc(et.size*uintptr(cap), et, true)
    return slice{p, len, cap}
}

根據想要追尋的邏輯,定位到了 maxSliceCap 方法,它會根據當前類型的大小獲取到了所允許的最大容量大小來進行閾值判斷,也就是安全檢查。這是淺層的了解,我們繼續追下去看看還做了些什么?

maxSliceCap

func maxSliceCap(elemsize uintptr) uintptr {
    if elemsize < uintptr(len(maxElems)) {
        return maxElems[elemsize]
    }
    return maxAlloc / elemsize
}

maxElems

var maxElems = [...]uintptr{
    ^uintptr(0),
    maxAlloc / 1, maxAlloc / 2, maxAlloc / 3, maxAlloc / 4,
    maxAlloc / 5, maxAlloc / 6, maxAlloc / 7, maxAlloc / 8,
    maxAlloc / 9, maxAlloc / 10, maxAlloc / 11, maxAlloc / 12,
    maxAlloc / 13, maxAlloc / 14, maxAlloc / 15, maxAlloc / 16,
    maxAlloc / 17, maxAlloc / 18, maxAlloc / 19, maxAlloc / 20,
    maxAlloc / 21, maxAlloc / 22, maxAlloc / 23, maxAlloc / 24,
    maxAlloc / 25, maxAlloc / 26, maxAlloc / 27, maxAlloc / 28,
    maxAlloc / 29, maxAlloc / 30, maxAlloc / 31, maxAlloc / 32,
}

maxElems 是包含一些預定義的切片最大容量值的查找表,索引是切片元素的類型大小。而值看起來 “奇奇怪怪” 不大眼熟,都是些什么呢。主要是以下三個核心點:

  • ^uintptr(0)
  • maxAlloc
  • maxAlloc / typeSize

^uintptr(0)

func main() {
    log.Printf("uintptr: %v\n", uintptr(0))
    log.Printf("^uintptr: %v\n", ^uintptr(0))
}

輸出結果:

2019/01/05 17:51:52 uintptr: 0
2019/01/05 17:51:52 ^uintptr: 18446744073709551615

我們留意一下輸出結果,比較神奇。取反之后為什么是 18446744073709551615 呢?

uintptr 是什么

在分析之前,我們要知道 uintptr 的本質(真面目),也就是它的類型是什么,如下:

type uintptr uintptr

uintptr 的類型是自定義類型,接著找它的真面目,如下:

#ifdef _64BIT
typedef uint64      uintptr;
#else
typedef uint32      uintptr;
#endif

通過對以上代碼的分析,可得出以下結論:

  • 在 32 位系統下,uintptr 為 uint32 類型,占用大小為 4 個字節
  • 在 64 位系統下,uintptr 為 uint64 類型,占用大小為 8 個字節

^uintptr 做了什么事

^ 位運算符的作用是按位異或,如下:

func main() {
    log.Println(^1)
    log.Println(^uint64(0))
}

輸出結果:

2019/01/05 20:44:49 -2
2019/01/05 20:44:49 18446744073709551615

接下來我們分析一下,這兩段代碼都做了什么事情呢

^1

二進制:0001

按位取反:1110

該數為有符號整數,最高位為符號位。低三位為表示數值。按位取反后為 1110,根據先前的說明,最高位為 1,因此表示為 -。取反后 110 對應十進制 -2

^uint64(0)

二進制:0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000

按位取反:1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111 1111

該數為無符號整數,該位取反后得到十進制值為:18446744073709551615

這個值是不是看起來很眼熟呢?沒錯,就是 ^uintptr(0) 的值。也印證了其底層數據類型為 uint64 的事實 (本機為 64 位)。同時它又代表如下:

  • math.MaxUint64
  • 2 的 64 次方減 1

maxAlloc

const GoarchMips = 0
const GoarchMipsle = 0
const GoarchWasm = 0

...

_64bit = 1 << (^uintptr(0) >> 63) / 2

heapAddrBits = (_64bit*(1-sys.GoarchWasm))*48 + (1-_64bit+sys.GoarchWasm)*(32-(sys.GoarchMips+sys.GoarchMipsle))

maxAlloc = (1 << heapAddrBits) - (1-_64bit)*1

maxAlloc允許用戶分配的最大虛擬內存空間。在 64 位,理論上可分配最大 1 << heapAddrBits 字節。在 32 位,最大可分配小于 1 << 32 字節

在本文,僅需了解它承載的是什么就好了。具體的在以后內存管理的文章再講述

注:該變量在 go 10.1 為 _MaxMem,go 11.4 已改為 maxAlloc。相關的 heapAddrBits 計算方式也有所改變

maxAlloc / typeSize

我們再次回顧 maxSliceCap 的邏輯代碼,這次重點放在控制邏輯,如下:

// func makeslice
maxElements := maxSliceCap(et.size)

...

// func maxSliceCap
if elemsize < uintptr(len(maxElems)) {
    return maxElems[elemsize]
}
return maxAlloc / elemsize

通過這段代碼和 Slice 上下文邏輯,可得知在想得到該類型的最大容量大小時。會根據對應的類型大小去查找表查找索引(索引為類型大小,擺放順序是有考慮原因的)。“迫不得已的情況下” 才會手動的計算它的值,最終計算得到的內存字節大小都為該類型大小的整數倍

查找表的設置,更像是一個優化邏輯。減少常用的計算開銷 :)

總結

通過本文的分析,可得出 Slice 所允許申請的最大容量大小,與當前值類型和當前平臺位數有直接關系

最后

本文與《有點不安全卻又一亮的 Go unsafe.Pointer》一同屬于《深入理解 Go Slice》的關聯章節。如果你在閱讀源碼時,對這些片段有疑惑。記得想盡辦法深究下去,搞懂它

短短的一句話其實蘊含著不少知識點,希望這篇文章恰恰好可以幫你解惑

注:本文 Go 代碼基于版本 11.4

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,117評論 6 537
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,860評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,128評論 0 381
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,291評論 1 315
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,025評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,421評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,477評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,642評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,177評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,970評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,157評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,717評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,410評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,821評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,053評論 1 289
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,896評論 3 395
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,157評論 2 375

推薦閱讀更多精彩內容

  • 出處---Go編程語言 歡迎來到 Go 編程語言指南。本指南涵蓋了該語言的大部分重要特性 Go 語言的交互式簡介,...
    Tuberose閱讀 18,472評論 1 46
  • 1.編譯程序(1)gcc xx.c,他會默認生成一個a.out的可執行文件,在a.out所在目錄,執行./a.o...
    萌面大叔2閱讀 1,313評論 0 1
  • 安裝和環境配置 自行百度解決 go項目的目錄結構 go命令依賴一個重要的環境變量:$GOPATH一般的,一個Go項...
    名字剛好七個字閱讀 379評論 0 0
  • Go入門 Go介紹 部落圖鑒之Go:爹好還這么努力? 環境配置 安裝 下載源碼編譯安裝 下載相應平臺的安裝包安裝 ...
    齊天大圣李圣杰閱讀 4,641評論 0 26
  • 深受各地朋友們的喜歡。最出名的還要數四川的麻辣火鍋。火鍋不僅僅是一道美食,吃火鍋時,親朋好友圍著熱氣騰騰的火鍋,把...
    小補文知閱讀 285評論 0 0