ZONE_DEVICE and the future of struct pag原文
作者： Jonathan Corbet 于2017年3月21日
2017年的Linux存儲，文件系統和內存管理峰會的開幕會議涵蓋了一個大家熟悉的主題 ：如何將（可能是大規模的）持久性內存陣列（persistent-memory arrays）表示到內核的各個子系統。 本次會議由Dan Williams主持，特別關注對ZONE_DEVICE的抽象，討論內核是否應該使用struct page結構來表示持久性內存（persistent memory）。
ZONE_DEVICE被綁定到內存分配器的區域系統（zone system）中（它根據諸如NUMA節點或DMA可達性之類的屬性來隔離內存），但是以特殊的方式。它是為滿足在持久性內存（persistent memory）上執行DMA操作的需要而創建的; 這些操作需要struct page結構來設置映射。 他說，ZONE_DEVICE基本上是內存熱插拔機制（memory hotplug mechanism）的上半部分; 它執行內存設置，但實際上并不將頁面聯機（put the pages online）以供一般的使用。 因此，位于ZONE_DEVICE中的內存不能以正常方式分配，頁面也不能遷移到該空間中，等等。但是可以在該Zone中獲取內存的struct page結構。
在過去幾年中，隨著大型持久性內存（persistent memory）陣列對開發團體的影響，開發人員開始關注使用struct page結構的成本 - 每個4KB內存頁面需要64字節。這種用法似乎是浪費的，所以已經有人做出一些重要的努力，嘗試完全避免使用struct page結構; 相反，據認為，持久性內存（persistent memory）的管理可以完全用頁框號（PFN）完成。pfn_t類型以及一大堆支持結構被添加到該目標，開發人員試圖將整個DMA API轉換為使用PFN。但是，他們遇到了SPARC64架構，它不能在不使用struct page結構的情況下創建DMA映射。威廉姆斯說，pfn_t的努力在那里死亡。
現在他說，也許現在是停止嘗試避免struct page的時候了 。 如果我們讓驅動程序假設struct page結構可用，那么我們將在具有TB級持久內存的系統中支付一些內存使用成本，但是我們將可以避免處理大量不一致行為的自定義驅動程序代碼。 這將解決DMA問題，但這可能是這方面最簡單的問題; struct page往往會出現在很多地方。
Matthew Wilcox觀察到，事實上，很少有驅動真正關心struct page本身; 它只是作為一個方便的手段來引用物理內存。 他建議回顧一下，看看為什么SPARC不得不使用struct page結構， 威廉姆斯說，它與緩存混疊狀態的管理（management of cache aliasing state）有關。 James Bottomley建議可能還有其他方法來解決這個問題，比如使用單獨的數組來保存別名信息。 這只是說服SPARC維護者戴夫·米勒（Dave Miller）的問題。
如果可以實現這種說服，那么pfn_t幾乎可以在任何地方使用，而不需要擔心struct page結構的可用性。剩下的問題可能是解決那些需要直接到達DMA緩沖區的驅動程序的問題，但是Wilcox表示，他們應該只使用ioremap()來獲取可用的地址來處理。
避免使用持久性內存（persistent memory）陣列的struct page的一個大動機就是這些結構可能最終填滿系統普通內存的大部分。 避免這種情況的方法當然是在持久記憶本身中分配結構; Wilcox表示，只要將新內存添加到系統中，其關聯的struct page結構應始終位于該新內存中。 問題是struct page可能是一個使用量很大的結構，所以有能力控制它的位置是很有用的。
內存使用問題的一個可能的解決方案是允許struct page結構引用較大的頁面 - 例如2MB的大頁面。這里的問題是，使大小可變（making the size variable）會增加內核中一些最熱的代碼路徑的開銷。 在某些方面將節省CPU時間，因為要管理的struct page結構數量將大大減少，但是有人懷疑節省的開銷會增加頁面分配器等的成本。
威廉姆斯說，另一個選擇是在需要時動態分配struct page結構。 持久性內存（persistent memory）陣列的大小可以是TB級別，但是可能只需要struct page結構的一小部分。如果struct page結構的分配代價可以降低，那么只在需要時使它們存在是有意義的。
這個談話以徘徊的方式傷痕累累（wound down in a wandering manner）。 Bottomley建議使用基數樹（radix trees）跟蹤內存的范圍。 Kirill Shutemov指出，不同頁面尺寸需要不同類型的信息; 在透明大頁面（transparent huge pages）的情況下，可能需要將4KB頁面稱為單頁面（single page）和巨大頁面的組件（component of a huge page）。 Rik van Riel表示， struct page結構只是動態RAM的一個問題; 它們可以被用于持久性內存（persistent memory），因為當不再使用文件系統時，可以將文件系統計數為可用內存。 Bottomley回答說這種方法是可行的，但是迄今為止沒有人愿意實施這一方法，這導致威廉姆斯觀察到，該社團將在明年再次談論同樣的問題。
