雖然是自己轉載的但是是真的好的一篇圖文并茂的對垃圾回收機制的講解!!!

先來個概述，第二部分的畫述才是厲害的。

Garbage collection(GC)

現在的高級語言如java，c#等，都采用了垃圾收集機制，而不再是c，c++里用戶自己管理維護內存的方式。自己管理內存極其自由，可以任意申請內存，但如同一把雙刃劍，為大量內存泄露，懸空指針等bug埋下隱患。
對于一個字符串、列表、類甚至數值都是對象，且定位簡單易用的語言，自然不會讓用戶去處理如何分配回收內存的問題。
python里也同java一樣采用了垃圾收集機制，不過不一樣的是:
python采用的是引用計數機制為主，標記-清除和分代收集兩種機制為輔的策略

引用計數機制：

python里每一個東西都是對象，它們的核心就是一個結構體：PyObject

 typedef struct_object {
 int ob_refcnt;
 struct_typeobject *ob_type;
} PyObject;

PyObject是每個對象必有的內容，其中ob_refcnt就是做為引用計數。當一個對象有新的引用時，它的ob_refcnt就會增加，當引用它的對象被刪除，它的ob_refcnt就會減少

#define Py_INCREF(op)   ((op)->ob_refcnt++) //增加計數
#define Py_DECREF(op) \ //減少計數
    if (--(op)->ob_refcnt != 0) \
        ; \
    else \
        __Py_Dealloc((PyObject *)(op))

當引用計數為0時，該對象生命就結束了。

引用計數機制的優點：

1. 簡單
2. 實時性：一旦沒有引用，內存就直接釋放了。不用像其他機制等到特定時機。實時性還帶來一個好處：處理回收內存的時間分攤到了平時。

引用計數機制的缺點：

1. 維護引用計數消耗資源
2. 循環引用

list1 = []
list2 = []
list1.append(list2)
list2.append(list1)

list1與list2相互引用，如果不存在其他對象對它們的引用，list1與list2的引用計數也仍然為1，所占用的內存永遠無法被回收，這將是致命的。
對于如今的強大硬件，缺點1尚可接受，但是循環引用導致內存泄露，注定python還將引入新的回收機制。(標記清除和分代收集)

轉載地址:http://my.oschina.net/hebianxizao/blog/57367?fromerr=KJozamtm

畫說 Ruby 與 Python 垃圾回收

英文原文: visualizing garbage collection in ruby and python
中文:畫說 Ruby 與 Python 垃圾回收

本文基于我在剛剛過去的在布達佩斯舉行的RuPy上的演講。我覺得趁熱打鐵寫成帖子應該會比只留在幻燈片上更有意義。你也可以看看演講錄像。再跟你說件事，我在Ruby大會也會做一個相似的演講，但是我不會去說Python的事兒，相反我會對比一下MRI,JRuby和Rubinius的垃圾回收機制。
想了解Ruby垃圾回收機制和Ruby內部實現更詳盡的闡述，請關注即將問世的拙作
《Ruby Under a Microscope》。

如果將算法和業務邏輯比作應用程序的大腦，垃圾回收對應哪個器官呢？

既然是"Ruby Python"大會，我覺得對比一下Ruby和Python的垃圾回收機制應該會很有趣。在此之前，到底為什么要計較垃圾回收呢？畢竟，這不是什么光鮮亮麗激動人心的主題，對吧。你們大家有多少人對垃圾回收感冒？(竟然有不少RuPyde與會者舉手了!)

最近Ruby社區發表了一篇博文,是關于如何通過更改Ruby GC設置來為單元測試提速的。我認為這篇文章是極好的。對于想讓單元測試跑得更快和讓程序GC暫停更少的人來說很有裨益，但是GC并沒能引起我的興趣。第一瞥GC就像是一個讓人昏昏欲睡的、干巴巴的技術主題。

但是實際上垃圾回收是一個迷人的主題：GC算法不僅是計算機科學史的重要組成部分，也是一個前沿課題。舉例來說，MRI Ruby使用的標記-清除算法已經年逾五旬了，而Ruby的替代語言Rubinius使用的GC算法在不久前的2008年才被發明出來。

然而, "垃圾回收"這個詞其實有些用詞不當。

應用程序那顆躍動的心

GC系統所承擔的工作遠比"垃圾回收"多得多。實際上，它們負責三個重要任務。它們

• 為新生成的對象分配內存
• 識別那些垃圾對象，并且
• 從垃圾對象那回收內存。

如果將應用程序比作人的身體：所有你所寫的那些優雅的代碼，業務邏輯，算法，應該就是大腦。以此類推，垃圾回收機制應該是那個身體器官呢？（我從RuPy聽眾那聽到了不少有趣的答案：腰子、白血球 :) ）

我認為垃圾回收就是應用程序那顆躍動的心。像心臟為身體其他器官提供血液和營養物那樣，垃圾回收器為你的應該程序提供內存和對象。如果心臟停跳，過不了幾秒鐘人就完了。如果垃圾回收器停止工作或運行遲緩,像動脈阻塞,你的應用程序效率也會下降，直至最終死掉。

一個簡單的例子

運用實例一貫有助于理論的理解。下面是一個簡單類，分別用Python和Ruby寫成，我們今天就以此為例：

順便提一句，兩種語言的代碼竟能如此相像：Ruby 和 Python 在表達同一事物上真的只是略有不同。但是在這兩種語言的內部實現上是否也如此相似呢？

可用列表

當我們執行上面的Node.new(1)時，Ruby到底做了什么？Ruby是如何為我們創建新的對象的呢？
出乎意料的是它做的非常少。實際上，早在代碼開始執行前，Ruby就提前創建了成百上千個對象，并把它們串在鏈表上，名曰：可用列表。下圖所示為可用列表的概念圖：

如果我們再次調用 Node.new，Ruby將遞給我們另一個對象：

標準版的Ruby，也就是眾所周知的"Matz's Ruby Interpreter"(MRI),所使用的GC算法與McCarthy在1960年的實現方式很類似。無論好壞，Ruby的垃圾回收機制已經53歲高齡了。像Lisp一樣，Ruby預先創建一些對象，然后在你分配新對象或者變量的時候供你使用。

Python 的對象分配

我們已經了解了Ruby預先創建對象并將它們存放在可用列表中。那Python又怎么樣呢？

盡管由于許多原因Python也使用可用列表(用來回收一些特定對象比如 list)，但在為新對象和變量分配內存的方面Python和Ruby是不同的。

例如我們用Pyhon來創建一個Node對象：

與Ruby不同，當創建對象時Python立即向操作系統請求內存。(Python實際上實現了一套自己的內存分配系統，在操作系統堆之上提供了一個抽象層。但是我今天不展開說了。)

當我們創建第二個對象的時候，再次像OS請求內存：

看起來夠簡單吧，在我們創建對象的時候，Python會花些時間為我們找到并分配內存。

Ruby 開發者住在凌亂的房間里

Ruby把無用的對象留在內存里，直到下一次GC執行

回過來看Ruby。隨著我們創建越來越多的對象，Ruby會持續尋可用列表里取預創建對象給我們。因此，可用列表會逐漸變短:

...然后更短：

Python 開發者住在衛生之家庭

用完的垃圾對象會立即被Python打掃干凈

Python與Ruby的垃圾回收機制頗為不同。讓我們回到前面提到的三個Python Node對象：

Python的這種垃圾回收算法被稱為引用計數。是George-Collins在1960年發明的，恰巧與John McCarthy發明的可用列表算法在同一年出現。就像Mike-Bernstein在6月份哥譚市Ruby大會杰出的垃圾回收機制演講中說的: "1960年是垃圾收集器的黃金年代..."

Python開發者工作在衛生之家，你可以想象，有個患有輕度OCD(一種強迫癥)的室友一刻不停地跟在你身后打掃，你一放下臟碟子或杯子，有個家伙已經準備好把它放進洗碗機了！

現在來看第二例子。加入我們讓n2引用n1：

上圖中左邊的DEF的引用數已經被Python減少了，垃圾回收器會立即回收DEF實例。同時JKL的引用數已經變為了2 ，因為n1和n2都指向它。

標記-清除

最終那間凌亂的房間充斥著垃圾，再不能歲月靜好了。在Ruby程序運行了一陣子以后，可用列表最終被用光光了:

此刻所有Ruby預創建對象都被程序用過了(它們都變灰了)，可用列表里空空如也（沒有白格子了）。

此刻Ruby祭出另一McCarthy發明的算法，名曰：標記-清除。首先Ruby把程序停下來，Ruby用"地球停轉垃圾回收大法"。之后Ruby輪詢所有指針，變量和代碼產生別的引用對象和其他值。同時Ruby通過自身的虛擬機便利內部指針。標記出這些指針引用的每個對象。我在圖中使用M表示。

如果說被標記的對象是存活的，剩下的未被標記的對象只能是垃圾，這意味著我們的代碼不再會使用它了。我會在下圖中用白格子表示垃圾對象：

接下來Ruby清除這些無用的垃圾對象，把它們送回到可用列表中：

現在等到下回再創建對象的時候Ruby又可以把這些垃圾對象分給我們使用了。在Ruby里，對象們六道輪回，轉世投胎，享受多次人生。

標記-刪除 vs. 引用計數

乍一看，Python的GC算法貌似遠勝于Ruby的：寧舍潔宇而居穢室乎？為什么Ruby寧愿定期強制程序停止運行，也不使用Python的算法呢？

然而，引用計數并不像第一眼看上去那樣簡單。有許多原因使得不許多語言不像Python這樣使用引用計數GC算法：

首先，它不好實現。Python不得不在每個對象內部留一些空間來處理引用數。這樣付出了一小點兒空間上的代價。但更糟糕的是，每個簡單的操作（像修改變量或引用）都會變成一個更復雜的操作，因為Python需要增加一個計數，減少另一個，還可能釋放對象。

第二點，它相對較慢。雖然Python隨著程序執行GC很穩健（一把臟碟子放在洗碗盆里就開始洗啦），但這并不一定更快。Python不停地更新著眾多引用數值。特別是當你不再使用一個大數據結構的時候，比如一個包含很多元素的列表，Python可能必須一次性釋放大量對象。減少引用數就成了一項復雜的遞歸過程了。

最后，它不是總奏效的。在我的下一篇包含了我這個演講剩余部分筆記的文章中，我們會看到，引用計數不能處理環形數據結構--也就是含有循環引用的數據結構。

下回分解

下周我會分解演講的剩余部分。我會討論一下Python如何擺平環形數據類型及GC在即將出爐的Ruby2.1發行版中是如何工作的。

對比Ruby和Python的垃圾回收（2）

英文原文地址: Generational GC in Python and Ruby
中文原文: 對比Ruby和Python的垃圾回收（2）：代式垃圾回收機制

上周，我根據之前在RuPy上做的一個名為“Visualizing Garbage Collection in Ruby and Python.”的報告寫了這篇文章的上半部分。在上篇中，我解釋了標準Ruby(也被稱為Matz的Ruby解釋器或是MRI)是如何使用名為標記回收(Mark and Sweep)的垃圾回收算法，這個算法是為1960年原版本的Lisp所開發。同樣，我也介紹了Python使用一種有53年歷史的GC算法，這種算法的思路非常不同，稱之為引用計數。

事實證明，Python在引用計數之外，還用了另一個名為Generational Garbage Collection的算法。這意味著Python的垃圾回收器用不同的方式對待新創建的以及舊有的對象。并且在即將到來的2.1版本的MRI Ruby中也首次引入了Generational Garbage Collection 的垃圾回收機制(在另兩個Ruby的實現：JRuby和Rubinius中，已經使用這種GC機制很多年了，我將在下周的RubyConf大會上將它是如何在這兩種Ruby實現中工作的)。

當然，這句話“用不同的方式對待新創建的以及舊有的對象”是有點模糊不清，比如如何定義新、舊對象？又比如對于Ruby和Python來說具體是如何采取不同的對待方式？今天，我們就來談談這兩種語言GC機制的運行原理，回答上邊那些疑問。但是在我們開始談論Generational GC之前，我們先要花點時間談論下Python的引用計數算法的一個嚴重的理論問題。

Python中的循環數據結構以及引用計數

通過上篇，我們知道在Python中，每個對象都保存了一個稱為引用計數的整數值，來追蹤到底有多少引用指向了這個對象。無論何時，如果我們程序中的一個變量或其他對象引用了目標對象，Python將會增加這個計數值，而當程序停止使用這個對象，則Python會減少這個計數值。一旦計數值被減到零，Python將會釋放這個對象以及回收相關內存空間。

從六十年代開始，計算機科學界就面臨了一個嚴重的理論問題，那就是針對引用計數這種算法來說，如果一個數據結構引用了它自身，即如果這個數據結構是一個循環數據結構，那么某些引用計數值是肯定無法變成零的。為了更好地理解這個問題，讓我們舉個例子。下面的代碼展示了一些上周我們所用到的節點類：

現在，讓我們在節點中定義兩個附加的屬性，next以及prev：

跟Ruby不同的是，Python中你可以在代碼運行的時候動態定義實例變量或對象屬性。這看起來似乎有點像Ruby缺失了某些有趣的魔法。(聲明下我不是一個Python程序員，所以可能會存在一些命名方面的錯誤)。我們設置 n1.next 指向 n2，同時設置 n2.prev 指回 n1。現在，我們的兩個節點使用循環引用的方式構成了一個雙端鏈表。同時請注意到 ABC 以及 DEF 的引用計數值已經增加到了2。這里有兩個指針指向了每個節點：首先是 n1 以及 n2，其次就是 next 以及 prev。

現在，假定我們的程序不再使用這兩個節點了，我們將 n1 和 n2 都設置為null(Python中是None)。

好了，Python會像往常一樣將每個節點的引用計數減少到1。

在Python中的零代(Generation Zero)

請注意在以上剛剛說到的例子中，我們以一個不是很常見的情況結尾：我們有一個“孤島”或是一組未使用的、互相指向的對象，但是誰都沒有外部引用。換句話說，我們的程序不再使用這些節點對象了，所以我們希望Python的垃圾回收機制能夠足夠智能去釋放這些對象并回收它們占用的內存空間。但是這不可能，因為所有的引用計數都是1而不是0。Python的引用計數算法不能夠處理互相指向自己的對象。

當然，上邊舉的是一個故意設計的例子，但是你的代碼也許會在不經意間包含循環引用并且你并未意識到。事實上，當你的Python程序運行的時候它將會建立一定數量的“浮點數垃圾”，Python的GC不能夠處理未使用的對象因為應用計數值不會到零。

這就是為什么Python要引入Generational GC算法的原因！正如Ruby使用一個鏈表(free list)來持續追蹤未使用的、自由的對象一樣，Python使用一種不同的鏈表來持續追蹤活躍的對象。而不將其稱之為“活躍列表”，Python的內部C代碼將其稱為零代(Generation Zero)。每次當你創建一個對象或其他什么值的時候，Python會將其加入零代鏈表：

從上邊可以看到當我們創建ABC節點的時候，Python將其加入零代鏈表。請注意到這并不是一個真正的列表，并不能直接在你的代碼中訪問，事實上這個鏈表是一個完全內部的Python運行時。
相似的，當我們創建DEF節點的時候，Python將其加入同樣的鏈表：

檢測循環引用

隨后，Python會循環遍歷零代列表上的每個對象，檢查列表中每個互相引用的對象，根據規則減掉其引用計數。在這個過程中，Python會一個接一個的統計內部引用的數量以防過早地釋放對象。

為了便于理解，來看一個例子：

從上面可以看到 ABC 和 DEF 節點包含的引用數為1.有三個其他的對象同時存在于零代鏈表中，藍色的箭頭指示了有一些對象正在被零代鏈表之外的其他對象所引用。(接下來我們會看到，Python中同時存在另外兩個分別被稱為一代和二代的鏈表)。這些對象有著更高的引用計數因為它們正在被其他指針所指向著。

接下來你會看到Python的GC是如何處理零代鏈表的。

通過識別內部引用，Python能夠減少許多零代鏈表對象的引用計數。在上圖的第一行中你能夠看見ABC和DEF的引用計數已經變為零了，這意味著收集器可以釋放它們并回收內存空間了。剩下的活躍的對象則被移動到一個新的鏈表：一代鏈表。

從某種意義上說，Python的GC算法類似于Ruby所用的標記回收算法。周期性地從一個對象到另一個對象追蹤引用以確定對象是否還是活躍的，正在被程序所使用的，這正類似于Ruby的標記過程。

Python中的GC閾值

Python什么時候會進行這個標記過程？隨著你的程序運行，Python解釋器保持對新創建的對象，以及因為引用計數為零而被釋放掉的對象的追蹤。從理論上說，這兩個值應該保持一致，因為程序新建的每個對象都應該最終被釋放掉。

當然，事實并非如此。因為循環引用的原因，并且因為你的程序使用了一些比其他對象存在時間更長的對象，從而被分配對象的計數值與被釋放對象的計數值之間的差異在逐漸增長。一旦這個差異累計超過某個閾值，則Python的收集機制就啟動了，并且觸發上邊所說到的零代算法，釋放“浮動的垃圾”，并且將剩下的對象移動到一代列表。

隨著時間的推移，程序所使用的對象逐漸從零代列表移動到一代列表。而Python對于一代列表中對象的處理遵循同樣的方法，一旦被分配計數值與被釋放計數值累計到達一定閾值，Python會將剩下的活躍對象移動到二代列表。

通過這種方法，你的代碼所長期使用的對象，那些你的代碼持續訪問的活躍對象，會從零代鏈表轉移到一代再轉移到二代。通過不同的閾值設置，Python可以在不同的時間間隔處理這些對象。Python處理零代最為頻繁，其次是一代然后才是二代。

弱代假說

來看看代垃圾回收算法的核心行為：垃圾回收器會更頻繁的處理新對象。一個新的對象即是你的程序剛剛創建的，而一個來的對象則是經過了幾個時間周期之后仍然存在的對象。Python會在當一個對象從零代移動到一代，或是從一代移動到二代的過程中提升(promote)這個對象。

為什么要這么做？這種算法的根源來自于弱代假說(weak generational hypothesis)。這個假說由兩個觀點構成：首先是年親的對象通常死得也快，而老對象則很有可能存活更長的時間。

假定現在我用Python或是Ruby創建一個新對象：

根據假說，我的代碼很可能僅僅會使用ABC很短的時間。這個對象也許僅僅只是一個方法中的中間結果，并且隨著方法的返回這個對象就將變成垃圾了。大部分的新對象都是如此般地很快變成垃圾。然而，偶爾程序會創建一些很重要的，存活時間比較長的對象-例如web應用中的session變量或是配置項。

通過頻繁的處理零代鏈表中的新對象，Python的垃圾收集器將把時間花在更有意義的地方：它處理那些很快就可能變成垃圾的新對象。同時只在很少的時候，當滿足閾值的條件，收集器才回去處理那些老變量。

回到Ruby的自由鏈

即將到來的Ruby 2.1版本將會首次使用基于代的垃圾回收算法！(請注意的是，其他的Ruby實現，例如JRuby和Rubinius已經使用這個算法許多年了)。讓我們回到上篇博文中提到的自由鏈的圖來看看它到底是怎么工作的。

請回憶當自由鏈使用完之后，Ruby會標記你的程序仍然在使用的對象。

從這張圖上我們可以看到有三個活躍的對象，因為指針n1、n2、n3仍然指向著它們。剩下的用白色矩形表示的對象即是垃圾。(當然，實際情況會復雜得多，自由鏈可能會包含上千個對象，并且有復雜的引用指向關系，這里的簡圖只是幫助我們了解Ruby的GC機制背后的簡單原理，而不會將我們陷入細節之中)

同樣，我們說過Ruby會將垃圾對象移動回自由鏈中，這樣的話它們就能在程序申請新對象的時候被循環使用了。

Ruby2.1基于代的GC機制

從2.1版本開始，Ruby的GC代碼增加了一些附加步驟：它將留下來的活躍對象晉升(promote)到成熟代(mature generation)中。(在MRI的C源碼中使用了old這個詞而不是mature)，接下來的圖展示了兩個Ruby2.1對象代的概念圖：

在左邊是一個跟自由鏈不相同的場景，我們可以看到垃圾對象是用白色表示的，剩下的是灰色的活躍對象。灰色的對象剛剛被標記。

一旦“標記清除”過程結束，Ruby2.1將剩下的標記對象移動到成熟區：

跟Python中使用三代來劃分不同，Ruby2.1只用了兩代，左邊是年輕的新一代對象，而右邊是成熟代的老對象。一旦Ruby2.1標記了對象一次，它就會被認為是成熟的。Ruby會打賭剩下的活躍對象在相當長的一段時間內不會很快變成垃圾對象。

重要提醒：Ruby2.1并不會真的在內存中拷貝對象，這些代表不同代的區域并不是由不同的物理內存區域構成。(有一些別的編程語言的GC實現或是Ruby的其他實現，可能會在對象晉升的時候采取拷貝的操作)。Ruby2.1的內部實現不會將在標記&清除過程中預先標記的對象包含在內。一旦一個對象已經被標記過一次了，那么那將不會被包含在接下來的標記清除過程中。

現在，假定你的Ruby程序接著運行著，創造了更多新的，更年輕的對象。則GC的過程將會在新的一代中出現，如圖：

如同Python那樣，Ruby的垃圾收集器將大部分精力都放在新一代的對象之上。它僅僅會將自上一次GC過程發生后創建的新的、年輕的對象包含在接下來的標記清除過程中。這是因為很多新對象很可能馬上就會變成垃圾(白色標記)。Ruby不會重復標記右邊的成熟對象。因為他們已經在一次GC過程中存活下來了，在相當長的一段時間內不會很快變成垃圾。因為只需要標記新對象，所以Ruby 的GC能夠運行得更快。它完全跳過了成熟對象，減少了代碼等待GC完成的時間。

偶然的Ruby會運行一次“全局回收”，重標記(re-marking)并重清除(re-sweeping)，這次包括所有的成熟對象。Ruby通過監控成熟對象的數目來確定何時運行全局回收。當成熟對象的數目雙倍于上次全局回收的數目時，Ruby會清理所有的標記并且將所有的對象都視為新對象。

白障

這個算法的一個重要挑戰是值得深入解釋的：假定你的代碼創建了一個新的年輕的對象，并且將其作為一個已存在的成熟對象的子嗣加入。舉個例子，這種情況將會發生在，當你往一個已經存在了很長時間的數組中增加了一個新值的時候：

讓我們來看看圖，左邊的是新對象，而成熟的對象在右邊。在左邊標記過程已經識別出了5個新的對象目前仍然是活躍的(灰色)。但有兩個對象已經變成垃圾了(白色)。但是如何處理正中間這個新建對象？這是剛剛那個問題提到的對象，它是垃圾還是活躍對象呢？

當然它是活躍對象了，因為有一個從右邊成熟對象的引用指向它。但是我們前面說過已經被標記的成熟對象是不會被包含在標記清除過程中的(一直到全局回收)。這意味著類似這種的新建對象會被錯誤的認為是垃圾而被釋放，從而造成數據丟失。

Ruby2.1 通過監視成熟對象，觀察你的代碼是否會添加一個從它們到新建對象的引用來克服這個問題。Ruby2.1 使用了一個名為白障(white barriers)的老式GC技術來監視成熟對象的變化 – 無論任意時刻當你添加了從一個對象指向另一個對象的引用時(無論是新建或是修改一個對象)，白障就會被觸發。白障將會檢測是否源對象是一個成熟對象，如果是的話則將這個成熟對象添加到一個特殊的列表中。隨后，Ruby2.1會將這些滿足條件的成熟對象包括到下一次標記清除的范圍內，以防止新建對象被錯誤的標記為垃圾而清除。

Ruby2.1 的白障實現相當復雜，主要是因為已有的C擴展并未包含這部分功能。Koichi Sasada以及Ruby的核心團隊使用了一個比較巧妙的方案來解決這個問題。如果想了解更多的內容，請閱讀這些相關材料：Koichi在EuRuKo 2013上的演講Koichi’s fascinating presentation。

站在巨人的肩膀上

乍眼一看，Ruby和Python的GC實現是截然不同的，Ruby使用John-MaCarthy的原生“標記并清除”算法，而Python使用引用計數。但是仔細看來，可以發現Python使用了些許標記清除的思想來處理循環引用，而兩者同時以相似的方式使用基于代的垃圾回收算法。Python劃分了三代，而Ruby只有兩代。

這種相似性應該不會讓人感到意外。兩種編程語言都使用了幾十年前的計算機科學研究成果來進行設計，這些成果早在語言成型之前就已經被做出來了。我比較驚異的是當你掀開不同編程語言的表面而深入底層，你總能夠發現一些相似的基礎理念和算法。現代編程語言應該感激那些六七十年代由麥卡錫等計算機先賢所作出的計算機科學開創性研究。