程序 = 數(shù)據(jù)結(jié)構(gòu) + 算法

作者 謝恩銘，公眾號「程序員聯(lián)盟」（微信號：coderhub）。
轉(zhuǎn)載請注明出處。
原文：http://www.lxweimin.com/p/3e5e987c7e05

《數(shù)據(jù)結(jié)構(gòu)和算法》全系列

內(nèi)容簡介

1. 大 O 符號
2. 時(shí)間復(fù)雜度和空間復(fù)雜度
3. 最壞情況下的復(fù)雜度
4. 第一部分第五課預(yù)告

1. 大 O 符號

上一課 數(shù)據(jù)結(jié)構(gòu)和算法 | 第一部分第三課：算法復(fù)雜度（上） 我們開始了算法復(fù)雜度的學(xué)習(xí)，這一課我們繼續(xù)學(xué)習(xí)后半段。

我們已經(jīng)看到，復(fù)雜度只考慮操作數(shù)目的一個(gè)數(shù)量級（忽略了其他的組分），這是一種近似。

為了表示這種近似，我們使用一個(gè)特定的符號，就是著名的 大 O 符號。

大 O 符號（Big O notation），又稱為漸進(jìn)符號，是用于描述函數(shù)漸近行為的數(shù)學(xué)符號。更確切地說，它是用另一個(gè)（通常更簡單的）函數(shù)來描述一個(gè)函數(shù)數(shù)量級的漸近上界。
在數(shù)學(xué)中，它一般用來刻畫被截?cái)嗟臒o窮級數(shù)尤其是漸近級數(shù)的剩余項(xiàng)。
在計(jì)算機(jī)科學(xué)中，它在分析算法復(fù)雜度的方面非常有用。
大 O 符號是由德國數(shù)論學(xué)家 保羅·巴赫曼（Paul Bachmann）在其 1892 年的著作《解析數(shù)論》（Analytische Zahlentheorie）首先引入的。而這個(gè)記號則是在另一位德國數(shù)論學(xué)家 艾德蒙·朗道（Edmund Landau）的著作中才推廣的，因此它有時(shí)又稱為 朗道符號（Landau Notation）。
代表“order of ...”（…階）的大 O，最初是一個(gè)大寫希臘字母“Ο”（Omicron），現(xiàn)今用的是大寫拉丁字母“O”。
-- 摘自 百度百科

例如，小鴨子們?nèi)ザ燃龠@個(gè)故事里，農(nóng)夫 Oscar 的第一種算法有 N² 個(gè)操作，我們就說此算法的復(fù)雜度是 O(N²)。類似地，第二種更快的算法的復(fù)雜度是 O(N)。

大 O 符號有點(diǎn)像一個(gè)大圓形的袋子，可以把不同的操作數(shù)目整合在一起，使之具有一個(gè)同樣的數(shù)量級。

例如，如果有三個(gè)算法，它們的操作數(shù)目分別為 N，5N + 7 和 N / 4，我們就都用 O(N) （讀作 “N 的 大 O”。當(dāng)然了，讀法其實(shí)不是那么固定）來表示這三個(gè)算法的復(fù)雜度。

類似地，如果一個(gè)算法的操作數(shù)是（2 * N² + 5 * N + 7），那么它的復(fù)雜度是 O(N²)：我們忽略了 5 * N 和 7 這兩項(xiàng)，因?yàn)樗鼈兣c 2N² 相比數(shù)量級較小。隨著 N 的增大，這兩項(xiàng)的增長速率比 2N² 要慢，因此我們保留 2N² 即可，又因?yàn)槌?shù)乘法因子（這里是 2）不予考慮，因此記為 O(N²)。

我們說 f(N) 表示“N 的函數(shù)”（例如， f(N) = 2 * N² + 5 * N + 7) ），那么 O(f(N)) 表示的是“大約有 f(N) 個(gè)操作的算法的復(fù)雜度”，這里的“大約”是非常關(guān)鍵的。

2. 時(shí)間復(fù)雜度和空間復(fù)雜度

下面我們來學(xué)習(xí)算法中常聽到的“時(shí)間復(fù)雜度”和“空間復(fù)雜度”。

為什么我竟然想到了漫威里面的大反派滅霸的無限手套呢？上面有時(shí)間寶石和空間寶石這兩顆無限寶石。
一定是因?yàn)槲铱戳恕稄?fù)仇者聯(lián)盟3：無限戰(zhàn)爭》和《復(fù)仇者聯(lián)盟4：終局之戰(zhàn)》的關(guān)系...

滅霸的無限手套上的六顆無限寶石

那么“時(shí)間復(fù)雜度”和“空間復(fù)雜度”這一對“活寶”到底是啥意思呢？且聽我慢慢道來。

“在很久很久以前，宇宙中有 6 顆無限寶石，分別是時(shí)間寶石、空間寶石...”

讀者：“小編，你快醒醒，講正經(jīng)的！”
我：“好，好，講正經(jīng)的，講正經(jīng)的～”

為了盡可能精確地表達(dá)算法的復(fù)雜度，我們可以做很多選擇。

首先，我們選擇輸入條件的量化，例如通過變量 N（N 行 N 列小鴨子，N 個(gè)學(xué)生，N 架飛機(jī)，等）。當(dāng)然了，不一定要用 N 這個(gè)變量名，我們可以選擇其他變量名（比如 M，Z，X，Y 等），但更重要的是我們也可以不止用一個(gè)變量。

例如，如果我們的問題是要在一張紙上畫畫，那么我們可能會將算法的復(fù)雜度表達(dá)為畫紙的長度 L 和寬度 W 的函數(shù)。同樣地，如果農(nóng)夫 Oscar 擁有比可用的池塘數(shù)目更多的小鴨子的行數(shù)，那么他可以將算法的復(fù)雜度表達(dá)為小鴨子的行數(shù) N 和池塘數(shù) P 的函數(shù)。

另一個(gè)重要的選擇是要度量的操作的類型。到目前為止，我們其實(shí)只談?wù)摿怂惴ǖ男驶蛐阅埽ň褪撬惴觳豢欤５牵绦騿T不僅對算法的執(zhí)行時(shí)間感興趣，他們也可能會度量許多其他特性，最常見的是內(nèi)存消耗（Memory Consumption）。

算法的內(nèi)存消耗也是度量算法復(fù)雜度的標(biāo)準(zhǔn)。例如，如果需要為一個(gè)輸入大小為 N 的算法分配 N 千字節(jié)（KiloByte，千字節(jié)，簡稱 KB。其實(shí)是 1024 個(gè)字節(jié)）的內(nèi)存，則此算法的內(nèi)存復(fù)雜度可以表示為 O(N)。

內(nèi)存復(fù)雜度是和算法的內(nèi)存消耗有關(guān)的復(fù)雜度，度量的并不是算法的效率，而是消耗/占用的內(nèi)存空間大小，因此我們把它稱為算法的空間復(fù)雜度（Space Complexity）。相對的，之前我們討論的對于算法的執(zhí)行速度（快不快）的度量是用的時(shí)間復(fù)雜度（Time Complexity）。

空間復(fù)雜度是對一個(gè)算法在運(yùn)行過程中臨時(shí)占用存儲空間大小的度量，記做 S(N) = O(f(N))。

相對的，算法的時(shí)間復(fù)雜度就記為 T(N) = O(f(N))。
因?yàn)?S 是 Space（空間）的首字母，T 是 Time（時(shí)間）的首字母。

在計(jì)算算法的空間復(fù)雜度的時(shí)候，我們其實(shí)也不知道算法所消耗/占用的具體的內(nèi)存大小（內(nèi)存是以字節(jié)（Byte）為單位），我們計(jì)算的是算法所使用的（數(shù)據(jù)）結(jié)構(gòu)的數(shù)量級。

比如說你使用 N 個(gè)大小為 N 的數(shù)組，那么其空間復(fù)雜度為 O(N²)。

例如，對于小鴨子們?nèi)ザ燃俚哪莻€(gè)故事，可能農(nóng)夫 Oscar 給他的每只小鴨子都起了一個(gè)英文名字。他隨身攜帶著一份小鴨子的名字的表單，以免自己忘記。

小鴨子的名字表單

上面的表格是農(nóng)夫 Oscar 用來記錄小鴨子們的名字的表單的一個(gè)直觀的表示：一共有 5 個(gè)名字（HARRY，JAMES，HENRY，EMILY，ALICE），分別對應(yīng) 5 只小鴨子。表格里的每一行儲存一個(gè)名字，每一行有 5 個(gè)格子（類似于數(shù)組的 5 個(gè)元素），5 x 5 = 25 個(gè)格子，一個(gè)格子里是一個(gè)英文字符。

如果聯(lián)系到計(jì)算機(jī)的內(nèi)存層面，N 只小鴨子需要 N 個(gè)數(shù)組來保存它們的名字，每個(gè)數(shù)組里是一只小鴨子的名字（都是英文字符），而數(shù)組的大小（這里是字符數(shù)）都統(tǒng)一為 N。所以這里的空間復(fù)雜度為 O(N²)。

有些時(shí)候，我們需要同時(shí)考慮算法的時(shí)間復(fù)雜度（執(zhí)行速度）和空間復(fù)雜度（執(zhí)行期間占用的內(nèi)存空間的大小）。

一般在比較簡單的情況下，我們對算法的空間復(fù)雜度沒有那么關(guān)注。但對于更復(fù)雜的問題，算法的空間復(fù)雜度也許會引起更多的重視：例如，我們也許會通過犧牲一點(diǎn)執(zhí)行速度來使用更少的內(nèi)存；或者甚至通過增加算法的空間復(fù)雜度來提高執(zhí)行速度，例如通過在表中存儲已經(jīng)計(jì)算好的結(jié)果（緩存（cache）的原理）。

對程序的約束越多，所需的信息就越精確。在計(jì)算機(jī)科學(xué)的某些領(lǐng)域，我們也會對算法的其他特征感興趣。而這些特征中的某些也可以用算法的某種復(fù)雜度來度量。例如，大型計(jì)算機(jī)或嵌入式系統(tǒng)的程序員可能會考慮算法的功耗，以節(jié)省電量。

然而，在一般情況下，我們只關(guān)注算法的時(shí)間復(fù)雜度和空間復(fù)雜度，甚至主要關(guān)注時(shí)間復(fù)雜度。

3. 最壞情況下的復(fù)雜度

正如我們之前所說，算法執(zhí)行的操作數(shù)目很明顯取決于起始條件。

例如，下面是一個(gè)非常簡單的算法，用于獲知一個(gè)給定的值是否在值列表中（例如，“我是否已將雞蛋加入我的購物清單？”）：

為了獲知一個(gè)給定的值是否在值列表中，我們可以這么做：
遍歷整個(gè)列表，在找到給定值的時(shí)候即可停下，表示值在列表中；
如果我們已經(jīng)遍歷完整個(gè)列表，仍然沒有找到給定值，那么說明給定的值不在值列表中。

想象一下，如果我們要查找的值不在列表中，并且列表里有 L 個(gè)元素。那么要確定這個(gè)值是否存在，算法就必須遍歷一遍整個(gè)列表，將每個(gè)值與要查找的值進(jìn)行比較，那將需要進(jìn)行 L 次比較。因此，我們可以說算法具有 O(L) 的復(fù)雜度（很明顯，這里考慮的是時(shí)間復(fù)雜度）。我們也可以說，此算法的時(shí)間復(fù)雜度是呈線性的（如果我們將輸入列表的大小加倍，那么此算法將花費(fèi)兩倍的時(shí)間）。

但是，如果要查找的值位于列表的最開頭，會怎么樣呢？

例如，如果“雞蛋”是我們的購物清單中的第一個(gè)元素，它會立即被注意到，我們將僅在進(jìn)行一次操作后就停止遍歷。在其他情況下，即使列表包含 3000 個(gè)元素，可能我們的搜索工作也會在 4 到 5 次操作后停止。

這就是 “最壞情況”（Worst Case）的概念發(fā)揮作用的地方：在計(jì)算算法的復(fù)雜度時(shí)，可以認(rèn)為給定的輸入對于我們的算法來說是處于“最壞的情況”。我們將計(jì)算需要最多操作（而不僅僅是一個(gè)或兩個(gè)）的輸入情況下的操作數(shù)，例如給定值不在列表里的情況。

從程序員的角度來看，這是一種安全性：計(jì)算出的復(fù)雜度處于“最壞情況”，因此他知道算法的表現(xiàn)只會更好。

就像網(wǎng)絡(luò)安全領(lǐng)域的程序員會通過自問“最心懷惡意的用戶可能會通過輸入什么文本來入侵我的網(wǎng)站？”這樣的問題來敦促自己提升應(yīng)用程序的安全性一樣，專注于算法研究的人也想知道“到底是算法中的哪個(gè)元素花了我的算法的大部分時(shí)間？”

這種方法可以度量所謂的“最壞情況下的復(fù)雜度”。

在本教程中，除非明確指出，我們只考慮算法在最壞情況下的復(fù)雜度。

4. 第一部分第五課預(yù)告

終于把算法復(fù)雜度講解得差不多了，真是不容易。大家也辛苦了。

今天的課就到這里，一起加油吧！

下一課：數(shù)據(jù)結(jié)構(gòu)和算法 | 第一部分第五課：算法復(fù)雜度實(shí)踐

我是 謝恩銘，公眾號「程序員聯(lián)盟」（微信號：coderhub）運(yùn)營者，慕課網(wǎng)精英講師 Oscar 老師，終生學(xué)習(xí)者。
熱愛生活，喜歡游泳，略懂烹飪。
人生格言：「向著標(biāo)桿直跑」