姓名：白國(guó)樂(lè)

學(xué)號(hào)：17021210898

專(zhuān)業(yè)：信號(hào)與信息處理

轉(zhuǎn)載自：http://developers.googleblog.cn/2017/11/pixel-2-pixel-2-xl.html，有刪節(jié)

【嵌牛導(dǎo)讀】人像模式是全新的 Pixel 2 和 Pixel 2 XL 智能手機(jī)的一個(gè)重要功能，它讓任何人都可以拍攝出看上去非常專(zhuān)業(yè)的淺景深照片。此功能幫助這兩款手機(jī)贏得了 DxO 的最高手機(jī)相機(jī)排名，而且適用于前置攝像頭和后置攝像頭，盡管兩款手機(jī)均未配備雙攝像頭（通常需要兩個(gè)攝像頭才能實(shí)現(xiàn)此效果）。

【嵌牛鼻子】人工智能、人像模式

【嵌牛提問(wèn)】什么是淺景深照片？

【嵌牛正文】配備大尺寸鏡頭的單反 (SLR) 相機(jī)具有淺景深功能，也就是說(shuō)，與相機(jī)有一定距離的物體是清晰的，而在“合焦平面”前面或后面的物體是模糊的。淺景深是將觀看者的注意力吸引到照片主體或抑制雜亂背景的好方法。淺景深為使用單反相機(jī)拍攝的人像賦予了特有的美感。淺景深照片中的模糊程度取決于深度；物體離合焦平面越遠(yuǎn)，顯示就越模糊。模糊程度還取決于鏡頭開(kāi)度的大小。光圈為 f/2.0 的 50mm 鏡頭的開(kāi)度以直徑表示為 50mm/2 = 25mm。使用這樣的鏡頭，即使離合焦平面只有幾英寸的物體也將模糊成像。關(guān)于景深，另一個(gè)值得了解的參數(shù)是模糊光點(diǎn)呈現(xiàn)的形狀。此形狀稱(chēng)為散景，它取決于鏡頭光圈的物理結(jié)構(gòu)。散景是圓形的？還是六邊形的（因?yàn)槟承╃R頭內(nèi)的光圈是由六片金屬薄片組成的）？攝影師們?nèi)栽诓恢＞氲貭?zhēng)論是什么構(gòu)成了好散景或壞散景。合成淺景深圖像與單反相機(jī)不同，手機(jī)攝像頭的光圈小且固定，生成的照片中的一切差不多都是清晰的。但是，如果我們知道了攝像頭與場(chǎng)景中各個(gè)點(diǎn)的距離，就可以用模糊點(diǎn)替換照片中的各個(gè)像素。這種模糊利用了像素的顏色及其相鄰像素，其中模糊程度取決于該場(chǎng)景點(diǎn)與合焦平面的距離。我們還能控制模糊的形狀，也就是散景。手機(jī)如何估計(jì)與場(chǎng)景中每個(gè)點(diǎn)的距離？最常用的方法是將兩個(gè)攝像頭互相靠近放置，即所謂的雙攝像頭手機(jī)。然后，我們?cè)谟覕z像頭圖像中為左攝像頭圖像中的每個(gè)點(diǎn)查找匹配點(diǎn)。對(duì)于在兩個(gè)圖像中找到匹配的位置，通過(guò)三角測(cè)量過(guò)程給出該場(chǎng)景特征的深度。這種搜索匹配特征的方式稱(chēng)為立體算法，它和我們的雙眼幾乎是一樣的原理。這個(gè)算法的更簡(jiǎn)單版本被一些單攝像頭智能手機(jī)應(yīng)用使用，包括將圖像分成兩個(gè)層 - 屬于前景（通常是人）的像素和屬于背景的像素。這種劃分有時(shí)稱(chēng)為語(yǔ)義分割，它可以使背景模糊，但它沒(méi)有深度的概念，所以無(wú)法給出模糊程度。此外，如果人的前面有一個(gè)離攝像頭非常近的物體，它也不會(huì)被模糊掉，盡管真實(shí)的相機(jī)會(huì)將其虛化。不管使用立體匹配還是分割，以人工方式將屬于背景的像素模糊化都稱(chēng)為合成淺景深或合成背景散焦。合成散焦與單反相機(jī)提供的光學(xué)模糊不同，但對(duì)大多數(shù)人來(lái)說(shuō)看起來(lái)很相似。Pixel 2 人像模式的原理Google Pixel 2 在其后置和前置攝像頭中都提供了人像模式。對(duì)于前置（自拍）攝像頭，僅使用分割。對(duì)于后置攝像頭，則同時(shí)使用立體匹配和分割。但等一下，Pixel 2 只有一個(gè)后置攝像頭，如何實(shí)現(xiàn)立體匹配？我們來(lái)一步一步地看一下這個(gè)過(guò)程。

第 1 步：生成一張 HDR+ 圖像。人像模式起始于一張一切都很清晰的照片。為此，我們使用 Google 的計(jì)算攝影技術(shù)HDR+來(lái)改善所拍攝照片的質(zhì)量，此技術(shù)在所有最近的 Nexus/Pixel 手機(jī)上都有實(shí)現(xiàn)。它的原理是捕捉一系列曝光不足的圖像以避免強(qiáng)光，調(diào)整和平衡這些幀以減少陰影中的噪聲，并以保留局部對(duì)比度同時(shí)合理降低全局對(duì)比度的方式增強(qiáng)陰影。即使在弱光條件下，結(jié)果也會(huì)是一張具有高動(dòng)態(tài)范圍、低噪聲和清晰細(xì)節(jié)的照片。

通過(guò)調(diào)整和平衡多個(gè)幀來(lái)減少噪聲的理念已在天文攝影中應(yīng)用了幾十年。Google 的實(shí)現(xiàn)有一點(diǎn)不同，因?yàn)槲覀兲幚淼恼掌瑤峭ㄟ^(guò)手持相機(jī)拍攝的，如果攝影師不穩(wěn)或者場(chǎng)景中的物體在運(yùn)動(dòng)，我們需要小心以避免產(chǎn)生重影。下面是使用 HDR+ 捕捉的高動(dòng)態(tài)范圍場(chǎng)景的示例。

Pixel 2未啟用（左）和啟用（右）HDR+ 所拍攝的照片。注意 HDR+ 是如何避免天空和庭院中出現(xiàn)強(qiáng)光，同時(shí)又保留拱廊天花板暗處細(xì)節(jié)的。拍攝者：Marc Levoy

第 2 步：? 基于機(jī)器學(xué)習(xí)的前景背景分割。從 HDR+ 照片開(kāi)始，我們接下來(lái)將決定哪些像素屬于前景（通常是人），哪些像素屬于背景。這是一個(gè)很棘手的問(wèn)題，因?yàn)榕c電影工業(yè)中的色度鍵控（也稱(chēng)為綠幕）不同，我們無(wú)法假定背景是綠色的（或者藍(lán)色，或者任何其他顏色）。因此，我們改為應(yīng)用機(jī)器學(xué)習(xí)。

具體來(lái)說(shuō)，我們訓(xùn)練了一個(gè)用TensorFlow編寫(xiě)的神經(jīng)網(wǎng)絡(luò)，它負(fù)責(zé)檢查照片，并估算哪些像素屬于人，哪些不屬于。我們使用的特定網(wǎng)絡(luò)是具有跳躍連接的卷積神經(jīng)網(wǎng)絡(luò)(CNN)。“卷積”是指學(xué)到的網(wǎng)絡(luò)組件以過(guò)濾器形式存在（每個(gè)像素周?chē)南噜徬袼氐募訖?quán)總和），所以，可以將網(wǎng)絡(luò)認(rèn)為是對(duì)圖像的過(guò)濾，然后對(duì)過(guò)濾后的圖像再過(guò)濾，等等。“跳躍連接”允許信息從可以推理出低級(jí)特征（顏色和邊緣）的網(wǎng)絡(luò)早期階段輕易流向可以推理出高級(jí)特征（面部和身體部分）的網(wǎng)絡(luò)后期階段。當(dāng)您不僅需要確定照片中是否有人，還需要準(zhǔn)確識(shí)別哪些像素屬于人時(shí)，將這些階段結(jié)合起來(lái)就變得十分重要。我們的 CNN 基于幾乎 100 萬(wàn)張人物照片（人物隨身戴著帽子、太陽(yáng)鏡以及拿著冰淇淋蛋卷）進(jìn)行訓(xùn)練。用于生成遮罩的推理在使用TensorFlow Mobile的手機(jī)上運(yùn)行。以下是一個(gè)示例：

左圖是 HDR+ 流程生成的照片，右圖是平滑后的神經(jīng)網(wǎng)絡(luò)輸出。網(wǎng)絡(luò)將遮罩的白色部分認(rèn)為是前景，將黑色部分認(rèn)為是背景。拍攝者：Sam Kweskin

遮罩的優(yōu)良度如何？不太差；我們的神經(jīng)網(wǎng)絡(luò)將女人的頭發(fā)和茶杯識(shí)別為前景的一部分，因此，可以使它們保持清晰。如果我們根據(jù)此遮罩來(lái)模糊照片，將得到以下圖像：

使用遮罩生成的合成淺景深圖像。

關(guān)于這個(gè)結(jié)果，有幾點(diǎn)需要注意。首先，模糊程度是一致的，盡管背景包含了不同深度的物體。其次，單反相機(jī)還會(huì)虛化盤(pán)子上的點(diǎn)心（以及盤(pán)子本身），因?yàn)樗x相機(jī)很近。我們的神經(jīng)網(wǎng)絡(luò)知道點(diǎn)心不是女人的一部分（注意，它在遮罩圖像中是黑色的），但由于在女人下方，也不太可能是背景的一部分。我們明確檢測(cè)到這種情況，讓這些像素保持相對(duì)清晰。遺憾地是，這種解決方案并不總是正確的，在這種情況下，我們應(yīng)該讓這些像素更模糊。

第 3 步：從雙像素到深度圖為了改進(jìn)此結(jié)果，了解場(chǎng)景中每個(gè)點(diǎn)的深度會(huì)有所幫助。我們可以使用立體算法計(jì)算深度。Pixel 2 未配備雙攝像頭，但它擁有名為相位檢測(cè)自動(dòng)對(duì)焦 (PDAF) 像素的技術(shù)，這種技術(shù)有時(shí)也稱(chēng)為雙像素自動(dòng)對(duì)焦(DPAF)。讀起來(lái)很繞口，但理念非常簡(jiǎn)單。想象一下，將手機(jī)后置攝像頭的（微型）鏡頭分成兩半，通過(guò)鏡頭左側(cè)看到的視野和通過(guò)鏡頭右側(cè)看到的視野會(huì)略有不同。這兩個(gè)視角相差不到 1mm（大致為鏡頭的直徑），但差異足以計(jì)算立體視覺(jué)并生成深度圖。攝像頭的光學(xué)原理相當(dāng)于將圖像傳感器芯片上的每個(gè)像素分割成兩個(gè)更小的并列像素，并分別從芯片讀取，如下所示：

在 Pixel 2 的后置攝像頭上，每個(gè)像素的右側(cè)通過(guò)鏡頭的左側(cè)觀測(cè)，每個(gè)像素的左側(cè)通過(guò)鏡頭的右側(cè)觀測(cè)。制圖人：Markus Kohlpaintner，已獲得轉(zhuǎn)載許可。

如圖所示，在一張快照中，PDAF 像素通過(guò)鏡頭的左側(cè)和右側(cè)提供視圖。或者，如果您豎著拿住手機(jī)，則是鏡頭的上下兩部分。下圖是通過(guò)鏡頭的上半部分和下半部分獲取的示例場(chǎng)景的圖像。這些圖像是單色的，因?yàn)槲覀冊(cè)诹Ⅲw算法中只使用Bayer 顏色過(guò)濾器傳感器的綠色像素，不使用紅色或藍(lán)色像素。區(qū)分兩個(gè)圖像有困難？或許右側(cè)（下方）的動(dòng)畫(huà) gif 會(huì)有所幫助。仔細(xì)看，差異確實(shí)非常小！

通過(guò) Pixel 2 鏡頭的上半部分和下半部分獲得的測(cè)試場(chǎng)景的視圖。在右側(cè)的動(dòng)畫(huà) gif中，注意女人幾乎不動(dòng)，因?yàn)橄鄼C(jī)的焦點(diǎn)在她身上，而背景則上下移動(dòng)。她前面的物體（如果我們能看到）在背景向上移動(dòng)時(shí)將向下移動(dòng)（反之亦然）。

PDAF 技術(shù)可在許多相機(jī)中找到（包括單反相機(jī)），有助于在相機(jī)錄制視頻時(shí)更快地對(duì)焦。在我們的應(yīng)用中，此技術(shù)用于計(jì)算深度圖。? 具體來(lái)說(shuō)，我們使用左側(cè)和右側(cè)圖像（或上部和下部圖像）作為立體算法的輸入，類(lèi)似于 Google 的Jump系統(tǒng)全景拼接器（名為Jump Assembler）中使用的圖像。此算法首先執(zhí)行子像素精確平鋪式調(diào)整來(lái)生成低分辨率深度圖，然后使用雙邊解算器對(duì)其進(jìn)行內(nèi)插計(jì)算來(lái)生成高分辨率深度圖。這與 Google 以前在鏡頭模糊功能中使用的技術(shù)相似。

還有一個(gè)細(xì)節(jié)：由于 Pixel 2 攝像頭捕捉的左側(cè)和右側(cè)視圖非常接近，我們獲得的深度信息是不準(zhǔn)確的，尤其是在圖像噪聲很高的低光照條件下。為了減少此噪聲并提高深度準(zhǔn)確度，我們捕捉一系列左側(cè)和右側(cè)圖像，然后調(diào)整并平衡它們，再應(yīng)用我們的立體算法。當(dāng)然，我們?cè)诖瞬襟E中需要多加小心，以避免錯(cuò)誤匹配，就像 HDR+ 處理一樣，否則深度圖中將會(huì)產(chǎn)生重影（這是另一篇博文的主題）。下面的左圖是使用我們的立體算法對(duì)上述示例生成的深度圖。

左圖：使用立體算法從前面的鏡頭上半部分和下半部分圖像計(jì)算出的深度圖。越亮表示離相機(jī)越近。

右圖：我們應(yīng)用于原圖每個(gè)像素的模糊程度的可視化。黑色表示完全不模糊，紅色表示合焦平面（女人的面部）后面的場(chǎng)景特征，紅色越亮，模糊程度越高，藍(lán)色表示合焦平面前面的特征（點(diǎn)心）。

第 4 步：拼合處理，生成最終圖像最后一步是，將我們?cè)诘?2 步中計(jì)算的分割遮罩與在第 3 步中計(jì)算的深度圖組合以確定為第 1 步的 HDR+ 照片中的每個(gè)像素設(shè)置多大的模糊程度。? 我們組合深度與遮罩的方式屬于秘密，不過(guò)，我們的大致思路是希望我們認(rèn)為屬于人的場(chǎng)景特征（遮罩的白色部分）保持清晰，我們認(rèn)為屬于背景的特征（遮罩的黑色部分）按照它們與合焦平面距離的遠(yuǎn)近相應(yīng)地模糊化，與合焦平面的距離獲取自深度圖。上面的紅色圖像是每個(gè)像素模糊程度的可視化。

實(shí)際上，應(yīng)用模糊從概念上看是最簡(jiǎn)單的部分；每個(gè)像素都被一個(gè)顏色相同但大小不同的半透明盤(pán)子替代。如果我們按照深度順序合成這些盤(pán)子，就像我們稍早前介紹的平衡一樣，將得到與真實(shí)光學(xué)模糊非常接近的結(jié)果。? 以合成方式進(jìn)行散焦的一個(gè)好處是，由于我們使用軟件，可以得到一個(gè)完美的盤(pán)形散景，無(wú)需拿著數(shù)磅重的玻璃相機(jī)鏡頭到處走動(dòng)。? 有趣的是，在軟件中，沒(méi)有特別的原因讓我們忠于現(xiàn)實(shí)；我們可以將散景形狀設(shè)置成想要的任何形狀。對(duì)于我們的示例場(chǎng)景，下面是最終的人像模式輸出。如果將此結(jié)果與第 2 步中最右側(cè)的結(jié)果進(jìn)行比較，您會(huì)發(fā)現(xiàn)，點(diǎn)心現(xiàn)在稍微模糊，與單反相機(jī)實(shí)現(xiàn)的效果大致相同。

最終的合成淺景深圖像，通過(guò)組合我們的 HDR+照片、分割遮罩和深度圖生成。點(diǎn)擊可以查看全分辨率圖像。

使用人像模式的方式Pixel 2 上的人像模式可以在 4 秒內(nèi)啟動(dòng)，完全自動(dòng)（與先前設(shè)備上的“鏡頭模糊”模式相反，此模式要求對(duì)手機(jī)進(jìn)行特殊的上下移動(dòng)），穩(wěn)定性高，足以讓非專(zhuān)家用戶使用。這是一個(gè)示例相冊(cè)，其中包括一些困難的情形，比如人的頭發(fā)卷曲以及手中拿著花束，等等。下面的列表列出了我們可以在全新的 Pixel 2 上使用人像模式的幾種方式。

微距拍攝如果您正在使用人像模式并將相機(jī)對(duì)準(zhǔn)小型物體而不是人（比如一朵花或一種食物），那么我們的神經(jīng)網(wǎng)絡(luò)無(wú)法找到面部，將不會(huì)生成有用的分割遮罩。換句話說(shuō)，我們流程的第 2 步不適用。幸運(yùn)的是，我們?nèi)钥梢詮?PDAF 數(shù)據(jù)生成深度圖（第 3 步），因此，僅根據(jù)深度圖就能計(jì)算淺景深圖像。由于鏡頭左右兩側(cè)之間的基線非常小，這僅適用于距離大致在一米以?xún)?nèi)的物體。但是對(duì)于此類(lèi)場(chǎng)景，可以生成非常美的照片。您可以將這種模式稱(chēng)為合成微距模式。下面是對(duì)一個(gè)微距大小的物體進(jìn)行直接和人像模式拍攝的示例，這里是一個(gè)包含更多微距拍攝照片的相冊(cè)，其中包括更困難的情形，比如后面有細(xì)鐵絲網(wǎng)的飲水器。小心不要靠得過(guò)近，Pixel 2 無(wú)法清晰地聚焦到距離攝像頭 10cm 以?xún)?nèi)的物體。

未啟用人像模式（左）和啟用人像模式（右）的微距照片。這里沒(méi)有人，因此，背景像素單純使用深度圖確定。拍攝者：Marc Levoy

自拍攝像頭Pixel 2 的前置攝像頭（自拍）和后置攝像頭都支持人像模式。這顆前置攝像頭的像素是 800 萬(wàn)，而不是 1200 萬(wàn)。它沒(méi)有 PDAF 像素，也就是說(shuō)，它的像素不會(huì)分成左右兩部分。在這種情況下，我們流程的第 3 步不適用，但如果我們可以找到面部，仍可以使用我們的神經(jīng)網(wǎng)絡(luò)（第 2 步）生成分割遮罩。這樣一來(lái)，我們?nèi)阅苌梢粡垳\景深圖像，不過(guò)，由于不知道物體的距離，我們無(wú)法通過(guò)深度設(shè)置不同的模糊程度。盡管如此，效果看起來(lái)仍非常好，尤其對(duì)于背景雜亂的自拍照而言更是如此，在這種情況下，模糊有助于抑制雜亂。下面是使用 Pixel 2 的自拍攝像頭直接拍攝和在人像模式下拍攝的自拍照示例。

未啟用人像模式（左）和啟用人像模式（右）的自拍照。前置攝像頭缺少 PDAF 像素，因此，背景像素只能使用機(jī)器學(xué)習(xí)確定。拍攝者：Marc Levoy

如何充分利用人像模式Pixel 2 生成的人像取決于基礎(chǔ) HDR+ 圖像、分割遮罩和深度圖；這些輸入中的問(wèn)題可能會(huì)導(dǎo)致結(jié)果出現(xiàn)偽影。例如，如果一個(gè)特征在 HDR+ 圖像中過(guò)度曝光（曝光成白色），那么左右圖像中不可能提供有用的信息，進(jìn)而導(dǎo)致深度圖出現(xiàn)錯(cuò)誤。分割會(huì)出現(xiàn)什么錯(cuò)誤？它是一個(gè)已經(jīng)接受接近 100 萬(wàn)張圖像訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，但我們打賭它一定沒(méi)學(xué)習(xí)過(guò)人親吻鱷魚(yú)的照片，因此，它可能會(huì)從遮罩中忽略鱷魚(yú)，導(dǎo)致鱷魚(yú)被模糊掉。深度圖呢？我們的立體算法在沒(méi)有紋理的特征（例如空白墻壁）上可能會(huì)失敗，因?yàn)闆](méi)有特征可以讓立體算法計(jì)算；它在重復(fù)紋理（例如格子襯衫）或者水平和豎直線條上也可能會(huì)失敗，因?yàn)榱Ⅲw算法可能會(huì)匹配圖像的錯(cuò)誤部分，導(dǎo)致三角剖分生成錯(cuò)誤的深度。不過(guò)，任何復(fù)雜技術(shù)都包含折中做法，下面是生成出色人像模式照片的一些提示：

站得離被攝主體足夠近，讓他們的頭部（或者頭部和肩部）填充相框。

如果您希望合影中的每個(gè)人都清晰，請(qǐng)確保這些人到攝像頭的距離相等。

如果需要更好的模糊效果，請(qǐng)?jiān)谀闹黧w與背景之間留出一定距離。

移除黑色的太陽(yáng)鏡、松軟的帽子、巨大的圍巾和鱷魚(yú)。

對(duì)于微距拍攝，通過(guò)點(diǎn)按的方式進(jìn)行聚焦，確保您要拍攝的物體保持清晰。

順便說(shuō)一下，在人像模式下，您會(huì)注意到攝像頭放大了一點(diǎn)（后置攝像頭為 1.5 倍焦距，自拍攝像頭為 1.2 倍焦距）。? 這是有意為之，因?yàn)楦囊曇皶?huì)讓您站得靠后一點(diǎn)，這反過(guò)來(lái)會(huì)減少透視變形，進(jìn)而生成更好的人像。是時(shí)候（永遠(yuǎn)）拋棄單反相機(jī)了嗎？在我們 5 年前加入 Google 時(shí)，手機(jī)照片的像素?cái)?shù)還沒(méi)有追上單反相機(jī)的像素?cái)?shù)，不過(guò)，足以滿足大多數(shù)人的需求了。即使在較大的家用計(jì)算機(jī)屏幕上，您也無(wú)法看清使用手機(jī)拍攝的照片中的各個(gè)像素。盡管如此，手機(jī)攝像頭在以下四個(gè)方面仍無(wú)法匹敵單反相機(jī)：

明亮場(chǎng)景下的動(dòng)態(tài)范圍（過(guò)度曝光的天空）

弱光下的信噪比 (SNR)（有噪聲的照片，缺少細(xì)節(jié)）

縮放（對(duì)于自拍照片）

淺景深

Google 的 HDR+ 和競(jìng)爭(zhēng)對(duì)手的類(lèi)似技術(shù)在第 1 個(gè)和第 2 個(gè)方面取得了巨大進(jìn)步。事實(shí)上，在光線不好的環(huán)境中，我們通常不用單反相機(jī)拍攝，因?yàn)槲覀兛梢詮氖謾C(jī)獲得一張更好的照片，不用進(jìn)行費(fèi)時(shí)費(fèi)力的多重曝光和后期處理。對(duì)于縮放，一些智能手機(jī)上添加的不太大的長(zhǎng)焦鏡頭（一般為 2 倍焦距）有所幫助，但要想拍攝河床上的灰熊，沒(méi)有什么可以替代一只 400mm 鏡頭（這種鏡頭也是一個(gè)更為安全的工具！）。對(duì)于淺景深，合成散焦與真實(shí)的光學(xué)散焦不同，但視覺(jué)效果非常接近，足以實(shí)現(xiàn)相同的目標(biāo)，也就是將您的注意力集中到主體上。配備大傳感器和大鏡頭的單反相機(jī)（或者它們的可更換鏡頭無(wú)反光鏡相機(jī) (MIL) 近親）會(huì)消失嗎？這種說(shuō)法存在疑問(wèn)，不過(guò)，它們?cè)谑袌?chǎng)中僅會(huì)占很小的份額。我們兩個(gè)在旅行時(shí)都會(huì)攜帶一部大相機(jī)和一臺(tái) Pixel 2。旅行開(kāi)始時(shí)，我們會(huì)忠實(shí)地使用單反相機(jī)，但到了最后，它大多數(shù)時(shí)間都會(huì)待在行李箱中。歡迎來(lái)到軟件定義相機(jī)和計(jì)算攝影的新世界！