二維攝像 + 三維重建法 = 深度視覺攝像
二維攝像
-
結(jié)構(gòu)光方案
-
優(yōu)點：
- 技術(shù)成熟，深度圖像分辨率可以做得比較高；
- 價格低廉。
-
缺點：
- 容易受光照影響，室外環(huán)境及夜間環(huán)境基本不能使用;
- 無法得到深度信息。
-
三維重建法
-
探針法
- 時期：早期采用的
- 特點：簡單粗暴
- 原理：直接手拿定位探針，在物體表面移動，一個點一個點地測坐標(biāo)
-
直接測距法
- 超聲波法
- 原理：使用特定的人造聲源，對物體表面逐點用聲程差來測距
- TOF法
全稱：Time of flight，即飛行時間法
原理：采用主動光探測方式，使用特定的人造光源（如紅外線），通過入、反射光探測，對物體表面逐點用光程差來測距
-
運用：
- 物流行業(yè)：通過 TOF 相機迅速獲得包裹的拋重（即體積），來優(yōu)化裝箱和進行運費評估
- 安防和監(jiān)控：進行 Peoplecounting 確定進入人數(shù)不超過上限；通過對人流或復(fù)雜交通系統(tǒng)的counting，實現(xiàn)對安防系統(tǒng)的統(tǒng)計分析設(shè)計；敏感地區(qū)的檢測對象監(jiān)視；機器視覺：工業(yè)定位、工業(yè)引導(dǎo)和體積預(yù)估；替代工位上占用大量空間的、基于紅外光進行安全生產(chǎn)控制的設(shè)備；
- 機器人：在自動駕駛領(lǐng)域提供更好的避障信息；機器人在安裝、質(zhì)量控制、原料揀選應(yīng)用上的引導(dǎo)；
- 醫(yī)療和生物：足部矯形建模、病人活動/狀態(tài)監(jiān)控、手術(shù)輔助、面部3D 識別；
- 互動娛樂：動作姿勢探測、表情識別、娛樂廣告
-
優(yōu)點：
- 視角更寬；
- TOF相機體積小巧，跟一般相機大小相去無幾，非常適合于一些需要輕便、小體積相機的場合；
- TOF相機能夠?qū)崟r快速的計算深度信息，達到幾十到100fps；
- TOF的深度計算不受物體表面灰度和特征影響，可以非常準(zhǔn)確的進行三維探測；
- 深度計算精度不隨距離改變而變化，基本能穩(wěn)定在cm級，這對于一些大范圍運動的應(yīng)用場合非常有意義。
-
缺點：
- 深度圖像分辨率較低，做一些簡單的避障和視覺導(dǎo)航可以用，但是要求精度高些的場景就不行；
- 測量距離較常規(guī)測量儀器短，一般不超過 10 米；
- 測量結(jié)果受被測物性質(zhì)的影響；
- 大多數(shù)機器的測量結(jié)果受外界環(huán)境干擾較為明顯，尤其是受外界光源擾,所以常只用于室內(nèi)；
- 系統(tǒng)誤差及隨機誤差對結(jié)果影響明顯，需要進行后期數(shù)據(jù)處理；
- 由于傳感器芯片并不成熟，成本很高，實現(xiàn)量產(chǎn)困難。
- 超聲波法
-
雙目視覺法
原理：通過左右立體像對匹配后，再經(jīng)過三角測量法來進行立體探測（兩角夾一邊 -> 確定一個三角形 -> 該三角形的高即為影像點的深度）
運用：大疆無人機用其實現(xiàn)其無人機避障功能
-
優(yōu)點：
- 純雙目只需使用兩顆普通PRG攝像頭，并不涉及光學(xué)系統(tǒng)，成本低；
- 測量距離長。
-
缺點：
- 需要目標(biāo)具有良好的特征變化，否則會無法進行深度計算。
- 雙RGB攝像頭的純雙目攝像機，繼承了普通RGB攝像頭的缺點：在昏暗環(huán)境下以及特征不明顯的情況下并不適用；
- 雙目立體相機需要用到的算法復(fù)雜度高，難度很大，處理芯片需要很高的計算性能，處理速度較慢；
- 雙目相機體積較大。
-
SFM法
- 全稱：Structure from Motion
- 原理：輸入是一段motion或者一時間系列的2D圖群，這里不需要任何相機的信息。在2D圖之間找到了匹配的地方，可以推斷出相機的各項參數(shù)，從時間系列的2D圖像中推算3D信息，通過匹配點之間的視差得到相對的深度信息。
- 運用：“一日之內(nèi)建好羅馬”項目
綜述——深度視覺攝像
國內(nèi)三大主流深度攝像頭方案
-
(單目)結(jié)構(gòu)光
- 傳統(tǒng)攝像機
-
雙目視覺(雙目可見光/雙目RGB)
- 雙目攝像機
-
TOF飛行時間法
- 體感攝像機
三種主流深度檢測技術(shù)比較
一些具體運用的demo
雙目攝像機用于垂直高度過濾技術(shù)：
既能準(zhǔn)確計算進出人數(shù)，又能有效過濾掉干擾物體（如推車、行李箱、人員徘徊、擁擠及軀體重疊、人員經(jīng)過未進入等，另外用戶也需要有特殊應(yīng)用，比如身高低于1.2米的兒童進出不計數(shù)等），使得客流統(tǒng)計準(zhǔn)確率號稱可以達到97%以上。
雙目立體視覺技術(shù)利用雙攝像頭攝取兩幅圖像的視差，構(gòu)建三維場景，在檢測到目標(biāo)后，通過計算圖像對應(yīng)點間位置偏差，獲取目標(biāo)的三維信息，并能以三維立體視角精確區(qū)分行人和干擾物體，如推車、行李箱。
體感攝像機用于深度檢測：
以“直方圖”效果展示：
越近，則對應(yīng)的像素點黃色程度越亮；越遠，則對應(yīng)的像素點黃色程度越暗。
以“熱度圖”效果展示：
從近到遠，對應(yīng)的像素點顏色變化為： 紫 -> 紅 -> 橙 -> 黃 -> 綠 -> 藍
以“灰度圖”效果展示：
越近，則對應(yīng)的像素點越暗；越遠，則對應(yīng)的像素點越白亮。
