摘要

• 本文中我們提出一個增量式近實時的語義建圖系統
• 構建了一個3D滾動占用網格圖來表示世界，內存和計算效率很高，并且適用于大規模環境。
• 我們利用CNN分割作為先驗預測，通過一個新的CRF模型進一步優化三維網格標簽。利用超像素增強算法的平滑性，形成魯棒的高階勢。針對圖優化問題，提出了一種有效的平均域推理方法。
• 我們在KITTI數據集熵評估了系統，并相對于已有的系統提高了超過10%分割精度

Introduction

• 語義三維重建現有的方法都有限制：例如不能實時運行或不能適用于大規模場景，即使一些在GPU加速下可以實時
• 單目只能在室內小環境，為了更好的適用性選用雙目相機
• 我們用CNN對2維圖像計算像素標簽描述并轉換到3維柵格空間中。然后提出一個高階cliques的概率隨機域(CRF)模型來增強網格中的語義一致性。clique是通過超像素產生的。提出了一種有效的基于濾波的平均場（field）近似推理方法。
• 貢獻：
  • 用滾動占據網格地圖、可應用于大規模環境、（近）實時增量式語義3維建圖系統
  • 在KITTI數據集熵提高分割精度>10%
  • 利用穩健的 potts模型，提出了一種基于濾波器的高階CRFs平均場推理方法，并將其轉化為一個分層的pairwise模型

幾何建圖

A.

• 分成三步：雙目深度估計、相機位置估計、構建3D網格地圖
• 深度估計用三角測量計算視差
• 用雙目ORB-SLAM來估計相機6自由度位姿
• 為了融合不同視角的觀測點，把點云地圖變成3D occupancy grid，每個grid存儲被占據的概率并通過基于雙目深度測量的光線跟蹤逐步更新。如果占用值超過了一個閾值，則該網格將被視為已占用，并被考慮用于后一個CRF優化
• 為了保持內存和計算效率，占據地圖保持一個固定的尺寸并隨著相機移動（應該就是摘要里說的滾動式）

B.顏色和標簽融合

• 占據地圖中還存儲顏色和標簽分配 為了后面的CRF優化
• 顏色融合直接用不同觀測的平均值
• 標簽融合用標準的Bayes準則：（和占用地圖更新相似）

IV. HIERARCHICAL SEMANTIC MAPPING