相關
ARKit實戰：如何實現任意門
Animoji實現方案分享
Animoji模型優化方案總結
ARKit進階：物理世界
ARKit進階：材質
解決 ARKit 用Metal錄制時顏色變暗的問題
記一個SceneKit Morpher引發的Crash
寫在前面
其實準備ARKit已經很久了，確切地說當WWDC開始介紹時就開始了。其后參加了蘋果的ARKit workShop，加上自己有點事，所以文章一直沒發出來，現在再發一篇上手文章，也沒什么意義。所以本篇文章重在workShop上與蘋果工程師的交流和我對ARKit的理解, 最后會簡單介紹一下相關技術。
更新
蘋果最近更新了ARKit的文檔，加入了基于深度攝像頭的人臉識別（目前就是iPhone X的前置攝像頭）。在work shop上ARKit團隊明確表示不會支持前置攝像頭，這么快就被打臉……所以大家可以期待，ARKit將在前置攝像頭上有更多的應用。
Work Shop Demo
MarkDown無法傳視頻，這里是視頻鏈接。
ARKit
AR(Augment Reality)大家都知道，就是將3D模型渲染在攝像頭圖像之上，混合渲染達到虛擬物品就好像是現實的一部分。ARKit解決了模型定位難的問題，結合CoreMotion運動數據與圖像處理數據，來建立一個非常準確的SLAM系統，構建虛擬世界和現實世界之間的映射。同時能夠分析環境自動給模型添加光源，實際效果還是比較驚艷的。
從結構上看，ARKit提供了一套簡單易用的AR框架，但框架之外，需要很多的三維空間、游戲編程、3D模型、GPU渲染的知識來理解AR技術。ARKit最重要的兩個類是
ARSession與ARSCNView
類似與AVFoudation，ARKit中由ARSesseion類來配置SLAM系統的建立。設置RSession的配置選項為ARWorldTrackingSessionConfiguration來追蹤設備的方向與位置，并且能夠檢測平面。這個選項只有A9處理器之上才支持。其他型號處理器（6S以下）只能追蹤設備的方向。
ARKit的提供了自帶的兩個渲染類：ARSCNView和ARSKView，后者用來渲染2D模型。之前鮮有問津的SceneKit算是有了用武之地。這兩個類會自動開啟攝像頭并建立虛擬空間與現實空間之間的映射。同時ARKit也支持自定義用OpenGL或Metal實現渲染類，但要自己管理與ARSession之間的通信，同時要遵循iOS GPU命令不能在后臺調用的規則。
其他比較重要的類有ARAnchor、ARHitTestResult、ARFrame、ARCamera。
- ARAnchor
世界中點，可以用來放置虛擬物品，也可以代指現實物品的放置位置。ARAnchor在世界中是唯一的，并包含仿射變換的信息。
- ARHitTestResult
HitTest的返回，世界中的ARAnchor。
與UIKit中的hitTest不同，ARKit的HitTest以設備方向配合視圖坐標，建立一條世界中的射線，所有在射 線上的ARAnchor, 會以由近到遠的方式返回。此外SCeneKit的HitTest返回虛擬物品。
- ARFrame
攝像頭視頻幀的包裝類，包含位置追蹤信息、環境參數、視頻幀。重點是它包含了蘋果檢測的特征點，通過rawFeaturePoints可以獲取，不過只是特征的位置，具體的特征向量并沒有開放。
- ARCamera
場景中的攝像機，用來控制模型視圖變換和投影變換。同時提供6DOF(自由度信息，方向+位置)與追蹤信息。
對ARKit的思考
從框架接口來看，ARKit 暴露出來的能力并不多且小心翼翼。
AR的能力，由三部分組成：
- 3D渲染
- 空間定位與方向追蹤
- 場景理解（檢測與識別）
目前看 ARKit 只提供了3D渲染的入口，其他兩個都被封裝起來了，所以目前來看渲染是差異化的主要途徑，但不唯一。ARKit workShop 上，面對大家提出的苛刻問題，蘋果工程師大量提到特征點。其實計算機視覺是可以在場景理解這一層面做一些自定義的。如果蘋果開放更多的能力，那AR的能力完全可以作為任何一個APP的特性。
此外，ARKit還存在一些問題：
- ARKit 是基于慣性-視覺來做空間定位的，需要平穩緩慢的移動+轉向手機，才能構建更加準確的世界，這對用戶來說是一種考驗，需要積極提示。
- 理論上 ARKit 在雙目攝像頭上的表現應該優于單目，這里需要具體測試，如何來平衡用戶體驗。
- .scn文件還是知識一個簡單的3維模型編輯器，支持的文件格式少，對模型、光照的編輯方式不太友好。對骨骼動畫的支持還有只在能用的階段。
- 一旦剛開始檢測平面失敗，出現時間久，飄逸的現象，后期很難再正確檢測，要強制重啟。
ARKit最佳實踐
模型與骨骼動畫
- 如果是使用.dae 轉 .scn 文件，資源中包含骨骼動畫時，加載.scn文件到 scene 中會丟失動畫，需要在加載時手動恢復一下（方法）。
- 設計骨骼動畫是，要求設計師把動畫放在根節點上，不要分散地放在每個bone上，這樣可以方便地讀取出動畫到
CAAnimation。 - 最好不要將太遠的光照加載模型文件中，這樣會導致加載文件到
SCNNdoe時，你的 node 真實尺寸特別大，而你期望的尺寸可能只是模型對象的大小。 - 模型的
SCNMaterial是用 physically based lighting model 會有更好的表現，設置比較好的環境光也比較重要。
光照
- 合理的陰影會大大提高AR的效果，貼一張紋理當然可以，但動態陰影更讓人沉浸，我們還是要有追求的。
- 使用Bake ambient occlusion（ABO）效果，模型會更逼真。
- 光照node加載到
SCNScene的rootNode上，這對做碰撞檢測尤其重要
ARKit workShop
匯總了一下workShop上，比較感興趣的問題和蘋果工程師的回答，摻雜自己的理解。
1 . ARFrame提供的YUV特征，如何獲取RGB特征？
答：使用Metal去獲取特征點的RGB值。
（這個我一般是用OpenGL的shader去做，我想蘋果工程師是說將圖像用Metal轉成位圖后，根據坐標去獲取RGB值。但特征點不多的話，直接在CPU中利用公式計算一下不就行了嗎？不過也許Metal有更強大的方法。）
2 . ARKit中怎么做虛擬環境？
答：利用Cube背景。
（這個在VR中用的比較多，就是用一個貼滿背景的立方體包裹住攝像機所在的空間，網上的資料較多。）
3 . ARKit的如何模擬光源的？為什么不產生陰影。
答：ARKit通過圖像的環境來設置模型的環境光強度，而環境光是不產生陰影的。
（我猜蘋果應該是通過像素值來確定環境光的，如果用高級一點的方法完全可以添加直射光。光照有許多模型，只有帶方向的光才會產生陰影，如果想用ARKit做出陰影，可以看我的回答。）
4 . AVFoudation與ARSession之間的切換會有問題嗎？
答： ARSession底層也是用AVFoudation的，如果重新打開ARKit，只需要重新 run 一下 ARSession 可以了，但切換時會有卡頓。
（我自己試了一下，切換時確實有輕微的卡頓，切換后ARSession就停止攝像頭采集了，但3D渲染會繼續，只是喪失了空間定位與檢測識別的能力。）
5 . ARKit是否支持前置攝像頭？
答：不支持。ARKit并不是一個用于前置攝像頭環境的技術，因為空間有限，能提供的信息也非常有限。
（這個問題是很多參會者關心的問題，但 ARKit 團隊似乎不是很 care ，說到底還是因為前置攝像頭的場景中，用戶很少會移動，畫面中一般大部分都是人臉，這樣 ARKit 的定位與檢測能力無法很好使用。建議由類似需求的同學好好梳理，是不是想要的是3D渲染而不是AR。
6 . ARKit的最大應用范圍是多少？
答：100米是 ARKit 在保持較好用戶體驗的最大測量距離。
（這個其實我有點沒太聽清，實際數字應該是100米以上）
7 . ARKit如何做marker？
答：ARKit不會提供這樣的能力，如果想實現的，可以用 ARKit 提供的特征點來跑自己的計算機視覺。
（熟悉計算機視覺的同學應該都明白，其實marker就是一種簡單的圖像識別，如果 ARKit 提供的特征點可靠的話，完全可以自己做特征匹配。現場問了蘋果工程師，他們的特征點是什么特征，他們不愿回答，不過看使用場景的話，應該是一種邊緣敏感的低維特征，應該類似 PCA + SURF）。
8 . ARKit合適支持A8？性能如何？
答：支持A8處理器并不在計劃中（這里指的是空間定位能力，A8只支持空間方向追蹤），ARKit 的大部分計算都是在CPU上處理的，在A8處理器上的性能損耗在 15% ~ 25%, 在A9處理器上的性能損耗在 10% ~ 15%。
（看他們的意思，大量的計算，在A8上應該是比較低效的，解釋了為什么A8上的追蹤能力是閹割版的。性能應該說還不錯，與游戲類似）
9 . 如何追蹤實際的物體？
答：可以在已識別的物體位置上，添加一個node, 這樣就能在之后的處理中一直保持這個物體的追蹤。
（這次的wrokShop，蘋果大量提到他們的特征點，如果他們真的足夠重視的話，應該開放特征檢測的過程與特征向量，希望后期能夠開放吧）
10 . 如何連接兩個不同 ARKit 世界？
答：ARKit沒有計劃支持這些，比較 tricky 的做法是將兩個手機緊挨著啟動ARKit。
（這個也是很多參會者關注的問題，相信不少人已經有了自己的解決方案，這里我后期會出一篇文章講解。）
AR相關
渲染
AR說到底還是一種游戲技術，AR提供了定位、檢測平面的功能，這些功能并沒有暴露出來供我們自定義，那么只能在渲染方面做出差異。
目前ARKit支持的3D渲染引擎，有sceneKit，Unity3D，UE。后兩者都是成熟的游戲引擎，能夠提供完整的游戲功能，但沒有我們沒有使用，主要因為：
- 上手較慢，iOS11 9月中旬就要發布了，時間緊促。
- 接入Unity3D會給安裝包造成很大壓力，成本大約10M。
最終決定還是用sceneKit，主要出于一下考慮：
- ARKit目前對Unity3D，UE的支持沒有sceneKit好。
- sceneKit用OC寫，可以OCS。
- sceneKit是系統動態庫，對安裝包壓力不大。
- sceneKit雖然能力弱，但是對于AR來說足夠了，AR畢竟打造不了復雜的游戲。
坐標系
ARKit和OpenGL一樣，使用右手坐標系, 這個新建一個camera就可以看出來。
定位
將模型加載到空間中，需要6個自由度（6DOF）的信息來指定模型的表現：
分別是沿三個坐標軸的平移與旋轉。
可以使用旋轉矩陣、歐拉角、四元數來定義空間旋轉，ARKit的這三種方式均有運用。
- 旋轉矩陣
這個好理解，使用旋轉的變換矩陣即可，維度4*4，定義一次旋轉需要16個數。
- 歐拉角
把空間旋轉分解成繞三個局部坐標軸的平面旋轉，分別是pitch(俯仰角，繞x軸)，yaw（偏航角，繞y軸），roll（翻滾角，繞z軸），然后以一定順序做旋轉（sceneKit中是 roll -> yew -> pitch），歐拉角是使用三個 3*3 矩陣連乘實現，而且存在萬向鎖的問題。
當pitch為90°時，pitch與yew的旋轉軸重合了，這時飛機喪失了一個旋轉的維度。
- 四元數
將三維空間的旋轉表示成四維空間的超球面上位移, 概念有點復雜。簡單來說，我們只需要旋轉軸 ，和角度 ?? 來構造一個單位四元數 q:
那么旋轉可以定位為：
對任何需要旋轉的點 ,將它擴展成一個純四元數 ,代入上面的公式，就可以得到旋轉后的點。
追蹤
visual-inertial odometry :基于視覺和慣性的測量方法，慣性數據是指角速度和加速度，這些都由Core Motion提供，加上圖像特征，能夠更準確地建立SLAM系統。ARKit會將提取到的特征點映射的空間中，也就是說特征點是由三維坐標的，我們可以利用特征點來確定圖像中物體的遠近。實測效果不錯，誤差在分米以內。
