AR技術分享

demo在這里: https://github.com/lijiaxiang/ARKitShare

前言

六一兒童節來了,想找點有意思的東西,所以準備了一下,送給所有人。


ARKit分享目錄

一、AR技術簡介
二、ARKit概述及特點介紹
三、ARKit初體驗之“HellowWorld”
四、ARKitSceneKit的關系
五、ARKit工作原理
六、ARKitAPI翻譯
七、寫一個入門級程序 幫助理解
八、總結和討論

一、AR技術簡介

  • 增強現實技術(Augmented Reality,簡稱AR),是一種實時地計算攝像機影像位置及角度并加上相應圖像、視頻、3D模型的技術,這種技術的目標是在屏幕上把虛擬世界套在現實世界并進行互動

  • AR場景實現所需要的技術以及步驟如下:

  • 1、多媒體捕捉現實圖像:如攝像頭(關于傳感器在AR中的使用暢想)

  • 2、三維建模:3D立體模型

  • 3、傳感器追蹤:追蹤現實世界動態物體的六軸變化,這六軸分別是X、Y、Z軸位移及旋轉。位移三軸決定物體的方位和大小,旋轉三軸決定物體顯示的區域角度

  • 4、坐標識別及轉換:3D模型顯示在現實圖像中不是單純的frame坐標點,而是一個三位的矩陣坐標。這基本上也是學習AR最難的部分,好在ARKit幫助我們大大簡化了這一過程。

步驟: 攝像頭-(x,y,z)->模型->模型自身(w,h,L,Sx,Sy,Sz)(沒必要花時間理解,后面會帶著一起理解)

二、ARKit概述及特點介紹

  • 1、ARKit是2017年6月6日,蘋果發布iOS11系統所新增框架,它能夠幫助我們以最簡單快捷的方式實現AR技術功能。
  • 2、ARKit框架提供了兩種AR技術,一種是基于3D場景(SceneKit)實現的增強現實,一種是基于2D場景(spriteKit)實現的增強現實
    • 一般主流都是基于3D實現AR技術,ARKit不僅支持3D游戲引擎SceneKit還支持2D游戲引擎SpriteKit
  • 3、要顯示AR效果,必須要依賴于蘋果的游戲引擎框架(3D游戲引擎SceneKit、2D游戲引擎SpriteKit),主要原因是游戲引擎才可以加載物體模型。
    • ARKit框架中視圖對象ARSCNView間接繼承于UIView,但是由于目前ARKit框架本身只包含相機追蹤,不能直接加載物體模型,所以只能依賴于游戲引擎加載ARKit
  • 4、開發硬件要求:
    • 不僅要求iOS11的系統、而且A9處理器才可以使用ARKit。也就是說6s以上&iOS11系統以上才可以使用ARKit,6以前的設備不是A9芯片
    • xcode(9.0)+ iOS(11)+ iPhone6s(A9)+ macOS(10.12.4)+

三、ARKit初體驗之“HellowWorld”

  • 上前戲--2D增強現實(2D游戲引擎SpriteKit)
  • 主流來了--3D增強現實(3D游戲引擎SceneKit)

幫老鐵在項目中理解:攝像頭-(x,y,z)->模型->模型自身(w,h,L,Sx,Sy,Sz)

四、ARKitSceneKit的關系

  • 1、在前三部分介紹過,AR技術叫做虛擬增強現實,也就是在相機捕捉到的現實世界的圖像中顯示一個虛擬的3D模型。這一過程可以分為兩步:
  • <1、相機捕捉現實世界圖像
    • ARKit來實現
  • <2、在圖像中顯示虛擬3D模型
    • SceneKit來實現
  • 2、ARSCNView只是一個視圖容器,它的作用是管理一個ARSession,稱之為AR會話
  • 3、在一個完整的虛擬增強現實體驗中,ARKit框架只負責將真實世界畫面轉變為一個3D場景,這一個轉變的過程主要分為兩個環節:由ARCamera負責捕捉攝像頭畫面,由ARSession負責搭建3D場景
  • 4、在一個完整的虛擬增強現實體驗中,將虛擬物體實現在3D場景中是由SceneKit框架來完成:每一個虛擬的物體都是一個節點SCNNode,每一個節點構成了一個場景SCNScene,無數個場景構成了3D世界
  • 5、綜上所述,ARKit捕捉3D現實世界使用的是自身的功能,這個功能是在iOS11新增的。而ARKit在3D現實場景中添加虛擬物體使用的是父類SCNView的功能,這個功能早在iOS8時就已經添加(SceneKit是iOS8新增)
    • 下面在介紹使用ARScnView不再重復這一關系,可以簡單理解為:ARSCNView所有跟場景和虛擬物體相關的屬性及方法都是自己父類SCNView的


      ARClass.png

五、ARKit工作原理

1、ARSCNView與ARSession
  • 1.1、無論ARKit是用3D的ARSCNView和2D的ARSKView,都是用了相機視圖作為背景視圖,而這一個相機的圖像就是由ARKit框架中的相機類ARCamera來捕捉的。
  • 1.2、ARSCNView與ARCamera兩者之間并沒有直接的關系,它們之間是通過AR會話(ARKit中非常重量級的一個類ARSession)來搭建溝通橋梁的
    • 在iOS框架中,凡是帶session或者context后綴的,這種類一般自己不干活,作用一般都是兩個:1.管理其他類,幫助他們搭建溝通橋梁,好處就是解耦 2.負責幫助我們管理復雜環境下的內存
      • context與session不同之處是:一般與硬件打交道,例如攝像頭捕捉ARSession,網卡的調用NSURLSession等使用的都是session后綴。沒有硬件參與,一般用context,如繪圖上下文,自定義轉場上下文等
  • 1.3、想要運行一個ARSession會話,必須要指定一個稱之為“會話追蹤配置”的對象:ARSessionConfiguration,ARSessionConfiguration的主要目的就是負責追蹤相機在3D世界中的位置以及一些特征場景的捕捉(例如平面捕捉),這個類本身比較簡單卻作用巨大
  • ARSessionConfiguration是一個父類,為了更好的看到增強現實的效果,蘋果官方建議我們使用它的子類ARWorldTrackingSessionConfiguration,該類只支持A9芯片之后的機型(6s+)


    ARSessionConfiguration.png
2、ARWorldTrackingSessionConfiguration與ARFrame
  • 2.1、ARSession搭建溝通橋梁的參與者主要有兩個ARWorldTrackingSessionConfiguration與ARFrame
  • 2.2、ARWorldTrackingSessionConfiguration(會話追蹤配置)的作用是跟蹤設備的方向和位置,以及檢測設備攝像頭看到的現實世界的表面。它的內部實現了一系列非常龐大的算法計算以及調用了你的iPhone必要的傳感器來檢測手機的移動及旋轉甚至是翻滾
  • 我們無需關心內部實現,ARKit框架幫助我們封裝的非常完美,只需調用一兩個屬性即可
  • 2.3、當ARWorldTrackingSessionConfiguration計算出相機在3D世界中的位置時,它本身并不持有這個位置數據,而是將其計算出的位置數據交給ARSession去管理(與前面說的session管理內存相呼應),而相機的位置數據對應的類就是ARFrame
  • ARSession類一個屬性叫做currentFrame,維護的就是ARFrame這個對象
  • ARCamera只負責捕捉圖像,不參與數據的處理。它屬于3D場景中的一個環節,每一個3D Scene都會有一個Camera,它覺得了我們看物體的視野
3、ARKit工作完整流程
  • ARKit框架工作流程可以參考下圖:
  • 3.1、ARSCNView加載場景SCNScene
  • 3.2、SCNScene啟動相機ARCamera開始捕捉場景
  • 3.3、捕捉場景后ARSCNView開始將場景數據交給Session
  • 3.4、Session通過管理ARSessionConfiguration實現場景的追蹤并且返回一個ARFrame
  • 3.5、給ARSCNView的scene添加一個子節點(3D物體模型)
WorlLifeCycle.png

它們三者之間的關系看起來如下圖:


ARSessionConfiguration&ARsession&ARframe.png

六、ARKitAPI翻譯

  • 先看一下系統FrameWork中的ARKit框架類圖

    ARHeaders.png

  • ARAnchor

    • 表示一個物體在3D空間的位置和方向(ARAnchor通常稱為物體的3D錨點,有點像UIKit框架中CALayer的Anchor)
    • ARFrame表示的也是物體的位置和方向,但是ARFrame通常表示的是AR相機的位置和方向以及追蹤相機的時間,還可以捕捉相機的幀圖片
    • 也就是說ARFrame用于捕捉相機的移動,其他虛擬物體用ARAnchor
@interface ARAnchor : NSObject <NSCopying>

/**
 標識符
 */
@property (nonatomic, readonly) NSUUID *identifier;

/**
 錨點的旋轉變換矩陣,定義了錨點的旋轉、位置、縮放。是一個4x4的矩陣(讀者可以自行科普什么叫4x4矩陣)
 */
@property (nonatomic, readonly) matrix_float4x4 transform;

/**
 構造方法,一般我們無需構造。因為添加一個3D物體時ARKit會有代理告知我們物體的錨點
 */
- (instancetype)initWithTransform:(matrix_float4x4)transform;

@end

  • ARCamera


    ARCamera3DMap.png
    • ARCamera是一個相機,它是連接虛擬場景與現實場景之間的樞紐。在ARKit中,它是捕捉現實圖像的相機,在SceneKit中它又是3D虛擬世界中的相機。(一般第一人稱3D游戲,主角其實就是一個3D相機,我們電腦屏幕看到的畫面就是這個相機捕捉的畫面)
      • 一般我們無需去創建一個相機,因為當我們初始化一個AR試圖時,他會為我們默認創建一個相機,而且這個相機就是攝像頭的位置,同時也是3D世界中的原點所在(x=0,y=0,z=0)
      • ARCamera的API一般我們無需關心,因為ARKit會默認幫助我們配置好
@interface ARCamera : NSObject <NSCopying>

/**
 4x4矩陣表示相機位置,同ARAnchor
 */
@property (nonatomic, readonly) matrix_float4x4 transform;

/**
相機方向(旋轉)的矢量歐拉角
分別是x/y/z
 */
@property (nonatomic, readonly) vector_float3 eulerAngles;

/**
 相機追蹤狀態(在下方會有枚舉值介紹)
 */
@property (nonatomic, readonly) ARTrackingState trackingState NS_REFINED_FOR_SWIFT;

/**
追蹤運動類型
 */
@property (nonatomic, readonly) ARTrackingStateReason trackingStateReason NS_REFINED_FOR_SWIFT;

/**
相機曲率(筆者有點費解,反復揣摩應該是與焦距相關參數)
3x3矩陣
 fx 0   px
 0  fy  py
 0  0   1
 */
@property (nonatomic, readonly) matrix_float3x3 intrinsics;

/**
攝像頭分辨率
 */
@property (nonatomic, readonly) CGSize imageResolution;

/**
投影矩陣
*/
@property (nonatomic, readonly) matrix_float4x4 projectionMatrix;

/**
創建相機投影矩陣
 */
- (matrix_float4x4)projectionMatrixWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation zNear:(CGFloat)zNear zFar:(CGFloat)zFar;

@end

//相機追蹤狀態枚舉
typedef NS_ENUM(NSInteger, ARTrackingState) {
    
    /** 不被允許 */
    ARTrackingStateNotAvailable,
    
    /** 最小 */
    ARTrackingStateLimited,
    
    /** 正常. */
    ARTrackingStateNormal,
} NS_REFINED_FOR_SWIFT;

/**
 追蹤運動類型
 */
API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(macos, watchos, tvos)
typedef NS_ENUM(NSInteger, ARTrackingStateReason) {
    /** 無. */
    ARTrackingStateReasonNone,
    
    /** 運動. */
    ARTrackingStateReasonExcessiveMotion,
    
    /** 臉部捕捉. */
    ARTrackingStateReasonInsufficientFeatures,
} NS_REFINED_FOR_SWIFT;
  • ARError
    • ARError是一個描述ARKit錯誤的類,這個錯誤來源于幾個方面,例如設備不支持,或者當相機常駐后臺時ARSession會斷開等問題
//作用域,一般會表示是哪一個類出現問題
NSString *const ARErrorDomain;

//錯誤碼描述  100:不支持會話追蹤配置,主線由于A9芯片以下的機型會報錯   101:失活狀態 102:傳感器故障  200:追蹤失敗
typedef NS_ERROR_ENUM(ARErrorDomain, ARErrorCode) {
    /** Unsupported session configuration. */
    ARErrorCodeUnsupportedConfiguration   = 100,

    /** A sensor required to run the session is not available. */
    ARErrorCodeSensorUnavailable          = 101,

    /** A sensor failed to provide the required input. */
    ARErrorCodeSensorFailed               = 102,

    /** World tracking has encountered a fatal error. */
    ARErrorCodeWorldTrackingFailed        = 200,
};
  • ARFrame
    • ARFrame主要是追蹤相機當前的狀態,這個狀態不僅僅只是位置,還有圖像幀及時間等參數
 @interface ARFrame : NSObject <NSCopying>

/**
時間戳.
 */
@property (nonatomic, readonly) NSTimeInterval timestamp;

/**
 緩沖區圖像幀
 */
@property (nonatomic, readonly) CVPixelBufferRef capturedImage;

/**
相機(表示這個ARFrame是哪一個相機的,iPhone7plus有兩個攝像機)
 */
@property (nonatomic, copy, readonly) ARCamera *camera;

/**
 返回當前相機捕捉到的錨點數據(當一個3D虛擬模型加入到ARKit中時,錨點值得就是這個模型在AR中的位置)
 */
@property (nonatomic, copy, readonly) NSArray<ARAnchor *> *anchors;

/**
燈光,詳情可見本章節ARLightEstimate類介紹(指的是燈光強度 一般是0-2000,系統默認1000)
 */
@property (nonatomic, copy, nullable, readonly) ARLightEstimate *lightEstimate;

/**
特征點(應該是捕捉平地或者人臉的,比較蘋果有自帶的人臉識別功能)
 */
@property (nonatomic, nullable, readonly) ARPointCloud *rawFeaturePoints;

/**
根據2D坐標點搜索3D模型,這個方法通常用于,當我們在手機屏幕點擊某一個點的時候,可以捕捉到這一個點所在的3D模型的位置,至于為什么是一個數組非常好理解。手機屏幕一個是長方形,這是一個二維空間。而相機捕捉到的是一個由這個二維空間射出去的長方體,我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線,這一條線上可能會有多個3D物體模型
point:2D坐標點(手機屏幕某一點)
ARHitTestResultType:捕捉類型  點還是面
(NSArray<ARHitTestResult *> *):追蹤結果數組  詳情見本章節ARHitTestResult類介紹

 */
- (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;

/**
相機窗口的的坐標變換(可用于相機橫豎屏的旋轉適配)
 */
- (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;

@end
  • ARHitTestResult
    • ARHitTestResult:點擊回調結果,這個類主要用于虛擬增強現實技術(AR技術)中現實世界與3D場景中虛擬物體的交互。 比如我們在相機中移動。拖拽3D虛擬物體,都可以通過這個類來獲取ARKit所捕捉的結果
//捕捉類型枚舉
typedef NS_OPTIONS(NSUInteger, ARHitTestResultType) {
    /** 點. */
    ARHitTestResultTypeFeaturePoint              = (1 << 0),

    /** 水平面 y為0. */
    ARHitTestResultTypeEstimatedHorizontalPlane  = (1 << 1),

    /** 已結存在的平面. */
    ARHitTestResultTypeExistingPlane             = (1 << 3),

    /** 已結存在的錨點和平面. */
    ARHitTestResultTypeExistingPlaneUsingExtent  = (1 << 4),
} NS_SWIFT_NAME(ARHitTestResult.ResultType);

/**
捕捉類型
 */
@property (nonatomic, readonly) ARHitTestResultType type;

/**
 3D虛擬物體與相機的距離(單位:米)
 */
@property (nonatomic, readonly) CGFloat distance;

/**
本地坐標矩陣(世界坐標指的是相機為場景原點的坐標,而每一個3D物體自身有一個場景,本地坐標就是相對于這個場景的坐標)類似于frame和bounds的區別
 */
@property (nonatomic, readonly) matrix_float4x4 localTransform;

/**
世界坐標矩陣
 */
@property (nonatomic, readonly) matrix_float4x4 worldTransform;

/**
 錨點(3D虛擬物體,在虛擬世界有一個位置,這個位置參數是SceneKit中的SCNVector3:三維矢量),而錨點anchor是這個物體在AR現實場景中的位置,是一個4x4的矩陣
 */
@property (nonatomic, strong, nullable, readonly) ARAnchor *anchor;

@end
  • ARLightEstimate
    • ARLightEstimate是一個燈光效果,它可以讓你的AR場景看起來更加的好
@interface ARLightEstimate : NSObject <NSCopying>

/**
燈光強度  范圍0-2000 默認1000
 */
@property (nonatomic, readonly) CGFloat ambientIntensity;

@end
  • ARPlaneAnchor
    • ARPlaneAnchor是ARAnchor的子類,筆者稱之為平地錨點。ARKit能夠自動識別平地,并且會默認添加一個錨點到場景中,當然要想看到真實世界中的平地效果,需要我們自己使用SCNNode來渲染這個錨點
/**
平地類型,目前只有一個,就是水平面
 */
@property (nonatomic, readonly) ARPlaneAnchorAlignment alignment;

/**
3軸矢量結構體,表示平地的中心點  x/y/z
 */
@property (nonatomic, readonly) vector_float3 center;

/**
3軸矢量結構體,表示平地的大小(寬度和高度)  x/y/z
 */
@property (nonatomic, readonly) vector_float3 extent;

@end
  • ARPointCloud
    • ARPointCloud:點狀渲染云,主要用于渲染場景
@interface ARPointCloud : NSObject <NSCopying>

/**
 點的數量
 */
@property (nonatomic, readonly) NSUInteger count;

/**
每一個點的位置的集合(結構體帶*表示的是結構體數組)
 */
@property (nonatomic, readonly) const vector_float3 *points;

@end
  • ARSCNView
    • AR視圖,在第一部分介紹過,ARKit支持3D的AR場景和2D的AR場景,ARSCNView是3D的AR場景視圖
    • 該類是整個ARKit框架中唯一兩個有代理的類其中之一
@interface ARSCNView : SCNView

/**
代理
 */
@property (nonatomic, weak, nullable) id<ARSCNViewDelegate> delegate;

/**
AR會話
 */
@property (nonatomic, strong) ARSession *session;

/**
場景
 */
@property(nonatomic, strong) SCNScene *scene;

/**
是否自動適應燈光
 */
@property(nonatomic) BOOL automaticallyUpdatesLighting;

/**
返回對應節點的錨點,節點是一個3D虛擬物體,它的坐標是虛擬場景中的坐標,而錨點ARAnchor是ARKit中現實世界的坐標。
 */
- (nullable ARAnchor *)anchorForNode:(SCNNode *)node;

/**
返回對應錨點的物體
 */
- (nullable SCNNode *)nodeForAnchor:(ARAnchor *)anchor;

/**
根據2D坐標點搜索3D模型,這個方法通常用于,當我們在手機屏幕點擊某一個點的時候,可以捕捉到這一個點所在的3D模型的位置,至于為什么是一個數組非常好理解。手機屏幕一個是長方形,這是一個二維空間。而相機捕捉到的是一個由這個二維空間射出去的長方體,我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線,這一條線上可能會有多個3D物體模型
point:2D坐標點(手機屏幕某一點)
ARHitTestResultType:捕捉類型  點還是面
(NSArray<ARHitTestResult *> *):追蹤結果數組  詳情見本章節ARHitTestResult類介紹
數組的結果排序是由近到遠
 */
- (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;

@end

//代理
#pragma mark - ARSCNViewDelegate


//代理的內部實現了SCNSceneRendererDelegate:scenekit代理 和ARSessionObserver:ARSession監聽(KVO機制)
@protocol ARSCNViewDelegate <SCNSceneRendererDelegate, ARSessionObserver>
@optional

/**
自定義節點的錨點
 */
- (nullable SCNNode *)renderer:(id <SCNSceneRenderer>)renderer nodeForAnchor:(ARAnchor *)anchor;

/**
當添加節點是會調用,我們可以通過這個代理方法得知我們添加一個虛擬物體到AR場景下的錨點(AR現實世界中的坐標)
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didAddNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
將要刷新節點
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer willUpdateNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
 已經刷新節點
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didUpdateNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
 移除節點
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didRemoveNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

@end
  • ARSession
    • AR會話,它的作用已經在前面小節中介紹,這里不再累述
    • 該類是整個ARKit框架中唯一兩個有代理的類其中之一
    • ARSession是一個連接底層與AR視圖之間的橋梁,其實ARSCNView內部所有的代理方法都是由ARSession來提供的
    • ARSession與ARScnView之間的關系看起來是這樣的:
    • 該類是整個ARKit框架中唯一兩個有代理的類其中之一


      ARSession.png
      • ARSession獲取相機位置數據主要有兩種方式
        • 第一種:push。 實時不斷的獲取相機位置,由ARSession主動告知用戶。通過實現ARSession的代理- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame來獲取
        • 第二種:pull。 用戶想要時,主動去獲取。ARSession的屬性currentFrame來獲取
      • API介紹
@interface ARSession : NSObject

/**
 代理
 */
@property (nonatomic, weak) id <ARSessionDelegate> delegate;

/**
指定代理執行的線程(主線程不會有延遲,子線程會有延遲),不指定的話默認主線程
 */
@property (nonatomic, strong, nullable) dispatch_queue_t delegateQueue;

/**
相機當前的位置(是由會話追蹤配置計算出來的)
 */
@property (nonatomic, copy, nullable, readonly) ARFrame *currentFrame;

/**
 會話追蹤配置
 */
@property (nonatomic, copy, nullable, readonly) ARSessionConfiguration *configuration;

/**
運行會話(這行代碼就是開啟AR的關鍵所在)
 */
- (void)runWithConfiguration:(ARSessionConfiguration *)configuration NS_SWIFT_UNAVAILABLE("Use run(_:options:)");

/**
運行會話,只是多了一個參數ARSessionRunOptions:作用就是會話斷開重連時的行為。ARSessionRunOptionResetTracking:表示充值追蹤  ARSessionRunOptionRemoveExistingAnchors:移除現有錨點
 */
- (void)runWithConfiguration:(ARSessionConfiguration *)configuration options:(ARSessionRunOptions)options NS_SWIFT_NAME(run(_:options:));

/**
暫停會話
 */
- (void)pause;

/**
添加錨點
 */
- (void)addAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(add(anchor:));

/**
移除錨點
 */
- (void)removeAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(remove(anchor:));

@end

//session代理分類兩部分,一個是觀察者(KVO) 一個是委托者(代理)
#pragma mark - ARSessionObserver


//session KVO觀察者
@protocol ARSessionObserver <NSObject>

@optional

/**
 session失敗
 */
- (void)session:(ARSession *)session didFailWithError:(NSError *)error;

/**
相機改變追蹤狀態
 */
- (void)session:(ARSession *)session cameraDidChangeTrackingState:(ARCamera *)camera;

/**
 session意外斷開(如果開啟ARSession之后,APP退到后臺就有可能導致會話斷開)
 */
- (void)sessionWasInterrupted:(ARSession *)session;

/**
session會話斷開恢復(短時間退到后臺再進入APP會自動恢復)
 */
- (void)sessionInterruptionEnded:(ARSession *)session;

@end

#pragma mark - ARSessionDelegate



@protocol ARSessionDelegate <ARSessionObserver>

@optional

/**
 更新相機位置
 */
- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame;

/**
添加錨點
 */
- (void)session:(ARSession *)session didAddAnchors:(NSArray<ARAnchor*>*)anchors;

/**
刷新錨點
 */
- (void)session:(ARSession *)session didUpdateAnchors:(NSArray<ARAnchor*>*)anchors;

/**
移除錨點
 */
- (void)session:(ARSession *)session didRemoveAnchors:(NSArray<ARAnchor*>*)anchors;

@end
  • ARSessionConfiguration
    • ARSessionConfiguration會話追蹤配置,主要就是追蹤相機的配置
    • 注意:該類還有一個子類:ARWorldTrackingSessionConfiguration,它們在同一個API文件中
//會話追蹤配置類
@interface ARSessionConfiguration : NSObject <NSCopying>

/**
當前設備是否支持,一般A9芯片以下設備不支持
 */
@property(class, nonatomic, readonly) BOOL isSupported;

/**
會話的對其方式,這里的對其指的是3D世界的坐標。枚舉值見下方
 */
@property (nonatomic, readwrite) ARWorldAlignment worldAlignment;

/**
是否需要自適應燈光效果,默認是YES
 */
@property (nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;

@end


//世界會話追蹤配置,蘋果建議我們使用這個類,這個子類只有一個屬性,也就是可以幫助我們追蹤相機捕捉到的平地
@interface ARWorldTrackingSessionConfiguration : ARSessionConfiguration

/**
偵查類型。枚舉值見下方(默認偵查平地)
 */
@property (nonatomic, readwrite) ARPlaneDetection planeDetection;

@end
//追蹤對其方式,這個決定了會話的參考坐標系(參照物)
typedef NS_ENUM(NSInteger, ARWorldAlignment) {
/* 相機位置 vector (0, -1, 0) /
ARWorldAlignmentGravity,
/** 相機位置及方向. vector (0, -1, 0)
 heading :(0, 0, -1) */
ARWorldAlignmentGravityAndHeading,
/** 相機方向. */
ARWorldAlignmentCamera
} NS_SWIFT_NAME(ARSessionConfiguration.WorldAlignment);

/
偵查類型
*/
API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(macos, watchos, tvos)
typedef NS_OPTIONS(NSUInteger, ARPlaneDetection) {
/ 不偵查. */
ARPlaneDetectionNone = 0,
/** 平地偵查 */
ARPlaneDetectionHorizontal  = (1 << 0),
} NS_SWIFT_NAME(ARWorldTrackingSessionConfiguration.PlaneDetection);

  • ARSKView
    • ARSKView也是AR視圖,只不過他是2D的,由于2D比3D簡單很多,并且ARSKView基本與ARSCNView類似,所以這里不做重復介紹。詳細內容可參考ARSCNView

七、寫一個入門級程序 幫助理解

八、總結和討論

未來暢想:不僅識別節點,還識別環境溫度,熱量,等。區分活物和靜物畫面會更真實。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 一、AR簡介: 多媒體捕捉現實圖像:如攝像頭 三維建模:3D立體模型 傳感器追蹤:主要追蹤現實世界動態物體的六軸變...
    DeerRun閱讀 1,460評論 0 2
  • 一、AR簡介: 增強現實技術(Augmented Reality,簡稱 AR),是一種實時地計算攝影機影像的位置及...
    rectinajh閱讀 2,106評論 0 6
  • ARkit Introducing ARKit iOS 11引入ARKit,這是 個全新的框架,允許開發者輕松地為...
    坤哥愛卿閱讀 1,391評論 0 1
  • 一首悠揚的琴曲,繞梁三日,眾人嘖嘖稱奇,贊不絕口。琴高傲了起來:“你聽,我的聲音是多么的動聽呀!” 手指聽了...
    差很大閱讀 280評論 0 0
  • 關于閱讀門檻這個事情,我有點想說的東西。其實,我一直推崇的是沒有門檻的閱讀。我想要自己的文字通俗易懂容易理解,至少...
    李一十八閱讀 1,221評論 0 1