本文翻譯自Creating Face-Based AR Experiences。
結(jié)合iPhone X的TrueDepth攝像頭，進(jìn)行人臉追蹤和表情移植。
概述
這個(gè)Demo 實(shí)現(xiàn)了基于iPhone X的TrueDepth攝像頭的四種AR方式
- 純相機(jī)，沒(méi)有任何AR內(nèi)容。
- ARKit 傳來(lái)的面部網(wǎng)格，可以自動(dòng)估計(jì)真實(shí)的定向照明環(huán)境。
- 虛擬3D
- 一個(gè)簡(jiǎn)單的跟隨用戶表情的機(jī)器人
在SceneKit View 中創(chuàng)建一個(gè) Face Tracking Session
和其他ARKit用法一樣，人臉跟蹤需要配置開(kāi)啟一個(gè)ARSession類(lèi)型的會(huì)話，并將虛擬內(nèi)容和相機(jī)圖像一起渲染到view中。關(guān)于session和view創(chuàng)建的更多信息可以參考About Augmented Reality and ARKit 和 Building Your First AR Experience 兩篇文章。這個(gè)例子使用SceneKit顯示AR信息，但你也可以使用SpriteKit或者用Metal創(chuàng)建一個(gè)渲染器(參考ARSKView 和 Displaying an AR Experience with Metal)。
面部跟蹤和其他ARKit 中配置session的方法不同。創(chuàng)建一個(gè)ARFaceTrackingConfiguration對(duì)象，設(shè)置一些屬性，并傳給綁定view的AR session的run(_:options:)方法。具體如下所示。
guard ARFaceTrackingConfiguration.isSupported else { return }
let configuration = ARFaceTrackingConfiguration()
configuration.isLightEstimationEnabled = true
session.run(configuration, options: [.resetTracking, .removeExistingAnchors])
在請(qǐng)求面部跟蹤 session之前，需要用ARFaceTrackingConfiguration.isSupported方法判斷當(dāng)前設(shè)備是否支持該特性。
跟蹤表情的位置和方向
當(dāng)面部跟蹤激活時(shí)，ARKit自動(dòng)添加ARFaceAnchor對(duì)象到AR session中，其中包含用戶面部的位置和方向信息。
ARKit 只能檢測(cè)一個(gè)面部信息。如果圖像中出現(xiàn)多個(gè)面部信息，ARKit選擇最大的或者最清晰可辨的面孔。
如果使用SceneKit實(shí)現(xiàn)的AR效果，你可以在[renderer(_:didAdd:for:)]
(https://developer.apple.com/documentation/arkit/arscnviewdelegate/2865794-renderer)方法中添加與anchor相對(duì)應(yīng)的3D內(nèi)容（來(lái)自ARSCNViewDelegate。ARKit 為每個(gè)anchor增加一個(gè)SceneKit節(jié)點(diǎn)，并在每一幀更新這個(gè)節(jié)點(diǎn)的位置和方向，因此你添加到該節(jié)點(diǎn)的任何SceneKit內(nèi)容都會(huì)自動(dòng)跟隨用戶臉部的位置和方向。
func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
// Hold onto the `faceNode` so that the session does not need to be restarted when switching masks.
faceNode = node
serialQueue.async {
self.setupFaceNodeContent()
}
}
在這個(gè)Demo中，[renderer(_:didAdd:for:)]
(https://developer.apple.com/documentation/arkit/arscnviewdelegate/2865794-renderer)方法調(diào)用setupFaceNodeContent方法向faceNode中添加SceneKit 內(nèi)容。比如，如果你改變 showsCoordinateOrigin 變量值，Demo將各個(gè)點(diǎn)的 x/y/z 軸可視化，指示面部錨點(diǎn)坐標(biāo)系的起點(diǎn)。
使用面幾何來(lái)建模用戶臉部
ARKit 提供一個(gè)和用戶臉部 的大小，形狀，拓?fù)浜彤?dāng)前面部表情相匹配的粗略3D網(wǎng)格幾何。ARKit 還提供ARSCNFaceGeometry類(lèi)方便在SceneKit中創(chuàng)建可視化網(wǎng)格。
你可以使用這個(gè)網(wǎng)格向臉部繪制一些內(nèi)容，比如繪制半透明紋理來(lái)模擬紋身或者妝效。
// This relies on the earlier check of `ARFaceTrackingConfiguration.isSupported`.
let device = sceneView.device!
let maskGeometry = ARSCNFaceGeometry(device: device)!
Demo 里的 setupFaceNodeContent 方法在場(chǎng)景中添加了一個(gè)包含面幾何的節(jié)點(diǎn)。通過(guò)使該節(jié)點(diǎn)成為由臉部錨點(diǎn)提供的節(jié)點(diǎn)的子節(jié)點(diǎn)，臉部模型自動(dòng)跟蹤用戶臉部的位置和方向。
為了能在用戶眨眼，說(shuō)話或者做其他面部動(dòng)作時(shí)也讓屏幕臉部和真實(shí)用戶保持一致，你還需要在renderer(_:didUpdate:for:)回調(diào)中更新面部網(wǎng)格。
func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor) {
guard let faceAnchor = anchor as? ARFaceAnchor else { return }
virtualFaceNode?.update(withFaceAnchor: faceAnchor)
}
然后更新ARSCNFaceGeometry 對(duì)象。
func update(withFaceAnchor anchor: ARFaceAnchor) {
let faceGeometry = geometry as! ARSCNFaceGeometry
faceGeometry.update(from: anchor.geometry)
}
在臉上渲染3D內(nèi)容
ARKit 提供的另一種面網(wǎng)格的用法是在場(chǎng)景中創(chuàng)建封閉幾何。一個(gè)封閉集合是一個(gè)不渲染任何可見(jiàn)物體的3D模型，但會(huì)阻礙相機(jī)對(duì)場(chǎng)景中其他虛擬內(nèi)容的視圖。
這種技術(shù)創(chuàng)造出真實(shí)面對(duì)與虛擬對(duì)象交互的錯(cuò)覺(jué)，即使臉部是2D攝像機(jī)圖像，虛擬內(nèi)容是渲染的3D對(duì)象。 例如，如果您將遮擋幾何圖形和虛擬眼鏡放置在用戶的臉部上，則臉部可能會(huì)遮擋眼鏡框架。
要?jiǎng)?chuàng)建面部的遮擋幾何，請(qǐng)先如上例所示創(chuàng)建一個(gè)ARSCNFaceGeometry對(duì)象。 但是，不要使用可見(jiàn)的外觀來(lái)配置該對(duì)象的SceneKit材質(zhì)，而是在渲染期間將材質(zhì)設(shè)置為渲染深度而不是顏色：
geometry.firstMaterial!.colorBufferWriteMask = []
occlusionNode = SCNNode(geometry: geometry)
occlusionNode.renderingOrder = -1
因?yàn)椴牧铣尸F(xiàn)深度，所以SceneKit渲染的其他對(duì)象正確地出現(xiàn)在它的前面或后面。 但是由于材質(zhì)不會(huì)呈現(xiàn)顏色，相機(jī)圖像會(huì)出現(xiàn)在其位置。 Demo將此技術(shù)與位于用戶眼睛前方的SceneKit對(duì)象相結(jié)合，創(chuàng)建一個(gè)物體被用戶的鼻子遮蔽的效果。
用Blend Shapes動(dòng)畫(huà)化一個(gè)人物
除了上述示例中所示的面部網(wǎng)格之外，ARKit還提供了一個(gè)更為抽象的用戶面部表情模型，其形式為blendShapes字典。 您可以使用該字典中的命名系數(shù)值來(lái)控制自己的2D或3D資產(chǎn)的動(dòng)畫(huà)參數(shù)，創(chuàng)建遵循用戶真實(shí)面部動(dòng)作和表達(dá)的角色（如頭像或木偶）。
作為混合形狀動(dòng)畫(huà)的基本演示，此示例包含使用SceneKit原始形狀創(chuàng)建的機(jī)器人角色頭部的簡(jiǎn)單模型。 （請(qǐng)參閱源代碼中的robotHead.scn文件。）
在renderer:didUpdateNode:forAnchor:回調(diào)中讀取face Anchor的blendShapes字典內(nèi)容以獲取用戶當(dāng)前真實(shí)表情。
func update(withFaceAnchor faceAnchor: ARFaceAnchor) {
blendShapes = faceAnchor.blendShapes
}
然后，檢查該字典中的鍵值對(duì)以計(jì)算模型的動(dòng)畫(huà)參數(shù)。 有52個(gè)獨(dú)特的ARBlendShapeLocation系數(shù)。 您的應(yīng)用程序可以使用盡可能少的或很多的必要條件來(lái)創(chuàng)建您想要的藝術(shù)效果。 在此示例中，RobotHead類(lèi)執(zhí)行此計(jì)算，將ARBlendShapeLocationEyeBlinkLeft和ARBlendShapeLocationEyeBlinkRight參數(shù)映射到機(jī)器人眼睛的scale的一個(gè)軸以及ARBlendShapeLocationJawOpen參數(shù)，以抵消機(jī)器人下顎的位置。
var blendShapes: [ARFaceAnchor.BlendShapeLocation: Any] = [:] {
didSet {
guard let eyeBlinkLeft = blendShapes[.eyeBlinkLeft] as? Float,
let eyeBlinkRight = blendShapes[.eyeBlinkRight] as? Float,
let jawOpen = blendShapes[.jawOpen] as? Float
else { return }
eyeLeftNode.scale.z = 1 - eyeBlinkLeft
eyeRightNode.scale.z = 1 - eyeBlinkRight
jawNode.position.y = originalJawY - jawHeight * jawOpen
}
}
