Vison框架提供高性能的圖片分析和計算機視覺技術來進行人臉識別、文理檢測、以及在圖片和視頻中進行場景分類

• 第一步

  • VNImageRequestHandler 處理單張圖片中一個或多個圖像分析的請求結果
  • VNSequenceRequestHandler 處理序列圖片中一個或多個圖像分析的請求結果

• 人臉檢測

  • VNDetectFaceRectanglesRequest 人臉的識別請求
  • VNDetectFaceLandmarksRequest 圖像中的面部特征(眼睛、嘴)請求
  • VNFaceObservation 人臉或者面部信息

• 機器學習

  • 需要借助于CoreML
  • VNCoreMLRequest CoreML模型請求
  • VNClassificationObservation 分類信息
  • VNPixelBufferObservation 輸出的圖像結果
  • VNCoreMLFeatureValueObservation CoreML纏上的K-Value的字典集合

• 條形碼識別

  • VNDetectBarcodesRequest 條形碼的識別請求
  • VNBarcodeObservation 識別結果

• 圖像對齊分析

  • VNTranslationalImageRegistrationRequest 放射變換相關的分析請求
  • VNHomographicImageRegistrationRequest 透視變形矩陣的分析請求
  • VNImageRegistrationRequest 圖片配準的分析請求
  • VNImageHomographicAlignmentObservation 放射變換相關的分析結果
  • VNImageTranslationAlignmentObservation 透視變形矩陣的分析結果
  • VNImageAlignmentObservation 圖片配準的分析結果

• 字體檢測

  • VNDetectTextRectanglesRequest 文字檢測請求
  • VNTextObservation 檢測結果

• 平面檢測

  • VNDetectHorizonRequest 平面角檢測請求
  • VNHorizonObservation 檢測結果

• 對象檢測和追蹤

  • VNDetectRectanglesRequest 投影矩形檢測請求
  • VNTrackRectangleRequest 檢測前一個識別的矩形追蹤請求
  • VNTrackObjectRequest 檢測前一個識別的任意對象的追蹤請求
  • VNRectangleObservation 投影矩形識別結果
  • VNDetectedObjectObservation 識別結果，提供檢測的圖像的位置和拓展特征

通過上面的API，我們可以簡單理解下，操作的步驟就是

1. 設立一個handler
2. 設立一個請求
3. 執行結果

參考的文檔

• Vison+CoreML
• CoreML分類
• 文字檢測
• 人臉檢測