最近，公司的項目中用到了圖像識別技術，通過拍照來識別身份證號，之前沒有做過，經過一番的研究，總算是搞定了，下面就將整個的實現過程分享一下：
圖像識別主要用到了兩個第三方的框架：OpenCV和TesseractOCR，OpenCV用來做圖像處理，定位到身份證號碼的區域，TesseractOCR則是對定位到的區域內的內容進行識別。
框架的導入
1、OpenCv
OpenCV的導入比較簡單，首先從OpenCV官網上下載iOS對應的framework，然后將其直接拖入到工程中即可。
OpenCV.png
OpenCV是一套C++的框架，所以在使用到OpenCV的類中要將.m文件的后綴改為.mm文件。如果在.pch文件中導入頭文件的話，需要將頭文件放到下面的代碼中，表示只有C++文件才會編譯：
#ifdef __cplusplus
#endif
然后倒入一下三個頭文件
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
2、TesseractOCR
TesseractOCR是谷歌開源的一個OCR引擎，從github上下載Tesseract的工程和語言包(tessdata)，默認TesseractOCR使用的是英文包（名稱：eng.traineddata），如果要識別中文，還需要將中文包（名稱：chi_sim.traineddata）導入到tessdata中（一個簡單的方法是將中文包導入到tessdata中，并將名稱改為eng.traineddata，這樣其他的地方就不用做改變了）。
TesseractOCR.png
注意：在將tessdata文件夾導入到工程中時，要選擇Create folder refrences，如圖：
tessdata.png
獲取圖片
要識別圖像，首先得能獲取圖像，可以通過拍照，也可以從相冊中獲取，下面是我為身份證識別做的一下準備工作：
在控制器中添加一個label（顯示結果）、一個imageView（顯示圖像）、兩個button（點擊分別拍照和進入相冊），添加UIImagePickerController的全局變量，并初始化。
@interface ViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>
{
UIImagePickerController *_imagePickerVC;
}
@property (weak, nonatomic) IBOutlet UILabel *resultLabel;
@property (weak, nonatomic) IBOutlet UIImageView *cardImageView;
@end
@implementation ViewController
- (void)viewDidLoad {
[super viewDidLoad];
_imagePickerVC = [[UIImagePickerController alloc] init];
_imagePickerVC.delegate = self;
_imagePickerVC.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
_imagePickerVC.allowsEditing = YES;
}
- (IBAction)cameraAction:(id)sender {
//判斷是否可以打開照相機
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypeCamera;
//設置攝像頭模式（拍照，錄制視頻）為拍照
_imagePickerVC.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self presentViewController:_imagePickerVC animated:YES completion:^{
}];
}
}
- (IBAction)photoLibaryAction:(id)sender {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypePhotoLibrary;
[self presentViewController:_imagePickerVC animated:YES completion:nil];
}
#pragma mark - UIImagePickerControllerDelegate
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
UIImage *srcImage = nil;
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
//判斷資源類型
if ([mediaType isEqualToString:@"public.image"]){
srcImage = info[UIImagePickerControllerEditedImage];
self.cardImageView.image = srcImage;//得到圖片并顯示
}
[_imagePickerVC dismissViewControllerAnimated:YES completion:^{
}];
}
圖像處理和識別
接下來，就說一下圖像處理的過程，得到最適合的識別區域：
首先，在工程中創建一個圖像識別處理的工具類：RecognizeUtil，在.h文件中聲明如下方法，并在.m中實現。
RecognizeUtil工具類中的結構基本如下：
#import <Foundation/Foundation.h>
@class UIImage;
@interface RecognizeUtil : NSObject
/*
單例
*/
+ (instancetype)recognizeUtil;
/*
身份證號碼識別
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
@end
#import "RecognizeUtil.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import "TesseractOCRiOS/TesseractOCR/TesseractOCR.h"
@implementation RecognizeUtil
static RecognizeUtil *recognizeUtil = nil;
+ (instancetype)recognizeUtil {
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
recognizeUtil = [[RecognizeUtil alloc] init];
});
return recognizeCardManager;
}
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum))complete{
UIImage *handledImage = [self opencvHandleImage:image];
[self tesseractRecognizeImage:handledImage complete:^(NSString *resultNum,UIImage *image) {
complete(resultNum, image);
}];
}
/*
OpenCV 圖像處理 返回處理過后的圖片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
return nil;
}
/*
tesseract 圖像識別 block回調識別結果
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
complete(resultNum,resultImage);
}
@end
下面到了最關鍵的環節，就是圖像處理和識別的具體方法：
1、處理
opencvHandleImage:方法實現
/*
OpenCV 圖像處理 返回處理過后的圖片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
//將UIImage轉換成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//轉為灰度圖
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//閾值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蝕，填充（腐蝕是讓黑色點變大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//定義一個容器來存儲所有檢測到的輪廓
std::vector<std::vector<cv::Point>> contours;
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份證號碼區域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);//push_back 在容器尾部插入一個數據
//算法原理（寬度最大，并且寬度大于高度的5倍）
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//定位失敗
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//得到身份證號的區域，去原圖中后去該區域，并轉成二值圖
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//將Mat轉換成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
上面主要利用到了OpenCV中的一些簡單的處理圖像的方法：灰度處理、二值化、腐蝕、邊緣檢測等等。
灰度處理和二值化的作用是將圖像變為只有黑白兩種顏色的二值圖；
腐蝕的作用是將黑色的區域 擴大，這樣，相鄰的黑色區域就會連在一起，便于將號碼的區域隔離出來；
邊緣檢測的作用就是獲取各個黑色區域的值
最后通過比較各個黑色區域的特點，就可以將號碼的區域分離出來，得到號碼區域的值，再從原圖中截取號碼區域即可。
在處理之前，先要將UIImage類型轉換為OpenCV中的圖像類型：Mat
UIImageToMat()
2、識別
識別就比較簡單了，代碼基本上都是從Demo中拷貝的，選擇好語言，將圖片作為參數傳入，就可以返回識別的內容。
/*
tesseract 圖像識別 block回調識別結果
*/
- (void)tesseractRecognizeImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *image))complete{
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
dispatch_async(dispatch_get_main_queue(), ^{
//執行回調
complete(tesseract.recognizedText,image);
});
});
}
總結：
關于圖像識別，最關鍵的應該就是處理的環節了，在以上的代碼中，所做的處理比較簡單，所以對照片的要求比較高，拍照時，身份證的背景為純白色，識別的幾率為更高。
關于OpenCV，其中還有好多對圖像處理的方法，使用OpenCV對圖像進行最合適的預處理，可以很大程度的提高識別概率。
