轉自：http://www.lxweimin.com/p/ac4c4536ca3e#
一、前言
??身份證識別，又稱OCR技術。OCR技術是光學字符識別的縮寫，是通過掃描等光學輸入方式將各種票據、報刊、書籍、文稿及其它印刷品的文字轉化為圖像信息，再利用文字識別技術將圖像信息轉化為可以使用的計算機輸入技術。
??因為項目需要，所以這些天查閱了相關資料，想在網上看看有沒有大神封裝的現成的demo可以用。但是無果，網上關于ocr這一塊的資料很少，比較靠譜的都是要收費的，而且價格也不便宜。但是在天朝，收費感覺心里不爽，所以就決定自己研究一番。
??先上一個最終實現的效果（如果mac不是retain屏幕的，分辨率會有影響，需要在真機上調試）
最終實現的效果.gif
二、需要用到的技術
搜了很多資料，發現要進行身份證號碼的識別，需要用到以下幾種技術:
圖像處理技術
包括灰度化處理，二值化，腐蝕，輪廊檢測等等。
灰度化處理
二值化
腐蝕
輪廊檢測
文字識別技術
通過識別圖像，將圖像信息轉化為可以使用的計算機輸入技術。比如下面這張包含一串數字的圖片，通過ocr識別技術可以將圖片中包含的數字信息以字符串的方式輸出。
包含數字的圖片.png
三、開源框架OpenCV和TesseractOCRiOS
OpenCV（完成圖像處理技術）
??OpenCV是一個開源的跨平臺計算機視覺和機器學習庫，通俗點的說，就是他給計算機提供了一雙眼睛，一雙可以從圖片中獲取信息的眼鏡，從而完成人臉識別、身份證識別、去紅眼、追蹤移動物體等等的圖像相關的功能。opencv官網
TesseractOCRiOS（完成文字識別技術）
??Tesseract是目前可用的最準確的開源OCR引擎，可以讀取各種格式的圖片并將他們轉換成各種語言文本。而TesseractOCRiOS則是針對iOS平臺封裝的Tesseract引擎庫。
四、實戰演示
創建一個iOS項目
用CocoPods導入上面兩個庫
由于OpenCV庫文件比較大，所以時間會稍微久一點，耐心等待就是。
podfile文件.png
導入完成之后運行項目，會發現報如下錯誤
Bitode報錯.png
由于導入的庫不支持Bitcode機制，需要關掉，在工程->TARGETS->Build Setting-> Enable Bitcode設置為NO就ok。
關掉Bitcode.png
導入TesseractOCRiOS需要的語言包
??TesseractOCRiOS庫中沒有自帶的語言包，需要我們自己手動導入，我們這里直接到tesseract-ocr網站，tessdata即是我們需要用到的語言包。下載下來的語言包有400多兆。這里我們只需要用到英語語言包，所以就只導入eng.traineddata就ok，其他的都刪掉。
導入語言包種需要注意幾點：
語言包需要放在tessdata目錄下。TesseractOCRiOS中查找語言包是在tessdata目錄下進行查找的，所以我們不能單獨把eng.traineddata導入項目中，而需要放在tessdata目錄下導入項目中。
將tessdata導入xcode項目，需要勾選Create folder refrences。上面已經提到了語言包需要放在tessdata目錄下，所以導入文件到xcode的時候需要創建文件夾的形式，而不是創建組的形式。如下圖：
導入tessdata文件夾的方式.png
創建一個RecogizeCardManager用來管理身份證識別相關的代碼。
由于OpenCV和TesseractOCRiOS庫都是基于c++編寫的，所以需要把RecogizeCardManager.m后綴的.m改成.mm
RecogizeCardManager.png
RecogizeCardManager中的代碼
.h文件
import <Foundation/Foundation.h>@class UIImage;typedef void (^CompleateBlock)(NSString text);@interface RecogizeCardManager : NSObject/** 初始化一個單例** @return 返回一個RecogizeCardManager的實例對象/+ (instancetype)recognizeCardManager;/** 根據身份證照片得到身份證號碼** @param cardImage 傳入的身份證照片* @param compleate 識別完成后的回調*/- (void)recognizeCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate;@end
.m文件
import "RecogizeCardManager.h"#import <opencv2/opencv.hpp>#import <opencv2/imgproc/types_c.h>#import <opencv2/imgcodecs/ios.h>#import <TesseractOCR/TesseractOCR.h>@implementation RecogizeCardManager+ (instancetype)recognizeCardManager { static RecogizeCardManager *recognizeCardManager = nil; static dispatch_once_t onceToken; dispatch_once(&onceToken, ^{ recognizeCardManager = [[RecogizeCardManager alloc] init]; }); return recognizeCardManager;}- (void)recognizeCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate { //掃描身份證圖片，并進行預處理，定位號碼區域圖片并返回 UIImage *numberImage = [self opencvScanCard:cardImage]; if (numberImage == nil) { compleate(nil); } //利用TesseractOCR識別文字 [self tesseractRecognizeImage:numberImage compleate:^(NSString *numbaerText) { compleate(numbaerText); }];}//掃描身份證圖片，并進行預處理，定位號碼區域圖片并返回- (UIImage *)opencvScanCard:(UIImage )image { //將UIImage轉換成Mat cv::Mat resultImage; UIImageToMat(image, resultImage); //轉為灰度圖 cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY); //利用閾值二值化 cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY); //腐蝕，填充（腐蝕是讓黑色點變大） cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26)); cv::erode(resultImage, resultImage, erodeElement); //輪廊檢測 std::vector<std::vector<cv::Point>> contours;//定義一個容器來存儲所有檢測到的輪廊 cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0)); //取出身份證號碼區域 std::vector<cv::Rect> rects; cv::Rect numberRect = cv::Rect(0,0,0,0); std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin(); for ( ; itContours != contours.end(); ++itContours) { cv::Rect rect = cv::boundingRect(itContours); rects.push_back(rect); //算法原理 if (rect.width > numberRect.width && rect.width > rect.height * 5) { numberRect = rect; } } //身份證號碼定位失敗 if (numberRect.width == 0 || numberRect.height == 0) { return nil; } //定位成功成功，去原圖截取身份證號碼區域，并轉換成灰度圖、進行二值化處理 cv::Mat matImage; UIImageToMat(image, matImage); resultImage = matImage(numberRect); cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY); cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY); //將Mat轉換成UIImage UIImage *numberImage = MatToUIImage(resultImage); return numberImage;}//利用TesseractOCR識別文字- (void)tesseractRecognizeImage:(UIImage *)image compleate:(CompleateBlock)compleate { dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{ G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"]; tesseract.image = [image g8_blackAndWhite]; tesseract.image = image; // Start the recognition [tesseract recognize]; //執行回調 compleate(tesseract.recognizedText); });}
RecognizeCardViewController代碼
故事版布局界面
故事版布局界面.png
.m文件
import "RecognizeCardViewController.h"#import "RecogizeCardManager.h"@interface RecognizeCardViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>{ UIImagePickerController *imgagePickController;}@property (weak, nonatomic) IBOutlet UIImageView *imgView;@property (weak, nonatomic) IBOutlet UILabel *textLabel;- (IBAction)cameraAction:(id)sender;- (IBAction)photoAction:(id)sender;@end@implementation RecognizeCardViewController- (void)viewDidLoad { [super viewDidLoad]; self.imgView.contentMode = UIViewContentModeScaleAspectFit; imgagePickController = [[UIImagePickerController alloc] init]; imgagePickController.delegate = self; imgagePickController.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal; imgagePickController.allowsEditing = YES;}- (void)didReceiveMemoryWarning { [super didReceiveMemoryWarning]; // Dispose of any resources that can be recreated.}//拍照- (IBAction)cameraAction:(id)sender { //判斷是否可以打開照相機 if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) { imgagePickController.sourceType = UIImagePickerControllerSourceTypeCamera; //設置攝像頭模式（拍照，錄制視頻）為拍照 imgagePickController.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto; [self presentViewController:imgagePickController animated:YES completion:nil]; } else { UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"設備不能打開相機" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil]; [alert show]; }}//相冊- (IBAction)photoAction:(id)sender { imgagePickController.sourceType = UIImagePickerControllerSourceTypePhotoLibrary; [self presentViewController:imgagePickController animated:YES completion:nil];}#pragma mark - UIImagePickerControllerDelegate//適用獲取所有媒體資源，只需判斷資源類型- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{ NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType]; UIImage *srcImage = nil; //判斷資源類型 if ([mediaType isEqualToString:@"public.image"]){ srcImage = info[UIImagePickerControllerEditedImage]; self.imgView.image = srcImage; //識別身份證 self.textLabel.text = @"圖片插入成功，正在識別中..."; [[RecogizeCardManager recognizeCardManager] recognizeCardWithImage:srcImage compleate:^(NSString *text) { if (text != nil) { self.textLabel.text = [NSString stringWithFormat:@"識別結果：%@",text]; }else { self.textLabel.text = @"請選擇照片"; UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"照片識別失敗，請選擇清晰、沒有復雜背景的身份證照片重試！" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil]; [alert show]; } }]; } [self dismissViewControllerAnimated:YES completion:nil];}//進入拍攝頁面點擊取消按鈕- (void)imagePickerControllerDidCancel:(UIImagePickerController *)picker { [self dismissViewControllerAnimated:YES completion:nil];}@end
總結
??通過上面的實驗，該程序對身份證識別的正確率幾乎可以達到90%，剩下的10%主要取決于圖像的預處理，預處理程序是整個識別系統的關鍵所在。該系統的原理同樣也適用于獲取身份證上其他的信息，也可以應用于銀行卡、車牌號等的識別。最后針對實現的效果進行一步總結。
識別的正確率
主要取決于腐蝕、取出身份證號碼區域（輪廊提取）的算法這幾個關鍵點。腐蝕：
腐蝕的參數很重要，關于腐蝕的一些介紹，可以參考這篇文章 腐蝕與膨脹(Eroding and Dilating)
取出身份證號碼區域的算法（輪廊提取）：
所有的處理都是為了在圖片中定位到身份證號碼的區域，輪廊提取就是這樣一個操作。篩選輪廊圖的算法很重要但是也是個難點。我從這篇博客iOS身份證號碼識別中找到了思路。要提取身份證號碼區域的輪廊，算法的原理就是該輪廊的寬度是所有中最寬的，且寬度的長度必須大于高度的5倍。不過這個算法還是存在不少問題。有的時候可能圖片背景比較復雜會影響到輪廊的檢測，基于這個問題：一方面可以通過對圖片的預處理來進行優化，減少對檢測身份證號碼區域的干擾
第二個方面就是優化算法。
識別速度
使用TesseractOCRiOS對比較清晰的文字進行識別速度是比較快的，我試過用一張未經處理的寫著數字的圖片來處理，識別速度小于5s。但經過二值圖處理之后識別的速度就降低了，我認為可以對二值化處理后的圖片進一步處理，比如對二值圖進行細化描出骨架，然后在對骨架做均勻的膨脹處理，這樣得到的身份證號碼可能會清晰很多。
這里貼上幾個關于OpenCV的學習網站OpenCV官方學習文檔OpenCV入門指南OPEN CV for iOS
該項目已經開源在github RecognizeCard 上了，如果喜歡可以點個贊。有什么問題可以留言，我也是第一次接觸，一起進步，大家加油。
文／wythetan（簡書作者）原文鏈接：http://www.lxweimin.com/p/ac4c4536ca3e#著作權歸作者所有，轉載請聯系作者獲得授權，并標注“簡書作者”。
