身份證識別，又稱OCR技術。OCR技術是光學字符識別的縮寫，是通過掃描等光學輸入方式將各種票據、報刊、書籍、文稿及其它印刷品的文字轉化為圖像信息，再利用文字識別技術將圖像信息轉化為可以使用的計算機輸入技術。
身份證識別需要用到的技術：
圖像處理技術
包括灰度化處理，二值化，腐蝕，輪廊檢測等等。
-
灰度化處理
圖片灰度化處理就是將指定圖片每個像素點的RGB三個分量通過一定的算法計算出該像素點的灰度值，使圖像只含亮度而不含色彩信息。
-
二值化
二值化處理就是將經過灰度化處理的圖片轉換為只包含黑色和白色兩種顏色的圖像，他們之間沒有其他灰度的變化。在二值圖中用255便是白色，0表示黑色。
-
腐蝕
圖片的腐蝕就是將得到的二值圖中的黑色塊進行放大。即連接圖片中相鄰黑色像素點的元素。通過腐蝕可以把身份證上的身份證號碼連接在一起形成一個矩形區域。
-
輪廊檢測
圖片經過腐蝕操作后相鄰點會連接在一起形成一個大的區域，這個時候通過輪廊檢測就可以把每個大的區域找出來，這樣就可以定位到身份證上面號碼的區域。
-
文字識別技術
通過識別圖像，將圖像信息轉化為可以使用的計算機輸入技術。比如下面這張包含一串數字的圖片，通過ocr識別技術可以將圖片中包含的數字信息以字符串的方式輸出。
使用的開源框架有：OpenCV和TesseractOCRiOS
OpenCV（完成圖像處理技術）
OpenCV是一個開源的跨平臺計算機視覺和機器學習庫，通俗點的說，就是他給計算機提供了一雙眼睛，一雙可以從圖片中獲取信息的眼鏡，從而完成人臉識別、身份證識別、去紅眼、追蹤移動物體等等的圖像相關的功能。
TesseractOCRiOS（完成文字識別技術）
Tesseract是目前可用的最準確的開源OCR引擎，可以讀取各種格式的圖片并將他們轉換成各種語言文本。而TesseractOCRiOS則是針對iOS平臺封裝的Tesseract引擎庫。
項目演示：
1.創建一個項目
2.使用Cocoapods導入OpenCV和TesseractOCRiOS
屏幕快照 2017-03-01 上午11.32.52.png
注意：OpenCV庫比較大，導入時間較長
3.因為導入的庫不支持Bitcode機制，所以需要將TARGETS->Build Setting-> Enable Bitcode設置為NO
4.導入TesseractOCRiOS需要的語言包
TesseractOCRiOS庫中沒有自帶的語言包，需要我們自己手動導入，我們這里直接到tesseract-ocr 網站，tessdata即是我們需要用到的語言包。下載下來的語言包有400多兆。這里我們只需要用到英語語言包，所以就只導入eng.traineddata就可以了。
注意：1.語言包需要放在tessdata目錄下。TesseractOCRiOS中查找語言包是在tessdata目錄下進行查找的，所以我們不能單獨把eng.traineddata導入項目中，而需要放在tessdata目錄下導入項目中。
2.將tessdata導入xcode項目，需要勾選Create folder refrences。上面已經提到了語言包需要放在tessdata目錄下，所以導入文件到xcode的時候需要創建文件夾的形式，而不是創建組的形式。
屏幕快照 2017-03-01 上午11.43.28.png
5.創建一個CardManager類來管理身份證識別的相關代碼
由于OpenCV和TesseractOCRiOS庫都是基于c++編寫的，所以需要把RecogizeCardManager.m后綴的.m改成.mm
屏幕快照 2017-03-01 上午11.40.21.png
.h文件
#import <Foundation/Foundation.h>
@class UIImage;
typedef void (^CompleateBlock)(NSString *text);
@interface FQIDCardManager : NSObject
/**
* 初始化一個單例
*
* @return 返回一個RecogizeCardManager的實例對象
*/
+ (instancetype)fqIDCardManager;
/**
* 根據身份證照片得到身份證號碼
*
* @param cardImage 傳入的身份證照片
* @param compleate 識別完成后的回調
*/
- (void)FQIDCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate;
- (UIImage *)opencvScanCard:(UIImage *)image;
@end
.mm文件
#import "FQIDCardManager.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import <TesseractOCR/TesseractOCR.h>
@implementation FQIDCardManager
+ (instancetype)fqIDCardManager {
static FQIDCardManager *fqIDCardManager = nil;
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
fqIDCardManager = [[FQIDCardManager alloc] init];
});
return fqIDCardManager;
}
- (void)FQIDCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate {
//掃描身份證圖片，并進行預處理，定位號碼區域圖片并返回
UIImage *numberImage = [self opencvScanCard:cardImage];
if (numberImage == nil) {
compleate(nil);
}
//利用TesseractOCR識別文字
[self tesseractRecognizeImage:numberImage compleate:^(NSString *numbaerText) {
compleate(numbaerText);
}];
}
//掃描身份證圖片，并進行預處理，定位號碼區域圖片并返回
- (UIImage *)opencvScanCard:(UIImage *)image {
//將UIImage轉換成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//轉為灰度圖
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用閾值二值化
cv::threshold(resultImage, resultImage, 100, 255,CV_THRESH_BINARY);
//腐蝕，填充（腐蝕是讓黑色點變大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//輪廊檢測
std::vector<std::vector<cv::Point>> contours;//定義一個容器來存儲所有檢測到的輪廊
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份證號碼區域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);
//算法原理
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//身份證號碼定位失敗
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//定位成功成功，去原圖截取身份證號碼區域，并轉換成灰度圖、進行二值化處理
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//將Mat轉換成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
//利用TesseractOCR識別文字
- (void)tesseractRecognizeImage:(UIImage *)image compleate:(CompleateBlock)compleate {
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
//執行回調
compleate(tesseract.recognizedText);
});
}
@end
6.編寫識別界面代碼
屏幕快照 2017-03-01 上午11.49.09.png
.m具體實現代碼
#import "FQViewController.h"
#import "FQIDCardManager.h"
@interface FQViewController ()<UINavigationControllerDelegate,UIImagePickerControllerDelegate>
@property (weak, nonatomic) IBOutlet UIImageView *imgView;
@property (weak, nonatomic) IBOutlet UILabel *textLabel;
- (IBAction)cameraAction:(id)sender;
- (IBAction)photoAction:(id)sender;
@end
@implementation FQViewController
{
UIImagePickerController *imgagePickController;
}
- (void)viewDidLoad {
[super viewDidLoad];
self.imgView.contentMode = UIViewContentModeScaleAspectFit;
imgagePickController = [[UIImagePickerController alloc] init];
imgagePickController.delegate = self;
imgagePickController.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
imgagePickController.allowsEditing = YES;
}
- (void)didReceiveMemoryWarning {
[super didReceiveMemoryWarning];
// Dispose of any resources that can be recreated.
}
//拍照
- (IBAction)cameraAction:(id)sender {
//判斷是否可以打開照相機
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
imgagePickController.sourceType = UIImagePickerControllerSourceTypeCamera;
//設置攝像頭模式（拍照，錄制視頻）為拍照
imgagePickController.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self presentViewController:imgagePickController animated:YES completion:nil];
} else {
UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"設備不能打開相機" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil];
[alert show];
}
}
//相冊
- (IBAction)photoAction:(id)sender {
imgagePickController.sourceType = UIImagePickerControllerSourceTypePhotoLibrary;
[self presentViewController:imgagePickController animated:YES completion:nil];
}
#pragma mark - UIImagePickerControllerDelegate
//適用獲取所有媒體資源，只需判斷資源類型
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
UIImage *srcImage = nil;
//判斷資源類型
if ([mediaType isEqualToString:@"public.image"]){
srcImage = info[UIImagePickerControllerEditedImage];
self.imgView.image = srcImage;
//識別身份證
self.textLabel.text = @"圖片插入成功，正在識別中...";
[[FQIDCardManager fqIDCardManager] FQIDCardWithImage:srcImage compleate:^(NSString *text) {
if (text != nil) {
self.textLabel.text = [NSString stringWithFormat:@"識別結果：%@",text];
}else {
self.textLabel.text = @"請選擇照片";
UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"照片識別失敗，請選擇清晰、沒有復雜背景的身份證照片重試！" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil];
[alert show];
}
}];
}
[self dismissViewControllerAnimated:YES completion:nil];
}
//進入拍攝頁面點擊取消按鈕
- (void)imagePickerControllerDidCancel:(UIImagePickerController *)picker {
[self dismissViewControllerAnimated:YES completion:nil];
}
@end
總結:
??通過上面的實驗，該程序對身份證識別的正確率幾乎可以達到90%，剩下的10%主要取決于圖像的預處理，預處理程序是整個識別系統的關鍵所在。該系統的原理同樣也適用于獲取身份證上其他的信息，也可以應用于銀行卡、車牌號等的識別。最后針對實現的效果進行一步總結。
- 識別的正確率
主要取決于腐蝕、取出身份證號碼區域（輪廊提?。┑乃惴ㄟ@幾個關鍵點。 - 腐蝕
腐蝕的參數很重要，關于腐蝕的一些介紹，可以參考這篇文章 腐蝕與膨脹(Eroding and Dilating) - 取出身份證號碼區域的算法（輪廊提?。?br>
所有的處理都是為了在圖片中定位到身份證號碼的區域，輪廊提取就是這樣一個操作。篩選輪廊圖的算法很重要但是也是個難點。我從這篇博客iOS身份證號碼識別中找到了思路。要提取身份證號碼區域的輪廊，算法的原理就是該輪廊的寬度是所有中最寬的，且寬度的長度必須大于高度的5倍。
不過這個算法還是存在不少問題。有的時候可能圖片背景比較復雜會影響到輪廊的檢測，基于這個問題：
一方面可以通過對圖片的預處理來進行優化，減少對檢測身份證號碼區域的干擾
第二個方面就是優化算法。 - 識別速度
使用TesseractOCRiOS對比較清晰的文字進行識別速度是比較快的，我試過用一張未經處理的寫著數字的圖片來處理，識別速度小于5s。但經過二值圖處理之后識別的速度就降低了，我認為可以對二值化處理后的圖片進一步處理，比如對二值圖進行細化描出骨架，然后在對骨架做均勻的膨脹處理，這樣得到的身份證號碼可能會清晰很多。
