簡介
蘋果官方為我們提供了簡單手勢的識別器,但對于圖形手勢,例如五角星、三角形等的識別,就需要自己實現了。通過識別這些手勢,可以去執行特定的操作,或是輸入公式、釋放魔法等,可以為App增光添彩。
下載與使用
該框架已經上傳到github,點擊這里前去下載,歡迎Star!
有關該框架的使用在github上已經寫明,這里不再贅述,本文主要介紹的是圖形手勢識別的實現原理與框架的結構。
框架的結構
一個圖形手勢是一條曲線,可以用采樣點來描述,存儲采樣點的類為SGGesturePoint
,使用它替代CGPoint
,更符合面向對象的操作規范。
采樣點的集合為SGGestureSet
,它用于記錄所有采樣點以及手勢的名稱,以及標準化以后的手勢向量。
手勢向量使用SGGestureVector
存儲,向量通過將所有采樣點的(x,y)坐標依次插入并標準化得來,手勢向量用于進行余弦相似度計算。
用于標準化集合、生成向量、保存、加載與識別手勢的類為SGGestureManager
,它是一個單例對象,正常使用中只需要關心manager和set兩個對象,其他對象由manager負責管理。
手勢采樣的過程
1.采樣
Demo中給出的是使用UIPanGestureRecognizer完成的采樣,每個采樣點都是一個CGPoint
,將其包裝秤NSValue
并且存儲在數組中。
2.生成集合
使用SGGestureSet
的gestureSetWithName:points:方法,傳入手勢的名稱與采樣點(NSValue數組),即可使用采樣點初始化一個集合。
3.重新采樣
將集合中的所有采樣點構成的圖形看作折線,根據所需要的采樣密度確定采樣間距interval,并在原曲線上生成均勻分布的采樣點,生成采樣點的代碼如下,代碼后將結合圖例進行講解。
// to resample the curve, calculate the length of the curve
SGGestureSet *tempSet = *set;
double sumLength = 0;
for (int i = 1; i < tempSet.countPoints; i++) {
SGGesturePoint *pt1 = [tempSet pointAtIndex:i];
SGGesturePoint *pt2 = [tempSet pointAtIndex:i - 1];
sumLength += [pt1 distanceTo:pt2];
}
// resample with sample uniform distributed points
SGGestureSet *resampleSet = [SGGestureSet gestureSetWithName:tempSet.name];
double Interval = sumLength / self.samplePointCount;
double D = 0;
SGGesturePoint *p1 = [tempSet pointAtIndex:0];
[resampleSet addGesturePoint:p1];
for (int i = 1; i < tempSet.countPoints;) {
SGGesturePoint *p2 = [tempSet pointAtIndex:i];
double d = [p1 distanceTo:p2];
if ((D + d) >= Interval) {
double k = (Interval - D ) / d;
double x = p1.x + k * (p2.x - p1.x);
double y = p1.y + k * (p2.y - p1.y);
SGGesturePoint *p = [SGGesturePoint gesturePointWithCGPoint:CGPointMake(x, y)];
[resampleSet addGesturePoint:p];
D = 0;
p1 = p;
}else{
D += d;
p1 = p2;
i++;
}
}
其中D用于折現拐點后確定下一采樣點的距離,d為原集合中的相鄰采樣點間距,下圖是某圖形手勢的局部折線圖。
第一次進入循環時,P1為原集合的第一個采樣點(也是重新采樣集合的第一個點),P2為原集合的第二個采樣點,他們之間的距離P大于重新采樣的采樣點間距interval,這時D=0,D+d=d>interval,因此進入if分支。
接下來根據interval與d的比例關系求出x、y的步進值,從而得到下一個重新采樣點的坐標點,并且這個點作為新的P1。
以此類推,由于折線段的長度比interval大的多,因此能夠分布許多新采樣點,直到P1足夠接近P2,使得interval>d,如下圖所示。
這時下一個采樣點應該落在下一個折線段上,并且為了保證均勻分布,下一個采樣點距離折線段拐點的距離應該減去當前P1到P2的距離,這就是D的作用了。下圖說明了這個計算的目的。
這時候會進入else分支,將P1更新為P2坐標,并且將d累加到D中,需要注意的是,下一個P2的坐標并不是原集合中的點,而是根據D計算出的點,因此應該跳過原集合中的下一個點,這就是i++的作用。如果曲線有足夠多的短折線段,則會不斷的進入else分支,一直累加d,直到滿足新采樣點間距,也就是D+d>=interval,才生成一個新的采樣點,本圖中的情況僅僅計算了一次D就進入了下一條比較長的折線段,這時候清空D,開始在折線段上分布采樣點,如下圖所示。
經過多次這樣的運算,就可以完成均勻分布的重新采樣了,之后使用的是重新采樣點的集合。
4.曲線位置的標準化
將集合中的x、y分別求平均值,得到曲線的重心,根據重心坐標將曲線移動到坐標原點,得到標準位置的曲線。
5.曲線尺寸的標準化
根據曲線的外接矩形與標準尺寸將曲線上的每個點進行比例運算,即可得到縮放到標準尺寸的曲線。
6.曲線轉角的標準化
根據曲線上的第一個采樣點與中心的連線的角度對曲線進行標準化,設當前角度為iAngle,目標角度為r,則如下圖所示經過坐標變換將曲線旋轉到紅色位置。
7.生成向量
為了進行后續運算,需要將二元采樣點集化為一元集合,也可以看做多維向量,方法是依次將采樣點的x、y坐標插入一元集合,并對向量進行標準化,每個向量代表一個手勢,可用于后續的比較運算。
手勢識別的過程
對于需要識別的手勢,先經過上面的運算得到手勢向量,然后將這個手勢向量與手勢庫中的向量逐一進行余弦相似度的運算,余弦相似度比較的是向量的夾角,夾角越小則越相似,根據一定的閾值來篩選出符合條件的所有手勢,并在遍歷結束后取最優(運算結果最小)的作為匹配結果。
余弦相似度的計算代碼如下:
- (double)cosDistanceWithVector1:(SGGestureVector *)vec1 vector2:(SGGestureVector *)vec2 {
double a = 0;
double b = 0;
for (int i = 0; i <= vec1.length - 1 && i <= vec2.length - 1; i+=2) {
a += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i] + [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i + 1];
b += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i + 1] - [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i];
}
double angle = atan(b / a);
return acos(a * cos(angle) + b * sin(angle));
}
識別一個手勢的代碼如下,先標準化手勢集合并得到向量,然后在手勢庫中篩選,最后選擇最優結果。
- (NSString *)recognizeGestureSet:(SGGestureSet *)set {
[self standardizeSet:&set];
SGGestureVector *vec1 = [set getVector];
SGGestureSet *bestSet = nil;
double minD = CGFLOAT_MAX;
for (int i = 0; i < self.gestureSets.count; i++) {
SGGestureSet *libSet = self.gestureSets[i];
SGGestureVector *vec2 = [libSet getVector];
double D = [self cosDistanceWithVector1:vec1 vector2:vec2];
if(D <= self.threshold && D < minD){
minD = D;
bestSet = libSet;
}
}
return bestSet.name;
}
手勢的存取
以上介紹的每一個與存儲有關的類都遵循NSCoding協議,將每一個標準化的SGGestureSet
存入到數組中,并將數組利用NSKeyedArchiver
歸檔存儲到磁盤,需要讀取時再通過NSKeyedUnarchiver
反歸檔即可。