iOS圖形手勢識別框架SGGestureRecognizer

簡介

蘋果官方為我們提供了簡單手勢的識別器,但對于圖形手勢,例如五角星、三角形等的識別,就需要自己實現了。通過識別這些手勢,可以去執行特定的操作,或是輸入公式、釋放魔法等,可以為App增光添彩。

下載與使用

該框架已經上傳到github,點擊這里前去下載,歡迎Star!
有關該框架的使用在github上已經寫明,這里不再贅述,本文主要介紹的是圖形手勢識別的實現原理與框架的結構。

框架的結構

一個圖形手勢是一條曲線,可以用采樣點來描述,存儲采樣點的類為SGGesturePoint,使用它替代CGPoint,更符合面向對象的操作規范。
采樣點的集合為SGGestureSet,它用于記錄所有采樣點以及手勢的名稱,以及標準化以后的手勢向量。
手勢向量使用SGGestureVector存儲,向量通過將所有采樣點的(x,y)坐標依次插入并標準化得來,手勢向量用于進行余弦相似度計算。
用于標準化集合、生成向量、保存、加載與識別手勢的類為SGGestureManager,它是一個單例對象,正常使用中只需要關心manager和set兩個對象,其他對象由manager負責管理。

手勢采樣的過程

1.采樣

Demo中給出的是使用UIPanGestureRecognizer完成的采樣,每個采樣點都是一個CGPoint,將其包裝秤NSValue并且存儲在數組中。

2.生成集合

使用SGGestureSet的gestureSetWithName:points:方法,傳入手勢的名稱與采樣點(NSValue數組),即可使用采樣點初始化一個集合。

3.重新采樣

將集合中的所有采樣點構成的圖形看作折線,根據所需要的采樣密度確定采樣間距interval,并在原曲線上生成均勻分布的采樣點,生成采樣點的代碼如下,代碼后將結合圖例進行講解。

// to resample the curve, calculate the length of the curve
SGGestureSet *tempSet = *set;
double sumLength = 0;
for (int i = 1; i < tempSet.countPoints; i++) {
    SGGesturePoint *pt1 = [tempSet pointAtIndex:i];
    SGGesturePoint *pt2 = [tempSet pointAtIndex:i - 1];
    sumLength += [pt1 distanceTo:pt2];
}
// resample with sample uniform distributed points
SGGestureSet *resampleSet = [SGGestureSet gestureSetWithName:tempSet.name];
double Interval = sumLength / self.samplePointCount;
double D = 0;
SGGesturePoint *p1 = [tempSet pointAtIndex:0];
[resampleSet addGesturePoint:p1];
for (int i = 1; i < tempSet.countPoints;) {
    SGGesturePoint *p2 = [tempSet pointAtIndex:i];
    double d = [p1 distanceTo:p2];
    if ((D + d) >= Interval) {
        double k = (Interval - D ) / d;
        double x = p1.x + k * (p2.x - p1.x);
        double y = p1.y + k * (p2.y - p1.y);
        SGGesturePoint *p = [SGGesturePoint gesturePointWithCGPoint:CGPointMake(x, y)];
        [resampleSet addGesturePoint:p];
        D = 0;
        p1 = p;
    }else{
        D += d;
        p1 = p2;
        i++;
    }
}

其中D用于折現拐點后確定下一采樣點的距離,d為原集合中的相鄰采樣點間距,下圖是某圖形手勢的局部折線圖。
第一次進入循環時,P1為原集合的第一個采樣點(也是重新采樣集合的第一個點),P2為原集合的第二個采樣點,他們之間的距離P大于重新采樣的采樣點間距interval,這時D=0,D+d=d>interval,因此進入if分支。



接下來根據interval與d的比例關系求出x、y的步進值,從而得到下一個重新采樣點的坐標點,并且這個點作為新的P1。



以此類推,由于折線段的長度比interval大的多,因此能夠分布許多新采樣點,直到P1足夠接近P2,使得interval>d,如下圖所示。

這時下一個采樣點應該落在下一個折線段上,并且為了保證均勻分布,下一個采樣點距離折線段拐點的距離應該減去當前P1到P2的距離,這就是D的作用了。下圖說明了這個計算的目的。

這時候會進入else分支,將P1更新為P2坐標,并且將d累加到D中,需要注意的是,下一個P2的坐標并不是原集合中的點,而是根據D計算出的點,因此應該跳過原集合中的下一個點,這就是i++的作用。如果曲線有足夠多的短折線段,則會不斷的進入else分支,一直累加d,直到滿足新采樣點間距,也就是D+d>=interval,才生成一個新的采樣點,本圖中的情況僅僅計算了一次D就進入了下一條比較長的折線段,這時候清空D,開始在折線段上分布采樣點,如下圖所示。



經過多次這樣的運算,就可以完成均勻分布的重新采樣了,之后使用的是重新采樣點的集合。

4.曲線位置的標準化

將集合中的x、y分別求平均值,得到曲線的重心,根據重心坐標將曲線移動到坐標原點,得到標準位置的曲線。

5.曲線尺寸的標準化

根據曲線的外接矩形與標準尺寸將曲線上的每個點進行比例運算,即可得到縮放到標準尺寸的曲線。

6.曲線轉角的標準化

根據曲線上的第一個采樣點與中心的連線的角度對曲線進行標準化,設當前角度為iAngle,目標角度為r,則如下圖所示經過坐標變換將曲線旋轉到紅色位置。


7.生成向量

為了進行后續運算,需要將二元采樣點集化為一元集合,也可以看做多維向量,方法是依次將采樣點的x、y坐標插入一元集合,并對向量進行標準化,每個向量代表一個手勢,可用于后續的比較運算。

手勢識別的過程

對于需要識別的手勢,先經過上面的運算得到手勢向量,然后將這個手勢向量與手勢庫中的向量逐一進行余弦相似度的運算,余弦相似度比較的是向量的夾角,夾角越小則越相似,根據一定的閾值來篩選出符合條件的所有手勢,并在遍歷結束后取最優(運算結果最小)的作為匹配結果。
余弦相似度的計算代碼如下:

- (double)cosDistanceWithVector1:(SGGestureVector *)vec1 vector2:(SGGestureVector *)vec2 {
    double a = 0;
    double b = 0;
    for (int i = 0; i <= vec1.length - 1 && i <= vec2.length - 1; i+=2) {
        a += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i] + [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i + 1];
        b += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i + 1] - [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i];
    }
    double angle = atan(b / a);
    return acos(a * cos(angle) + b * sin(angle));
}

識別一個手勢的代碼如下,先標準化手勢集合并得到向量,然后在手勢庫中篩選,最后選擇最優結果。

- (NSString *)recognizeGestureSet:(SGGestureSet *)set {
    [self standardizeSet:&set];
    SGGestureVector *vec1 = [set getVector];
    SGGestureSet *bestSet = nil;
    double minD = CGFLOAT_MAX;
    for (int i = 0; i < self.gestureSets.count; i++) {
        SGGestureSet *libSet = self.gestureSets[i];
        SGGestureVector *vec2 = [libSet getVector];
        double D = [self cosDistanceWithVector1:vec1 vector2:vec2];
        if(D <= self.threshold && D < minD){
            minD = D;
            bestSet = libSet;
        }
    }
    return bestSet.name;
}

手勢的存取

以上介紹的每一個與存儲有關的類都遵循NSCoding協議,將每一個標準化的SGGestureSet存入到數組中,并將數組利用NSKeyedArchiver歸檔存儲到磁盤,需要讀取時再通過NSKeyedUnarchiver反歸檔即可。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,117評論 6 537
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,860評論 3 423
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,128評論 0 381
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,291評論 1 315
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,025評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,421評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,477評論 3 444
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,642評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,177評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,970評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,157評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,717評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,410評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,821評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,053評論 1 289
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,896評論 3 395
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,157評論 2 375

推薦閱讀更多精彩內容