使用Olami SDK 語音控制一個支持HomeKit的智能家居的iOS程序

原文地址:http://blog.csdn.net/dfman1978/article/details/72317312


前言

HomeKit是蘋果發布的智能家居平臺。通過HomeKit組件,用戶可以通過iphone、iPad和ipod Touch來控制智能燈泡,風扇、空調等支持HomeKit的智能家居,尤其是可以通過Siri進行語音控制。

但是通過Siri進行語音控制有個很大的問題,就是Siri支持的語料無法進行自由的擴展,沒辦法添加更多的說法。而Olami SDK則可以通過OSL(OLAMI 語法描述語言 OLAMI Syntax Language,簡稱:OSL)自由的進行擴展,對智能對話的能力擴展變得非常容易通過。Olami的服務器對輸入的語料進行語義的解析,獲得想要的控制結果。這樣就可以自己對語料和說法進行擴展,豐富了操作的功能。

準備工作

HomeKit關于智能設備的一些基本概念和模擬器的安裝

由于市面上支持HomeKit的設備不多也比較昂貴,蘋果貼心的提供了一個HomeKit模擬器來幫助程序員進行HomeKit設備的開發。這個Demo是模擬一個智能空調,功能是通過語音控制空調的開關和調節溫度。

HomeKit模擬器默認不是安裝的,要去下載安裝

在Taget->Capabilities->HomeKit一項中可以下載,見下圖

安裝好以后,就可以打開使用了。見下圖

在Homekit中有幾個概念,在這里簡單的介紹一下APP里用到的,網上有比較詳細的介紹,也可以參考我轉載的這篇博文:

http://blog.csdn.net/dfman1978/article/details/72179458

HomeKit允許用戶添加多個home,但是使用的時候只能有一個home,稱為primaryHome。每個Home可以有多個room.智能設備稱為Accessory屬于home,但是每個Accessory可以配個一個room。如果沒有指定room,則默認分配給roomForEntireHome返回的默認room.每個Accessory可以有多個Service,每個Service可以有多個特性(HMCharacteristic)。有的特性是只讀的,例如空調當前的溫度;有的特性是可讀可寫的,例如空調的開關。APP就是通過控制這些特性的值來控制智能設備的。

在程序中添加了一個Accessory,名稱起為空調。然后給它添加了兩個Service:一個是Switch 開關,一個是Temperature 控制空調的溫度。通過APP,可是實現空調的開關和溫度的調節。

Olami 智能設備的語法規則的編寫和配置

用戶的說的話, APP怎么知道說的是什么意思,怎么去理解呢?這就涉及到了OSL語法描述語言。想要使用Olami平臺提供的語音和語義理解API,首先要根據OLAMI 語法描述語言(OLAMI Syntax Language,簡稱:OSL)的規則編寫一套語法。OSL的簡介如下網址有詳細的介紹https://cn.olami.ai/wiki/?mp=osl&content=osl1.html

通過Olami平臺提供的NLI 自然語言語義互動系統,可以學習到如何為自己應用的業務編寫一套語法規則。

自然語言語義互動(Natural Language Interaction, 簡稱:NLI)管理系統是一套在線語義解析管理工具,NLI 系統采用 OLAMI 語法描述語言(OLAMI Syntax Language,簡稱:OSL)取代復雜的編碼編程,讓即便沒有軟件研發背景的使用者也能輕松快速的維護包含語義擴展及答案的智能對話流。

在如下網址可以了解到更加詳細的內容

https://cn.olami.ai/wiki/?mp=nli&content=nli1.html

方便的是Olami平臺已經對很多領域方面的提供了一些寫好的語法規則,這些在Olami中稱為模塊。其中關于智能設備已經寫好,下面就一步一步配置一下。

首先要去Olami的平臺注冊一下,注冊后進入到這個界面

點擊“創建應用”轉到下面這個頁面

填寫 應用名稱,應用描述,應用介紹以后,就可以創建了。回到上一個頁面,就可以看到創建的應用了。

點擊”進入NLI系統”就可以進入模塊頁面

在官網已經內置了很多領域的grammar.在模塊頁面大家點擊“導入”按鈕,查看已有領域的模塊

選擇一個要使用的,例如我要導入”smarthome”這個模塊,先選擇它,點擊“導入” 按鈕

然后進入 smarthome模塊,就可以看到例句了

但是這個時候還是不能使用,需要先進行發布。點擊頁面上方的”發布”按鈕,進入發布頁面

點擊“發布”按鈕,發布成功

最后還要回到“我的應用”界面,點擊”配置NLI模塊”按鈕,讓自己創建的應用和模塊關聯起來

這樣smarthome的語法文件就配置好了,就可以使用了。

代碼的實現

1.獲取home和Accessory的對象

- (void)viewWillAppear:(BOOL)animated {? ? [superviewWillAppear:animated];self.accessories= [NSMutableArrayarray];if(self.homeManager&&self.homeManager.primaryHome) {for(HMAccessory *accessory inself.homeManager.primaryHome.accessories) {? ? ? ? ? ? [self.accessoriesinsertObject:accessory atIndex:0];? ? ? ? ? ? accessory.delegate=self;? ? ? ? ? ? [self.tableViewreloadData];? ? ? ? }? ? }if(_currentHome) {? ? ? ? _currentHomeLabel.text= [NSStringstringWithFormat:@"當前Home:%@", _currentHome.name];? ? }}


在ViewWillAppear的時候來獲取當前Home的對象和名字,還有Accessory的對象,并保存起來,用一個tableView來顯示下圖是程序剛啟動的時候的界面,這個時候因為沒有添加Home,所以什么都沒有

點擊“添加Home”按鈕彈出一個對話框,可以填入一個Home的名稱。對應的代碼

-(IBAction)addHomeBtnClicked:(id)sender


下一步就是添加Accessory,在代碼里沒有做這一步。是通過iOS提供的“家庭”APP來添加智能空調的。

點擊“家庭”App,彈出頁面

點擊“開始使用”,彈出

點擊“添加配件”,App會自動搜索剛才在模擬器添加的那個空調,按照提示一步一步添加,最后顯示空調的兩個Service:Switch和Temperature

在回到APP,這個時候APP,就會顯示出搜索到的Accessory:空調

點擊“空調”,進入語音控制頁面

在這個頁面中,上面的TableView顯示了空調的一些屬性。

下面的TextView用來顯示ASR的一些結果

圓形按鈕用來錄音

2..去網址https://cn.olami.ai/wiki/?mp=sdk&content=sdk_and_sample.html下載Olami SDK.包括兩個文件,其中的一個是Olami的靜態函數庫,一個是其頭文件

第一步是初始化Olami的語音識別對象,并設置代理

olamiRecognizer= [[OlamiRecognizer alloc] init];olamiRecognizer.delegate=self;

?3.調用setAuthorization函數進行授權

[olamiRecognizersetAuthorization:@"d13bbcbef2a4460dbf19ced850eb5d83"api:@"asr"appSecret:@"3b08b349c0924a79869153bea334dd86"cusid:OLACUSID];


這個函數的參數的說明在OlamiRecognizer中有說明,也可以去在線API說明去查看

https://cn.olami.ai/wiki/?mp=sdk&content=sdk/ios/reference.html

參數就是剛才創建應用的時候獲得的。

4.設置語系

[olamiRecognizer setLocalization:LANGUAGE_SIMPLIFIED_CHINESE];


在進行錄音之前必須要先進行設置,否則會得不到結果。目前只支持簡體中文(LANGUAGE_SIMPLIFIED_CHINESE)

4.開始錄音

調用 start()接口開始進行錄音

[olamiRecognizerstart];


5.得到錄音的文字和語義,并對其進行處理

通過調用stop()函數或者自動停止,都會獲得錄音的文字和對其進行的語義分析的結果

實現OlamiRecognizerDelegate onResult函數可以獲得結果,其結果以一個json字符串的形式回調過來,對這個字符串進行解析,就可以獲得想要的數字。例如對著話筒說”打開空調”,得到的結果如下

{? ? "data":{? ? ? ? "asr":{? ? ? ? ? ? "result":"打開空調",? ? ? ? ? ? "speech_status":0,? ? ? ? ? ? "final":true,? ? ? ? ? ? "status":0},? ? ? ? "nli":[? ? ? ? ? ? {? ? ? ? ? ? ? ? "desc_obj":{? ? ? ? ? ? ? ? ? ? "status":0},? ? ? ? ? ? ? ? "semantic":[? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? "app":"smarthome",? ? ? ? ? ? ? ? ? ? ? ? "input":"打開空調",? ? ? ? ? ? ? ? ? ? ? ? "slots":[? ? ? ? ? ? ? ? ? ? ? ? ? ? {? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "name":"device",? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "value":"空調"}? ? ? ? ? ? ? ? ? ? ? ? ],? ? ? ? ? ? ? ? ? ? ? ? "modifier":["open"],? ? ? ? ? ? ? ? ? ? ? ? "customer":"58df685e84ae11f0bb7b4893"}? ? ? ? ? ? ? ? ],? ? ? ? ? ? ? ? "type":"smarthome"}? ? ? ? ]},? ? "status":"ok"}


這個是根據OSL語法描述語言定義的一套規則,返回的結果。這個結果的說明在https://cn.olami.ai/wiki/?mp=api_nlu&content=api_nlu3.html這個網址上有說明。

6.獲得所有Accessory的對象

for(HMService *servicein_accessory.services) {? ? ? ? [_serviceDicsetObject:serviceforKey:service.name];? ? ? ? NSLog(@"service.name is %@",service.name);? ? }


保存在一個Dictionary中,服務的名稱是key,對象的指針是Value

7.onResult 函數的說明

在整個程序中,最主要的一個函數就是onResult函數,這個函數就是對傳過來的結果進行處理。在這個函數中,調用了三個函數,分別來處理josn格式中的三個比較重要的節點

-(void)processASR:(NSDictionary*)asrDic

?這個用來處理ASR節點,獲得語音識別的結果,如果沒有結果,則彈出一個對話框進行提示

-(void)processSemantic:(NSDictionary*)semanticDic


這個用來處理Semantic節點,這個節點中包含了slot的值和modifier的值。OSL 語法描述語言中的 slot 可理解為語義中的變量,用于傳遞、提取信息,是代碼處理的數據的來源。對于本程序來說,就是進行控制空調的各種動作,例如開,關。還有就是調節的溫度值。關于slot的值可以參考https://cn.olami.ai/wiki/?mp=osl&content=osl_slot.html,這里有詳細說明

-(void)processModify:(NSString*)str


這個用來處理語音和語義的結果。這個函數主要是處理json字符串中的modifier節點。modifier 語法描述規則是 OSL 語法描述語言中,除了 slot 以外的另一種內置的信息傳遞機制,一般用來表示語義目的,也可以理解為對于語義的一種注釋方式,以便讓應用程序的開發者得知 grammar 所代表的相應意圖。詳細說明參考

https://cn.olami.ai/wiki/?mp=osl&content=osl_regex.html#11,通過modifier,我們才能知道程序的意圖是什么?例如是想打開、關閉空調。還是調節溫度

在代碼中我們處理了三個modifier:”open”、”close” 和”control_temperature”.然后根據slot的值進行進行進一步處理。

拿其中處理“關閉”空調的動作來做說明

if([str isEqualToString:@"close"]){//關閉空調HMService *tmpService = _serviceDic[@"Switch"];? ? ? ? HMCharacteristic *characteristic = tmpService.characteristics[1];if([characteristic.characteristicTypeisEqualToString:HMCharacteristicTypeTargetLockMechanismState] ||? ? ? ? ? ? [characteristic.characteristicTypeisEqualToString:HMCharacteristicTypePowerState] ||? ? ? ? ? ? [characteristic.characteristicTypeisEqualToString:HMCharacteristicTypeObstructionDetected]) {? ? ? ? ? ? [characteristic writeValue:@NO completionHandler:^(NSError*error){if(error ==nil) {dispatch_async(dispatch_get_main_queue(), ^ {? ? ? ? ? ? ? ? ? ? ? ? _asrTextView.text= @"空調已關閉";? ? ? ? ? ? ? ? ? ? });? ? ? ? ? ? ? ? }else{NSLog(@"error in writing characterstic: %@", error);? ? ? ? ? ? ? ? ? ? _asrTextView.text= @"空調關閉失敗,請重試!";? ? ? ? ? ? ? ? }? ? ? ? ? ? }];? ? ? ? }? ? }


如果modifier等于”close”,那么說明這是一個Switch服務的屬性。通過“Switch”獲得Service的指針,然后獲得Switch的屬性。然后通過

-(void)writeValue:(nullable id)value completionHandler:(void (^)(NSError*__nullable error))completion;


函數來修改這個屬性的值。因為是關閉空調,所以直接寫入@NO就可以了

因為這個函數是異步返回的,返回的時候不一定操作成功,所以要對返回結果進行一下處理。

代碼下載

代碼可以到GitHub上下載

https://github.com/lym-ay/SmartHome

Olami SDK 相關開發資源

另外這里還有兩篇anroid上使用Olami SDK開發程序的文章

這個是一個聽書的程序

http://blog.csdn.net/ls0609/article/details/71519203

這個是一個關于天氣的程序

http://blog.csdn.net/zhangxy0605/article/details/71601604

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,546評論 6 533
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,570評論 3 418
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,505評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,017評論 1 313
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,786評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,219評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,287評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,438評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,971評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,796評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,995評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,540評論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,230評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,662評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,918評論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,697評論 3 392
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,991評論 2 374

推薦閱讀更多精彩內容