這篇文章的內(nèi)容主要是梳理人機(jī)交互的基本概念,現(xiàn)下較潮流的人機(jī)交互方式是語音交互(包括語音識(shí)別、自然語言處理、語音合成等)和機(jī)器視覺等。我卻認(rèn)為情感交互很有前景。
【人機(jī)交互技術(shù)】
一、傳統(tǒng)人機(jī)交互技術(shù)
1.命令行交互:在命令行交互界面中,用戶輸入一條命令及參數(shù),然后輸入命令結(jié)束字符,系統(tǒng)接收到命令并且執(zhí)行后,用戶便可輸入另一條命令。
典型的多用戶分時(shí)操作系統(tǒng)是UNIX
2.圖形界面交互:
機(jī)器人圖形交互系統(tǒng)把操作機(jī)器人的指令分解為各種圖形,用戶可以通過點(diǎn)擊界面上的圖標(biāo)進(jìn)行命令的組合和生成,從而控制機(jī)器人。
3.直接操作交互:
機(jī)器人遙操作工程的力覺反饋指:操作者操縱主動(dòng)手機(jī)構(gòu)來控制工程機(jī)器人進(jìn)行遙操作,從而控制工程機(jī)器人對(duì)周圍的環(huán)境施加的作用力。
分類:對(duì)稱位置型、直接力反饋型、間接力反饋型、間接力反饋改進(jìn)型、變?cè)鲆鎸?duì)稱位置型、變?cè)鲆骈g接力反饋型。
二、新型人機(jī)交互技術(shù)
1.語音交互:
2.視覺交互(手勢(shì)交互)
基于手勢(shì)人-機(jī)器人交互方式中主要包括:接觸式測(cè)量和非接觸式測(cè)量。
基于視覺的手勢(shì)識(shí)別研究中,依靠膚色信息來建立模型進(jìn)而識(shí)別手勢(shì)是較為高效實(shí)用的方法,但在移動(dòng)的復(fù)雜環(huán)境下效果不佳。
手部目標(biāo)分離:將圖像中的目標(biāo)區(qū)域和背景進(jìn)行分離操作。分離方法有:人為限制、數(shù)據(jù)庫方法、輪廓跟蹤方法、運(yùn)動(dòng)分割、膚色分割方法。
3.眼球交互:基于角膜反射原理,以近紅外光源發(fā)出的光在用戶眼睛角膜上形成的高亮度反射點(diǎn)為參考點(diǎn),當(dāng)轉(zhuǎn)動(dòng)眼球注視目標(biāo)的不同位置時(shí),由于眼球近似球體,光斑不動(dòng),瞳孔相對(duì)光斑發(fā)生偏移,利用瞳孔中心和光斑的位置關(guān)系即可確定視線的方向。
人眼定位方法:人臉檢測(cè)算法、灰度投影法、二值化法、Hough變換法、對(duì)稱性檢測(cè)法。
應(yīng)用前景:智能眼鏡、智能手機(jī)、智能電視、眼控電腦。
4.肌肉感應(yīng)交互:
通過檢測(cè)用戶運(yùn)動(dòng)過程中肌肉產(chǎn)生的電信號(hào)變化,并結(jié)合手臂的物理動(dòng)作監(jiān)控來實(shí)現(xiàn)人機(jī)交互。
5.穿戴交互:基于各種穿戴在人體上的設(shè)備,共同組成一個(gè)智能的人機(jī)交互環(huán)境。
6.情感交互:
情感計(jì)算:與情感相關(guān)、由情感引發(fā)或刻意影響情感的計(jì)算。
情感計(jì)算的目的:賦予機(jī)器人識(shí)別、理解、表達(dá)和適應(yīng)人類情感的能力,以此建立人與機(jī)器人自然和諧的交互環(huán)境,并使機(jī)器人具備更高、更全面的智能。
情感計(jì)算主要研究?jī)?nèi)容:情感機(jī)理和描述、情感信號(hào)的獲取和量化、情感信號(hào)的分析及建模及識(shí)別、情感理解和反饋、情感合成與表達(dá)、人機(jī)交互的實(shí)現(xiàn)。
情感交互:人臉表情交互、語音情感交互、肢體情感交流、生理信號(hào)。
語音情感交互:語音情感識(shí)別和情感語音合成。情感語音合成是情感計(jì)算與語音合成的交叉課題。
肢體情感交互由物理范疇和心理學(xué)范疇來描述
7.腦機(jī)交互:
腦機(jī)接口(brain computer interface,BCI)能夠提供一種非神經(jīng)肌肉傳導(dǎo)的通道,直接把從人頭皮上采集到的腦電信號(hào)(EEG信號(hào))通過預(yù)處理、特征提取、選擇和分類,最終轉(zhuǎn)換成計(jì)算機(jī)或其他外部設(shè)備的控制指令。
BCI系統(tǒng)分類:植入式和非植入式、同步式和異步式、自發(fā)式和誘發(fā)式
待解決的難題:實(shí)時(shí)性和準(zhǔn)確性,可識(shí)別的腦電信號(hào)特征有限,腦電信號(hào)的不確定性,BCI系統(tǒng)的實(shí)用性。
【人機(jī)協(xié)作技術(shù)】
一、多智能體理論與技術(shù)
多智能體系統(tǒng)的提出是為了模擬人類的智能行為。根據(jù)人類的思維層次可以分為三類:認(rèn)知智能體、反應(yīng)智能體、復(fù)合智能體。
根據(jù)學(xué)習(xí)方法分兩類:獨(dú)立式學(xué)習(xí)、分布式匯集學(xué)習(xí)(多個(gè)智能體之間通過相互學(xué)習(xí)獲取新的知識(shí))
根據(jù)通信雙方的結(jié)構(gòu)分兩類:同態(tài)智能體的通信(定義共同的數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)即可)、異態(tài)智能體的通信(需要建立一種能被通信雙方(主要是指人和計(jì)算機(jī))理解的語言)。
多智能體系統(tǒng)協(xié)作方法:合同網(wǎng)協(xié)議法(通過協(xié)議,選一個(gè)智能體作為管理者,其他為被管理智能體)、平等模式(每個(gè)智能體的地位是平等的,各智能體通過平等協(xié)商完成分配的任務(wù))
二、多通道融合交互技術(shù)
多通道系統(tǒng)能從語音、手勢(shì)、身體語言等通信通道中提取和傳遞語義信息,實(shí)現(xiàn)人機(jī)交互。
基本特點(diǎn):多個(gè)感覺通道、交互雙向性、交互的隱含性、交互的非精確性。
三、機(jī)器輔助技術(shù)
四、基于虛擬現(xiàn)實(shí)技術(shù)機(jī)器感知與反饋
1.虛擬現(xiàn)實(shí)技術(shù)
虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成包含兩部分:計(jì)算機(jī)仿真的虛擬環(huán)境和介入者。
交互過程是相互的,人對(duì)虛擬環(huán)境做出的各種動(dòng)作都會(huì)被虛擬環(huán)境捕獲到,虛擬環(huán)境變化時(shí)也會(huì)對(duì)人產(chǎn)生各種感官刺激信號(hào)。
虛擬現(xiàn)實(shí)的分類:桌面式虛擬現(xiàn)實(shí)、沉浸式虛擬現(xiàn)實(shí)、增強(qiáng)式虛擬現(xiàn)實(shí)、分布式虛擬現(xiàn)實(shí)。
2.視覺反饋
原理:根據(jù)機(jī)器人需要完成的實(shí)驗(yàn)任務(wù),通過攝像頭裝置獲取目標(biāo)物體的圖像,并通過圖像處理得到目標(biāo)物體的三維坐標(biāo)。
過程:圖像空間轉(zhuǎn)換、目標(biāo)物體閾值分割和直方圖的形成、推到目標(biāo)物體三維坐標(biāo)
3.聽覺反饋
4.觸覺反饋
觸覺反饋技術(shù)是指在人機(jī)交互過程中,計(jì)算機(jī)對(duì)操作者的輸入做出響應(yīng),并通過觸覺反饋設(shè)備給操作者反饋力、振動(dòng)或運(yùn)動(dòng)等信息以激活操作者的觸覺,使其獲得更好的操作體驗(yàn)。
包括操作者、觸覺反饋設(shè)備、虛擬環(huán)境
虛擬環(huán)境仿真模塊對(duì)傳感器信息進(jìn)行處理,利用碰撞算法和觸覺反饋生成算法生成控制信號(hào)和視覺信息,分別傳遞給觸覺反饋設(shè)備和視頻顯示設(shè)備。
?觸覺反饋設(shè)備:桌面式觸覺反饋設(shè)備、可穿戴式觸覺反饋設(shè)備、移動(dòng)觸覺反饋設(shè)備。
?觸覺反饋應(yīng)用:醫(yī)學(xué)領(lǐng)域、移動(dòng)電子領(lǐng)域、機(jī)器人遙操作、視頻游戲
5.多用戶交互
多用戶交互是指多個(gè)參與用戶在協(xié)作環(huán)境下,各成員既相互合作以共同完成同一任務(wù),同時(shí)又互相獨(dú)立地完成自己的工作,在各個(gè)用戶之間,可以共享信息、相互可見、并發(fā)的操作共享對(duì)象。
參考 華南理工大學(xué)出版社 《機(jī)器人自然交互理論與方法》