多通道用戶界面

《多通道用戶界面》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、1100310120潘飛達(dá)多通道用戶界面為適應(yīng)目前和未來(lái)的計(jì)算機(jī)系統(tǒng)要求，人機(jī)界面應(yīng)能支持時(shí)變媒體，實(shí)現(xiàn)三維、非精確及隱含的人機(jī)交互，而多通道人機(jī)界面是達(dá)到這一目的的重要途徑。80年代后期以來(lái)，多通道用戶界面成為人機(jī)交互技術(shù)研究的嶄新領(lǐng)域，在國(guó)內(nèi)外受到高度重視。綜合采用視線、語(yǔ)音、手勢(shì)等新的交互通道、設(shè)備和交互技術(shù)，使用戶利用多個(gè)通道以自然、并行、協(xié)作的方式進(jìn)行人機(jī)對(duì)話，通過(guò)整合來(lái)自多個(gè)通道的、精確的和不精確的輸入來(lái)捕捉用戶的交互意圖，提高人機(jī)交互的自然性和高效性。多通道用戶界面主要關(guān)注人機(jī)界面中用戶向計(jì)算機(jī)輸入信息以及計(jì)算機(jī)對(duì)用戶

2、意圖的理解，所要達(dá)到的目標(biāo)可歸納為如下方面：1）交互的自然性：使用戶盡可能多地利用已有的日常技能與計(jì)算機(jī)交互，降低認(rèn)識(shí)負(fù)荷。2）交互的高效性：使人機(jī)通訊信息交換吞吐量更大、形式更豐富，發(fā)揮人機(jī)彼此不同的認(rèn)知潛力。3）與傳統(tǒng)的用戶界面特別是廣泛流行的WIMP/GUI兼容。下面將對(duì)多通道用戶的特點(diǎn)，基本技術(shù)，未來(lái)發(fā)展和交互手段進(jìn)行分點(diǎn)論述：一、多通道用戶界面的基本特點(diǎn)1)使用多個(gè)感覺(jué)和效應(yīng)通道2)允許非精確的交互3)三維和直接操縱4)交互的雙向性5)交互的隱含性二、多通道用戶界面涉及的主要技術(shù)1)多媒體使用多種表示媒體，如文本、圖形、圖

3、像和聲音，使人機(jī)交互技術(shù)最終要向著更接近于人的自然方式發(fā)展，使計(jì)算機(jī)具有聽(tīng)覺(jué)和視覺(jué)，以更自然的方式與人交互。多媒體技術(shù)引入了動(dòng)畫(huà)、音頻、視頻等動(dòng)態(tài)媒體，大大豐富了計(jì)算機(jī)表現(xiàn)信息的形式，拓寬了計(jì)算機(jī)輸出的帶寬，提高了用戶接受信息的效率，使人們可以得到更直觀的信息，從而簡(jiǎn)化了用戶的操作，擴(kuò)展了應(yīng)用范圍。2)虛擬現(xiàn)實(shí)又稱虛擬環(huán)境，虛擬現(xiàn)實(shí)系統(tǒng)向用戶提供沉浸和多感覺(jué)通道體驗(yàn)。在虛擬現(xiàn)實(shí)中，人是主動(dòng)參與者，復(fù)雜系統(tǒng)中可能有許多參與者共同在以計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)為基礎(chǔ)的虛擬環(huán)境中協(xié)同工作。虛擬現(xiàn)實(shí)系統(tǒng)具有三個(gè)重要特點(diǎn)：沉浸感、交互性、構(gòu)想性。3)眼動(dòng)

4、跟蹤與視覺(jué)有關(guān)的人機(jī)交互自始至終都離不開(kāi)視線的控制。如果能通過(guò)用戶的視線盯著感興趣的目標(biāo)，計(jì)算機(jī)便“自動(dòng)”將光標(biāo)置于其上，人機(jī)交互將更為直接，也省去了上述交互過(guò)程中的大部分步驟。4)手勢(shì)識(shí)別一個(gè)簡(jiǎn)單的手勢(shì)蘊(yùn)涵著豐富的信息，人與人可以通過(guò)手勢(shì)傳達(dá)大量的信息，實(shí)現(xiàn)高速的通信。將手勢(shì)運(yùn)用于計(jì)算機(jī)能夠很好地改善人機(jī)交互的效率。在多數(shù)情況下我們籠統(tǒng)地認(rèn)為手勢(shì)是人的上肢(包括手臂、手和手指)的運(yùn)動(dòng)狀態(tài)。5)三維輸入許多應(yīng)用(如虛擬現(xiàn)實(shí)系統(tǒng))需要三維空間定位技術(shù)，三維空間控制器的共同特點(diǎn)是具有六個(gè)自由度，分別描述三維對(duì)象的寬度、深度、高度、俯仰角

5、、轉(zhuǎn)動(dòng)角、偏轉(zhuǎn)角。通過(guò)控制這六個(gè)參數(shù)，用戶可以在屏幕上平移三維對(duì)象或光標(biāo)，也可沿三個(gè)坐標(biāo)軸轉(zhuǎn)動(dòng)三維對(duì)象。在三維用戶交互中必須便于用戶在三維空間中觀察、比較、操作、改變?nèi)S空間的狀態(tài)。6)語(yǔ)音識(shí)別語(yǔ)音識(shí)別是計(jì)算機(jī)通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本文件或命令的技術(shù)。語(yǔ)音識(shí)別又是一門(mén)交叉學(xué)科，它與聲學(xué)、語(yǔ)音學(xué)、語(yǔ)言學(xué)、數(shù)字信號(hào)處理理論、信息論、計(jì)算機(jī)科學(xué)等眾多學(xué)科緊密相連。7)表情識(shí)別面部表情是人體語(yǔ)言的一部分。人的面部表情不是孤立的，它與情緒之間存在著千絲萬(wàn)縷的聯(lián)系。人的各種情緒變化以及對(duì)冷熱的感覺(jué)都是非常復(fù)雜的高級(jí)神經(jīng)活動(dòng)，

6、如何感知、記錄、識(shí)別這些變化過(guò)程是表情識(shí)別的關(guān)鍵。8)手寫(xiě)識(shí)別發(fā)展手寫(xiě)識(shí)別技術(shù)并嵌入到各種設(shè)備中，將是手寫(xiě)識(shí)別技術(shù)未來(lái)發(fā)展的重要方向之一。聯(lián)機(jī)手寫(xiě)識(shí)別技術(shù)的優(yōu)點(diǎn)是不需專門(mén)學(xué)習(xí)與訓(xùn)練、不必記憶編碼規(guī)則、安裝后即可手寫(xiě)輸入漢字，是最簡(jiǎn)單方便的輸入方式。同時(shí)符合人的書(shū)寫(xiě)習(xí)慣，可以一面思考、一面書(shū)寫(xiě)，不會(huì)打斷思維的連續(xù)性，是最自然的輸入方式。9)數(shù)字墨水?dāng)?shù)字墨水是一種新的人機(jī)界面技術(shù)，它借鑒手寫(xiě)識(shí)別技術(shù)的同時(shí)，克服了它的許多局限性。數(shù)字墨水在數(shù)學(xué)上是通過(guò)三階貝塞爾曲線來(lái)描述筆輸入的筆跡，它的記錄格式與圖像和文本格式都不同。這種存儲(chǔ)方式使得數(shù)

7、字墨水文件的大小很小，從而可以更有效地進(jìn)行存儲(chǔ)。三、多通道用戶界面的發(fā)展傳統(tǒng)的人和電腦軟件的交互的唯一交互方式是用手，輸入和輸出主要依靠以手操作的鼠標(biāo)、鍵盤(pán)，當(dāng)然科技的發(fā)展，近期還增加了我們?nèi)夂艉舻氖种?。傳統(tǒng)的技術(shù)更迭總是從非精細(xì)化-精細(xì)化，從粗獷到精細(xì)，譬如輸入法，譬如語(yǔ)音識(shí)別等。但是人機(jī)交互的變革方式卻是相反的，精細(xì)化—非精細(xì)化。傳統(tǒng)的鼠標(biāo)和箭頭都是準(zhǔn)確地定位，而多通道人機(jī)交互界面，將聽(tīng)覺(jué)、視線、手勢(shì)等非精確化的交互納入進(jìn)來(lái)。據(jù)我以為，現(xiàn)在應(yīng)用在實(shí)踐領(lǐng)域的譬如癱患者操作運(yùn)動(dòng)，說(shuō)是模式識(shí)別，更準(zhǔn)確地可能是一種類別映射對(duì)應(yīng)的技術(shù)。舉

8、例來(lái)說(shuō)，譬如規(guī)定，大拇指抬起兩下是向前走，左手中指抬起一下是像左走，因此機(jī)器的任務(wù)是識(shí)別這種姿勢(shì)和動(dòng)作，并與相應(yīng)的命令對(duì)應(yīng)。在自然性上并沒(méi)有任何的提高。下表列出了傳統(tǒng)語(yǔ)言交互和智能語(yǔ)音交互的功能特點(diǎn)，主要就是體現(xiàn)在自然語(yǔ)言的使用上。四