手語(yǔ)研究的方向與現(xiàn)狀

《手語(yǔ)研究的方向與現(xiàn)狀》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、手語(yǔ)研究的方向與現(xiàn)狀

2、第1內(nèi)容顯示中摘要：介紹國(guó)內(nèi)外手語(yǔ)研究的主要方向及研究現(xiàn)狀，手語(yǔ)識(shí)別的各種方法、手語(yǔ)合成的組成部分、手語(yǔ)網(wǎng)絡(luò)通信的實(shí)現(xiàn)技術(shù)以及手的運(yùn)動(dòng)約束問(wèn)題。關(guān)鍵詞：人體語(yǔ)言手語(yǔ)識(shí)別合成通信運(yùn)動(dòng)約束手語(yǔ)是聾啞人使用的語(yǔ)言。它是由手形動(dòng)作輔之以表情姿勢(shì)而構(gòu)成的比較穩(wěn)定的表達(dá)系統(tǒng)，是一種靠動(dòng)作/視覺(jué)進(jìn)行交際的特殊語(yǔ)言。人類交互往往聲情并茂，除了采用自然語(yǔ)言（口語(yǔ)、書面語(yǔ)言）外，人體語(yǔ)言（表情、體勢(shì)、手勢(shì)）也是人類交互的基本方式之一。與人類交互相比，人機(jī)交互就呆板得多，因而研究人體語(yǔ)言理解，即人體語(yǔ)言的感知，及人體語(yǔ)言與自然

3、語(yǔ)言的信息融合對(duì)于提高計(jì)算機(jī)的人類語(yǔ)言理解水平和加強(qiáng)人機(jī)接口的可實(shí)用性的極有意義的。手語(yǔ)是人體語(yǔ)言的一個(gè)非常重要的組成部分，它是包含信息量最多的一種人體語(yǔ)言，它與語(yǔ)言及書面語(yǔ)等自然語(yǔ)言的表達(dá)能力相同，因而人機(jī)交互方面，手語(yǔ)完全可以作為一種手段，而且具有很強(qiáng)的視覺(jué)效果，它生動(dòng)、形象、直觀。手語(yǔ)的研究不僅有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們供更好的服務(wù)。同時(shí)也可以應(yīng)用于計(jì)算機(jī)輔助啞語(yǔ)教學(xué)、電視節(jié)目雙語(yǔ)播放、虛擬人的研究、電影制作中的特技處理、動(dòng)畫的制作、醫(yī)療研究、游戲娛樂(lè)等諸多方面。另外，手語(yǔ)的研究涉及到教學(xué)、計(jì)算機(jī)

4、圖形學(xué)、機(jī)器人運(yùn)動(dòng)學(xué)、醫(yī)學(xué)等多學(xué)科。因此，手語(yǔ)的研究是一個(gè)非常有意義的課題。這里將結(jié)合國(guó)內(nèi)外手語(yǔ)研究的相關(guān)方向，對(duì)手語(yǔ)的識(shí)別、手語(yǔ)的合成、手語(yǔ)的網(wǎng)絡(luò)通信、手的運(yùn)動(dòng)約束這幾方面作一下綜述。1手語(yǔ)的識(shí)別手語(yǔ)的識(shí)別不但具有深遠(yuǎn)的研究意義，而且具有廣闊的實(shí)際應(yīng)用前景，至少表現(xiàn)在以下幾個(gè)方面：（1）能夠使得聾啞人，尤其是使得文件程度比較低的聾啞人，使用手語(yǔ)和正常人交流；（2）從認(rèn)知科學(xué)的角度，研究人的視覺(jué)語(yǔ)言理解的機(jī)制，提高計(jì)算機(jī)對(duì)人類語(yǔ)言的理解水平；（3）利用手勢(shì)控制VR中的智能化；（4）機(jī)器人的示范學(xué)習(xí)；（5）虛擬現(xiàn)實(shí)系統(tǒng)中的多模式

5、接口等。從手語(yǔ)輸入設(shè)備來(lái)看，手語(yǔ)識(shí)別系統(tǒng)主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺(jué)（圖像）的手語(yǔ)識(shí)別系統(tǒng)?；跀?shù)據(jù)手套的手語(yǔ)識(shí)別系統(tǒng)，是利用數(shù)據(jù)手套和位置跟蹤測(cè)量手勢(shì)在空間運(yùn)動(dòng)的軌跡和時(shí)序信息。這種方法的優(yōu)點(diǎn)是系統(tǒng)的識(shí)別率高。缺點(diǎn)是打手語(yǔ)的人要穿戴復(fù)雜的數(shù)據(jù)手套和位置跟蹤器，并且輸入設(shè)備比較昂貴。利用數(shù)據(jù)手套等典型傳感設(shè)備的方法，臺(tái)灣大學(xué)的Liang等人利用單個(gè)VPL數(shù)據(jù)手套作為手語(yǔ)輸入設(shè)備，可識(shí)別臺(tái)灣手語(yǔ)課本中的250個(gè)基本詞條，識(shí)別率為90.5%。CMU的ChristopherLee和Xu在1995年完成了一個(gè)操縱機(jī)器人的手勢(shì)控

6、制系統(tǒng)。Kadous用Po從視頻錄像中是取特征，采用HMM技術(shù)識(shí)別262個(gè)孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結(jié)合用于美國(guó)手語(yǔ)識(shí)別，交互采用一個(gè)位置跟蹤器及三個(gè)互相垂直的攝像機(jī)作為手勢(shì)輸入設(shè)備，完成了53個(gè)孤立詞的識(shí)別，識(shí)別率為89.9%。從識(shí)別技術(shù)來(lái)看，以往手語(yǔ)識(shí)別系統(tǒng)主要采用基于人工神經(jīng)網(wǎng)絡(luò)（ANN）及基于隱Markov模型（HMM）等方法。神經(jīng)網(wǎng)絡(luò)方法具有分類特性及抗干擾性，然而由于其處理時(shí)間序列的能力不強(qiáng)，目前廣泛用于靜態(tài)手勢(shì)的識(shí)別。著名的Fels的GloveTalk系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)

7、方法作為識(shí)別技術(shù)。對(duì)于分析區(qū)間內(nèi)的手語(yǔ)信號(hào)，通常采取HMM方法進(jìn)行模型化。HMM是眾周知并廣泛使用的統(tǒng)計(jì)方法，一般拓?fù)浣Y(jié)構(gòu)下的HMM具有非常強(qiáng)的描述手語(yǔ)信號(hào)的時(shí)空變化能力，在動(dòng)態(tài)手勢(shì)識(shí)別領(lǐng)域一直占有主導(dǎo)地址，如卡內(nèi)基·梅隆大學(xué)的美國(guó)手語(yǔ)識(shí)別系統(tǒng)及臺(tái)灣大學(xué)的臺(tái)灣手語(yǔ)識(shí)別系統(tǒng)等均采用HMM作為系統(tǒng)的識(shí)別技術(shù)。另外，Grobel與Assam利用HMM識(shí)別由戴有色手套的用戶通過(guò)攝像機(jī)輸入的262個(gè)孤立手語(yǔ)詞，正確率為91.3%。然而正是由于HMM拓?fù)浣Y(jié)構(gòu)的一般性，導(dǎo)致這種模型在分析手語(yǔ)信號(hào)時(shí)過(guò)于復(fù)雜，使得HMM訓(xùn)練和識(shí)別計(jì)算量過(guò)大。尤

8、其是在連續(xù)的HMM中，由于需要計(jì)算大量的狀態(tài)概率密度，需要估計(jì)的參數(shù)個(gè)數(shù)較多，使得訓(xùn)練及識(shí)別的速度相對(duì)較慢。因而以往手語(yǔ)識(shí)別系統(tǒng)所采用的HMM一般為離散HMM。在我國(guó)，哈爾濱工業(yè)大學(xué)的吳江琴、高文等給出了ANN與HMM的混合方法作為手語(yǔ)的訓(xùn)練識(shí)別方法，以增加識(shí)別方法的分類特性和減少模型的估計(jì)參數(shù)的個(gè)數(shù)。將ANN-HMM混合方法應(yīng)用于有18個(gè)傳感器的CyberGlove型號(hào)數(shù)據(jù)手套的中國(guó)手語(yǔ)識(shí)別系統(tǒng)中，孤立詞識(shí)別率為90%，簡(jiǎn)單語(yǔ)句級(jí)識(shí)別率為92%。接下來(lái)高文等又選取Cyberglove型號(hào)數(shù)據(jù)手套作為手語(yǔ)輸入設(shè)備，并采用了DG

9、MM（dynamicGaussianmixturemodel）作為系統(tǒng)的識(shí)別技術(shù)，即利用一個(gè)隨時(shí)間變化的具有M個(gè)分量的混合GaussianN-元混合密度來(lái)模型化手語(yǔ)信號(hào)，可識(shí)別中國(guó)手語(yǔ)字典中274個(gè)詞條，識(shí)別率為98.2%。與基于HMM的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與HM