資源描述:
《基于交互式問(wèn)答的日常對(duì)話系統(tǒng)》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、-國(guó)內(nèi)圖書(shū)分類(lèi)號(hào):TP391.3學(xué)校代碼:10213國(guó)際圖書(shū)分類(lèi)號(hào):621.3密級(jí):公開(kāi)工學(xué)碩士學(xué)位論文基于交互式問(wèn)答的日常對(duì)話系統(tǒng)碩士研究生:李曼導(dǎo)師:王曉龍教授申請(qǐng)學(xué)位:工學(xué)碩士學(xué)科:計(jì)算機(jī)科學(xué)與技術(shù)所在單位:深圳研究生院答辯日期:2011年12月授予學(xué)位單位:哈爾濱工業(yè)大學(xué)----ClassifiedIndex:TP391.3U.D.C:621.3ThesisfortheMasterDegreeofEngineeringDAILYDIALOGUESYSTEMBASEDONINTERACTIVEQ&APRINCIPLECandidate:ManLiSupe
2、rvisor:Prof.XiaolongWangAcademicDegreeAppliedfor:MasterofEngineeringSpecialty:ComputerScienceandTechnologyAffiliation:ShenzhenGraduateSchoolDateofDefence:Dec,2011Degree-Conferring-Institution:HarbinInstituteofTechnology----哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文摘要近年來(lái),搜索技術(shù)的發(fā)展推進(jìn)了以搜索為基礎(chǔ)的在線問(wèn)答系統(tǒng)的出現(xiàn),以及更高級(jí)的交互式問(wèn)答系
3、統(tǒng)在各個(gè)領(lǐng)域的應(yīng)用。交互式問(wèn)答系統(tǒng)是指人與系統(tǒng)之間能夠用自然語(yǔ)言的形式,進(jìn)行交互的、上下文相關(guān)的、在一個(gè)會(huì)話過(guò)程中連續(xù)的對(duì)話。目前的交互式問(wèn)答系統(tǒng)多是針對(duì)某一具體領(lǐng)域的,系統(tǒng)的表現(xiàn)性能,很大程度上依賴(lài)于該領(lǐng)域知識(shí)庫(kù)的規(guī)模。系統(tǒng)的回復(fù)即是在該知識(shí)庫(kù)中搜索到的與用戶(hù)問(wèn)句匹配的答案。領(lǐng)域不同,對(duì)應(yīng)的知識(shí)庫(kù)不同。但是,以日常對(duì)話為內(nèi)容的問(wèn)答,是基于任一領(lǐng)域的日常問(wèn)答系統(tǒng)都涉及到的。而且,系統(tǒng)在日常對(duì)話方面回答的優(yōu)劣,在很大程度上,會(huì)影響到用戶(hù)對(duì)整個(gè)系統(tǒng)性能的評(píng)價(jià)。如何提高交互式問(wèn)答系統(tǒng)在日常對(duì)話中的人性化和智能化,是本課題的主要研究?jī)?nèi)容。本課題主要從以下幾個(gè)方面著手:
4、(1)按類(lèi)別組織構(gòu)建日常對(duì)話問(wèn)答庫(kù)將日常對(duì)話功能視為交互式問(wèn)答系統(tǒng)的一個(gè)獨(dú)立模塊,建立該模塊的對(duì)話知識(shí)庫(kù)。按照日常對(duì)話所討論對(duì)象的范圍,將知識(shí)庫(kù)分為19個(gè)類(lèi)別,選用AIML語(yǔ)言編寫(xiě)。通過(guò)ALICE系統(tǒng)的接口,對(duì)用戶(hù)的問(wèn)句,使用基于模式匹配的算法在知識(shí)庫(kù)中搜索匹配答案,給出回復(fù)。AIML語(yǔ)言支持兩種正則表達(dá)式模糊匹配,一定程度上,擴(kuò)大了系統(tǒng)可應(yīng)答范圍。(2)用戶(hù)對(duì)話按照對(duì)話場(chǎng)景進(jìn)行層次分類(lèi),給出基于類(lèi)別的回復(fù)處理對(duì)于在日常對(duì)話庫(kù)中無(wú)法準(zhǔn)確匹配的問(wèn)句,按其所屬的對(duì)話場(chǎng)景進(jìn)行分類(lèi),針對(duì)類(lèi)別給出對(duì)應(yīng)的處理方法,或者基于類(lèi)別的模糊回答。本課題中,收集、觀察并分析了用戶(hù)與
5、系統(tǒng)間的問(wèn)答記錄,根據(jù)人機(jī)對(duì)話場(chǎng)景、系統(tǒng)的回答模式和用戶(hù)的提問(wèn)方式,確定了日常對(duì)話分類(lèi)的類(lèi)別。經(jīng)過(guò)初步試驗(yàn),對(duì)日常對(duì)話分類(lèi)類(lèi)別進(jìn)行了調(diào)整,最后通過(guò)兩層分類(lèi)實(shí)現(xiàn)。分類(lèi)所用語(yǔ)料為經(jīng)過(guò)多人標(biāo)注的真實(shí)環(huán)境下的人機(jī)問(wèn)答對(duì)話記錄。第一層分類(lèi)用金融詞匯對(duì)問(wèn)句進(jìn)行過(guò)濾,得到日常類(lèi)對(duì)話。第二層分類(lèi)是對(duì)日常類(lèi)對(duì)話進(jìn)行細(xì)分類(lèi)。通過(guò)分析日常類(lèi)對(duì)話在各個(gè)類(lèi)別的分布,將最初的19個(gè)類(lèi)別調(diào)整為最終的14個(gè)類(lèi)別標(biāo)簽。對(duì)問(wèn)句提取的特征,包括:詞、擴(kuò)展詞、詞性、語(yǔ)義、問(wèn)句模板、正負(fù)情感詞、句子結(jié)構(gòu)等,使用信息增益方法進(jìn)行特征選擇,并分別用樸素貝葉斯、k最近鄰和支持向量機(jī)的分類(lèi)方法進(jìn)行分類(lèi)測(cè)試。在
6、收集到的1002條問(wèn)句的測(cè)試集上,最終的分類(lèi)準(zhǔn)確率達(dá)到了68.84%,召回率為-I----哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文63.50%,F(xiàn)1值為61.99%。在日常對(duì)話知識(shí)庫(kù)中匹配失敗的問(wèn)句,針對(duì)其分類(lèi)類(lèi)別進(jìn)行對(duì)應(yīng)場(chǎng)景下的處理方式。(3)用戶(hù)問(wèn)句復(fù)述識(shí)別識(shí)別同一用戶(hù)的重復(fù)提問(wèn),并給出人性化提示,而不是反復(fù)給出相同的檢索答案,是系統(tǒng)智能性得到提高的一個(gè)表現(xiàn)方面。問(wèn)句復(fù)述的判定,還可以用來(lái)識(shí)別出庫(kù)中與用戶(hù)對(duì)話同義的對(duì)話,擴(kuò)大可以應(yīng)答的范圍。問(wèn)句復(fù)述的識(shí)別,通過(guò)問(wèn)句相似度計(jì)算的方法來(lái)實(shí)現(xiàn)。一種是基于詞頻的方法,一種是借助于HowNet、基于語(yǔ)義的方法。本課題,在收集的
7、相似日常對(duì)話測(cè)試集上,進(jìn)行了多組對(duì)比實(shí)驗(yàn),將最終的問(wèn)句復(fù)述判定閾值設(shè)為0.9211。關(guān)鍵詞:交互式問(wèn)答;日常對(duì)話知識(shí)庫(kù);AIML;對(duì)話分類(lèi);復(fù)述識(shí)別-II----哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文AbstractInrecentyears,thedevelopmentofsearchtechnologyhaspushedforwardtheappearanceoftheonlineQAsystembasedonthewebsitesearch,andtheapplicationofinteractiveQAsysteminmanyfields.Interactiv
8、eQAsystemisonekindo