語(yǔ)料庫(kù)建設(shè)（下）.ppt

《語(yǔ)料庫(kù)建設(shè)（下）.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫(kù)。

1、語(yǔ)料庫(kù)建設(shè)（下）授課時(shí)間：2006年12月13日授課人：徐艷華教學(xué)目標(biāo)語(yǔ)料庫(kù)的應(yīng)用國(guó)內(nèi)語(yǔ)料庫(kù)的建設(shè)情況語(yǔ)料庫(kù)的建庫(kù)原則語(yǔ)料庫(kù)的建庫(kù)流程語(yǔ)料庫(kù)的基本功能一、語(yǔ)料庫(kù)的應(yīng)用語(yǔ)料庫(kù)語(yǔ)言學(xué)的發(fā)展使語(yǔ)料庫(kù)在語(yǔ)言教學(xué)、語(yǔ)言研究和語(yǔ)言工程各個(gè)領(lǐng)域得到了廣泛的應(yīng)用，具體說(shuō)來(lái)包括以下幾個(gè)方面：語(yǔ)言頻率統(tǒng)計(jì)語(yǔ)料庫(kù)最早的應(yīng)用領(lǐng)域之一是語(yǔ)言頻率統(tǒng)計(jì)。語(yǔ)言頻率統(tǒng)計(jì)屬于基礎(chǔ)研究，如漢語(yǔ)中的字頻統(tǒng)計(jì)、英語(yǔ)中的詞匯頻率統(tǒng)計(jì)、各種詞類的出現(xiàn)頻率統(tǒng)計(jì)等等。詞典編纂詞典是使用中的語(yǔ)言的記錄，從詞條的選擇、義項(xiàng)的確定、詞義的解釋、例句的選用，無(wú)不反映編纂者的語(yǔ)言觀，辛克萊教授在20世紀(jì)70年代帶頭建立了COBUILD

2、語(yǔ)料庫(kù)，采用詞語(yǔ)索引技術(shù)對(duì)海量語(yǔ)料進(jìn)行大規(guī)模調(diào)查，從此開(kāi)創(chuàng)了現(xiàn)代詞典編纂的先河。詞匯搭配研究詞的搭配是語(yǔ)言的固有特征之一，詞的搭配往往是不能跨語(yǔ)言的，在一種語(yǔ)言中可接受的搭配，在另一種語(yǔ)言中不一定可接受。詞的搭配往往受到詞義、用法、文化、習(xí)慣等多種因素的影響。搭配研究本來(lái)主要靠語(yǔ)言學(xué)家的語(yǔ)感，大容量語(yǔ)料庫(kù)的問(wèn)世為搭配研究提供了客觀的量化分析的依據(jù)，使詞匯搭配研究更科學(xué)、更全面。語(yǔ)言教學(xué)由于語(yǔ)料庫(kù)是語(yǔ)言事實(shí)的采樣，這就為語(yǔ)言教學(xué)提供了真實(shí)的語(yǔ)言材料。學(xué)生可以自己到語(yǔ)料庫(kù)中查詢?cè)~的用法、詞的搭配、詞義的細(xì)微差別等等。這就是所謂的數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)。數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)不但為學(xué)生提供真實(shí)的語(yǔ)境，

3、而且為學(xué)生提供了一種探索語(yǔ)言的手段，學(xué)生可以像語(yǔ)言學(xué)家研究語(yǔ)言一樣對(duì)語(yǔ)言進(jìn)行主動(dòng)的探索，這在寫(xiě)作教學(xué)中可以收到很好的效果。自然語(yǔ)言處理語(yǔ)料庫(kù)語(yǔ)言學(xué)為自然語(yǔ)言處理提供了概率方法，為自然語(yǔ)言處理研究開(kāi)辟了新的途徑，由于概率是語(yǔ)言運(yùn)用的固有特征，因此基于概率分析的自然語(yǔ)言處理系統(tǒng)對(duì)不受限制的極其復(fù)雜的真實(shí)語(yǔ)料的處理，成功率要高得多，而且系統(tǒng)健壯，在遇到自然語(yǔ)言中大量存在的不規(guī)范句或部分規(guī)范句時(shí)系統(tǒng)不會(huì)中斷。語(yǔ)料庫(kù)語(yǔ)言學(xué)方法在語(yǔ)音識(shí)別系統(tǒng)中早就得到了廣泛的應(yīng)用，在機(jī)器翻譯和其他自然語(yǔ)言處理系統(tǒng)中也愈來(lái)愈得到研究者的重視。二、國(guó)內(nèi)語(yǔ)料庫(kù)的建設(shè)情況北航語(yǔ)料庫(kù)目的是進(jìn)行現(xiàn)代漢語(yǔ)詞頻統(tǒng)計(jì)。歷

4、時(shí)語(yǔ)料庫(kù)，將1919——1981年間分為四個(gè)時(shí)期，按時(shí)期從社會(huì)科學(xué)和自然科學(xué)中采用隨機(jī)和等距、分層相結(jié)合的采樣方法抽取語(yǔ)料，規(guī)模為20，236，784個(gè)漢字。1986年6月通過(guò)鑒定。北京語(yǔ)言學(xué)院語(yǔ)料庫(kù)：目的是進(jìn)行現(xiàn)代漢語(yǔ)詞頻統(tǒng)計(jì)，歷時(shí)語(yǔ)料庫(kù)，選取“五四”以來(lái)的報(bào)刊政論、科普、生活口語(yǔ)和文學(xué)作品，共計(jì)179篇，規(guī)模為180萬(wàn)漢字。1985年7月建成。北師大語(yǔ)料庫(kù)：目的對(duì)中小學(xué)語(yǔ)文課本進(jìn)行詞頻統(tǒng)計(jì)研究，歷時(shí)語(yǔ)料庫(kù)，選取1983年——1984年度國(guó)內(nèi)中小學(xué)語(yǔ)文課本24冊(cè)的詩(shī)歌、議論文、記敘文、說(shuō)明文、戲劇、散文、小說(shuō)，按近代、現(xiàn)代、當(dāng)代三個(gè)時(shí)期統(tǒng)計(jì)，規(guī)模為106.8萬(wàn)字。武漢大學(xué)中

5、國(guó)文學(xué)名著語(yǔ)料庫(kù)目的是進(jìn)行字頻統(tǒng)計(jì)和逐詞索引，選擇我國(guó)現(xiàn)代著名作家老舍、曹禺、茅盾、巴金、葉圣陶、趙樹(shù)理、夏衍、魯迅、郭沫若等九人的作品33種。規(guī)模為527.4萬(wàn)字。山西大學(xué)語(yǔ)料庫(kù)目的是進(jìn)行字頻詞頻統(tǒng)計(jì)，共時(shí)語(yǔ)料庫(kù)，選取1987年7月的《人民日?qǐng)?bào)》150萬(wàn)字、1987年7月的《北京科技報(bào)》20萬(wàn)字、1987年《當(dāng)代》第3期30萬(wàn)字、1988年中央電視臺(tái)“新聞聯(lián)播”文稿約50萬(wàn)字，共250萬(wàn)字。另外還有上海交通大學(xué)科技英語(yǔ)語(yǔ)料庫(kù)。三、語(yǔ)料庫(kù)的建庫(kù)原則建設(shè)語(yǔ)料庫(kù)首先要搞清楚建庫(kù)的目的。大型通用現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)一般來(lái)說(shuō)應(yīng)該滿足以下五個(gè)方面的需要。1、語(yǔ)言文字信息處理，2、語(yǔ)言文字規(guī)范

6、和標(biāo)準(zhǔn)的制定，3、語(yǔ)言文字的學(xué)術(shù)研究，4、語(yǔ)文教育，5、語(yǔ)言文字的社會(huì)應(yīng)用。此外，還有供國(guó)內(nèi)外各界檢索漢語(yǔ)這個(gè)大語(yǔ)種的各種信息和數(shù)據(jù)；供辭書(shū)編纂部門(mén)查詢新詞新語(yǔ)，詞匯使用的語(yǔ)境和例句，等等。1、語(yǔ)料庫(kù)的設(shè)計(jì)原則通用性原則：以一般語(yǔ)料為主，吸收部分專業(yè)語(yǔ)料；以普通話語(yǔ)料為主，一般不收純方言的語(yǔ)料；以書(shū)面語(yǔ)料為主，以口語(yǔ)語(yǔ)料為輔。描述性原則：強(qiáng)調(diào)忠實(shí)于語(yǔ)言事實(shí)的原貌實(shí)用性原則：在時(shí)間層次、文化層次和社會(huì)使用層面上對(duì)語(yǔ)料進(jìn)行不等密度處理抽樣原則：任何一種語(yǔ)言的語(yǔ)料都是無(wú)限多的，在開(kāi)發(fā)建設(shè)語(yǔ)料庫(kù)時(shí)不可能將所有語(yǔ)料都放在語(yǔ)料庫(kù)中，應(yīng)堅(jiān)持抽樣原則，選取真正有價(jià)值的語(yǔ)料2、語(yǔ)料的選樣原則入

7、庫(kù)的語(yǔ)料必須具有廣泛性，有足夠的覆蓋面。入庫(kù)的語(yǔ)料必須具有代表性，能夠反映語(yǔ)料覆蓋行業(yè)、領(lǐng)域中語(yǔ)言的基本面貌。入庫(kù)的各種語(yǔ)料的比例應(yīng)該合理。入庫(kù)的語(yǔ)料必須具有規(guī)范性。所選取的文本應(yīng)該具備完整性。語(yǔ)料的時(shí)代性應(yīng)有充分的反映。四、語(yǔ)料庫(kù)的系統(tǒng)開(kāi)發(fā)流程語(yǔ)料錄入——原始語(yǔ)料庫(kù)——分句——分詞系統(tǒng)——人工校對(duì)——分詞語(yǔ)料庫(kù)——分詞校對(duì)輔助工具詞性標(biāo)注系統(tǒng)——人工校對(duì)——詞性標(biāo)注語(yǔ)料庫(kù)——詞語(yǔ)語(yǔ)法屬性標(biāo)注——人工校對(duì)——詞性標(biāo)注輔助工具語(yǔ)法屬性標(biāo)注輔助工具詞語(yǔ)語(yǔ)法屬性標(biāo)注的語(yǔ)料庫(kù)——人工句法分析——句法標(biāo)注語(yǔ)料庫(kù)—