語料庫建設(shè)（下）.ppt

《語料庫建設(shè)（下）.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在PPT專區(qū)-天天文庫。

1、語料庫建設(shè)（下）授課時間：2006年12月13日授課人：徐艷華教學(xué)目標(biāo)語料庫的應(yīng)用國內(nèi)語料庫的建設(shè)情況語料庫的建庫原則語料庫的建庫流程語料庫的基本功能一、語料庫的應(yīng)用語料庫語言學(xué)的發(fā)展使語料庫在語言教學(xué)、語言研究和語言工程各個領(lǐng)域得到了廣泛的應(yīng)用，具體說來包括以下幾個方面：語言頻率統(tǒng)計語料庫最早的應(yīng)用領(lǐng)域之一是語言頻率統(tǒng)計。語言頻率統(tǒng)計屬于基礎(chǔ)研究，如漢語中的字頻統(tǒng)計、英語中的詞匯頻率統(tǒng)計、各種詞類的出現(xiàn)頻率統(tǒng)計等等。詞典編纂詞典是使用中的語言的記錄，從詞條的選擇、義項的確定、詞義的解釋、例句的選用，無不反映編纂者的語言觀，辛克萊教授在20世紀(jì)70年代帶頭建立了COBUILD

2、語料庫，采用詞語索引技術(shù)對海量語料進行大規(guī)模調(diào)查，從此開創(chuàng)了現(xiàn)代詞典編纂的先河。詞匯搭配研究詞的搭配是語言的固有特征之一，詞的搭配往往是不能跨語言的，在一種語言中可接受的搭配，在另一種語言中不一定可接受。詞的搭配往往受到詞義、用法、文化、習(xí)慣等多種因素的影響。搭配研究本來主要靠語言學(xué)家的語感，大容量語料庫的問世為搭配研究提供了客觀的量化分析的依據(jù)，使詞匯搭配研究更科學(xué)、更全面。語言教學(xué)由于語料庫是語言事實的采樣，這就為語言教學(xué)提供了真實的語言材料。學(xué)生可以自己到語料庫中查詢詞的用法、詞的搭配、詞義的細(xì)微差別等等。這就是所謂的數(shù)據(jù)驅(qū)動學(xué)習(xí)。數(shù)據(jù)驅(qū)動學(xué)習(xí)不但為學(xué)生提供真實的語境，

3、而且為學(xué)生提供了一種探索語言的手段，學(xué)生可以像語言學(xué)家研究語言一樣對語言進行主動的探索，這在寫作教學(xué)中可以收到很好的效果。自然語言處理語料庫語言學(xué)為自然語言處理提供了概率方法，為自然語言處理研究開辟了新的途徑，由于概率是語言運用的固有特征，因此基于概率分析的自然語言處理系統(tǒng)對不受限制的極其復(fù)雜的真實語料的處理，成功率要高得多，而且系統(tǒng)健壯，在遇到自然語言中大量存在的不規(guī)范句或部分規(guī)范句時系統(tǒng)不會中斷。語料庫語言學(xué)方法在語音識別系統(tǒng)中早就得到了廣泛的應(yīng)用，在機器翻譯和其他自然語言處理系統(tǒng)中也愈來愈得到研究者的重視。二、國內(nèi)語料庫的建設(shè)情況北航語料庫目的是進行現(xiàn)代漢語詞頻統(tǒng)計。歷

4、時語料庫，將1919——1981年間分為四個時期，按時期從社會科學(xué)和自然科學(xué)中采用隨機和等距、分層相結(jié)合的采樣方法抽取語料，規(guī)模為20，236，784個漢字。1986年6月通過鑒定。北京語言學(xué)院語料庫：目的是進行現(xiàn)代漢語詞頻統(tǒng)計，歷時語料庫，選取“五四”以來的報刊政論、科普、生活口語和文學(xué)作品，共計179篇，規(guī)模為180萬漢字。1985年7月建成。北師大語料庫：目的對中小學(xué)語文課本進行詞頻統(tǒng)計研究，歷時語料庫，選取1983年——1984年度國內(nèi)中小學(xué)語文課本24冊的詩歌、議論文、記敘文、說明文、戲劇、散文、小說，按近代、現(xiàn)代、當(dāng)代三個時期統(tǒng)計，規(guī)模為106.8萬字。武漢大學(xué)中

5、國文學(xué)名著語料庫目的是進行字頻統(tǒng)計和逐詞索引，選擇我國現(xiàn)代著名作家老舍、曹禺、茅盾、巴金、葉圣陶、趙樹理、夏衍、魯迅、郭沫若等九人的作品33種。規(guī)模為527.4萬字。山西大學(xué)語料庫目的是進行字頻詞頻統(tǒng)計，共時語料庫，選取1987年7月的《人民日報》150萬字、1987年7月的《北京科技報》20萬字、1987年《當(dāng)代》第3期30萬字、1988年中央電視臺“新聞聯(lián)播”文稿約50萬字，共250萬字。另外還有上海交通大學(xué)科技英語語料庫。三、語料庫的建庫原則建設(shè)語料庫首先要搞清楚建庫的目的。大型通用現(xiàn)代漢語語料庫一般來說應(yīng)該滿足以下五個方面的需要。1、語言文字信息處理，2、語言文字規(guī)范

6、和標(biāo)準(zhǔn)的制定，3、語言文字的學(xué)術(shù)研究，4、語文教育，5、語言文字的社會應(yīng)用。此外，還有供國內(nèi)外各界檢索漢語這個大語種的各種信息和數(shù)據(jù)；供辭書編纂部門查詢新詞新語，詞匯使用的語境和例句，等等。1、語料庫的設(shè)計原則通用性原則：以一般語料為主，吸收部分專業(yè)語料；以普通話語料為主，一般不收純方言的語料；以書面語料為主，以口語語料為輔。描述性原則：強調(diào)忠實于語言事實的原貌實用性原則：在時間層次、文化層次和社會使用層面上對語料進行不等密度處理抽樣原則：任何一種語言的語料都是無限多的，在開發(fā)建設(shè)語料庫時不可能將所有語料都放在語料庫中，應(yīng)堅持抽樣原則，選取真正有價值的語料2、語料的選樣原則入

7、庫的語料必須具有廣泛性，有足夠的覆蓋面。入庫的語料必須具有代表性，能夠反映語料覆蓋行業(yè)、領(lǐng)域中語言的基本面貌。入庫的各種語料的比例應(yīng)該合理。入庫的語料必須具有規(guī)范性。所選取的文本應(yīng)該具備完整性。語料的時代性應(yīng)有充分的反映。四、語料庫的系統(tǒng)開發(fā)流程語料錄入——原始語料庫——分句——分詞系統(tǒng)——人工校對——分詞語料庫——分詞校對輔助工具詞性標(biāo)注系統(tǒng)——人工校對——詞性標(biāo)注語料庫——詞語語法屬性標(biāo)注——人工校對——詞性標(biāo)注輔助工具語法屬性標(biāo)注輔助工具詞語語法屬性標(biāo)注的語料庫——人工句法分析——句法標(biāo)注語料庫—