以事件為特征的文本聚類方法

《以事件為特征的文本聚類方法》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第27卷第8期計算機(jī)應(yīng)用與軟件Vo1．27No．82010年8月ComputerApplicationsandSoftwareAug．2010以事件為特征的文本聚類方法王崇國(新疆大學(xué)信息科學(xué)與工程學(xué)院新疆烏魯木齊830046)摘要文本聚類是聚類的一個重要的研究分支，是聚類方法在自然語言處理領(lǐng)域的具體應(yīng)用。研究表明事件在大量的文本中是客觀存在的，諸多文本是由事件組成的，事件是文本表示的最小語義單位。探討了以事件為特征的文本聚類方法，首先給出了基于事件的文本概念格表示模型，在此模型的基礎(chǔ)上，給出了文本相似度的計算方法。最后，使用K—means聚類算法對所提方法進(jìn)行了實(shí)驗驗證。關(guān)鍵詞文本聚類事件文

2、本相似度概念格AMETHoDOFTEXTCLUSTERINGCHARACTERISEDBYEVENTWangChongguo(SchoolofInformationScienceandEngineering，XinjiangUriversity，Ururaqi830046，Xiang，China)AbstractTextclustering，oneoftheimportantresearchbranchesinclustering，istheapplicationofclusteringalgorithminnaturallanguageprocessing．Someresearchresul

3、tshaveshownthattheeventsaretheobjectiveexistenceinmanytexts．Thetextsarecomposedofevents，andtheeventisthebasicsemanticunitsfortext’Srepresentation．Inthepaperwediscussthetextclusteringmethodcharacterisedbyevents．First—lytheevent—basedtextconceptlatticerepresentationmodelisgiven，andthenthetextsimilarit

4、ycomputingmethodbasedonthismodelispres—ented．Finally，themethodproposedisvalidatedbyanexperimentwithK—meansclusteringalgorithm．KeywordsTextclusteringEventsTextsimilarityConceptlattice內(nèi)容抽取ACE(AutomaticContentExtraction)評測會議也將事件0引言抽取作為其主要任務(wù)。在以事件為語義單位來理解文本之后，文本特征提取是指隨著網(wǎng)絡(luò)的大規(guī)模普及和企業(yè)信息化程度的提高，各種資事件及其要素。文本的事件

5、特征可以采用概念格的結(jié)構(gòu)化表示源呈爆炸式增長。在CNNIC2007年1月最新公布的中國互聯(lián)模型，利用概念間的語義相似度來計算文本相似度。網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告中顯示，70．2％的網(wǎng)絡(luò)信息均以文本形式表現(xiàn)。對于這種無結(jié)構(gòu)或半結(jié)構(gòu)的數(shù)據(jù)，如何從中獲取特定1事件及其要素內(nèi)容的信息和知識成為擺在人們面前的一道難題。近年來，文本挖掘、信息過濾和信息檢索等方面的研究出現(xiàn)了前所未有的在不同的應(yīng)用領(lǐng)域，對事件有不同的定義。WordNet中給高潮。出了很寬泛的事件的定義：在特定地點(diǎn)和事件發(fā)生的某件事。作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，聚類技術(shù)可以將大量文一些語言學(xué)家給出了事件及其語義結(jié)構(gòu)的定義，常包括目的、時本信息組

6、成少數(shù)有意義的簇，并提供導(dǎo)航或瀏覽機(jī)制。文本聚間和外在條件。在信息檢索和信息提取領(lǐng)域，事件被認(rèn)為是細(xì)類是一種無指導(dǎo)的文本分類，它將一個文本集分成若干稱為簇化了的用于檢索的主題l4』。在自動文摘領(lǐng)域，文獻(xiàn)[5]采用調(diào)的子集，每個簇中的文本之間具有較大的相似性，而簇之間的文查問卷的方式，給出了事件的三元組定義(n，t，n，)，n和n分本具有較小的相似性。文本聚類在大規(guī)模文本集的組織與瀏別為與事件項t這一動詞／動名詞前后相鄰的命名實(shí)體，這些命覽、文本集層次歸類的自動生成等方面都具有重要的應(yīng)用價值。名實(shí)體包括人名、機(jī)構(gòu)名、地點(diǎn)和時間共四類。文獻(xiàn)[6]提出了文本聚類的步驟是：(1)提取文本的特征；(2)

7、用這些特征合理事件多元組的表示形式，事件多元組由一個事件項和多個事件地表示文本；(3)按照某種算法計算特征之間的相似度。論元構(gòu)成，事件項為事件中的動詞，限定它為語句中的謂語動大量的文本，比如小說、史傳、回憶錄、民間故事、敘事詩、人詞。盡管不同領(lǐng)域?qū)κ录亩x不盡相同，但是都離不開行為物傳記、新聞報道等，都包含各類事件，可以認(rèn)為事件是文本的(一般都由動詞或動名詞來描述)、參與事件的對象、時間、地點(diǎn)基