資源描述：
《基于潛在語(yǔ)義索引和var-tree的文本分類研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、ResearchofTextCategorizationbasedonlatentsemanticindexingandVAR-TreeMajor：ComputerApplicationDirectionofStudy：ArtificialIntelligenceGraduateStudent：QianZhiQiuSupervisor：Prof.ZhongLiuCollegeofInformationScienceandEngineeringGuilinUniversityofTechnologySeptember,201
2、2toApril,2013摘要當(dāng)前，在以互聯(lián)網(wǎng)為代表的信息技術(shù)廣泛普及的基礎(chǔ)上，移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等新興信息技術(shù)快速發(fā)展，人們通過(guò)微博、社交網(wǎng)絡(luò)等各種信息媒介相互交流。方便了人們生活工作學(xué)習(xí)的同時(shí)，大規(guī)模海量真實(shí)信息的爆炸式出現(xiàn)，如何從海量信息中準(zhǔn)確并且高效地獲取有用信息已經(jīng)成為一個(gè)具有非常重要現(xiàn)實(shí)和理論意義的研究課題。文本自動(dòng)分類作為處理和組織大量文本數(shù)據(jù)的基礎(chǔ)技術(shù)應(yīng)運(yùn)而生。文本自動(dòng)分類簡(jiǎn)稱文本分類（TextCategorization，TC）作為信息檢索和數(shù)據(jù)挖掘的基礎(chǔ)技術(shù)和研究熱點(diǎn)，從上個(gè)世紀(jì)50年代末至今，得到廣泛
3、關(guān)注并已取得長(zhǎng)足發(fā)展。廣泛應(yīng)用于垃圾郵件過(guò)濾、網(wǎng)絡(luò)內(nèi)容管理、本體映射、電話會(huì)議等各個(gè)方面。本文詳細(xì)闡述中文文本分類及相關(guān)技術(shù)理論包括：文本預(yù)處理、文本表示、特征選擇、特征權(quán)重計(jì)算、分類效果的評(píng)價(jià)指標(biāo)、文本分類算法。然后對(duì)向量空間模型（VectorSpaceModel，VSM）和傳統(tǒng)K‐最近鄰（K‐NearestNeighbor，KNN）分類算法進(jìn)行優(yōu)缺點(diǎn)分析，并在分析結(jié)果基礎(chǔ)之上做出改進(jìn)。主要做了如下研究工作：首先，針對(duì)傳統(tǒng)向量空間模型忽略語(yǔ)義信息的缺點(diǎn)，以潛在語(yǔ)義索引/奇異值分解(LatentSemanticIndexi
4、ng/SingularValueDecomposition，LSI/SVD)為技術(shù)手段，對(duì)傳統(tǒng)向量空間模型加以改進(jìn)和擴(kuò)展。在訓(xùn)練文本集的詞‐文本矩陣基礎(chǔ)上進(jìn)行奇異值分解，構(gòu)建出語(yǔ)義空間代替原來(lái)基于特征項(xiàng)（關(guān)鍵詞）的向量空間。在保留向量空間模型直觀表示和便于計(jì)算的優(yōu)勢(shì)同時(shí)，LSI模型一方面可以消除同義詞和多義詞帶來(lái)的不利影響，提取出文本潛在語(yǔ)義信息并突顯出這一特點(diǎn)，更加準(zhǔn)確地描述文本；另一方面可以排除大量無(wú)用的、干擾分類的“維數(shù)噪聲”。有效地提高了文本分類的精確度。實(shí)驗(yàn)表明：基于LSI的分類算法比基于VSM的分類算法在準(zhǔn)確率
5、方面有所提高。其次，運(yùn)用高維數(shù)據(jù)索引結(jié)構(gòu)VAR‐Tree改進(jìn)傳統(tǒng)KNN算法效率低下這一局限性。傳統(tǒng)KNN算法忽視訓(xùn)練階段，放棄訓(xùn)練規(guī)則，只是簡(jiǎn)單地把訓(xùn)練樣本存儲(chǔ)起來(lái)；當(dāng)待分類文本進(jìn)行測(cè)試時(shí)，將其與所有的訓(xùn)練樣本一一計(jì)算相似度，進(jìn)行分類判別，時(shí)間復(fù)雜度太高，導(dǎo)致算法效率低下。針對(duì)訓(xùn)練樣本具有同類聚集、異類分散的大體分布特點(diǎn)，運(yùn)用VAR‐Tree對(duì)訓(xùn)練樣本進(jìn)行整理劃分排序，改進(jìn)的KNN算法在測(cè)試階段只需要在VAR‐Tree中搜索K個(gè)最近鄰，而不必與訓(xùn)練樣本一一計(jì)算。在減少文本查詢量的同時(shí)提高查詢速度，從而提高算法效率。實(shí)驗(yàn)結(jié)果
6、證明：在不降低原有分類準(zhǔn)確率的前提下，改進(jìn)算法在效率方面有明顯的提高。關(guān)鍵詞：文本分類，向量空間模型，隱含語(yǔ)義索引，VAR‐Tree，KNN算法IAbstractAlongwiththewidespreadoftheInternet,mobileInternet,cloudcomputingandotheremerginginformationtechnologydevelopedrapidly.Peopleexchangedinformationbymicro-blogging,socialnetworking,ando
7、therinformationmedia.Facilitatedthepeople’slearninglifeandwork,massivetrulyinformationexplosion.ItwasaveryimportantlypracticalandtheoreticalresearchtopictoObtainusefulinformationaccuratelyandefficientlyfromthemassiveinformation.Automatictextclassificationwasbasict
8、echnologyforprocessingandorganizingamountsoftextdatacameintobeing.Automatictextclassificationshortfortextclassification(TextCategorization)wasbasictechn
