信息過(guò)濾與郵件過(guò)濾

《信息過(guò)濾與郵件過(guò)濾》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、山東師范大學(xué)信息科學(xué)與工程學(xué)院2007-01網(wǎng)絡(luò)信息過(guò)濾綱要研究背景和現(xiàn)狀關(guān)鍵技術(shù)研究實(shí)現(xiàn)和結(jié)構(gòu)主要工作總結(jié)研究背景和現(xiàn)狀研究背景網(wǎng)絡(luò)跟人們的生活越來(lái)越緊密。然而網(wǎng)絡(luò)是雙面的，人們?cè)谙硎芫W(wǎng)絡(luò)所帶來(lái)的便利的同時(shí)，不可避免地接觸到大量的不良信息。過(guò)濾網(wǎng)絡(luò)信息，使網(wǎng)絡(luò)用戶尤其是青少年學(xué)生遠(yuǎn)離非友善信息的侵?jǐn)_，使得網(wǎng)絡(luò)環(huán)境更加純凈、美好。過(guò)濾掉用戶不感興趣的網(wǎng)頁(yè)信息和垃圾郵件，可以節(jié)省用戶的上網(wǎng)時(shí)間。研究背景和現(xiàn)狀研究現(xiàn)狀當(dāng)前信息過(guò)濾的研究以TREC會(huì)議為核心，主要是文本過(guò)濾。國(guó)內(nèi)有關(guān)信息過(guò)濾的研究以核心算法

2、為主，主要集中在特征抽取、學(xué)習(xí)算法和過(guò)濾算法上。出現(xiàn)了一些過(guò)濾軟件，但存在較多問(wèn)題，過(guò)濾效果不佳。關(guān)鍵技術(shù)研究現(xiàn)有網(wǎng)絡(luò)過(guò)濾技術(shù)及其存在問(wèn)題網(wǎng)絡(luò)過(guò)濾新技術(shù)研究關(guān)鍵技術(shù)研究現(xiàn)有網(wǎng)絡(luò)過(guò)濾技術(shù)及其存在問(wèn)題斷開(kāi)物理連接資源有限，更新速度慢，多半是過(guò)期的網(wǎng)頁(yè)地址庫(kù)(URL)過(guò)濾需要不斷更新地址庫(kù)基于關(guān)鍵字的頁(yè)面內(nèi)容過(guò)濾。易被偽裝技術(shù)突破過(guò)濾往往矯枉過(guò)正關(guān)鍵技術(shù)研究網(wǎng)絡(luò)過(guò)濾新技術(shù)研究－－針對(duì)內(nèi)容進(jìn)行過(guò)濾關(guān)鍵技術(shù)研究關(guān)鍵技術(shù)文本表示特征選擇分類算法模糊模式識(shí)別關(guān)鍵技術(shù)研究信息表示(文本表示)信息過(guò)濾的主要工作是比較用

3、戶請(qǐng)求信息和要過(guò)濾的非法信息的匹配程度，為此，需要能夠有效地表示信息空間，一般采用模型化的方法表示信息空間。目前常用的文本表示模型有：布爾邏輯模型向量空間模型概率推理模型潛在語(yǔ)義索引模型關(guān)鍵技術(shù)研究布爾邏輯模型一種相對(duì)簡(jiǎn)單的信息過(guò)濾模型。在過(guò)濾時(shí)，它以文檔中是否包含特征項(xiàng)來(lái)作為取舍的標(biāo)準(zhǔn)。特點(diǎn)是實(shí)現(xiàn)容易、操作方便結(jié)果非真即假，限制性過(guò)強(qiáng)關(guān)鍵技術(shù)研究向量空間模型以特征項(xiàng)作為文本表示的基本單位，特征項(xiàng)構(gòu)成特征項(xiàng)集，將文檔表示為向量。關(guān)鍵技術(shù)研究概率推理模型向量空間模型中，假設(shè)文檔向量空間的基是相互正交的，

4、沒(méi)有考慮檢索詞間的相互關(guān)系。概率推理模型包括了檢索詞間的依賴關(guān)系以及主要參數(shù)，如檢索詞權(quán)重計(jì)算，查詢與文檔相似性計(jì)算，由模型自身決定。關(guān)鍵技術(shù)研究潛在語(yǔ)義索引模型利用字項(xiàng)與文檔對(duì)象之間的內(nèi)在關(guān)系形成信息的語(yǔ)義結(jié)構(gòu)。這種語(yǔ)義結(jié)構(gòu)反映了數(shù)據(jù)間最主要的聯(lián)系模式，忽略了個(gè)體文檔對(duì)詞的不同的使用風(fēng)格。LSI向量中的值是通過(guò)SVD分解得到的縮減了的值，內(nèi)容相近文檔的向量也是相近的。關(guān)鍵技術(shù)研究特征選擇前面討論的文本表示模型，一直假定特征向量每一維的特征都是確定的。事實(shí)上，這些特征是從文本中選擇出來(lái)的，這些特征的選

5、擇是非常重要的，它強(qiáng)烈的影響到文本表示的準(zhǔn)確程度，影響到后面的過(guò)濾器的設(shè)計(jì)及其性能。主要包括分詞與選擇兩部分。關(guān)鍵技術(shù)研究分詞－－文本內(nèi)容與文本中出現(xiàn)的詞關(guān)系十分密切，漢語(yǔ)詞間沒(méi)有明顯的標(biāo)志，分詞的目的就是準(zhǔn)確的識(shí)別文本中的單詞?；谧值涞淖址ヅ浞椒ɑ诮y(tǒng)計(jì)的分詞基于句法與自然語(yǔ)言理解的方法關(guān)鍵技術(shù)研究選擇－－訓(xùn)練集中包含了大量的詞匯，如果把這些詞都作為特征，將帶來(lái)一系列問(wèn)題：首先是向量的維數(shù)太大，給計(jì)算帶來(lái)了非常大的壓力，存儲(chǔ)空間大、處理速度慢。其次是這些詞中實(shí)際上有很大一部分是與類別無(wú)關(guān)的，對(duì)

6、分類作用不大，甚至存在較大副作用。常用的特征選擇方法有：文檔頻率信息增益互信息關(guān)鍵技術(shù)研究分類算法－－其目的為找到特征空間與類別之間的映射關(guān)系。常見(jiàn)方法：Racchio方法K-元最近鄰居（KNN）方法Na?veBayesian方法支持向量機(jī)（SVM）方法關(guān)鍵技術(shù)研究Racchio方法－－根據(jù)算術(shù)平均為每類文本集生成一個(gè)代表該類的中心向量，然后在新文本來(lái)到時(shí)，確定新文本向量，計(jì)算該向量與每類中心向量間的距離（相似度），最后判定文本屬于與文本距離最近的類，關(guān)鍵技術(shù)研究K-元最近鄰居（KNN）方法－－給出一

7、個(gè)測(cè)試文檔，從訓(xùn)練文檔中找出與該文檔最近（用相似度度量）的k個(gè)文檔，用這k個(gè)鄰域文檔所屬的類別作為測(cè)試文檔的候選類別。關(guān)鍵技術(shù)研究Na?veBayesian方法－－是一種概率方法，它利用先驗(yàn)概率的聯(lián)合概率計(jì)算出后驗(yàn)概率，并且根據(jù)樣本集構(gòu)造分類標(biāo)準(zhǔn)，根據(jù)測(cè)試樣本的后驗(yàn)概率對(duì)測(cè)試樣本進(jìn)行分類。關(guān)鍵技術(shù)研究支持向量機(jī)（SVM）方法－－建立在一套較為完善的機(jī)器學(xué)習(xí)理論——統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上，并具有較好的泛化能力。關(guān)鍵技術(shù)研究模糊模式識(shí)別人類為了對(duì)事物進(jìn)行識(shí)別，要對(duì)事物按不同要求進(jìn)行分類，因此根據(jù)這種思想可以

8、把不同事物歸于不同的種類，用于這種分類的數(shù)學(xué)工具就是經(jīng)典集合論。經(jīng)典集合并不能描述所有的事物，特別是涉及到與人的認(rèn)識(shí)有關(guān)的概念和現(xiàn)象。由于模糊性更能有效的表示“有關(guān)的”、“類似”等概念，將模糊集合的概念應(yīng)用到信息過(guò)濾中。網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)系統(tǒng)結(jié)構(gòu)網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)內(nèi)容過(guò)濾模塊網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)樹(shù)狀分類器網(wǎng)頁(yè)過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)系統(tǒng)流程圖垃圾郵件過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)垃圾郵件過(guò)濾實(shí)現(xiàn)和結(jié)構(gòu)提升方法（boosting）總的思想是學(xué)習(xí)一系列決策行動(dòng)，在這個(gè)序列中每個(gè)決策對(duì)它