資源描述：
《基于查詢接口特征深度網(wǎng)絡(luò)資源聚類的分析》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、大連理工大學(xué)碩士學(xué)位論文摘要互聯(lián)網(wǎng)的快速發(fā)展，給人們帶來了海量的信息，并且這些信息仍然在快速增長。整個互聯(lián)網(wǎng)可以劃分為表層網(wǎng)絡(luò)和深度網(wǎng)絡(luò)兩部分，其中表層網(wǎng)絡(luò)是指通過超鏈接可以被傳統(tǒng)搜索引擎索引到的頁面的集合，而深度網(wǎng)絡(luò)指的是互聯(lián)網(wǎng)上的網(wǎng)絡(luò)數(shù)據(jù)庫，其資源只能通過網(wǎng)絡(luò)數(shù)據(jù)庫提供的查詢接口才能訪問。與表層網(wǎng)絡(luò)相比，深度網(wǎng)絡(luò)包含的數(shù)據(jù)質(zhì)量更高、更專業(yè)。然而，由于深度網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性和動態(tài)性，必須對其進(jìn)行數(shù)據(jù)集成后才能有效地加以利用，而有效地把這些信息按照領(lǐng)域分類則是對其進(jìn)行數(shù)據(jù)集成的先決條件。查詢接口是進(jìn)入深度網(wǎng)絡(luò)的唯一途徑，它首先是一個
2、表單，但并非所有的表單都是查詢接口，對此，本文實現(xiàn)表單分類器將查詢接口從表單中分離。同時，通過對查詢接口的實驗，發(fā)現(xiàn)查詢接口所具有的特征可以代表深度數(shù)據(jù)資源的領(lǐng)域及查詢能力，從而利用查詢接口特征來聚類深度網(wǎng)絡(luò)資源。查詢接口與普通文本聚類一個區(qū)別在于查詢接口的特征矩陣稀疏，因此利用傳統(tǒng)的基于距離相似度的凝聚層次聚類算法聚類效果不是很理想，針對該問題，本文利用非參數(shù)假設(shè)檢驗的方法來求類簇間的相似，并改進(jìn)相似度目標(biāo)函數(shù)，將其運用到傳統(tǒng)的凝聚層次聚類算法中，實現(xiàn)對查詢接口的聚類，從而也就實現(xiàn)了對查詢接口所代表的深度網(wǎng)絡(luò)資源的聚類。運用假設(shè)
3、檢驗進(jìn)行聚類時，因為統(tǒng)計中對事件的觀察值有要求，而初始類簇不經(jīng)處理可能不滿足假設(shè)檢驗的要求，針對該問題，本文使用對查詢接VI進(jìn)行預(yù)處理的思想即首先對所有查詢接1：3進(jìn)行接1：3類型過濾，然后根據(jù)屬性間的包含程度將數(shù)據(jù)分組，再根據(jù)屬性的發(fā)生次數(shù)對組進(jìn)行過濾，最后只對那些觀察值滿足假設(shè)檢驗的組進(jìn)行聚類。而那些沒有通過接口檢查以及不滿足觀察值的查詢接口稱為孤立接口。對孤立接口，本文采取了再分類的方式處理它們，利用概率的方法將它們分類到其最可能來自的類簇中。通過這種先聚類再分類的方式，最終完成對接口的聚類。實驗證明，利用該思想聚類取得較好
4、的聚類結(jié)果。關(guān)鍵詞：深度網(wǎng)絡(luò)；聚類分析；非參數(shù)假設(shè)檢驗；凝聚層次聚類大連理工大學(xué)碩士學(xué)位論文ClusteringAnalysisofDeepWebResourcesBasedontheQueryInterfaceFeaturesAbstractTherapiddevelopmentoftheIntemetbringsUSagreatdealofinformation，andthatinformationisstillinrapidgrowth．TheentireInteractCanbedividedintotwoparts；Su
5、rfaceWebandDeepWeb．TheSurfaceWebcallbefoundbytraditionalsearchenginethroughURL．DeepWebreferstotheonsitedatabaseandtheresourcescanonlybegotthroughthequeryinterface．ComparingtotheSurfaceWeb．theDeepWebcontainsmoreprofessionalandhigherqualityresoureces．However，thedataofDe
6、epwebareheterogeneousanddynamic，beforetheeffectivense,thedatamustbeintegrated,whiletheclassificationinaccordancewithmeirdomainsisaprerequisitefordataintegration．QueryinterfaceistheonlywaytoaccesstheDeepweb，thequeryisaform，butnotalltheformsarequeryinterface,SOthispaper
7、performsaformclassifiertofilterthenon—queryinterfaceforms．Throughexperimentsofqueryinterface，thispaperfindthatthecharacteristicsofqueryinterfaceCanrepresentdomainsofDeepWcbdataresourcesandquerycapacity,thusthisPaperclustersDeepWebresourcesonthebasisoffeaturesofqueryin
8、terface．Adifferencebetweenqueryinterfaceandordinarytextclusteringisthatthefeaturematrixofqueryinterfaceissparse．thereforethe
