反竊密搜索檢查分析系統(tǒng)

《反竊密搜索檢查分析系統(tǒng)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、網(wǎng)絡(luò)反竊密搜索檢查分析系統(tǒng)設(shè)計(jì)背景隨著信息產(chǎn)業(yè)和互聯(lián)網(wǎng)建設(shè)的迅速發(fā)展，網(wǎng)絡(luò)已經(jīng)普及到經(jīng)濟(jì)、文化教育和社會生活等各個(gè)方面，在工作和生活上給人們帶來很大的便利。與此同時(shí)，由于相關(guān)的監(jiān)管手段沒有及時(shí)跟上，使境內(nèi)外一些不法分子利用網(wǎng)絡(luò)進(jìn)行大肆煽動(dòng)宣傳，滲透破壞，發(fā)布和竊取關(guān)鍵機(jī)密信息等活動(dòng)，影響社會穩(wěn)定，危及國家安全。網(wǎng)絡(luò)反竊密搜索檢查分析系統(tǒng)是一個(gè)網(wǎng)絡(luò)信息收集和處理系統(tǒng)，按預(yù)定的方式對網(wǎng)絡(luò)遍歷，對檢索結(jié)果進(jìn)行分類、分析，快速準(zhǔn)確的定位敏感信息位置。2系統(tǒng)總論網(wǎng)絡(luò)反竊密搜索檢查分析系統(tǒng)是一個(gè)主動(dòng)收集、分析和處理網(wǎng)絡(luò)信息的網(wǎng)絡(luò)信息收集系

2、統(tǒng)。總體上，系統(tǒng)包括兩大功能部件：檢索引擎和管理引擎。檢索引擎的功能是采用主動(dòng)的方式，以不同的手段，如精確搜索、網(wǎng)絡(luò)普查等，遍歷網(wǎng)絡(luò)，發(fā)現(xiàn)并保存敏感性信息頁面或位置。管理引擎提供對信息的管理和系統(tǒng)的管理，主要包括對信息的二次檢索與涉密標(biāo)記、數(shù)據(jù)備份與恢復(fù)、檢索方式與資源定義、身份管理和報(bào)表等功能。系統(tǒng)設(shè)計(jì)充分考慮到網(wǎng)絡(luò)數(shù)據(jù)海量的特點(diǎn)，支持分布式部署和網(wǎng)格計(jì)算，增加系統(tǒng)的適用性。3功能與特點(diǎn)強(qiáng)大的檢索功能，支持多種檢索方式支持多內(nèi)碼的網(wǎng)頁，自動(dòng)識別和轉(zhuǎn)換頁面內(nèi)碼支持信息的分類和跟蹤功能多線程、多服務(wù)器分布式并行檢查支持無人值守的

3、自動(dòng)日程模式支持對特別的服務(wù)器如網(wǎng)絡(luò)論壇等的專門檢查支持搜索規(guī)則：多個(gè)關(guān)鍵字的有機(jī)邏輯組合多搜索目標(biāo)和搜索規(guī)則模板支持搜索過程自動(dòng)記錄，斷網(wǎng)自動(dòng)恢復(fù)搜索結(jié)果自動(dòng)分類，二次快速定位檢索搜索過程自動(dòng)優(yōu)化，有效減輕系統(tǒng)負(fù)荷4檢索引擎檢索引擎是系統(tǒng)的眼睛和手，它主動(dòng)地從網(wǎng)絡(luò)上提取相關(guān)信息，發(fā)現(xiàn)并記錄敏感的信息或數(shù)據(jù)，提供系統(tǒng)進(jìn)一步處理的數(shù)據(jù)源。1.0系列版本的檢索引擎支持對HTTP協(xié)議網(wǎng)絡(luò)信息的檢索，主要包括精確搜索、網(wǎng)絡(luò)普查、專項(xiàng)搜索和主機(jī)探測等模塊。檢索引擎主機(jī)探測專項(xiàng)搜索網(wǎng)絡(luò)普查精確搜索系統(tǒng)按照需求，可以增加對其它協(xié)議的檢索支持

4、特定信息跟蹤5精確搜索精確搜索模塊是一個(gè)提供高精度的檢索功能模塊。精確搜索接受一個(gè)或若干個(gè)確定的網(wǎng)絡(luò)入口(如網(wǎng)站的首頁），按照給定的規(guī)則，從網(wǎng)絡(luò)入口開始，以深度優(yōu)先的方式對網(wǎng)絡(luò)信息節(jié)點(diǎn)進(jìn)行遍歷，發(fā)現(xiàn)和定位敏感信息頁面和位置。精確搜索搜索結(jié)果過濾引擎網(wǎng)絡(luò)入口網(wǎng)絡(luò)入口過濾規(guī)則6網(wǎng)絡(luò)普查網(wǎng)絡(luò)普查是一個(gè)快速的信息搜索引擎。由于網(wǎng)絡(luò)信息量非常巨大，在沒有確定目標(biāo)的情況之下，要尋找一個(gè)有確定特征信息的網(wǎng)絡(luò)節(jié)點(diǎn)并非容易的事。網(wǎng)絡(luò)普查模塊將調(diào)用商業(yè)的搜索引擎，從網(wǎng)絡(luò)上對符合確定特征的網(wǎng)絡(luò)進(jìn)行一次快速篩選。迅速縮小信息的檢索范圍。通常來說，由于

5、搜索引擎搜索結(jié)果的不確定性，網(wǎng)絡(luò)普查結(jié)果也是比較不準(zhǔn)確的，所以對于重點(diǎn)對象，還需要使用精確搜索來進(jìn)一步確認(rèn)。網(wǎng)絡(luò)普查搜索結(jié)果搜索引擎過濾規(guī)則7專項(xiàng)搜索專項(xiàng)搜索是對精確搜索的一個(gè)擴(kuò)充，專門針對網(wǎng)絡(luò)中的專門內(nèi)容(如論壇，博客等)優(yōu)化的一類搜索引擎，支持對特定的內(nèi)容進(jìn)行搜索，提高搜索的準(zhǔn)確率。專項(xiàng)搜索搜索結(jié)果過濾引擎網(wǎng)絡(luò)論壇，博客登錄引擎過濾規(guī)則8主機(jī)探測主機(jī)探測是一個(gè)要求IP范圍，搜索有特定網(wǎng)絡(luò)服務(wù)的主機(jī)的一個(gè)搜索模塊。1.0版搜索系統(tǒng)只支持對HTTP服務(wù)的主機(jī)進(jìn)行探測。主機(jī)探測模塊不需要指定檢索規(guī)則。主機(jī)探測探測結(jié)果IP過濾IP

6、范圍服務(wù)識別9特定信息跟蹤特定信息跟蹤的主要功能是根據(jù)用戶輸入的一篇文章內(nèi)容，在用戶設(shè)定的網(wǎng)站范圍內(nèi)搜索與其有一定相似性的文章，將所得到的結(jié)果存儲在數(shù)據(jù)庫中，并可以根據(jù)用戶的要求進(jìn)行更細(xì)致二次處理，從而滿足用戶跟蹤特定信息的要求。10可疑對象發(fā)現(xiàn)可疑對象發(fā)現(xiàn)是在特定的網(wǎng)站查找相關(guān)作者文章，進(jìn)而對該用戶的所有活動(dòng)進(jìn)行全面的了解，可以掌握作者的最近發(fā)帖動(dòng)向。11管理引擎管理引擎是系統(tǒng)的大腦，提供一個(gè)完備的信息管理系統(tǒng)，包括信息二次過濾，信息分類管理，搜索目標(biāo)與規(guī)則的管理，數(shù)據(jù)備份與數(shù)據(jù)恢復(fù)，用戶身份管理和系統(tǒng)報(bào)表等功能。管理引擎還

7、實(shí)現(xiàn)對數(shù)據(jù)庫的支持和分布式網(wǎng)格并行運(yùn)算的支持，提高系統(tǒng)檢索效率，增加系統(tǒng)的適用能力。12信息分類管理和二次檢索系統(tǒng)提供一個(gè)完備的分類機(jī)制，可以按照用戶或系統(tǒng)預(yù)定的分類定義，對檢索結(jié)果進(jìn)行有效分類，滿足不同場合，不同應(yīng)用的需要，提高檢索信息的利用效率。系統(tǒng)提供強(qiáng)大的二次檢索功能，可以利用不同的檢索條件，進(jìn)行二次快速檢索，方便快捷地尋找到用戶需要的信息和資源。13搜索目標(biāo)和搜索規(guī)則管理搜索目標(biāo)是檢索的范圍，如一個(gè)特定的網(wǎng)絡(luò)，一個(gè)確定的搜索引擎等。搜索規(guī)則是檢索的過濾條件，是由一個(gè)或多個(gè)關(guān)鍵字按規(guī)定的規(guī)則組成邏輯表達(dá)式。系統(tǒng)以模板方

8、式管理檢索搜索目標(biāo)和搜索規(guī)則。用戶可以為搜索目標(biāo)或規(guī)則指定不同的模板，靈活方便的增加、刪除和修改目標(biāo)或規(guī)則。用戶可以為不同的應(yīng)用場合和不同的時(shí)期指定不同的模板，使用檢索過程更加方便清晰。14分布式網(wǎng)格計(jì)算系統(tǒng)的分布式計(jì)算，體現(xiàn)在兩方面，一個(gè)是多任務(wù)并行檢索，一個(gè)是多服務(wù)器并行