網(wǎng)站全文檢索方案

《網(wǎng)站全文檢索方案》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、浙江天宇信息技術(shù)有限公司政務(wù)公眾網(wǎng)全文檢索系統(tǒng)技術(shù)方案浙江天宇信息技術(shù)有限公司第一部分對系統(tǒng)需求的理解1.1前言互聯(lián)網(wǎng)作為“第四媒體”已成為人們生活或工作中不可或缺的信息獲取的手段。各級政府機關(guān)紛紛構(gòu)建了內(nèi)容豐富的政府門戶網(wǎng)站與內(nèi)部辦公網(wǎng)，方便公眾網(wǎng)上辦事，提高了政府機關(guān)的辦事效率。但是，隨著網(wǎng)站內(nèi)容的不斷豐富，網(wǎng)頁數(shù)量也呈幾何式增長，由此也帶來了一個問題：政府門戶網(wǎng)站或網(wǎng)站群信息量巨大，缺乏一條有效的信息快速獲取的途徑，導(dǎo)致公眾在相關(guān)的政府門戶網(wǎng)站上不知道如何在短時間內(nèi)找到自己需要或最感興趣的內(nèi)容，查詢所需要的信息卻變得越來越困難，于是很快就失去耐心，離開這個網(wǎng)站。

2、借鑒門戶網(wǎng)站的經(jīng)驗，通過搜索引擎的方式，建立基于網(wǎng)站內(nèi)部頁面的導(dǎo)航系統(tǒng)——網(wǎng)站全文檢索系統(tǒng)，就成為解決以上問題的主要措施。然而，政務(wù)公眾網(wǎng)全文檢索系統(tǒng)還不同于一般的搜索引擎系統(tǒng)，它需要對網(wǎng)站上幾乎所有的內(nèi)容都需要采集下來，包括各種格式的頁面信息，采全率越高就越能體現(xiàn)導(dǎo)航系統(tǒng)的優(yōu)勢。目前常用的互聯(lián)網(wǎng)搜索引擎系統(tǒng)，考慮到應(yīng)用的需要，沒有對動態(tài)數(shù)據(jù)庫中的內(nèi)容進(jìn)行采集（是否具備此類功能是未知的）。而許多政府網(wǎng)站的頁面，很多是通過程序動態(tài)生成的，或者是存儲在后臺數(shù)據(jù)庫中的，格式多樣。浙江天宇的采集系統(tǒng)考慮到實際的應(yīng)用需要，除了具備搜索引擎系統(tǒng)具備的采集功能外，還實現(xiàn)了對動態(tài)數(shù)據(jù)

3、庫里的頁面及由程序動態(tài)生成的頁面進(jìn)行實時采集。本方案中采用浙江天宇信息技術(shù)有限公司開發(fā)的新一代智能化的互聯(lián)網(wǎng)天信息采集系統(tǒng)作為應(yīng)用核心，海量非結(jié)構(gòu)化全文數(shù)據(jù)庫系統(tǒng)作為后臺WEB頁面的管理平臺，提供一站式的全文檢索服務(wù)。這將有效地解決上述問題。浙江天宇信息技術(shù)有限公司1.2需求分析1.2.1應(yīng)用目標(biāo)通過建立政務(wù)公眾網(wǎng)全文檢索系統(tǒng)，實現(xiàn)對以XX市政務(wù)網(wǎng)為核心，涉及到所有XX各級政府部門的門戶網(wǎng)站W(wǎng)EB頁面內(nèi)容的批量采集，建立搜索引擎庫，在XX政務(wù)網(wǎng)門戶網(wǎng)站上建立政務(wù)網(wǎng)站導(dǎo)航功能的政務(wù)公眾網(wǎng)全文檢索系統(tǒng)，公眾只需要登錄到XX政務(wù)網(wǎng)，通過檢索系統(tǒng)，便可以查詢到所有XX各級政府

4、部門的門戶網(wǎng)站上所需要的政務(wù)信息，提高公眾的查詢與使用政務(wù)信息的效率，從而真正體現(xiàn)XX市政府部門便民服務(wù)的核心與宗旨。1.2.2功能需求根據(jù)應(yīng)用目標(biāo)和招標(biāo)書建設(shè)內(nèi)容的要求，在認(rèn)真閱讀分析招標(biāo)書和了解XX市政務(wù)網(wǎng)應(yīng)用現(xiàn)狀基礎(chǔ)上，我們理解，XX市政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的建設(shè)的核心可以分解為三個子系統(tǒng)的建設(shè)：采集子系統(tǒng)、管理子系統(tǒng)、檢索子系統(tǒng)。采集子系統(tǒng)：實現(xiàn)對各級政務(wù)網(wǎng)站W(wǎng)EB頁面的批量采集的系統(tǒng)工具，支持對各類格式信息的采集。管理子系統(tǒng)：實現(xiàn)對采集的內(nèi)容的管理、采集管理、各類詞典與詞表的管理、用戶管理、日志管理、檢索管理等應(yīng)用功能。檢索子系統(tǒng)：實現(xiàn)對采集的WEB頁面的智

5、能化全文檢索，支持各類檢索方式。另外，系統(tǒng)應(yīng)具備良好的穩(wěn)定性與安全性，保證系統(tǒng)與采集的數(shù)據(jù)內(nèi)容的安全。浙江天宇信息技術(shù)有限公司1.3方案綜述1.3.1內(nèi)容安排與概要首先，對政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的需求進(jìn)行了分析，明確了建設(shè)目標(biāo)和內(nèi)容；然后進(jìn)行了總體技術(shù)方案的功能設(shè)計，從應(yīng)用軟件的選擇、系統(tǒng)功能模塊等方面進(jìn)行了設(shè)計；在系統(tǒng)功能模塊的設(shè)計和實現(xiàn)方面，對采集子系統(tǒng)、管理子系統(tǒng)與檢索子系統(tǒng)等關(guān)鍵點進(jìn)行了詳細(xì)的功能描述及技術(shù)特點描述。再次，就應(yīng)用系統(tǒng)的安全方面進(jìn)行了詳細(xì)的描述及功能設(shè)計。最后，就招標(biāo)書中應(yīng)用系統(tǒng)功能需求條款進(jìn)行逐個應(yīng)答。1.3.2方案特點l采用了業(yè)界主流和開放的

6、技術(shù)標(biāo)準(zhǔn)和設(shè)計模式，提供開放的、平臺級的應(yīng)用編程接口和管理工具，可根據(jù)業(yè)務(wù)需要進(jìn)行擴展；l系統(tǒng)采用國內(nèi)領(lǐng)先的智能化互聯(lián)網(wǎng)采集系統(tǒng)與非結(jié)構(gòu)化海量全文數(shù)據(jù)庫系統(tǒng)作為政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的采集、管理與檢索平臺，保證了系統(tǒng)具備了先進(jìn)性與良好的開放性。l智能化采集系統(tǒng)具備強大的采集功能，能夠采集幾乎所有類型的數(shù)據(jù)內(nèi)容，支持ROBOTS協(xié)議。l采用統(tǒng)一身份認(rèn)證、權(quán)限控制、用戶操作審計等安全措施，使得整個系統(tǒng)具有較強的安全性。浙江天宇信息技術(shù)有限公司第二部分技術(shù)方案2.1方案設(shè)計2.1.1軟件平臺選擇浙江天宇信息技術(shù)有限公司憑借在信息服務(wù)、網(wǎng)站建設(shè)等建設(shè)領(lǐng)域多年的項目實施經(jīng)驗及1

7、000多家成功應(yīng)用案例，針對XX市政府政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的實際需求及未來的發(fā)展需要，提供一整套解決方案與成熟的具有自主知識產(chǎn)權(quán)的系列軟件產(chǎn)品——政務(wù)公眾網(wǎng)全文檢索系統(tǒng)。從應(yīng)用實現(xiàn)的角度，政務(wù)公眾網(wǎng)全文檢索系統(tǒng)選擇基于：瀏覽器與客戶端相結(jié)合來實現(xiàn)目標(biāo)系統(tǒng)的應(yīng)用功能?；谟脩舴降挠布h(huán)境及操作系統(tǒng)環(huán)境，我們的方案選擇相應(yīng)數(shù)據(jù)庫平臺及應(yīng)用系統(tǒng)軟件來具體實現(xiàn)政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的建設(shè)目標(biāo)。XX市政務(wù)公眾網(wǎng)全文檢索系統(tǒng)應(yīng)用軟件平臺網(wǎng)站搜索引擎系統(tǒng)全文檢索系統(tǒng)CGRS5.1智能互聯(lián)網(wǎng)信息采集系統(tǒng)CGRS搜索引擎庫……CGRS全文數(shù)據(jù)庫數(shù)據(jù)庫平臺UNIX/L