網(wǎng)站全文檢索方案

《網(wǎng)站全文檢索方案》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、浙江天宇信息技術(shù)有限公司政務(wù)公眾網(wǎng)全文檢索系統(tǒng)技術(shù)方案浙江天宇信息技術(shù)有限公司第一部分對(duì)系統(tǒng)需求的理解1.1前言互聯(lián)網(wǎng)作為“第四媒體”已成為人們生活或工作中不可或缺的信息獲取的手段。各級(jí)政府機(jī)關(guān)紛紛構(gòu)建了內(nèi)容豐富的政府門(mén)戶(hù)網(wǎng)站與內(nèi)部辦公網(wǎng)，方便公眾網(wǎng)上辦事，提高了政府機(jī)關(guān)的辦事效率。但是，隨著網(wǎng)站內(nèi)容的不斷豐富，網(wǎng)頁(yè)數(shù)量也呈幾何式增長(zhǎng)，由此也帶來(lái)了一個(gè)問(wèn)題：政府門(mén)戶(hù)網(wǎng)站或網(wǎng)站群信息量巨大，缺乏一條有效的信息快速獲取的途徑，導(dǎo)致公眾在相關(guān)的政府門(mén)戶(hù)網(wǎng)站上不知道如何在短時(shí)間內(nèi)找到自己需要或最感興趣的內(nèi)容，查詢(xún)所需要的信息卻變

2、得越來(lái)越困難，于是很快就失去耐心，離開(kāi)這個(gè)網(wǎng)站。借鑒門(mén)戶(hù)網(wǎng)站的經(jīng)驗(yàn)，通過(guò)搜索引擎的方式，建立基于網(wǎng)站內(nèi)部頁(yè)面的導(dǎo)航系統(tǒng)——網(wǎng)站全文檢索系統(tǒng)，就成為解決以上問(wèn)題的主要措施。然而，政務(wù)公眾網(wǎng)全文檢索系統(tǒng)還不同于一般的搜索引擎系統(tǒng)，它需要對(duì)網(wǎng)站上幾乎所有的內(nèi)容都需要采集下來(lái)，包括各種格式的頁(yè)面信息，采全率越高就越能體現(xiàn)導(dǎo)航系統(tǒng)的優(yōu)勢(shì)。目前常用的互聯(lián)網(wǎng)搜索引擎系統(tǒng)，考慮到應(yīng)用的需要，沒(méi)有對(duì)動(dòng)態(tài)數(shù)據(jù)庫(kù)中的內(nèi)容進(jìn)行采集（是否具備此類(lèi)功能是未知的）。而許多政府網(wǎng)站的頁(yè)面，很多是通過(guò)程序動(dòng)態(tài)生成的，或者是存儲(chǔ)在后臺(tái)數(shù)據(jù)庫(kù)中的，格式多樣。

3、浙江天宇的采集系統(tǒng)考慮到實(shí)際的應(yīng)用需要，除了具備搜索引擎系統(tǒng)具備的采集功能外，還實(shí)現(xiàn)了對(duì)動(dòng)態(tài)數(shù)據(jù)庫(kù)里的頁(yè)面及由程序動(dòng)態(tài)生成的頁(yè)面進(jìn)行實(shí)時(shí)采集。本方案中采用浙江天宇信息技術(shù)有限公司開(kāi)發(fā)的新一代智能化的互聯(lián)網(wǎng)天信息采集系統(tǒng)作為應(yīng)用核心，海量非結(jié)構(gòu)化全文數(shù)據(jù)庫(kù)系統(tǒng)作為后臺(tái)WEB頁(yè)面的管理平臺(tái)，提供一站式的全文檢索服務(wù)。這將有效地解決上述問(wèn)題。浙江天宇信息技術(shù)有限公司1.2需求分析1.2.1應(yīng)用目標(biāo)通過(guò)建立政務(wù)公眾網(wǎng)全文檢索系統(tǒng)，實(shí)現(xiàn)對(duì)以XX市政務(wù)網(wǎng)為核心，涉及到所有XX各級(jí)政府部門(mén)的門(mén)戶(hù)網(wǎng)站W(wǎng)EB頁(yè)面內(nèi)容的批量采集，建立搜索引

4、擎庫(kù)，在XX政務(wù)網(wǎng)門(mén)戶(hù)網(wǎng)站上建立政務(wù)網(wǎng)站導(dǎo)航功能的政務(wù)公眾網(wǎng)全文檢索系統(tǒng)，公眾只需要登錄到XX政務(wù)網(wǎng)，通過(guò)檢索系統(tǒng)，便可以查詢(xún)到所有XX各級(jí)政府部門(mén)的門(mén)戶(hù)網(wǎng)站上所需要的政務(wù)信息，提高公眾的查詢(xún)與使用政務(wù)信息的效率，從而真正體現(xiàn)XX市政府部門(mén)便民服務(wù)的核心與宗旨。1.2.2功能需求根據(jù)應(yīng)用目標(biāo)和招標(biāo)書(shū)建設(shè)內(nèi)容的要求，在認(rèn)真閱讀分析招標(biāo)書(shū)和了解XX市政務(wù)網(wǎng)應(yīng)用現(xiàn)狀基礎(chǔ)上，我們理解，XX市政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的建設(shè)的核心可以分解為三個(gè)子系統(tǒng)的建設(shè)：采集子系統(tǒng)、管理子系統(tǒng)、檢索子系統(tǒng)。采集子系統(tǒng)：實(shí)現(xiàn)對(duì)各級(jí)政務(wù)網(wǎng)站W(wǎng)EB頁(yè)面的

5、批量采集的系統(tǒng)工具，支持對(duì)各類(lèi)格式信息的采集。管理子系統(tǒng)：實(shí)現(xiàn)對(duì)采集的內(nèi)容的管理、采集管理、各類(lèi)詞典與詞表的管理、用戶(hù)管理、日志管理、檢索管理等應(yīng)用功能。檢索子系統(tǒng)：實(shí)現(xiàn)對(duì)采集的WEB頁(yè)面的智能化全文檢索，支持各類(lèi)檢索方式。另外，系統(tǒng)應(yīng)具備良好的穩(wěn)定性與安全性，保證系統(tǒng)與采集的數(shù)據(jù)內(nèi)容的安全。浙江天宇信息技術(shù)有限公司1.3方案綜述1.3.1內(nèi)容安排與概要首先，對(duì)政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的需求進(jìn)行了分析，明確了建設(shè)目標(biāo)和內(nèi)容；然后進(jìn)行了總體技術(shù)方案的功能設(shè)計(jì)，從應(yīng)用軟件的選擇、系統(tǒng)功能模塊等方面進(jìn)行了設(shè)計(jì)；在系統(tǒng)功能模塊的設(shè)

6、計(jì)和實(shí)現(xiàn)方面，對(duì)采集子系統(tǒng)、管理子系統(tǒng)與檢索子系統(tǒng)等關(guān)鍵點(diǎn)進(jìn)行了詳細(xì)的功能描述及技術(shù)特點(diǎn)描述。再次，就應(yīng)用系統(tǒng)的安全方面進(jìn)行了詳細(xì)的描述及功能設(shè)計(jì)。最后，就招標(biāo)書(shū)中應(yīng)用系統(tǒng)功能需求條款進(jìn)行逐個(gè)應(yīng)答。1.3.2方案特點(diǎn)l采用了業(yè)界主流和開(kāi)放的技術(shù)標(biāo)準(zhǔn)和設(shè)計(jì)模式，提供開(kāi)放的、平臺(tái)級(jí)的應(yīng)用編程接口和管理工具，可根據(jù)業(yè)務(wù)需要進(jìn)行擴(kuò)展；l系統(tǒng)采用國(guó)內(nèi)領(lǐng)先的智能化互聯(lián)網(wǎng)采集系統(tǒng)與非結(jié)構(gòu)化海量全文數(shù)據(jù)庫(kù)系統(tǒng)作為政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的采集、管理與檢索平臺(tái)，保證了系統(tǒng)具備了先進(jìn)性與良好的開(kāi)放性。l智能化采集系統(tǒng)具備強(qiáng)大的采集功能，能夠采

7、集幾乎所有類(lèi)型的數(shù)據(jù)內(nèi)容，支持ROBOTS協(xié)議。l采用統(tǒng)一身份認(rèn)證、權(quán)限控制、用戶(hù)操作審計(jì)等安全措施，使得整個(gè)系統(tǒng)具有較強(qiáng)的安全性。浙江天宇信息技術(shù)有限公司第二部分技術(shù)方案2.1方案設(shè)計(jì)2.1.1軟件平臺(tái)選擇浙江天宇信息技術(shù)有限公司憑借在信息服務(wù)、網(wǎng)站建設(shè)等建設(shè)領(lǐng)域多年的項(xiàng)目實(shí)施經(jīng)驗(yàn)及1000多家成功應(yīng)用案例，針對(duì)XX市政府政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的實(shí)際需求及未來(lái)的發(fā)展需要，提供一整套解決方案與成熟的具有自主知識(shí)產(chǎn)權(quán)的系列軟件產(chǎn)品——政務(wù)公眾網(wǎng)全文檢索系統(tǒng)。從應(yīng)用實(shí)現(xiàn)的角度，政務(wù)公眾網(wǎng)全文檢索系統(tǒng)選擇基于：瀏覽器與客戶(hù)端相

8、結(jié)合來(lái)實(shí)現(xiàn)目標(biāo)系統(tǒng)的應(yīng)用功能?；谟脩?hù)方的硬件環(huán)境及操作系統(tǒng)環(huán)境，我們的方案選擇相應(yīng)數(shù)據(jù)庫(kù)平臺(tái)及應(yīng)用系統(tǒng)軟件來(lái)具體實(shí)現(xiàn)政務(wù)公眾網(wǎng)全文檢索系統(tǒng)的建設(shè)目標(biāo)。XX市政務(wù)公眾網(wǎng)全文檢索系統(tǒng)應(yīng)用軟件平臺(tái)網(wǎng)站搜索引擎系統(tǒng)全文檢索系統(tǒng)CGRS5.1智能互聯(lián)網(wǎng)信息采集系統(tǒng)CGRS搜索引擎庫(kù)……CGRS全文數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)平臺(tái)UNIX/L