資源描述:
《基于粗糙集和遺傳算法的大數(shù)據(jù)集數(shù)據(jù)挖掘應(yīng)用研究》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、太原理工大學(xué)碩士學(xué)位論文基于粗糙集和遺傳算法的大數(shù)據(jù)集數(shù)據(jù)挖掘應(yīng)用研究姓名:張亦軍申請學(xué)位級別:碩士專業(yè):計算機軟件與理論指導(dǎo)教師:胡彧20061201太原理工大學(xué)碩士研究生學(xué)位論文基于粗糙集和遺傳算法的大數(shù)據(jù)集數(shù)據(jù)挖掘應(yīng)用研究摘要數(shù)據(jù)挖掘(DataMining,DM)是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中大量的不完全的有噪聲的模糊的隨機的數(shù)據(jù)中提取隱含在其中的人們事先未知、但是潛在有用的信息和知識的過程。粗糙集理論由Z.Pawlak提出,經(jīng)歷了20年的發(fā)展。該理論作為一種全新的數(shù)學(xué)概念,已經(jīng)在理論和應(yīng)用上取得了豐碩的成果。它不依賴于數(shù)據(jù)集之外的附加信息,是處理含
2、有噪聲、不精確、不完整數(shù)據(jù)的有力工具,在醫(yī)療診斷、模式識別、專家系統(tǒng)、機器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域獲得廣泛應(yīng)用,是進行數(shù)據(jù)挖掘的有力工具。遺傳算法是Holland于1975年首先提出來的一種基于自然群體遺傳演化機制的高效探索算法。它摒棄了傳統(tǒng)的搜索方式,模擬自然界生物進化過程,采用人工進化的方式對目標空間進行隨機化搜索。它將問題域中的可能解看作是群體的一個個體或染色體,并將每一個體編碼成符號串形式,模擬達爾文的遺傳選擇和自然淘汰的生物進化過程,對群體反復(fù)進行基于遺傳學(xué)的操作(選擇,交叉和變異),根據(jù)預(yù)定的目標適應(yīng)度函數(shù)對每個個體進行評價,依據(jù)適者生存,優(yōu)勝劣汰的進化規(guī)則
3、,不斷得到更優(yōu)的群體。本文應(yīng)用粗糙集理論對知識分類的特點,結(jié)合遺傳算法進化理論,對大型決策表中最優(yōu)規(guī)則提取做了深入研究,提出了一個新的數(shù)據(jù)挖掘模-太原理工大學(xué)碩士研究生學(xué)位論文型。在應(yīng)用該模型的系統(tǒng)中包含有數(shù)據(jù)預(yù)處理,數(shù)據(jù)離散化,知識約簡,規(guī)則提取一數(shù)據(jù)挖掘的一些基本過程。針對大數(shù)據(jù)表字段過多,信息冗余大的特點,本文采用粗糙集的理論方法進行處理,在數(shù)據(jù)預(yù)處理和數(shù)據(jù)離散化的基礎(chǔ)上,對條件屬性進行約簡。屬性約簡是挖掘的核心步驟,這里運用粗化算法通過判斷表的相容性進行約簡;對于數(shù)據(jù)量大的決策表僅僅屬性約簡是不夠的,對大量的規(guī)則還要進行篩選提取。使用遺傳算法進行優(yōu)化篩選處理
4、,通過選擇,交叉,變異后從大量的規(guī)則中得到較優(yōu)的規(guī)則集。在系統(tǒng)的構(gòu)建上,采用VC++開發(fā)工具和SQLSERVER數(shù)據(jù)庫具體實現(xiàn)了一個基于粗糙集理論和遺傳算法為核心模塊算法的數(shù)據(jù)挖掘系統(tǒng)。最后,介紹了該模型在太原網(wǎng)通公司小靈通短信系統(tǒng)中的應(yīng)用,提取出用戶收發(fā)短信息成功與否的規(guī)則模式。通過驗證分析,結(jié)果表明該系統(tǒng)是合理、有效的,實驗結(jié)果有助于維護人員分析故障原因。其中群發(fā)短信查詢分析模塊已經(jīng)安裝在監(jiān)控設(shè)備上運行了一年,及時發(fā)現(xiàn)了多起設(shè)備故障,為企業(yè)挽回了大量的經(jīng)濟損失。事實證明對于提高短信系統(tǒng)運行效率,改善網(wǎng)絡(luò)運行質(zhì)量有著顯著作用。該方法模型的應(yīng)用同時也是對多方法融合進
5、行數(shù)據(jù)挖掘的有益探索。關(guān)鍵詞:數(shù)據(jù)挖掘;粗糙集;遺傳算法太原理工大學(xué)碩士研究生學(xué)位論文APPLICATIONANDItESEARCHOFLARGEDATABASEMININGBASEDONROUGHSETANDGENETICALGORITHMABSTRACTDataminingisaprocessthatpeopleextractunknownbutusefulinformationandknowledgefromdatawhicharevast,incomplete,blurry,stochasticstoredindatabases,warehouseesoro
6、therinformationrepositories.RoughSet(RS)theorywasputforwardbypawlakZdislawin1982.Afterabouttwentyyears’development,ithasreceivedfruitfulachievementsonboththeoryandapplication.RSdoesn’tdependonadditionalinformationbeyondthedataset,anditisapotenttoolfordealingwithvague,imprecise,incomple
7、teanduncertaindata,anditisalsoanewtechnologyindatamining.RStheoryismostlyusedinknowledgereductionandanalysisofknowledgedependency,andalsowidelyusedinmedicaldiagnosis,patternrecognition,expertsystem,machinestudyanddatamining.Geneticalgorithm(GA)adoptssearchingmethodbasedonrandomtheory