資源描述:
《數(shù)據(jù)挖掘教程-3、數(shù)據(jù)預處理》由會員上傳分享,免費在線閱讀,更多相關內容在教育資源-天天文庫。
1、7-8王燦數(shù)據(jù)挖掘sjwj@dlc.zju.edu.cn0703004數(shù)據(jù)預處理為什么要預處理數(shù)據(jù)?現(xiàn)實世界的數(shù)據(jù)是“骯臟的”——數(shù)據(jù)多了,什么問題都會出現(xiàn)不完整的:有些感興趣的屬性缺少屬性值,或僅包含聚集數(shù)據(jù)含噪聲的:包含錯誤或者“孤立點”不一致的:在編碼或者命名上存在差異沒有高質量的數(shù)據(jù),就沒有高質量的挖掘結果高質量的決策必須依賴高質量的數(shù)據(jù)數(shù)據(jù)倉庫需要對高質量的數(shù)據(jù)進行一致地集成數(shù)據(jù)質量的多維度量一個廣為認可的多維度量觀點:精確度完整度一致性合乎時機可信度附加價值可訪問性跟數(shù)據(jù)本身的含義相關的內在的、上下文的、表象的數(shù)
2、據(jù)預處理的主要任務數(shù)據(jù)清理填寫空缺的值,平滑噪聲數(shù)據(jù),識別、刪除孤立點,解決不一致性數(shù)據(jù)集成集成多個數(shù)據(jù)庫、數(shù)據(jù)立方體或文件數(shù)據(jù)變換規(guī)范化和聚集數(shù)據(jù)歸約得到數(shù)據(jù)集的壓縮表示,它小得多,但可以得到相同或相近的結果數(shù)據(jù)離散化數(shù)據(jù)歸約的一部分,通過概念分層和數(shù)據(jù)的離散化來規(guī)約數(shù)據(jù),對數(shù)字型數(shù)據(jù)特別重要空缺值數(shù)據(jù)并不總是完整的例如:數(shù)據(jù)庫表中,很多條記錄的對應字段沒有相應值,比如銷售表中的顧客收入引起空缺值的原因設備異常與其他已有數(shù)據(jù)不一致而被刪除因為誤解而沒有被輸入的數(shù)據(jù)在輸入時,有些數(shù)據(jù)應為得不到重視而沒有被輸入對數(shù)據(jù)的改變沒有
3、進行日志記載空缺值要經(jīng)過推斷而補上如何處理空缺值忽略元組:當類標號缺少時通常這么做(假定挖掘任務涉及分類或描述),當每個屬性缺少值的百分比變化很大時,它的效果非常差。人工填寫空缺值:工作量大,可行性低使用一個全局變量填充空缺值:比如使用unknown或-∞使用屬性的平均值填充空缺值使用與給定元組屬同一類的所有樣本的平均值使用最可能的值填充空缺值:使用像Bayesian公式或判定樹這樣的基于推斷的方法噪聲數(shù)據(jù)噪聲:一個測量變量中的隨機錯誤或偏差引起噪聲數(shù)據(jù)的原因數(shù)據(jù)收集工具的問題數(shù)據(jù)輸入錯誤數(shù)據(jù)傳輸錯誤技術限制命名規(guī)則的不一致
4、如何處理噪聲數(shù)據(jù)分箱(binning):首先排序數(shù)據(jù),并將他們分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的邊界平滑等等聚類:監(jiān)測并且去除孤立點計算機和人工檢查結合計算機檢測可疑數(shù)據(jù),然后對它們進行人工判斷回歸通過讓數(shù)據(jù)適應回歸函數(shù)來平滑數(shù)據(jù)數(shù)據(jù)平滑的分箱方法price的排序后數(shù)據(jù)(單位:美元):4,8,15,21,21,24,25,28,34劃分為(等深的)箱:箱1:4,8,15箱2:21,21,24箱3:25,28,34用箱平均值平滑:箱1:9,9,9箱2:22,22,22箱3:29,29,29用箱邊界平滑
5、:箱1:4,4,15箱2:21,21,24箱3:25,25,34聚類通過聚類分析查找孤立點,消除噪聲回歸xyy=x+1X1Y1Y1’數(shù)據(jù)集成數(shù)據(jù)集成:將多個數(shù)據(jù)源中的數(shù)據(jù)整合到一個一致的存儲中模式集成:整合不同數(shù)據(jù)源中的元數(shù)據(jù)實體識別問題:匹配來自不同數(shù)據(jù)源的現(xiàn)實世界的實體,比如:A.cust-id=B.customer_no檢測并解決數(shù)據(jù)值的沖突對現(xiàn)實世界中的同一實體,來自不同數(shù)據(jù)源的屬性值可能是不同的可能的原因:不同的數(shù)據(jù)表示,不同的度量等等處理數(shù)據(jù)集成中的冗余數(shù)據(jù)集成多個數(shù)據(jù)庫時,經(jīng)常會出現(xiàn)冗余數(shù)據(jù)同一屬性在不同的數(shù)據(jù)
6、庫中會有不同的字段名一個屬性可以由另外一個表導出,如“年薪”有些冗余可以被相關分析檢測到仔細將多個數(shù)據(jù)源中的數(shù)據(jù)集成起來,能夠減少或避免結果數(shù)據(jù)中的冗余與不一致性,從而可以提高挖掘的速度和質量。數(shù)據(jù)變換平滑:去除數(shù)據(jù)中的噪聲(分箱、聚類、回歸)聚集:匯總,數(shù)據(jù)立方體的構建數(shù)據(jù)概化:沿概念分層向上概化規(guī)范化:將數(shù)據(jù)按比例縮放,使之落入一個小的特定區(qū)間最?。畲笠?guī)范化z-score規(guī)范化小數(shù)定標規(guī)范化屬性構造通過現(xiàn)有屬性構造新的屬性,并添加到屬性集中;以增加對高維數(shù)據(jù)的結構的理解和精確度數(shù)據(jù)變換——規(guī)范化最?。畲笠?guī)范化z-sc
7、ore規(guī)范化小數(shù)定標規(guī)范化其中,j是使Max(
8、
9、)<1的最小整數(shù)數(shù)據(jù)歸約策略數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù),在其上進行復雜的數(shù)據(jù)分析與挖掘需要很長的時間數(shù)據(jù)歸約數(shù)據(jù)歸約可以用來得到數(shù)據(jù)集的歸約表示,它小得多,但可以產(chǎn)生相同的(或幾乎相同的)分析結果數(shù)據(jù)歸約策略數(shù)據(jù)立方體聚集維歸約數(shù)據(jù)壓縮數(shù)值歸約離散化和概念分層產(chǎn)生用于數(shù)據(jù)歸約的時間不應當超過或“抵消”在歸約后的數(shù)據(jù)上挖掘節(jié)省的時間。數(shù)據(jù)立方體聚集最底層的方體對應于基本方體基本方體對應于感興趣的實體在數(shù)據(jù)立方體中存在著不同級別的匯總數(shù)據(jù)立方體可以看成方體的格每個較高層次的抽象將
10、進一步減少結果數(shù)據(jù)數(shù)據(jù)立方體提供了對預計算的匯總數(shù)據(jù)的快速訪問使用與給定任務相關的最小方體在可能的情況下,對于匯總數(shù)據(jù)的查詢應當使用數(shù)據(jù)立方體維歸約通過刪除不相干的屬性或維減少數(shù)據(jù)量屬性子集選擇找出最小屬性集,使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的