大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運(yùn)用.doc

《大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運(yùn)用.doc》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。

1、大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運(yùn)用摘要：從大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)出發(fā)，應(yīng)用大數(shù)據(jù)挖掘技術(shù)構(gòu)建了煤炭企業(yè)安全管理體系結(jié)構(gòu)。實(shí)現(xiàn)了數(shù)據(jù)的集中分析和深度挖掘，提升了信息利用的深度和廣度，是對(duì)大數(shù)據(jù)時(shí)代煤炭企業(yè)安全管理的有效探索。關(guān)鍵詞：大數(shù)據(jù)挖掘；安全管理；煤炭企業(yè)；信息煤炭企業(yè)安全管理在煤炭生產(chǎn)中占有重要地位。然而，煤礦安全事故涉及多參數(shù)、多目標(biāo)、海量復(fù)雜的信息，如何及時(shí)、準(zhǔn)確、有效地識(shí)別影響煤炭安全生產(chǎn)事故隱患、提升煤炭企業(yè)安全管理是當(dāng)前研究和關(guān)注的熱點(diǎn)之一。伴隨大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)挖掘逐漸滲透到各

2、個(gè)領(lǐng)域，各行業(yè)紛紛加快大數(shù)據(jù)的應(yīng)用規(guī)模，提升企業(yè)的競(jìng)爭(zhēng)力。在此背景下，煤炭企業(yè)安全管理也應(yīng)將關(guān)注點(diǎn)轉(zhuǎn)向大數(shù)據(jù)，提升信息利用的深度和廣度，對(duì)大數(shù)據(jù)時(shí)代煤炭企業(yè)安全管理進(jìn)行創(chuàng)新式探索。1大數(shù)據(jù)挖掘概述4學(xué)海無(wú)涯（1）大數(shù)據(jù)大數(shù)據(jù)是指數(shù)據(jù)量超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力、數(shù)據(jù)規(guī)模和傳輸速度要求很高的復(fù)雜數(shù)據(jù)的集合。大數(shù)據(jù)的特點(diǎn)可概括為4個(gè)V，即Volume（體量大）、Variety（多樣化）、Velocity（生成快）、Value（價(jià)值大）。大容量是指需要進(jìn)行分析處理的數(shù)據(jù)量非常浩大，使用傳統(tǒng)的數(shù)據(jù)處理工具往往不能在合理的時(shí)間內(nèi)

3、處理成預(yù)測(cè)趨勢(shì)和指導(dǎo)決策的信息；多樣化是指大數(shù)據(jù)包括來(lái)自不同領(lǐng)域、不同設(shè)備、不同平臺(tái)的各種類型數(shù)據(jù)；快速化是指對(duì)數(shù)據(jù)獲取、處理、分析和應(yīng)用快速；高價(jià)值則是指挖掘出的知識(shí)對(duì)預(yù)測(cè)趨勢(shì)有重要作用，是指導(dǎo)決策的重要依據(jù)。大數(shù)據(jù)的特點(diǎn)表明，大數(shù)據(jù)有助于發(fā)現(xiàn)新事物、預(yù)測(cè)事物發(fā)展趨勢(shì)，也決定了原有的數(shù)據(jù)處理方式已不能適應(yīng)大數(shù)據(jù)挖掘的要求，需要新的處理技術(shù)來(lái)有效地組織和使用大數(shù)據(jù)。（2）大數(shù)據(jù)挖掘技術(shù)大數(shù)據(jù)挖掘目標(biāo)是將大容量數(shù)據(jù)轉(zhuǎn)換為有用的知識(shí)和信息，其關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析及挖掘和數(shù)據(jù)的呈現(xiàn)與應(yīng)

4、用。大數(shù)據(jù)的采集、預(yù)處理與存儲(chǔ)技術(shù)大數(shù)據(jù)的采集技術(shù)既包括通過(guò)數(shù)據(jù)傳感設(shè)備、智能識(shí)別終端及資源接入系統(tǒng)等實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的識(shí)別、接入、傳輸、監(jiān)控、初步處理，又包括提供大數(shù)據(jù)的一些平臺(tái)，如數(shù)據(jù)庫(kù)、ERP系統(tǒng)等。預(yù)處理技術(shù)主要包括數(shù)據(jù)清理、集成及變換。數(shù)據(jù)清理可去掉噪聲數(shù)據(jù)及異常數(shù)據(jù)，糾正數(shù)據(jù)中的不一致，可以采用傳統(tǒng)數(shù)理統(tǒng)計(jì)方法實(shí)現(xiàn)。數(shù)據(jù)集成從來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)中提取出關(guān)系和實(shí)體，經(jīng)過(guò)分類、關(guān)聯(lián)或聚類后采用統(tǒng)一的結(jié)構(gòu)來(lái)合并成一致的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)變換可以將不同度量下的數(shù)據(jù)歸一化，使得數(shù)據(jù)的應(yīng)用有意義。大數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)是分布

5、式文件存儲(chǔ)系統(tǒng)。該系統(tǒng)由若干個(gè)分布集群組成，1個(gè)分布式集群一般由1個(gè)主服務(wù)器和大量的塊服務(wù)器構(gòu)成，許多用戶可以同時(shí)訪問(wèn)。大數(shù)據(jù)的分析技術(shù)目前大數(shù)據(jù)的分析方法主要有并行計(jì)算、實(shí)時(shí)計(jì)算或流式計(jì)算。并行計(jì)算是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問(wèn)題進(jìn)行分解，由若干個(gè)獨(dú)立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。已涌現(xiàn)出大量挖掘算法能運(yùn)行于并行架構(gòu)上，如非平凡策略、基于核函數(shù)的挖掘算法、傳統(tǒng)的數(shù)理統(tǒng)計(jì)方法和并行結(jié)構(gòu)相結(jié)合算法等。實(shí)時(shí)計(jì)算處理通過(guò)建立新的概要數(shù)據(jù)結(jié)構(gòu)以近似表達(dá)數(shù)據(jù)流，并使用傳統(tǒng)的挖掘算法對(duì)概要數(shù)據(jù)結(jié)

6、構(gòu)進(jìn)行分析，獲得近似的數(shù)據(jù)挖掘結(jié)果。獲得概要數(shù)據(jù)結(jié)構(gòu)方法有直方圖、哈希技術(shù)、隨機(jī)抽樣、小波變換等。目前應(yīng)用廣泛的實(shí)時(shí)計(jì)算或流式計(jì)算方法大多是采用二層框架的模式，在線部分計(jì)算數(shù)據(jù)概要信息，離線部分進(jìn)行數(shù)據(jù)挖掘。2大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)（1）數(shù)據(jù)存儲(chǔ)和預(yù)處理能力難以滿足大數(shù)據(jù)量要求龐大的數(shù)據(jù)量的存儲(chǔ)和預(yù)處理不能通過(guò)簡(jiǎn)單地升級(jí)原有服務(wù)器的方法來(lái)解決，要有具有可擴(kuò)展性和容錯(cuò)能力的數(shù)據(jù)存儲(chǔ)框架和預(yù)處理平臺(tái)。（2）復(fù)雜的數(shù)據(jù)類型對(duì)數(shù)據(jù)融合提出了挑戰(zhàn)安全事故的發(fā)生是多種因素共同作用的結(jié)果，需要分析多方面數(shù)據(jù)：一方面要

7、獲取更多的數(shù)據(jù)，對(duì)比不同環(huán)境下哪些變化與事故的發(fā)生相關(guān)；另一方面要進(jìn)行歷史數(shù)據(jù)對(duì)比。目前，雖然在時(shí)間上采樣率不斷提高，但是在空間上監(jiān)控監(jiān)測(cè)數(shù)據(jù)還很不完備。同時(shí)，各個(gè)系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)不一致，難以在縱向和橫向上實(shí)現(xiàn)數(shù)據(jù)的融合。（3）數(shù)據(jù)的處理難以滿足高實(shí)時(shí)性要求廣泛分布的遠(yuǎn)程站點(diǎn)4學(xué)海無(wú)涯高速、連續(xù)地產(chǎn)生異構(gòu)的數(shù)據(jù)，要求實(shí)時(shí)完成對(duì)新到達(dá)數(shù)據(jù)點(diǎn)的處理。這就要求大數(shù)據(jù)挖掘系統(tǒng)能動(dòng)態(tài)適應(yīng)業(yè)務(wù)分析需求，快速響應(yīng)復(fù)雜的查詢，具備實(shí)時(shí)的分析處理能力，而傳統(tǒng)的數(shù)據(jù)處理技術(shù)只能處理小規(guī)模的數(shù)據(jù)流。（4）大數(shù)據(jù)挖掘結(jié)果需要有效的可視化手段大數(shù)據(jù)

8、挖掘的最終目的是將信息呈現(xiàn)給用戶。目前我國(guó)煤炭企業(yè)既懂各領(lǐng)域?qū)I(yè)知識(shí)，又懂?dāng)?shù)理統(tǒng)計(jì)，還懂業(yè)務(wù)流程、信息技術(shù)的復(fù)合型人才極其匱乏，安全管理人員往往無(wú)法正確理解抽象的數(shù)據(jù)挖掘結(jié)果所蘊(yùn)含的信息。3基于大數(shù)據(jù)挖掘的煤炭企業(yè)安全管理體系（1）數(shù)據(jù)采集層數(shù)據(jù)采集層實(shí)現(xiàn)了大數(shù)據(jù)收集工作。通過(guò)各類傳感器、視頻監(jiān)測(cè)系統(tǒng)、智能終端、生產(chǎn)過(guò)程控制、操作