基于Hadoop的海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法研究.pdf

1、近年來，隨著高速動車組在我國的快速發(fā)展，目前已經(jīng)積累了海量的歷史維護(hù)、故障數(shù)據(jù)，如何利用好數(shù)據(jù)挖掘技術(shù)從歷史維護(hù)故障數(shù)據(jù)中挖掘出有效的知識，并且為動車組故障診斷和維護(hù)維修提供有效的決策支持，成為一個亟待解決的應(yīng)用需求。針對動車組歷史維護(hù)故障數(shù)據(jù)的知識挖掘問題，從有效利用動車組歷史運(yùn)維數(shù)據(jù)來指導(dǎo)動車組故障診斷的角度出發(fā)，對海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法進(jìn)行了深入研究。
　　由于傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法在處理海量、多維數(shù)據(jù)集時，在數(shù)據(jù)挖掘

2、性能上會遇到瓶頸，因此本文選取Hadoop技術(shù)作為對頻繁模式增長(Frequent PatternGrowth，F(xiàn)P-Growth)算法和Apriori算法進(jìn)行并行化改進(jìn)的基本技術(shù)。Hadoop是一個開源的分布式計算平臺，其核心組成部分是Hadoop分布式文件系統(tǒng)(HadoopDistributed File System，HDFS)和MapReduce并行編程框架，用戶可以在不了解Hadoop內(nèi)部架構(gòu)的情況下，方便地開發(fā)分布式程序。<

3、br>　　本文深入研究了現(xiàn)有關(guān)聯(lián)規(guī)則挖掘算法的實現(xiàn)形式和不足，結(jié)合動車組故障診斷的要求，選取FP-Growth算法和Apriori算法作為動車組海量歷史故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的基本算法。首先提出了利用局部頻繁模式樹來代替全局頻繁模式樹的改進(jìn)的并行FP-Growth算法，該算法在各主要步驟上均實現(xiàn)了并行處理，并且對頻繁模式的搜索策略進(jìn)行了改進(jìn)。其次，提出了一種改進(jìn)的并行Apriori多維關(guān)聯(lián)規(guī)則挖掘算法，該算法采用迭代的思想，實現(xiàn)了對各階候

4、選項集挖掘的并行化處理。改進(jìn)后的算法大大提高了關(guān)聯(lián)規(guī)則挖掘的效率，有效地節(jié)省了計算空間，挖掘結(jié)果很好地保留了故障信息與狀態(tài)信息之間的關(guān)聯(lián)關(guān)系，并且合理去除了無效規(guī)則。
　　本文將改進(jìn)的關(guān)聯(lián)規(guī)則挖掘算法應(yīng)用于動車組歷史運(yùn)維數(shù)據(jù)關(guān)聯(lián)規(guī)則知識獲取中去，并相應(yīng)設(shè)計實現(xiàn)了動車組運(yùn)維數(shù)據(jù)處理平臺原型系統(tǒng)，包括用戶認(rèn)證模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)挖掘模塊和用戶文件管理模塊等。通過對改進(jìn)算法的具體分析與實際測試，表明本文提出的兩個改進(jìn)的并行算法在動車