基于Hadoop的動(dòng)車組故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘研究與實(shí)現(xiàn).pdf

1、隨著我國高速鐵路的建設(shè)和發(fā)展，經(jīng)過近十年的運(yùn)營，已積累了海量的高速動(dòng)車組運(yùn)行狀況數(shù)據(jù)，并以TB數(shù)量級增長。如何利用動(dòng)車組的海量故障數(shù)據(jù)進(jìn)行分析，并進(jìn)一步指導(dǎo)動(dòng)車組的維修和維護(hù)工作，對動(dòng)車組的故障診斷具有重要意義。面對高速鐵路動(dòng)車組運(yùn)行狀況數(shù)據(jù)所呈現(xiàn)出的多樣化，容量大、高度復(fù)雜，速度快等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)挖掘算法已不能有效處理，其不足主要反映在耗時(shí)長、效率低、實(shí)時(shí)性差，難以滿足目前動(dòng)車組故障應(yīng)急處理應(yīng)用的需求。本論文將探索基于Hadoop的

2、數(shù)據(jù)分析技術(shù)和方法，并應(yīng)用于動(dòng)車組故障診斷分析。
　　本論文給出了基于分布式計(jì)算框架Hadoop的動(dòng)車組故障診斷大數(shù)據(jù)解決方案，并通過將目前流行的基于Hadoop的關(guān)聯(lián)規(guī)則挖掘算法Apriori算法進(jìn)行優(yōu)化，為提高動(dòng)車組故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘效率提供了有效方法，并在實(shí)際應(yīng)用中得到了驗(yàn)證。
　　本論文的工作有以下幾方面:
　　(1)在分析了MapReduce分布式計(jì)算框架、分布式文件系統(tǒng)HDFS、數(shù)據(jù)倉庫Hive等Hado

3、op核心技術(shù)的基礎(chǔ)上，給出了基于Hadoop的動(dòng)車組故障分析大數(shù)據(jù)解決方案。搭建了Hadoop集群環(huán)境，并對動(dòng)車組故障數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗。
　　(2)分析并實(shí)現(xiàn)了基于Hadoop的Apriori并行算法優(yōu)化方案，提出了一種基于MapReduce迭代計(jì)算的改進(jìn)算法MRAprioriT，并改進(jìn)了集群的負(fù)載均衡。實(shí)驗(yàn)表明，改進(jìn)算法比原始算法速度提高約36％，可滿足動(dòng)車組故障診斷實(shí)時(shí)性要求。
　　(3)將改進(jìn)后的算法MRAprior