基于MapReduce的圖聚類算法的研究與實(shí)現(xiàn).pdf

1、為了有效地從海量數(shù)據(jù)中獲得人們所需要的信息，高效、高質(zhì)量的聚類分析顯得尤為重要，但也面臨巨大的挑戰(zhàn)。面對離散、多樣、多維的海量數(shù)據(jù)，一些傳統(tǒng)的基于距離的聚類算法聚類質(zhì)量并不理想，而適合離散屬性且聚類質(zhì)量相對較高的基于圖形的聚類算法計(jì)算復(fù)雜度普遍較高，計(jì)算難度大。基于Hadoop分布式計(jì)算平臺具有強(qiáng)大的數(shù)據(jù)分析與處理能力，本文從提高海量數(shù)據(jù)聚類效率與質(zhì)量出發(fā)，提出了一種使用Hadoop平臺的可擴(kuò)展分布式圖聚類方法，即在MapReduce模

2、型下實(shí)現(xiàn)圖聚類方法，并使用這種方法設(shè)計(jì)并實(shí)現(xiàn)了基于MapReduce的最小生成樹(MST)的聚類算法。本文的主要工作有：
　　對MapReduce模型進(jìn)行了詳細(xì)解讀，了解其相關(guān)的一些算法，分析了其研究現(xiàn)狀，并對聚類分析及其研究進(jìn)行了一定分析，在此基礎(chǔ)上提出了基于MapReduce的最小生成樹的聚類算法。該算法既解決了基于距離的聚類算法中存在的問題，又很好地解決了圖聚類算法的計(jì)算復(fù)雜問題，很大程度上提高了海量數(shù)據(jù)聚類的效率與質(zhì)量，對