基于HADOOP的數(shù)據(jù)挖掘研究.pdf

1、隨著計算機技術(shù)以及互聯(lián)網(wǎng)運用高速的擴展到人類社會生產(chǎn)生活的各個方面，數(shù)據(jù)量呈現(xiàn)出爆發(fā)性的增長。如今，大數(shù)據(jù)集以及超大數(shù)據(jù)集的存儲和處理已成為很多企業(yè)面臨的新的挑戰(zhàn)。而如何能以更加快速、高效、低成本的方式從海量數(shù)據(jù)中挖掘有價值的、可理解的知識從而幫助企業(yè)制定決策成為數(shù)據(jù)挖掘技術(shù)面臨的新課題。
　　云計算技術(shù)的出現(xiàn)為數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來了新的機遇。云計算技術(shù)通過使存儲和計算能力均勻的分布到集群中的多個存儲和計算節(jié)點上，從而實現(xiàn)了對超

2、大數(shù)據(jù)集的巨大的存儲和計算能力。由于可以使用大量的廉價計算機通過集群來代替價格高昂的服務器，云計算大大的降低了成本。使用云計算技術(shù)提供的巨大的存儲能力和計算能力，數(shù)據(jù)挖掘技術(shù)進入了基于云計算的數(shù)據(jù)挖掘時代。
　　HADOOP是一個用于構(gòu)建云平臺的Apache開源項目。使用HADOOP框架有利于我們方便、快速的實現(xiàn)計算機集群。在HADOOP平臺上，采用了HDFS(分布式文件系統(tǒng))來實現(xiàn)超大文件的存儲和容錯，而使用了MapReduce

3、的編程模式來進行計算。將HADOOP運用到數(shù)據(jù)挖掘，一個關(guān)鍵的問題就是如何實現(xiàn)將傳統(tǒng)的數(shù)據(jù)挖掘算法實行并行化。對于傳統(tǒng)的數(shù)據(jù)挖掘算法，結(jié)合算法自身的特點，我們可以很容易或者需要深入研究才能發(fā)現(xiàn)它是否能夠并行。對于能夠并行實現(xiàn)的算法，結(jié)合MapReduce編程模式，我們可以將其移植到HADOOP平臺上，高效的、并行的完成數(shù)據(jù)挖掘任務。
　　本文首先詳細的介紹了云計算和HADOOP平臺的核心架構(gòu)以及運行機制。然后結(jié)合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)