基于云計算的并行聚類算法研究.pdf

1、近年來，隨著信息技術(shù)和數(shù)據(jù)庫技術(shù)的迅猛發(fā)展，尤其是互聯(lián)網(wǎng)的廣泛應(yīng)用，需要分析和管理的數(shù)據(jù)迅速增多。數(shù)據(jù)挖掘技術(shù)便應(yīng)運(yùn)而生，聚類分析是數(shù)據(jù)挖掘領(lǐng)域的重要內(nèi)容和基本工具，研究如何提高聚類算法的性能具有重要的意義。
　　 云計算作為目前國內(nèi)外研究的熱點(diǎn)，是網(wǎng)格計算、并行計算和分布式計算的發(fā)展。利用云計算技術(shù)，人們可以通過網(wǎng)絡(luò)獲得強(qiáng)大的計算能力、存儲能力以及基礎(chǔ)設(shè)施，并可以有效地解決分析與處理海量數(shù)據(jù)時所面臨的問題，在降低終端設(shè)備要求的

2、同時提高數(shù)據(jù)處理能力。
　　 本文主要研究如何利用云計算機(jī)集群系統(tǒng)的并行計算能力來解決海量數(shù)據(jù)聚類問題。首先，本文在重點(diǎn)分析了DBSCAN算法的基礎(chǔ)上，提出了一種基于層次的HDBSCAN算法。該算法不僅糾正了由于輸入?yún)?shù)Eps選擇不當(dāng)而造成的聚類結(jié)果不佳的問題，屏蔽了算法對輸入?yún)?shù)的敏感性；而且無需對每個點(diǎn)進(jìn)行檢測和判斷，從而減少了查詢次數(shù)，降低了I/O開銷。接著，利用Hadoop搭建云計算環(huán)境，在云計算環(huán)境下對HDBSCAN算