基于Hadoop云計算平臺的K-Means聚類算法研究.pdf

1、聚類分析作為數(shù)據(jù)挖掘技術(shù)最熱門的研究方向之一，一直倍受廣大研究學(xué)者與開發(fā)人員的青睞。聚類可以將用戶輸入的原始數(shù)據(jù)對象分成數(shù)個類簇，算法的目標就是相同類簇內(nèi)的數(shù)據(jù)對象間相似程度較高，不同類簇內(nèi)的數(shù)據(jù)對象間相似程度較低。隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及人工智能的發(fā)展，Web端產(chǎn)生的信息量越來越龐大，如何高效穩(wěn)定地對超大規(guī)模數(shù)據(jù)進行聚類分析成為了一個全新的研究課題。Hadoop分布式云計算平臺的興起，使利用多個計算節(jié)點進行并行計算去解決傳統(tǒng)串行算法

2、的性能問題成為可能。
　　本文深入研究Hadoop分布式云計算平臺和聚類算法等相關(guān)技術(shù)。設(shè)計并實現(xiàn)一套基于Hadoop平臺的聚類分析系統(tǒng)。系統(tǒng)共分為二層架構(gòu)，分別為底層驅(qū)動層、中間邏輯層以及對外服務(wù)層。文中詳細闡述系統(tǒng)的設(shè)計思想及具體實現(xiàn)過程，旨在將聚類分析具體操作在內(nèi)部進行高度封裝，并對外暴露簡單操作接口，使具體算法實現(xiàn)對用戶透明，穩(wěn)定高效地執(zhí)行聚類分析。通過深入分析K-Means算法中存在的問題，設(shè)計基于Hadoop分布式平臺

3、的改進方案。使用本文實現(xiàn)的聚類分析系統(tǒng)配置實驗環(huán)境，分別從并行隨機采樣、樣本距離計算并行化以及數(shù)據(jù)對象聚類過程并行化三個方向優(yōu)化算法執(zhí)行過程，同時對改進的K-Means并行算法流程進行了詳細描述。
　　最后分別從收斂速度、正確率、初始化采樣速率和集群環(huán)境下加速比四個方向?qū)Ω倪M的K-Means并行算法進行實驗測試。實驗結(jié)果表明本文設(shè)計的基于Hadoop分布式云計算平臺的聚類分析系統(tǒng)能夠提供高效、穩(wěn)定、可配置的聚類分析服務(wù)。改進的K-