基于Hadoop的短文本聚類(lèi)算法的研究與應(yīng)用.pdf

1、自從互聯(lián)網(wǎng)開(kāi)始普及，人們就身處在一個(gè)信息爆炸的時(shí)代，人們對(duì)待生活、工作的思維方式開(kāi)始逐漸在改變。在Web2.0的UGC(User Generated Content)時(shí)代，社交網(wǎng)絡(luò)平臺(tái)作為互聯(lián)網(wǎng)發(fā)展的一個(gè)重要分支，成為了人們很重要的溝通、交流和營(yíng)銷(xiāo)的公開(kāi)平臺(tái)。社交網(wǎng)絡(luò)平臺(tái)上每天產(chǎn)生的數(shù)據(jù)是海量的，如何運(yùn)用好這些數(shù)據(jù)寶藏，成為了一個(gè)熱門(mén)的研究課題。
　　在數(shù)據(jù)分析方面，傳統(tǒng)的統(tǒng)計(jì)抽樣方法在面臨海量的快速增長(zhǎng)的數(shù)據(jù)時(shí)顯得過(guò)時(shí)和力不從心

2、，利用全體數(shù)據(jù)而不是部分抽樣的數(shù)據(jù)成為了新的研究方法。為了達(dá)成該目的，僅依靠硬件的更新提速來(lái)提高機(jī)器的運(yùn)算能力是無(wú)法完成的。因此，如何巧妙地運(yùn)用云計(jì)算等彈性計(jì)算架構(gòu)成為了人們關(guān)注的問(wèn)題。社交網(wǎng)站作為UGC時(shí)代的支柱領(lǐng)域，每天都有海量的數(shù)據(jù)產(chǎn)生，如果能運(yùn)用好這些數(shù)據(jù)，將是一筆巨大的財(cái)富。
　　論文以目前新浪微博平臺(tái)為研究對(duì)象，針對(duì)其在文本聚類(lèi)和話題文本推薦上的不足，研究了文本聚類(lèi)算法和分布式技術(shù)，改進(jìn)了聚類(lèi)算法和相似度計(jì)算公式，實(shí)現(xiàn)

3、一個(gè)基于分布式的短文本聚類(lèi)，并將聚類(lèi)的結(jié)果根據(jù)用戶的輸入進(jìn)行文本推薦的應(yīng)用。論文的主要工作如下:
　　首先，研究Hadoop平臺(tái)下的HDFS、MapRedue和HBase三大基于Google核心技術(shù)實(shí)現(xiàn)的開(kāi)源項(xiàng)目。包括Hadoop平臺(tái)的優(yōu)點(diǎn)、HDFS的讀寫(xiě)流程、MapReduce的編程模型和HBase的結(jié)構(gòu)。
　　其次，闡述利用網(wǎng)頁(yè)爬蟲(chóng)與微博API兩種不同的微博數(shù)據(jù)抓取方式的原理并對(duì)比其優(yōu)缺點(diǎn)，數(shù)據(jù)的預(yù)處理方法以及根據(jù)特征權(quán)

4、重表示為向量空間模型的方法，介紹了相似度計(jì)算方法及其改進(jìn)、K-means聚類(lèi)算法和Single-Pass聚類(lèi)算法的原理以及聚類(lèi)算法選擇，并對(duì)Single-Pass算法進(jìn)行改進(jìn)，設(shè)計(jì)了一個(gè)測(cè)試實(shí)驗(yàn)驗(yàn)證改進(jìn)后的聚類(lèi)算法和相似度計(jì)算方法的改進(jìn)效果。
　　最后，在Hadoop平臺(tái)下，使用改進(jìn)后的Single-Pass聚類(lèi)算法和相似度計(jì)算方法，對(duì)抓取的海量微博文本進(jìn)行分布式聚類(lèi)，并對(duì)用戶輸入的微博文本進(jìn)行相似的微博推薦。
　　實(shí)驗(yàn)表明