超大規(guī)模的短文本聚類研究.pdf

1、近幾年，由于移動互聯(lián)網(wǎng)的逐步成長，以及計(jì)算機(jī)技術(shù)的普及應(yīng)用，此刻的社會正以我們想象不到的速度產(chǎn)生數(shù)據(jù)。一些新型交流平臺每分鐘發(fā)布的信息高達(dá)10萬條之多，這些平臺以BBS、微信、Twitter及微博為代表。這些海量的數(shù)據(jù)時時刻刻都影響著我們的生活，它成為人們獲取信息來源的有效途徑，但是這些數(shù)據(jù)都具有數(shù)據(jù)量大、多樣化、動態(tài)性及字?jǐn)?shù)少等特點(diǎn)，人們因此也稱它為短文本數(shù)據(jù)。目前最重要的是如何從這些海量的短文本數(shù)據(jù)中快速、準(zhǔn)確、方便地挖掘出用戶隱藏

2、的信息，以便及時了解用戶的需要和創(chuàng)造商機(jī)。所以，在這種情況下誕生了文本挖掘技術(shù)，文本挖掘可以從海量的文本數(shù)據(jù)出搜索出用戶隱藏的有價值的信息，這正是我們挖掘的目的。而文本挖掘技術(shù)的核心就是算法，一個好的算法可以提高挖掘的速度及質(zhì)量，由于要考慮到這些短文本數(shù)據(jù)具有海量性及多樣性的特點(diǎn)，而聚類又是基于無監(jiān)督學(xué)習(xí)的，所以適合于短文本的處理，基于以上各方面的考慮本文提出了兩個解決方法：
　　(1)本文選取的聚類算法是K-means，因?yàn)樵撍?/p>

3、法效率高、容易實(shí)現(xiàn)，且該算法在計(jì)算各個數(shù)據(jù)點(diǎn)和簇形心距離時都是獨(dú)立操作的，這樣可以實(shí)現(xiàn)算法的并行化。但是該算法也有其缺點(diǎn)，如初始值的選擇以及陷入局部最優(yōu)等等。由于粒子群(PSO)算法具有全局尋優(yōu)的能力，所以，本文利用PSO來改進(jìn)該算法以便克服該算法的缺點(diǎn)。
　　(2)處理海量數(shù)據(jù)遠(yuǎn)遠(yuǎn)超出IT架構(gòu)的計(jì)算能力，面對這一難題，本文引入了Hadoop集群架構(gòu)，因?yàn)樵贖adoop系統(tǒng)上可以實(shí)現(xiàn)海量數(shù)據(jù)的分塊存儲，將這些海量的數(shù)據(jù)分布在不同的

4、機(jī)器上，同時存儲在不同計(jì)算機(jī)上的數(shù)據(jù)又可以實(shí)現(xiàn)并行處理，這樣不僅解決了單機(jī)模式內(nèi)存不足的問題，而且超大規(guī)模數(shù)據(jù)的處理耗時長的問題也得到了解決。
　　根據(jù)上面的解決方法，要想實(shí)現(xiàn)大規(guī)模短文本的處理，需要可以實(shí)現(xiàn)并行化的高效率的聚類算法，綜合各方面的因素，本文提出了分布式并行化聚類算法DPSOKmeans。經(jīng)過試驗(yàn)表明該聚類算法在Hadoop框架上運(yùn)行，有很好的收斂行、聚類質(zhì)量也比較高及可以處理海量的數(shù)據(jù)等等。但是該算法還是有一定的缺