基于密度的改進K-Means文本聚類算法研究.pdf

1、伴隨著信息技術和計算機網絡的不斷發(fā)展,每天有數億的分布式信息被人們所共享。如何在這些海量的、異構的信息資源中快速而有效的檢索出需要的信息成為人們日益關注的問題。知識發(fā)現和數據挖掘技術是解決這一問題的最新課題。文本聚類是文本發(fā)現和文本挖掘的最重要、最基本的功能之一,近年來文本聚類算法的研究取得了長足的發(fā)展和一系列的研究成果。
　　目前常用的文本聚類算法有五類:基于劃分的聚類算法,如最常用的 K-means算法;基于層次的聚類算法;基

2、于密度的聚類算法,如 DBSCAN算法;基于網格的聚類算法和基于模型的聚類算法
　　K-means算法是文本聚類算法中的最經典的基于劃分的算法之一。其主要思想是隨機選擇 K個初始中心點,將每個簇中心用該簇中數據的均值表示。這種算法具有時間復雜度低,實現簡單等優(yōu)點,對處理大數據集的可伸縮性較好。但是該算法也有比較明顯的缺點:首先該算法的聚類效果對聚類初始中心的選擇和設置過于敏感,極易導致聚類結果隨之波動;其次是需要提前給定 K值固定

3、聚類個數;另外該算法在運行中容易陷入局部最優(yōu)解。
　　本文對傳統(tǒng)的 K-means算法加以改進,主要有兩個方面的。首先基于距離和統(tǒng)計的思想對數據集中的孤立點進行了檢測,先將數據點之間按最近距離升序排列,計算出所有數據點最近鄰距離最大的幾個數據點的最近鄰距離差,以最大的距離差對應的距離值為半徑對數據點的密度進行統(tǒng)計,將密度小于密度閾值的數據點進行統(tǒng)計學標準化值的檢測,從而判斷出數據集的強孤立點和部分弱孤立點并進行處理。
　　其

4、次提出一種可變步長的初始中心點選取算法。先將最近最小距離的數據點的平均距離計算出來,以此建立可變步長的半徑空間,數據點的從小到大在半徑空間中選取半徑,對半徑密度值進行計算,最終將半徑密度最大最遠的數據點作為初始聚類中心點進行輸出。
　　最后將基于距離和統(tǒng)計的孤立點檢測算法和基于可變步長的初始中心選取算法結合到傳統(tǒng)的 K-Means聚類算法中,產生了基于密度的改進 K-Means文本聚類算法。該算法通過對孤立點的檢測和處理能避免傳統(tǒng)