基于模糊關(guān)聯(lián)規(guī)則的中文文本分類.pdf

1、隨著Internet的迅猛發(fā)展和日益普及，電子文本的數(shù)量急劇增加，如何有效地組織和管理海量電子文本，并快速、準(zhǔn)確、全面地從中找到用戶所需要的信息是當(dāng)前信息科學(xué)與技術(shù)領(lǐng)域面臨的一大挑戰(zhàn)。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂的問(wèn)題，方便用戶準(zhǔn)確地定位所需要的信息。同時(shí)，作為信息過(guò)濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫(kù)、數(shù)字化圖書(shū)館等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類有著廣泛的應(yīng)用前景。
　　 本文給出一種基于

2、模糊關(guān)聯(lián)規(guī)則的自動(dòng)文本分類方法。該方法汲取了傳統(tǒng)的關(guān)聯(lián)規(guī)則分類算法的優(yōu)點(diǎn)，并引入了模糊集理論。與一般分類規(guī)則相比，模糊關(guān)聯(lián)規(guī)則中不僅包含詞條，而且包含了詞條在文本中出現(xiàn)的頻率。通過(guò)詞頻來(lái)區(qū)別詞條對(duì)文本分類的不同作用，可以更為精確地限定與文本相匹配的規(guī)則的范圍。實(shí)驗(yàn)結(jié)果表明該方法是可行的，與傳統(tǒng)分類方法相比，分類的準(zhǔn)確率有了明顯提高。
　　 由于模糊關(guān)聯(lián)規(guī)則比一般規(guī)則復(fù)雜，致使構(gòu)建模糊文本分類器和應(yīng)用其分類新文本的效率都有所降低，

3、同時(shí)也增加了存儲(chǔ)開(kāi)銷，為此我們又從以下幾個(gè)方面對(duì)模糊文本分類器進(jìn)行了深入研究和優(yōu)化。首先，在挖掘模糊關(guān)聯(lián)規(guī)則時(shí)，對(duì)于不同類別的文本集，不再采用統(tǒng)一的最小支持度閾值，而是根據(jù)文本集的特性，將給定的支持度閾值通過(guò)模糊函數(shù)轉(zhuǎn)化為適合該文本集的閾值，使用轉(zhuǎn)化后的閾值對(duì)規(guī)則的生成過(guò)程加以限制，在一定程度上解決了閾值設(shè)置不當(dāng)所帶來(lái)的問(wèn)題。其次，給出一種快速挖掘模糊關(guān)聯(lián)規(guī)則的算法。該算法對(duì)頻繁2-項(xiàng)集和頻繁k-項(xiàng)集（k>2）的生成采用了不同的處理方法

4、，規(guī)則的生成過(guò)程中只需要遍歷數(shù)據(jù)庫(kù)兩次，大大提高了挖掘效率，且不需要保存候選項(xiàng)集，節(jié)省了存儲(chǔ)開(kāi)銷。最后，針對(duì)通過(guò)遍歷分類器分類新文本的方法效率低的問(wèn)題，給出一種基于模糊分類規(guī)則樹(shù)的文本分類方法。分類器中的規(guī)則以樹(shù)的形式存儲(chǔ)，由于樹(shù)型結(jié)構(gòu)可以共享相同結(jié)點(diǎn)，節(jié)省了存儲(chǔ)空間；在分類新文本時(shí)，由于不需要遍歷沒(méi)在新文本中出現(xiàn)的詞條所引導(dǎo)的子樹(shù)，大大減少了需要匹配的規(guī)則的數(shù)量，提高了分類效率。實(shí)驗(yàn)表明，優(yōu)化后的基于模糊關(guān)聯(lián)規(guī)則的文本分類方法的整體性