基于引力場(chǎng)模型的文本分類方法.pdf

1、隨著I工業(yè)的發(fā)展，特別是互聯(lián)網(wǎng)的應(yīng)用普及，信息處理已成為人們獲取有用信息不可或缺的一項(xiàng)關(guān)鍵技術(shù)，而自動(dòng)文本分類技術(shù)又是信息處理的重要研究課題，它是指在預(yù)定義分類體系下，根據(jù)文本的內(nèi)容，自動(dòng)判別文本類別的過(guò)程。
　　 本文首先介紹中文文本自動(dòng)分類系統(tǒng)框架，然后介紹幾種中文文本分類相關(guān)技術(shù)，接著介紹幾種經(jīng)典文本分類方法并總結(jié)其優(yōu)缺點(diǎn)，最后本文提出一種新的文本分類算法。
　　 該方法是受引力場(chǎng)啟發(fā)而設(shè)計(jì)的一個(gè)基于引力場(chǎng)模型的“

2、虛核”(Virtual Kernel，簡(jiǎn)記VK)文本分類方法。其基本思想：首先，在訓(xùn)練階段，通過(guò)對(duì)單個(gè)類別下已標(biāo)記文本的特征詞頻進(jìn)行某種數(shù)學(xué)變換，計(jì)算該類別“虛核”在各個(gè)特征處的特征引力場(chǎng)強(qiáng)，從而獲得單個(gè)類的類別“虛核”，以此類推，得到所有預(yù)定義類別的“虛核”，至此，分類模型構(gòu)建完成；然后，在測(cè)試階段，當(dāng)未標(biāo)記文本到來(lái)時(shí)，按照一定規(guī)則，計(jì)算各個(gè)類的類別“虛核”對(duì)該未標(biāo)記文本產(chǎn)生的引力；最后，將引力大小排序來(lái)最終確定該文本所屬類別。究其本

3、質(zhì)，該方法是按照預(yù)定義類別與文本特征之間的相關(guān)性進(jìn)行自動(dòng)分類的。
　　 為了驗(yàn)證VK分類方法的實(shí)用性，本文做了大量精心設(shè)計(jì)的實(shí)驗(yàn)，實(shí)驗(yàn)采用向量空間模型來(lái)表示文本，采用兩種特征選擇方法-文檔頻率(DF)、信息增益(IG)，與兩種經(jīng)典的文本分類方法-kNN、樸素貝葉斯做比較，在兩個(gè)語(yǔ)料庫(kù)上進(jìn)行測(cè)試，得出了一些有意義的結(jié)論：
　　 1)VK分類方法不論在分類效果還是分類時(shí)間方面均優(yōu)于kNN與樸素貝葉斯。
　　 2)VK