基于偏斜數(shù)據(jù)集的中文文本分類問(wèn)題的改進(jìn)特征權(quán)重算法研究.pdf

1、隨著Internet技術(shù)的飛速發(fā)展,各種多樣化的龐大信息資源每天以數(shù)量級(jí)的形式增長(zhǎng),在海量信息資源中大多數(shù)信息仍是以文本的形式存在,如何管理、組織如此龐大且不斷增長(zhǎng)的文本信息,并且從中挖掘出人們需要的相關(guān)信息已成為一項(xiàng)具有研究?jī)r(jià)值的課題,近年來(lái)得到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。文本自動(dòng)分類技術(shù)應(yīng)時(shí)代的需求自此產(chǎn)生,并且隨著該技術(shù)地不斷發(fā)展,已成為各種搜索引擎、信息檢索、信息過(guò)濾等問(wèn)題的行之有效地解決辦法,成為一項(xiàng)具有廣泛應(yīng)用前景和使用價(jià)值的關(guān)鍵

2、技術(shù)。隨著越來(lái)越多學(xué)者的關(guān)注和研究,目前已在國(guó)內(nèi)外學(xué)術(shù)界掀起一股熱潮。
　　 在文本自動(dòng)分類過(guò)程中,包括多項(xiàng)關(guān)鍵技術(shù):分詞、特征選擇、向量空間模型、建立分類模型、分類評(píng)價(jià)指標(biāo)等?；跈C(jī)器學(xué)習(xí)的文本自動(dòng)分類大多建立在向量空間模型之上,在空間向量模型中,將文本以計(jì)算機(jī)能夠識(shí)別的形式表示出來(lái),通過(guò)特征權(quán)重計(jì)算方法計(jì)算出文本中處于重要地位并且能夠較好地表示文本類別的特征詞的權(quán)值,忽略掉對(duì)分類沒(méi)有貢獻(xiàn)或者說(shuō)貢獻(xiàn)不大的詞。這樣做的目的一是可

3、以降低文本向量空間的維數(shù),提高文本分類的效率,二是可以使選擇出來(lái)的特征詞能夠更好地代表文本,提高文本分類的精度。因此,文本特征權(quán)重計(jì)算方法是文本分類的基礎(chǔ)和前提,具有重要的地位?；谝陨戏治?本文將研究重點(diǎn)放到特征項(xiàng)權(quán)重計(jì)算方法的改進(jìn)上。所做工作主要如下:
　　 (1)介紹了文本分類的研究背景和理論知識(shí),分別介紹了國(guó)內(nèi)、外文本分類技術(shù)的發(fā)展?fàn)顩r和優(yōu)秀分類體系。
　　 (2)闡述了文本分類的關(guān)鍵技術(shù),主要包括文本預(yù)處理、特

4、征降維、文本表示、文類算法及分類評(píng)價(jià)指標(biāo)等。
　　 (3)詳細(xì)分析了經(jīng)典的特征權(quán)重算法TFIDF,并指出傳統(tǒng)算法的缺點(diǎn),主要針對(duì)于特征詞分布于類間、類內(nèi)以及類別分布偏斜的數(shù)據(jù)集三種情況下,對(duì)傳統(tǒng)特征權(quán)重算法提取出的特征詞對(duì)文本分類效果的影響進(jìn)行分析,指出其問(wèn)題及不足。同時(shí)針對(duì)目前基于傳統(tǒng)TFIDF進(jìn)行改進(jìn)的特征權(quán)重算法進(jìn)行介紹和對(duì)比分析,文中重點(diǎn)對(duì)以上提出的問(wèn)題表現(xiàn)優(yōu)秀的TFIDF-DI算法進(jìn)行分析和討論。
　　 (4)

5、描述偏斜數(shù)據(jù)集的概念和近年來(lái)基于該概念產(chǎn)生的新理論和新方法,用傳統(tǒng)特征權(quán)重算法TFIDF和TFIDF-DI兩種算法進(jìn)行對(duì)比實(shí)驗(yàn)分析,指出這兩種方法對(duì)于分布偏斜的數(shù)據(jù)集所具有的缺點(diǎn),并分析其原因。
　　 (5)通過(guò)詳細(xì)分析對(duì)比,在TFIDF-DI算法基礎(chǔ)上提出新的改進(jìn)算法TFIDF-λDI算法,引入入因子用以修正基于偏斜數(shù)據(jù)集的文本分類問(wèn)題,通過(guò)實(shí)驗(yàn)對(duì)傳統(tǒng)特征權(quán)重算法TFIDF和基于TFIDF改進(jìn)的優(yōu)秀算法TFIDF-DI及本文提