基于向量空間模型的文本分類研究與應(yīng)用.pdf

1、隨著信息技術(shù)與互聯(lián)網(wǎng)的迅速發(fā)展,信息容量迅速增長(zhǎng),大量的數(shù)據(jù)資源存儲(chǔ)在各類信息載體中。在這些龐大的信息資源中,蘊(yùn)含著大量有價(jià)值的知識(shí)。面對(duì)浩瀚的數(shù)據(jù)海洋,人們難以獲取有用的信息,這導(dǎo)致龐大的數(shù)字化信息和人們獲取所需信息能力之間的矛盾日益突出。如何從大量紛雜的信息中獲得所需的知識(shí),是一個(gè)非常困難而又富有前景的研究問題。文本分類是對(duì)文本集進(jìn)行有序組織,把內(nèi)容相似、相關(guān)的文本組織在一起,可以將信息歸類,能較好地解決信息雜亂現(xiàn)象,方便準(zhǔn)確地定位

2、所需信息和對(duì)信息分流,因此文本分類就成為文本信息檢索、文本信息數(shù)據(jù)挖掘的重要基礎(chǔ)與前提。
　　 國(guó)內(nèi)外許多學(xué)者對(duì)文本分類技術(shù)進(jìn)行了研究,獲得了大量的研究成果,給出了許多文本分類模型,如布爾模型、向量空間模型、概率模型等。本文在前人研究的基礎(chǔ)上,對(duì)基于向量空間模型的文本分類技術(shù)進(jìn)行了研究與分析。基于向量空間模型的文本分類包括文本預(yù)處理、特征選擇、特征權(quán)重計(jì)算、分類器構(gòu)造、分類算法等多個(gè)模塊。
　　 文本預(yù)處理是文本分類的第

3、一階段,主要是對(duì)文本進(jìn)行結(jié)構(gòu)處理和分詞處理:接著,特征選擇采用一定的算法(如信息增益算法),對(duì)文本特征進(jìn)行提取,保留重要詞,舍棄次要詞；特征項(xiàng)權(quán)重計(jì)算用來確定特征權(quán)值,后者被用來構(gòu)造分類器,直接關(guān)系到文本分類效果。分類器構(gòu)造分為訓(xùn)練與測(cè)試兩個(gè)階段,訓(xùn)練階段被用來構(gòu)造分類器；測(cè)試階段利用測(cè)試集已有的類標(biāo)號(hào)信息對(duì)分類器進(jìn)行評(píng)價(jià),獲取分類準(zhǔn)確性的評(píng)判:分類算法被用來對(duì)文本進(jìn)行分類。
　　 本文在仔細(xì)分析前人工作的基礎(chǔ)上,主要展開了下列

4、研究:
　　 (1)概述了文本分類的過程和相關(guān)技術(shù),包括文本預(yù)處理、中文分詞、向量空間模型、特征項(xiàng)選擇、特征項(xiàng)權(quán)重計(jì)算等。
　　 (2)給出了一個(gè)文本分類模型,并對(duì)模型的各模塊進(jìn)行了論述,特別描述了文本特征選擇及特征項(xiàng)權(quán)重計(jì)算。
　　 (3)改進(jìn)了TF-IDF特征項(xiàng)權(quán)重算法,改進(jìn)的特征項(xiàng)權(quán)重算法綜合考慮了特征詞在類間和類內(nèi)的分布情況以及特征詞在文本中的位置信息,給出了使用改進(jìn)的特征項(xiàng)權(quán)重算法構(gòu)造文本分類器的步驟。