基于VSM的文本分類系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、眾所周知，網(wǎng)絡(luò)信息技術(shù)發(fā)展的速度相當(dāng)驚人，信息增長(zhǎng)速度越來越快，人類面臨的信息量已經(jīng)十分龐大，怎么樣在這樣巨大的數(shù)據(jù)量中找到人類需要的信息，滿足人類的需求，成為了人類面臨的一大問題，使用計(jì)算機(jī)對(duì)文本進(jìn)行自動(dòng)化分類的技術(shù)能夠在很大程度上幫助人們解決這個(gè)問題。文本分類技術(shù)是自然語言處理領(lǐng)域和模式識(shí)別領(lǐng)域的一大課題，它誕生于20世紀(jì)50年代末，最初被使用于圖書管理領(lǐng)域，經(jīng)過好幾代學(xué)者的研究到今天，這門技術(shù)已經(jīng)從青澀變得成熟。近年來文本分類技術(shù)

2、已經(jīng)應(yīng)用到信息檢索，信息推送，信息過濾等多個(gè)領(lǐng)域，并且為人類提供了更好的信息化的服務(wù)。研究文本分類技術(shù)對(duì)我們有著很大的意義，它可以幫我們減少信息獲取的時(shí)間，更好的取得信息，同時(shí)也有利于我們對(duì)信息更好地分類整理。
　　本文完成了一個(gè)使用向量空間模型（VSM）的文本分類系統(tǒng)，在文本分類預(yù)處理階段，使用了基于隱馬爾科夫模型（HMM）的分詞方法將文本轉(zhuǎn)化成為詞袋的表示形式。在文本特征項(xiàng)選取過程中，采用了開方測(cè)試(CHI統(tǒng)計(jì)量)和互信息法進(jìn)

3、行特征項(xiàng)選取。
　　在特征項(xiàng)特征權(quán)重賦值方面，本文參考了眾多論文對(duì)改進(jìn)的TF-IDF的特征權(quán)重賦值方法的描述，探討并且采用了TF-IDF的改進(jìn)版本作為本文涉及的文本分類系統(tǒng)的特征權(quán)重函數(shù)。
　　在分類器選擇方面，本文借鑒了比較成熟，高效的支持向量機(jī)技術(shù)，支持向量機(jī)是向量空間模型的一種實(shí)現(xiàn)，并且使用臺(tái)灣大學(xué)林老師的LIBSVM對(duì)文本進(jìn)行分類，同時(shí)本文深入探討了支持向量機(jī)技術(shù)。
　　本文所涉及的文本分類系統(tǒng)從工程實(shí)際角度出