基于SVM的中文文本分類系統(tǒng)的建模與實(shí)現(xiàn).pdf

1、隨著通信技術(shù)和計(jì)算機(jī)技術(shù)、尤其是Internet的飛速發(fā)展，各種各樣的信息成幾何級(jí)數(shù)增長(zhǎng)，作為傳統(tǒng)的信息載體，文本信息更是如此。為了能在海量的文本中及時(shí)準(zhǔn)確地獲得有效的知識(shí)和信息，文本表示技術(shù)以及文本自動(dòng)分類技術(shù)受到了廣泛的關(guān)注?；谥С窒蛄繖C(jī)(SVM)的文本分類算法，更是成為當(dāng)前的一個(gè)研究熱點(diǎn)。構(gòu)建一個(gè)開放的靈活的SVM研究平臺(tái)，有助于進(jìn)一步推動(dòng)將SVM用于中文文本分類的研究。 本文在MicrosoftWindows2000的

2、VisualC++6.0和MSSQLServer2000平臺(tái)下設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于支持向量機(jī)的、便于重組重構(gòu)并能實(shí)時(shí)統(tǒng)計(jì)分析各類中間結(jié)果的中文文本分類系統(tǒng)，并在此系統(tǒng)上對(duì)SVM用于中文文本分類的性狀作了部分研究。 本文在傳統(tǒng)中文文本自動(dòng)分類模型框架的基礎(chǔ)上，采用數(shù)據(jù)庫(kù)作為耦合中介，松解了模塊間的緊耦合，建立了SVM研究平臺(tái)的系統(tǒng)模型框架。基于新模型，不僅可以方便高效地實(shí)現(xiàn)文本特征處理階段所涉及的類別、文檔、詞條之間的各種統(tǒng)計(jì)運(yùn)算

3、，而且可以靈活地變更不同的算法模塊，比較其性狀，達(dá)到了研究平臺(tái)的要求。 本文對(duì)文本分類的關(guān)鍵技術(shù)做了研究。在特征提取部分，結(jié)合了基于文檔頻率(DF)、χ2分布(CHI)、信息增益(IG)以及互信息(MI)等幾種不同的特征選擇方法，通過實(shí)驗(yàn)結(jié)果的比較，證明在本文的系統(tǒng)中基于IG的特征選擇方法要優(yōu)于其他方法。在文本表示部分，采用了TFIDF權(quán)重計(jì)算方法，實(shí)現(xiàn)了向量空間模型。在多類分類算法中，采用一對(duì)余類方法實(shí)現(xiàn)多類分類問題，分類結(jié)果

4、較為理想。 本文利用構(gòu)建的系統(tǒng)平臺(tái)，對(duì)SVM的性狀作了實(shí)驗(yàn)研究。在訓(xùn)練過程中，采用了計(jì)算機(jī)、藝術(shù)、教育、交通、環(huán)境、經(jīng)濟(jì)、醫(yī)藥、軍事、政治、體育等10個(gè)類別的近2000篇文本，為了測(cè)試分類器的性能，選用了10個(gè)不同類別的近1000篇文本，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)的查準(zhǔn)率達(dá)到97.84％，查全率達(dá)到89.93％，分類效果較為理想。還與Rocchio、KNN等傳統(tǒng)的文本分類算法進(jìn)行了比較實(shí)驗(yàn)，結(jié)果證明基于SVM的文本分類系統(tǒng)在分類性能和分