基于主題的文本分類模型研究與應(yīng)用.pdf

1、文本分類很早就被提出了,早在人們使用互聯(lián)網(wǎng)來(lái)收發(fā)郵件的年代,它就被應(yīng)用到處理垃圾郵件上。而現(xiàn)今人們已經(jīng)習(xí)慣了利用文本分類技術(shù)來(lái)幫助區(qū)分垃圾郵件和非垃圾郵件。隨著互聯(lián)網(wǎng)的發(fā)展,文字信息經(jīng)歷了從新聞、郵件到博客、論壇再到微博的形式轉(zhuǎn)變。各種形式的文字信息也帶來(lái)了不同的應(yīng)用場(chǎng)景,如文本內(nèi)容由書面化到口語(yǔ)化,文本長(zhǎng)短由長(zhǎng)文本到短文本。對(duì)不同的應(yīng)用場(chǎng)景,文本分類也都是文本挖掘中常用的首選步驟。然而是否可以方便的對(duì)文本數(shù)據(jù)進(jìn)行分類,是否有新的技術(shù)可

2、以應(yīng)用到文本分類中,這些依舊是文本分類中值得被不斷研究的問題。
　　近年來(lái),在文本挖掘領(lǐng)域提出了主題模型的概念。與以往的文本關(guān)于詞的空間表示不同,文本可以被表示成為關(guān)于主題的空間。即一篇文本可以被認(rèn)為是由固定數(shù)目的主題構(gòu)成。而文本分類一直存在的一個(gè)問題就是文本的空間維度過(guò)高。本文的研究?jī)?nèi)容將主題模型中的潛在狄利克雷分布應(yīng)用到文本降維上。主要?jiǎng)?chuàng)新點(diǎn)和成果如下:
　　提出了一個(gè)基于主題模型的文本分類模型。該模型將主題模型應(yīng)用到文

3、本分類中去,使用主題模型提取文本數(shù)據(jù)集的主題,并將文本表示為主題空間上的向量。然后使用支持向量機(jī)建立文本的分類模型,并使用分類模型來(lái)預(yù)測(cè)新文本的類別。由于主題個(gè)數(shù)遠(yuǎn)遠(yuǎn)比小于詞的個(gè)數(shù),所以,使用主題空間表示文檔時(shí)可以解決文本高維度的問題。并且相比于文本基于詞的表示,主題可以更好的在語(yǔ)義層面概括文本。實(shí)驗(yàn)驗(yàn)證使用此種方法,可以降低文本空間維度,提高分類性能,說(shuō)明將主題模型應(yīng)用于文本分類中的可行性和有效性。
　　對(duì)于實(shí)際應(yīng)用中需要解決的