利用關(guān)聯(lián)規(guī)則挖掘算法的中文短文本分類研究.pdf

1、即時(shí)通訊技術(shù)的發(fā)展以及信息技術(shù)的普及促進(jìn)了手機(jī)短信、基于互聯(lián)網(wǎng)和手機(jī)短信息的客戶評(píng)論等短文本信息處理技術(shù)的發(fā)展,同時(shí)短文本處理技術(shù)的發(fā)展和實(shí)際應(yīng)用又息息相關(guān),它在信息安全、客戶評(píng)論反饋等領(lǐng)域都存在著實(shí)際的需求,使中文短文本分類問(wèn)題成為一個(gè)重要的研究方向。
　　 由于短文本所描述概念信號(hào)弱的特性,現(xiàn)有的對(duì)長(zhǎng)文本分類性能好的分類技術(shù)用于短文本時(shí)分類器性能變壞。短文本分類的可行途徑是利用外部資源中的額外信息來(lái)輔助分類,以彌補(bǔ)短文本的固

2、有缺陷。關(guān)聯(lián)規(guī)則挖掘算法正好可以在一定程度上解決短文本知識(shí)發(fā)現(xiàn)的問(wèn)題。本文利用關(guān)聯(lián)規(guī)則挖掘算法,就中文短文本中共現(xiàn)關(guān)系的挖掘、特征的擴(kuò)展進(jìn)行了研究。主要工作如下:
　　 (1)提出一種基于測(cè)試文本特征擴(kuò)展的短文本分類方法。該方法將短文本視作事務(wù),將特征詞視作項(xiàng),利用FP-Growth算法挖掘訓(xùn)練集特征項(xiàng)中的共現(xiàn)關(guān)系,創(chuàng)建特征共現(xiàn)集作為擴(kuò)展詞表。在分類階段,先根據(jù)特征共現(xiàn)集把測(cè)試文本中的特征的共現(xiàn)詞作為特征補(bǔ)充進(jìn)來(lái),然后再進(jìn)行分類