考慮特征有效擴(kuò)展的中文短文本分類研究.pdf

1、近年來，越來越多的以短文本（通常文本長度小于160字符）形式存在的信息逐漸成為了人們獲取消息的主要途徑之一，如:微信，微博，網(wǎng)絡(luò)評論，網(wǎng)絡(luò)聊天以及搜索引擎返回的網(wǎng)絡(luò)片段等等。所以，如何有效地管理這些海量信息成為了亟待解決的問題，是一個(gè)十分重要的研究課題。
　　 短文本具有長度短，描述概念信號弱，類別模糊度高等固有特點(diǎn)，致使當(dāng)前主流的文本分類技術(shù)無法很好地運(yùn)用于短文本分類領(lǐng)域，目前，對于短文本分類問題，一種較為有效的方法是借助外部

2、資源中的額外信息輔助短文本分類，通過引入特定的語義關(guān)系信息或是統(tǒng)計(jì)信息，充分挖掘短文本含有的信息量。鑒于此，本文采用了引入外部資源的研究思路，考慮同時(shí)引入多種語義角色關(guān)系信息來輔助分類，圍繞著如何能夠更好地利用這些信息對短文本進(jìn)行有效的特征擴(kuò)展的問題展開研究，提出一種考慮擴(kuò)展語義約束和統(tǒng)計(jì)約束的中文短文本分類方法，本文的核心和貢獻(xiàn)在于:
　　 (1)提出兩個(gè)衡量特征有效擴(kuò)展的約束指標(biāo):語義約束以及統(tǒng)計(jì)約束，用以判斷使用含有角色關(guān)

3、系的詞對對中文短文本進(jìn)行的特征擴(kuò)展是否為有效擴(kuò)展。當(dāng)同時(shí)利用多種角色關(guān)系輔助短文本分類時(shí)，將面臨著容易引入大量噪音的風(fēng)險(xiǎn)。針對這個(gè)問題，本文通過分析不同角色關(guān)系輔助中文短文本分類時(shí)的作用特點(diǎn)，提出衡量相似概念詞對有效擴(kuò)展的語義約束和衡量不同概念詞對有效擴(kuò)展的統(tǒng)計(jì)約束，并根據(jù)訓(xùn)練文本中的宿主-屬性關(guān)系詞對信息以及詞語間的互信息分別獲取語義約束和統(tǒng)計(jì)約束的相關(guān)參數(shù)。實(shí)驗(yàn)表明，使用語義約束或統(tǒng)計(jì)約束均能夠在一定程度上減小特征擴(kuò)展時(shí)引入噪音的概

4、率，從而提高分類性能。
　　 (2)提出一種考慮特征有效擴(kuò)展的中文短文本分類方法;將抽取出的所有詞語角色關(guān)系分為兩大類，一類是具有的角色關(guān)系為相似概念的詞對，另一類為不同概念的詞對，在用它們對文本進(jìn)行特征擴(kuò)展前，分別判斷其對應(yīng)約束信息是否滿足條件。由于如此一來獲取的詞語角色關(guān)系信息較多，為能夠更好地充分利用這些信息，本文采用了利用關(guān)系詞對增加特征權(quán)重以及增加新特征兩種方法擴(kuò)展測試集的特征向量，進(jìn)而將有效擴(kuò)展后的測試集進(jìn)行文本分類