微博垃圾評論識別方法研究

1、單位代碼10602學(xué)號2015011580分類號TP39l密級公開◎纛：吁釔尤學(xué)NoRMALIJNlVE瞄SlTY碩士專業(yè)學(xué)位論文微博垃圾評論識別方法研究ResearchontheMethodofIdentifyingMicrobloggingSpamReviews學(xué)院專業(yè)研究方向年級研究生指導(dǎo)教師完成日期：計(jì)算機(jī)科學(xué)與信息工程學(xué)院：軟件工程(工程碩士)：文本分類、機(jī)器學(xué)習(xí)：2015級：蘭丹媚：李志欣教授：2017年4月萬方數(shù)據(jù)黧鐾黧摯

2、識黧塑蚤掣荊剴l研究生姓名：蘭丹媚導(dǎo)師姓名：李志欣—二!二二。?！瘛I(yè)：軟件工程研究方向：文本分類、機(jī)器學(xué)j年級：2015級摘要垃圾評論是指用戶發(fā)布的與博文無關(guān)的，或沒有意義的，或蓄意發(fā)表的評論信息。早期常采用人工識別方法來識別，主要有基于驗(yàn)證碼、審核機(jī)制兩種；中期采用自動識別方法來識別，主要有基于關(guān)鍵詞、基于鏈接數(shù)量和基于相關(guān)度閾值的方法；近期先采用基于規(guī)則方法過濾掉超鏈接、特殊字符等明顯的顯式垃圾評論，然后采用基于主題特征的方法結(jié)

3、合分類器進(jìn)行微博垃圾評論識別。目前常采用的微博數(shù)據(jù)獲取方法主要有網(wǎng)絡(luò)爬蟲和微博開放平臺API兩種，前者速度慢，處理本文所需實(shí)驗(yàn)數(shù)據(jù)需要花費(fèi)大量的時(shí)間，而后者的訪問次數(shù)受到微博平臺服務(wù)器的限制，兩種方法獲取實(shí)驗(yàn)數(shù)據(jù)都不是很理想。所以，本文提出了一種基于cookie與正則表達(dá)式的方法獲取實(shí)驗(yàn)所需的數(shù)據(jù)，包括微博原文、微博作者信息和微博評論。本文設(shè)計(jì)采用以上兩種常用方法和本文提出方法獲取經(jīng)過微博認(rèn)證的用戶名為王寶強(qiáng)發(fā)表的主題為離婚微博的評論數(shù)

4、據(jù)，實(shí)驗(yàn)結(jié)果表明，本方法相較于兩種常用方法，不僅操作相對簡單，而且數(shù)據(jù)獲取速度較快。微博及其評論的字符受到限制，最多只有140字，內(nèi)容相對短小，微搏的主題特征并不是特別明顯，對微博中垃圾評論進(jìn)行識別不能只考慮評論和微博之間的相關(guān)程度，因?yàn)閱我坏囊蛩乜紤]會增加垃圾評論的誤判率。因此，本文嘗試使用協(xié)同訓(xùn)練方法來增強(qiáng)分類器性能，提出一種基于Co—Training協(xié)同訓(xùn)練的垃圾評論識別方法。對于微博原文和微博作者信息，本文進(jìn)行預(yù)處理后得到的相關(guān)

5、信息詞組，與微博特有情感詞匯以及大連理工信息檢索實(shí)驗(yàn)室的情感詞匯本體中情感強(qiáng)度大于5的情感詞構(gòu)成特征詞匯庫。對于微博評論，本文通過定義的基于規(guī)則識別方法過濾出顯式垃圾評論，對于剩下的相關(guān)評論進(jìn)行預(yù)處理后，一方面，得到相關(guān)評論詞組，和構(gòu)造的特征詞匯庫通過同義詞詞林相似度計(jì)算方法計(jì)算出結(jié)果，送入AdaBoost分類器，另一方面，進(jìn)行特征提取，得到評論特征作為特征向量來訓(xùn)練SVM分類器。最后將兩分類器通過基于微博垃圾評論的CoTraining