貝葉斯分類在垃圾短信過濾中的應用.pdf

1、近年來，隨著移動通訊技術(shù)的快速發(fā)展和手機用戶人數(shù)的持續(xù)增長，手機短信因為具有隨時收發(fā)、價格低廉和便于人們傳達信息等優(yōu)點，已經(jīng)成為人們?nèi)粘Ｉ钪羞M行信息交流的重要方式。不法分子利用短信的價格低廉，易于群發(fā)等特點，對用戶發(fā)送大量垃圾短信，嚴重影響人們的日常生活，其中詐騙類短信還對人們的財產(chǎn)安全造成威脅，因此垃圾短信過濾技術(shù)亟待完善。
　　現(xiàn)在的垃圾短信過濾技術(shù)主要有：黑白名單過濾、關(guān)鍵詞過濾和基于內(nèi)容的過濾。然而這種單一功能的過濾技術(shù)

2、的過濾能力比較有限，很多垃圾短信都過濾不了。因此本文構(gòu)建了一種包含黑白名單、關(guān)鍵詞和內(nèi)容智能過濾等功能的垃圾短信過濾系統(tǒng)。在文本分類方面樸素貝葉斯分類有一個很關(guān)鍵的條件，就是待分類文本的各個屬性特征是相互獨立的，然而這一條件在有些場合并不能被滿足。樸素貝葉斯在短信分類方面查全率較低，容易把正常短信歸為垃圾短信，與人們的實際期望不符。針對上面兩個問題，本文采用了一種改進的貝葉斯分類算法，它運用改進的類條件概率估計值法和改進的判別函數(shù)來解決

3、相互獨立和查全率低的問題。對兩種分類算法進行了實驗對比，結(jié)果表明改進的貝葉斯查全率和綜合性能要優(yōu)于樸素貝葉斯。
　　隨著垃圾短信過濾系統(tǒng)的研究與發(fā)展，不法分子也想出了種種手段，通過變換短信內(nèi)容，企圖躲避過濾系統(tǒng)的攔截。對短信內(nèi)容的變換包括：添加干擾符，繁體字替換，拆分字替換，諧音字替換等。這些層出不窮的手段給垃圾短信過濾系統(tǒng)帶來巨大挑戰(zhàn)。本文對這些變換問題進行了研究，并給出了解決方法。
　　本文的主要工作包括：
　　1

4、.分析比較不同文本分類算法的優(yōu)缺點，根據(jù)手機短信分類的特點選擇貝葉斯分類算法作為本文的研究方法；
　　2.解決了垃圾短信的變換問題，如：繁體字替換、諧音替換、拆分字替換、干擾符號等等；
　　3.對五種特征提取方法進行比較，采用一種綜合詞頻和互信息優(yōu)點的特征提取方法，并與互信息特征提取方法進行了實驗比較；
　　4.參考現(xiàn)有的垃圾短信過濾技術(shù)，融合黑白名單過濾、關(guān)鍵詞過濾和基于內(nèi)容的過濾，構(gòu)建了一種基于改進貝葉斯分類算法的