基于語義的垃圾郵件過濾技術(shù)的研究.pdf

1、電子郵件的興起伴隨著垃圾郵件的產(chǎn)生，隨著互聯(lián)網(wǎng)的普及和發(fā)展，電子郵件成為人們?nèi)粘９ぷ骱蜕钪斜夭豢缮俚慕涣鞣绞剑踔烈呀?jīng)成為文件和文檔進行快速傳輸?shù)闹髁鬏d體。而垃圾郵件問題卻日益嚴重并越來越深切的影響著人們的工作和生活，垃圾郵件不僅嚴重占用和浪費了網(wǎng)絡帶寬和計算資源，而且還帶來各種各樣的安全隱患，威脅著人們的信息安全。雖然人們已經(jīng)提出了很多相應的解決對策和方法，但是垃圾郵件仍呈現(xiàn)出持續(xù)性的爆炸式增長的趨勢。垃圾郵件的過濾攔截可以通過影響

2、和控制電子郵件傳遞過程中的各個環(huán)節(jié)來實現(xiàn)。本文主要研究通過對電子郵件的正文內(nèi)容進行語義識別來實現(xiàn)垃圾郵件過濾的方法和技術(shù)。垃圾郵件的內(nèi)容和形式不管如何變化，必定會傳達出某種語義信息，以這些語義信息作為垃圾郵件過濾和攔截的基礎(chǔ)，會有效提高垃圾郵件攔截的效率和效果。
　　傳統(tǒng)的特征選擇方法大多是基于統(tǒng)計學的，并且總是將文本中的字、詞、短語拆分開來做為單獨的特征項來處理，將文本單純的看作一堆字詞的堆砌，拋棄了不同語法結(jié)構(gòu)、語言環(huán)境、詞匯

3、搭配所表現(xiàn)出的語義信息。
　　本文提出了一種針對中文郵件的基于內(nèi)容的垃圾郵件過濾技術(shù)，并在公共語料集TREC06c上進行了實驗，獲得了良好的結(jié)果。本文首先采用了逐層在文本上添加注釋來提取語義信息的方法，然后將提取出的語義信息進行篩選后作為表示文本的特征項來構(gòu)建決策樹并最終生成分類器，實現(xiàn)了文本的識別和分類。這種方法的優(yōu)勢在于既能夠準確表達文本的內(nèi)容含義，又能夠達到科學有效的降維效果。因此，直接選取詞匯作為特征來表示文本，而提取文本

4、的語義信息作為特征項來表示文本，是一種更加科學有效的特征選擇方法。
　　采用語義作為特征項有兩個明顯的優(yōu)勢。一是，對文本內(nèi)容的反映更準確，更有利于實現(xiàn)準確的文本分類；二是，與傳統(tǒng)方法相比，特征項的數(shù)量顯著減少了，運算壓力更小。本文主要研究的第二個問題是在科學有效的篩選出特征項的基礎(chǔ)上，運用決策樹方法來完成垃圾郵件的多分類任務，因為實現(xiàn)垃圾郵件的多分類更加有助于實現(xiàn)郵件過濾和攔截的個性化，注重了用戶隱私。從自然語言處理的方面來看，本