面向eMule的主動(dòng)式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨著P2P技術(shù)的發(fā)展，P2P文件共享軟件利用豐富的P2P網(wǎng)絡(luò)的資源，實(shí)現(xiàn)了共享文件的快速定位、網(wǎng)絡(luò)備份以及高速下載，開創(chuàng)了文件共享的新時(shí)代。eMule作為當(dāng)前全球最流行的P2P文件共享系統(tǒng)之一，它支持eDonkey2000網(wǎng)絡(luò)和Kad網(wǎng)絡(luò)網(wǎng)內(nèi)文件搜索，給網(wǎng)絡(luò)用戶下載多媒體內(nèi)容帶來了全新的體驗(yàn)。同時(shí)，eMule網(wǎng)絡(luò)也成為了不良非法內(nèi)容傳播的溫床，嚴(yán)重影響了網(wǎng)絡(luò)應(yīng)用環(huán)境，其分散隱秘的傳播方式，給世界各國網(wǎng)絡(luò)監(jiān)管部門帶來了很大挑戰(zhàn)。

2、　　 針對(duì)eMule網(wǎng)絡(luò)資源傳輸不易發(fā)現(xiàn)和不易定位的問題。根據(jù)eMule網(wǎng)絡(luò)結(jié)構(gòu)及其資源傳播特點(diǎn)，本文設(shè)計(jì)并實(shí)現(xiàn)了面向eMule的主動(dòng)式網(wǎng)絡(luò)爬蟲系統(tǒng)，以兩種方式采集eMule資源數(shù)據(jù)，為網(wǎng)絡(luò)安全監(jiān)管和網(wǎng)絡(luò)安全態(tài)勢(shì)的宏觀分析提供了數(shù)據(jù)基礎(chǔ)；該系統(tǒng)也為P2P網(wǎng)絡(luò)測(cè)量提供了一個(gè)很好的技術(shù)平臺(tái)。主要工作及成果如下：
　　 ①在web網(wǎng)絡(luò)傳播方面，設(shè)計(jì)并實(shí)現(xiàn)了web網(wǎng)頁爬蟲模塊：1)改進(jìn)開源網(wǎng)絡(luò)爬蟲Heritrix的鏈接過濾功能，并引入

3、ELFhash算法優(yōu)化其URL隊(duì)列管理策略，通過測(cè)試驗(yàn)證改進(jìn)后抓取線程數(shù)和網(wǎng)頁采集速率有明顯提高。2)為避免傳統(tǒng)web網(wǎng)絡(luò)爬蟲的重復(fù)性問題，本文采用增量更新機(jī)制，有效提高采集網(wǎng)頁的質(zhì)量；實(shí)驗(yàn)得出抓取網(wǎng)頁的平均查準(zhǔn)率為95.5％，滿足項(xiàng)目需求。3)為深入web網(wǎng)頁中各單獨(dú)信息塊抽取eMule資源，結(jié)合自定義抽取規(guī)則，采用基于DOM樹的信息抽取方法，實(shí)驗(yàn)表明信息抽取的平均準(zhǔn)確率為97.8%，明顯高于同類系統(tǒng)。
　　 ②在eMule文

4、件共享系統(tǒng)傳播方面，主動(dòng)式爬蟲系統(tǒng)中設(shè)計(jì)并實(shí)現(xiàn)了eMule網(wǎng)絡(luò)爬蟲模塊：1)采用主動(dòng)測(cè)量的方法，設(shè)計(jì)基于eMule網(wǎng)絡(luò)中兩種不同協(xié)議的網(wǎng)絡(luò)爬蟲E-Crawler，多機(jī)并行處理，解決了傳統(tǒng)網(wǎng)絡(luò)爬蟲只測(cè)量單一協(xié)議網(wǎng)絡(luò)的問題。2)結(jié)合網(wǎng)絡(luò)音視頻傳播特點(diǎn)，為搜索特定熱度文件在eMule網(wǎng)絡(luò)中傳播情況，采用自動(dòng)添加關(guān)鍵字搜索的方式，使E-Crawler爬行更加具有主動(dòng)性。3)為了提高E-Crawler爬行速率，采用基于正反饋的爬行策略，優(yōu)先與大型