海量web輿情挖掘算法研究.pdf

1、web輿情是互聯(lián)網(wǎng)上圍繞中介性社會事件的發(fā)生、發(fā)展和變化，民眾對社會管理者產(chǎn)生和持有的社會政治態(tài)度，它主要以論壇、博客、新聞跟帖為載體。由于網(wǎng)絡(luò)輿論的自由性和隨意性，越來越多的網(wǎng)民樂意借助論壇、博客、新聞跟帖等方式發(fā)表觀點、相互交流。網(wǎng)民憑借互聯(lián)網(wǎng)高度開放自由的優(yōu)勢，對社會發(fā)展中的種種問題暢所欲言，能在極短時間內(nèi)凝聚共識，誘發(fā)行動，影響社會。然而由于網(wǎng)民閱歷和思想認識水平的局限性，很難在短時間內(nèi)理清事情背后復(fù)雜的社會和心理動因，非理性和

2、過于主觀的聲音經(jīng)常容易占據(jù)上風(fēng)，從一系列突發(fā)事件來看，網(wǎng)民通過網(wǎng)絡(luò)爆發(fā)出的輿論能量不容忽視。在互聯(lián)網(wǎng)影響力日益增大的今天，互聯(lián)網(wǎng)已成為思想文化的集散地和社會輿論的放大器，web輿情變得越來越重要。各級黨政機關(guān)、企事業(yè)單位和學(xué)術(shù)機構(gòu)都越來越重視互聯(lián)網(wǎng)輿情的監(jiān)測、研究和引導(dǎo)。我們要充分認識以互聯(lián)網(wǎng)為代表的新興媒體的社會影響力。因此，快速、準確的發(fā)現(xiàn)web輿情并對web輿情進行有效監(jiān)控勢在必行。
　　目前最大的信息系統(tǒng)web，其數(shù)據(jù)具有

3、海量、多樣、異構(gòu)、動態(tài)變化等特性。這樣使得依靠人工的方法難以應(yīng)對海量web信息的收集和web輿情的發(fā)現(xiàn)。本文為了解決上述問題，對web信息的采集和web輿情的發(fā)現(xiàn)進行了學(xué)習(xí)和研究。研究的主要內(nèi)容包括：網(wǎng)絡(luò)爬蟲技術(shù)，并行計算技術(shù)，數(shù)據(jù)劃分技術(shù)，web輿情發(fā)現(xiàn)技術(shù)。首先，在研究現(xiàn)有爬蟲技術(shù)的基礎(chǔ)上，設(shè)計了一種可更改策略的網(wǎng)絡(luò)爬蟲系統(tǒng)，該爬蟲以通用爬蟲為主體進行爬行，并能更改爬行時間和爬行方式，從而使爬蟲更加友好并能有效利用網(wǎng)絡(luò)資源。接著，對

4、web輿情發(fā)現(xiàn)進行了研究，提出了一種基于兩層結(jié)構(gòu)的分類方法，試驗證明，本文提出的分類算法具有較好的準確性和實用性。同時，利用基于最大頻繁詞集的數(shù)據(jù)劃分方法對傳統(tǒng)的凝聚式層次聚類算法進行了并行化實現(xiàn)。然后，將基于最大頻繁詞集的數(shù)據(jù)劃分方法在HADOOP平臺上進行了實現(xiàn)，測試結(jié)果說明HADOOP在處理大規(guī)模數(shù)據(jù)時具有明顯的優(yōu)勢。最后，根據(jù)上述研究工作，設(shè)計并實現(xiàn)了一個web輿情發(fā)現(xiàn)系統(tǒng)，該系統(tǒng)集可更改策略的爬蟲與web輿情發(fā)現(xiàn)于一體，具有友