文本傾向性分析中的情感詞典構(gòu)建技術(shù)研究.pdf

1、隨著計(jì)算機(jī)與網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，Internet已經(jīng)成為現(xiàn)代主要的信息載體，網(wǎng)絡(luò)在線文檔也成為人們?nèi)粘Ｉ钪胁豢苫蛉钡闹饕畔?lái)源。而隨著互聯(lián)網(wǎng)進(jìn)入Web2.0時(shí)代，Internet又逐步地從靜態(tài)的信息載體變成人們表達(dá)意見(jiàn)、交流情感的平臺(tái)，人們通過(guò)各種途徑，以各種方式表達(dá)自身對(duì)于各種事物的意見(jiàn)、看法：新聞評(píng)論、產(chǎn)品評(píng)論、情感博客等。這些觀點(diǎn)性內(nèi)容對(duì)于網(wǎng)絡(luò)電子商務(wù)、網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)、網(wǎng)絡(luò)信息安全、網(wǎng)絡(luò)信息檢索等多方面都具有重要的意義和實(shí)用價(jià)值

2、。面對(duì)如此海量的富含情感信息的文本，亟待找到一種快速的自動(dòng)分析方法對(duì)這些網(wǎng)絡(luò)文本進(jìn)行處理。對(duì)網(wǎng)絡(luò)文本觀點(diǎn)性內(nèi)容的自動(dòng)情感分析成為近期web信息處理的一個(gè)研究熱點(diǎn)，而其中的核心技術(shù)就是文本傾向性分析。情感詞典構(gòu)建是文本傾向性分析的基礎(chǔ)。本文以高質(zhì)量的情感詞典構(gòu)建算法作為研究目標(biāo)，著重對(duì)以下幾個(gè)方面進(jìn)行了深入的研究：
　　首先，介紹了文本傾向性分析研究的背景，分析了文本傾向性分析及情感詞典構(gòu)建所面臨的挑戰(zhàn)；然后分析了當(dāng)前文本傾向性分析

3、及情感詞典構(gòu)建技術(shù)的研究現(xiàn)狀；最后進(jìn)一步明確了研究情感詞典構(gòu)建算法的意義和必要性。
　　為了減少通用情感詞典構(gòu)建算法對(duì)于基準(zhǔn)詞的依賴，提出了基于函數(shù)優(yōu)化的通用詞典構(gòu)建方法。目前多數(shù)通用情感詞典構(gòu)建方法根據(jù)語(yǔ)氣待定詞語(yǔ)與之前人工進(jìn)行語(yǔ)氣標(biāo)注的基準(zhǔn)詞之間的局部信息來(lái)確定語(yǔ)氣待定詞語(yǔ)的語(yǔ)氣傾向。這樣導(dǎo)致了兩方面的問(wèn)題：①由于對(duì)于語(yǔ)氣待定詞語(yǔ)與測(cè)試集中所有詞語(yǔ)之間的全局信息利用不充分，致使算法準(zhǔn)確率仍存在提高空間；②該方法對(duì)領(lǐng)域?qū)＜业囊蕾?/p>

4、較強(qiáng)，對(duì)基準(zhǔn)詞的選擇和數(shù)量較為敏感。針對(duì)該問(wèn)題，本文從圖劃分的角度提出基于函數(shù)優(yōu)化的通用情感詞典構(gòu)建方法，該方法將通用情感詞典構(gòu)建問(wèn)題轉(zhuǎn)化為函數(shù)優(yōu)化問(wèn)題，并利用模擬退火算法進(jìn)行求解。
　　為了解決基于圖劃分方法在某些應(yīng)用場(chǎng)景中易于陷入局部極值的問(wèn)題，提出了基于詞語(yǔ)聚團(tuán)性的通用詞典構(gòu)建方法。在利用函數(shù)優(yōu)化求解圖分解問(wèn)題的算法中，多數(shù)以“最小切分”作為切分的目標(biāo)。但當(dāng)子圖大小和數(shù)目不固定時(shí)，采用“最小切分”策略的目標(biāo)函數(shù)在求解過(guò)程易于

5、陷入局部極值：即傾向于把所有節(jié)點(diǎn)劃入一個(gè)子圖，而使的另外的子圖中的節(jié)點(diǎn)數(shù)目為零。針對(duì)該問(wèn)題，本文采用復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)中的基于Modularity優(yōu)化的方法來(lái)構(gòu)建通用情感詞典。本文對(duì)于傳統(tǒng)Modularity方法的改進(jìn)在于，只比較所有二分情況下的Modularity值并進(jìn)行優(yōu)化，這樣既使得Modularity方法能夠適用于本問(wèn)題，又極大的降低了運(yùn)算量。
　　為了解決情感詞典的領(lǐng)域移植問(wèn)題，提出了基于擴(kuò)展信息瓶頸的領(lǐng)域詞典構(gòu)建方法。領(lǐng)

6、域情感詞典被廣泛應(yīng)用于細(xì)粒度的文本傾向性分析中，自動(dòng)構(gòu)建領(lǐng)域情感詞典文本傾向性分析研究中一個(gè)重要且基礎(chǔ)的工作?，F(xiàn)有的構(gòu)建算法只考慮了新舊領(lǐng)域之間詞語(yǔ)的關(guān)系，算法準(zhǔn)確率仍存在提升空間。針對(duì)該問(wèn)題，本文對(duì)傳統(tǒng)信息瓶頸聚類方法進(jìn)行改進(jìn)，通過(guò)充分利用源領(lǐng)域與目標(biāo)領(lǐng)域的情感詞與文檔之間的相互關(guān)系，來(lái)建立目標(biāo)領(lǐng)域的領(lǐng)域情感詞典。
　　最后，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)細(xì)粒度的產(chǎn)品屬性挖掘系統(tǒng)。在該系統(tǒng)中，通過(guò)利用產(chǎn)品屬性和評(píng)論語(yǔ)氣詞之間的互相推薦，可以實(shí)