大規(guī)模主題建模方法研究.pdf

1、在大數(shù)據(jù)時(shí)代，數(shù)據(jù)量按照其本身的發(fā)展速度在急劇增加，并且數(shù)據(jù)類型多樣。這些大數(shù)據(jù)帶來的使用價(jià)值和商業(yè)價(jià)值巨大，在搜索引擎、推薦系統(tǒng)、在線廣告等方面都有著重要的作用。然而，大數(shù)據(jù)對數(shù)據(jù)實(shí)時(shí)處理要求極高，傳統(tǒng)的技術(shù)架構(gòu)已經(jīng)無法高效處理海量數(shù)據(jù)，在速度和精度等方面都存在缺陷。因此，本論文主要研究精準(zhǔn)、高效的方法來進(jìn)行大數(shù)據(jù)的數(shù)據(jù)挖掘。
　　在各類網(wǎng)絡(luò)數(shù)據(jù)中，文本數(shù)據(jù)信息占據(jù)著主要的地位。因此，各類處理文本的主題模型被相繼提出。主題模型能

2、夠無監(jiān)督地學(xué)習(xí)出文本的主題含義，其應(yīng)用領(lǐng)域覆蓋了文本挖掘和信息處理的所有領(lǐng)域。其中，對潛在狄利克雷分配（latent Dirichlet allocation，LDA)主題模型的研究最為普遍，很多并行LDA模型被相繼提出。然而，在大數(shù)據(jù)大主題下，簡單的并行LDA模型無法有效運(yùn)行，在時(shí)效性與可擴(kuò)展性方面有所不足。并行LDA將數(shù)據(jù)集劃分為多個(gè)小塊，利用多進(jìn)程分別對每塊進(jìn)行參數(shù)更新，然后進(jìn)程之間通過通信來交互信息，從而得到全局的參數(shù)。然而低效

3、的通信方式導(dǎo)致通信時(shí)間占總時(shí)間的百分比隨著進(jìn)程的增多而越來越大，使得并行LD A的加速比在一定進(jìn)程數(shù)時(shí)達(dá)到停滯狀態(tài)。此外，并行LDA模型的空間復(fù)雜度與數(shù)據(jù)集文檔的大小、單詞表的大小以及主題數(shù)目的大小有關(guān)。而大規(guī)模主題模型的這三個(gè)參數(shù)都較大，由于機(jī)器內(nèi)存的限制，無法將全部參數(shù)放入內(nèi)存導(dǎo)致無法構(gòu)建大規(guī)模主題模型。
　　本文針對并行LDA模型精度差、通信時(shí)耗大、內(nèi)存消耗多的缺點(diǎn)，提出并行在線LDA模型。其中使用的近似推理參數(shù)估計(jì)算法是置

4、信傳播算法（belief propaga- tion, B P)，該算法在精度上優(yōu)于其他算法，例如吉布斯采樣（Gibbs sampling，GS)。我們將本文的并行模型記為POBP(parallel online B P)?；趦绶▌t（power la w)將模型參數(shù)分為高效元素與非高效元素，POBP動(dòng)態(tài)選取高效元素來進(jìn)行通信，將通信量降低為原始的1％，有效降低了并行的通信代價(jià)。與此同時(shí)，由于該策略只需要同步部分的參數(shù)元素，所以同樣也降

5、低了模型參數(shù)更新的復(fù)雜度。其次，通過使用在線學(xué)習(xí)策略，流式處理數(shù)據(jù)集，使得模型內(nèi)存消耗與文檔的數(shù)目無關(guān)，將內(nèi)存消耗降為可控制的固定的大小，使得POBP能夠訓(xùn)練大規(guī)模的數(shù)據(jù)。
　　本文在搜索引擎信息檢索應(yīng)用上使用P O B P以及parallel GS(P G S)進(jìn)行相關(guān)驗(yàn)證。本文分別使用POBP和PGS對搜索引擎用戶的查詢詞以及網(wǎng)頁文本進(jìn)行兩種語義解釋，一種使用預(yù)測文檔的主題分布來替換原始向量空間模型（vector space