基于語言模型的微博文本檢索方法.pdf

1、微博提供了一種新的信息傳播方式。在微博上,人們可以通過最多140個字來快速自由地表達自己的感受、見聞或者意見。微博自從出現(xiàn)以來經(jīng)歷了巨大的發(fā)展,目前風靡全球的 Twitter和國內流行的新浪微博都有著數(shù)以億記的用戶,每天產(chǎn)生出巨大數(shù)量的新內容。
　　隨著微博的發(fā)展,它已經(jīng)成為人們獲取信息的一種重要方式。微博中的信息與傳統(tǒng)網(wǎng)頁信息相比更加具有時效性,因為微博的內容大部分是對熱門話題的報導或者討論?！皼]有檢索的信息是無用的”,對于微博

2、中海量的數(shù)據(jù),如何使用戶快速有效的得到他想要的內容,是微博檢索的主要目的。
　　本文研究了微博文本檢索的兩個主要特點:(1)相關性。即檢索結果應該與用戶的查詢盡可能的相關。(2)實時性。即用戶希望得到盡可能新的結果。目前流行的商用搜索引擎都采用了一種簡單的檢索模型,即將包含所有查詢詞的微博按其創(chuàng)建時間排序。這種方法雖然考慮到了微博檢索的兩個特點,按創(chuàng)建時間排序的方法也保證了檢索結果的實時性,但是這種方法過于“嚴格”的相關性判斷標準

3、會使得大量的相關文檔被過濾掉。
　　本文在語言模型的檢索方法下整體考慮微博檢索的相關性和實時性。語言模型方法主要包括兩個部分:與查詢相關的相關性模型和與查詢無關的文檔先驗模型。本文使用了一種基于創(chuàng)建時間的文檔先驗模型來考慮微博檢索的實時性,實驗結果表明這種模型的引入可以使結果提高4％到5%。而對于相關性模型的選擇,本文對比了古老的伯努利模型和目前占主導地位的多項式模型。雖然多項式模型在傳統(tǒng)的文本檢索中被認為是優(yōu)于伯努利模型的,但最

4、近伯努利模型在句子檢索中的優(yōu)秀表現(xiàn)顯示了它在短文本檢索中的有效性?？紤]到微博的短文本特性,有必要對伯努利模型在微博檢索的效果進行研究。實驗結果表明伯努利模型在微博檢索中的結果的準確率要高于多項式模型,而且伯努利模型對于平滑參數(shù)的改變也比多項式模型更加穩(wěn)定。因此,在語言模型方法中結合了伯努利模型和基于微博創(chuàng)建時間的文檔先驗模型的檢索方法有著最好的結果。
　　除了對檢索結果按相關性排序的方法之外,本文還研究了將檢索結果按微博創(chuàng)建時間排

5、序的方法。本文采用了一種利用語言模型的檢索結果進行重排序的方法,并對重排序閾值的選擇進行了重點研究,使用了一種基于文檔得分分布的自動閾值選擇方法。這種方法利用高斯分布對相關文檔的得分進行建模,并用指數(shù)分布對不相關文檔的得分進行建模,并在缺少相關性標注的情況下利用期望最大化算法(EM)對混合模型進行參數(shù)估計。實驗結果表明這種自動閾值選擇方法的結果要比人工設定固定閾值的方法至少高出9%,而且自動閾值選擇的方法也避免了在沒有任何啟發(fā)信息的情況