個性化推薦技術(shù)中的協(xié)同過濾算法研究.pdf

1、隨著網(wǎng)絡(luò)與信息技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)為用戶提供越來越多的信息和服務(wù),用戶在得到便利的同時也不得不面臨大量的垃圾信息和無意義數(shù)據(jù),即所謂的信息超載問題。面對海量的網(wǎng)絡(luò)資源,個性化推薦系統(tǒng)能夠及時跟蹤用戶的需求變化來自動調(diào)整信息服務(wù)的方式和內(nèi)容,是一種極具潛力的解決信息超載的服務(wù)技術(shù)。
　　 協(xié)同過濾技術(shù)是目前推薦系統(tǒng)中最成功和應(yīng)用最廣泛的技術(shù),在理論研究和實踐中都取得了快速的發(fā)展,它根據(jù)用戶的歷史選擇信息和相似性關(guān)系,收集與用戶興

2、趣愛好相同的其他用戶的評價信息來產(chǎn)生推薦。然而,傳統(tǒng)的協(xié)同過濾算法面臨數(shù)據(jù)稀疏、用戶相似性難以度量、實時性和可擴展性差等方面的挑戰(zhàn),影響了推薦系統(tǒng)的質(zhì)量。本文針對這些問題,對協(xié)同過濾算法進行了相應(yīng)的改進,主要工作如下:
　　 1)針對傳統(tǒng)相似性度量方法在用戶數(shù)據(jù)稀疏和小鄰居集下度量不準確問題,提出了一種基于信息熵的相似性度量方法。該算法首先計算用戶間評分的差異,而后通過該差異的加權(quán)信息熵來衡量用戶評分的相似程度;同時在計算用戶相

3、似度時還考慮用戶間共同關(guān)注圈的大小,用戶關(guān)注圈交集越大,相似性權(quán)重越大。實驗結(jié)果表明,在數(shù)據(jù)稀疏程度不變的情況下,該相似性度量方法緩解了傳統(tǒng)方案在稀疏數(shù)據(jù)和小鄰居集下的相似度度量不準確問題,提高了推薦的精度。
　　 2)針對傳統(tǒng)的協(xié)同過濾技術(shù)在產(chǎn)生推薦時只考慮用戶-項目評分信息而易受數(shù)據(jù)稀疏影響的問題,引入項目屬性信息,提出了一種基于評分相似性和項目屬性相似性的混合協(xié)同過濾算法。首先,通過項目屬性信息設(shè)計了一種基于項目屬性偏好的

4、用戶相似性度量方法,該方法符合用戶間的真實關(guān)系,同時也能夠有效地緩解用戶評分稀疏的問題。而后在衡量用戶相似性時,綜合考慮用戶評分的相似性和用戶對項目屬性偏好的相似性,并通過一個權(quán)值w來控制兩者的重要程度;實驗結(jié)果表明,在不同稀疏程度的數(shù)據(jù)上,該算法獲得了比傳統(tǒng)相似性計算方法更好的推薦精度,且數(shù)據(jù)越稀疏性能提升越明顯。
　　 3)針對基于內(nèi)存的協(xié)同過濾算法在線計算量較大且可擴展性較低的缺點,提出了一種基于SVD矩陣填充技術(shù)的K-m

5、eans聚類協(xié)同過濾算法。傳統(tǒng)的基于聚類的協(xié)同過濾算法由于數(shù)據(jù)的高維稀疏往往預(yù)測精度非常低,因此,本算法首先利用SVD降維策略提高數(shù)據(jù)密度,得到一個沒有缺失值的評分矩陣,而后利用K-means聚類在填充完整的數(shù)據(jù)上對用戶進行聚類,從而對完成對測試集上未知評分進行預(yù)測。該算法利用用戶與項目之間的潛在關(guān)系克服了稀疏性問題,同時保留了聚類方法實時性好、可擴展性強的優(yōu)點。實驗結(jié)果表明,相對于傳統(tǒng)的Pearson協(xié)同過濾,基于SVD協(xié)同過濾和基于

6、K-means的協(xié)同過濾,該算法獲得了更好的預(yù)測性能,同時具有良好的可擴展性。
　　 4)針對單個模型做協(xié)同過濾推薦時精度較低的問題,提出了一種改進的自適應(yīng)AdaBoot.RT集成學(xué)習(xí)算法,首先利用梯度下降法最小化用戶評分的誤差函數(shù)來構(gòu)造基類弱回歸算法,而后利用一種改進的AdaBoost.RT集成學(xué)習(xí)方法進行建模。在改進的AdaBoost.RT算法中,用一種帶統(tǒng)計特性的偏差系數(shù)α來代替原算法中的相對誤差參數(shù)φ,α能夠根據(jù)預(yù)測誤差