新浪微博的數(shù)據(jù)采集和推薦方案研究.pdf

1、新浪微博作為一種新型的社交應用平臺，經(jīng)過多年的發(fā)展，已經(jīng)成為社交應用的主流。隨著“信息爆炸”時代的到來，人們不可能關(guān)注所有的微博信息，推薦系統(tǒng)可以發(fā)現(xiàn)用戶興趣，針對用戶進行個性化推薦。傳統(tǒng)的微博推薦系統(tǒng)主要從社交網(wǎng)絡(luò)的拓撲結(jié)構(gòu)和用戶注冊信息的方向來考慮，生成相應推薦結(jié)果。通常這樣給出的結(jié)果與用戶的興趣相似度不高。
　　本文主要從用戶興趣的角度出發(fā)，分析用戶自身發(fā)表過的所有微博記錄來預測用戶興趣，并給出推薦結(jié)果。這樣的推薦結(jié)果用戶針

2、對性更強，更加能滿足用戶興趣需求。
　　本文對微博推薦系統(tǒng)的實現(xiàn)過程進行了深入的研究，核心的工作主要分為三個部分:
　　第一部分是新浪微博的數(shù)據(jù)采集:通過新浪API和網(wǎng)絡(luò)爬蟲這兩種方式采集新浪微博的數(shù)據(jù)，把采集的結(jié)果數(shù)據(jù)作為訓練模型的語料庫，同時也作為推薦信息的基本來源。
　　第二部分主要對用戶進行聚類操作，通過分析用戶發(fā)表的所有微博，提煉出用戶主題模型，然后使用k-means算法對所有的用戶主題模型進行聚類操作，把用

3、戶劃分成k類興趣相似的用戶簇。
　　第三部分關(guān)于微博推薦列表生成:用戶的所有主題詞構(gòu)成一個用戶主題向量，用基于word2vec的文本相似性度量算法計算該簇中其它用戶發(fā)表的微博與該用戶主題向量之間的相似性，得到一個相似度列表。對相似度列表進行排序，取出相似度值最大的N個值所對應的微博加入推薦列表，針對用戶進行個性化推薦。
　　最后，利用node.js的express框架和一些前端庫，搭建了一個簡單的微博推薦系統(tǒng)，該系統(tǒng)基本實現(xiàn)