面向電子商務(wù)海量數(shù)據(jù)的智能挖掘技術(shù)研究.pdf

1、伴隨著計算機(jī)和網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，Internet已經(jīng)融入到人們?nèi)粘Ｉ钪械母鱾€方面，它在不知不覺間影響著現(xiàn)今社會人們的生活習(xí)慣。隨著Web2.0 時代的到來，使得互聯(lián)網(wǎng)信息的創(chuàng)建和傳播變得越來越容易。海量的網(wǎng)絡(luò)信息使用戶的信息需求得到了滿足。
　　但是，信息量過多也絕對不是什么好事，人們也在承受著信息過載（information overload）帶來的困擾。在這個時代，無論是信息需求者還是信息供應(yīng)者都面臨著巨大的挑戰(zhàn)：對于信息

2、需求者，從海量的互聯(lián)網(wǎng)信息中找到自己感興趣的信息將是一件相當(dāng)困難的事情；對于信息供應(yīng)者，讓自己供應(yīng)的信息脫穎而出，得到廣大網(wǎng)民的認(rèn)可，也是一件相當(dāng)困難的事情。
　　眾所周知，為了解決信息過載的問題，在不同的時期人們提出了許多不同的方法。總結(jié)起來，分為三個主要發(fā)展階段，即導(dǎo)航、檢索和推薦。導(dǎo)航，隨著互聯(lián)網(wǎng)網(wǎng)站數(shù)量的指數(shù)級增加，導(dǎo)航已經(jīng)逐漸退出歷史舞臺，目前我們常見的分類目錄網(wǎng)站就屬于這一類，如國內(nèi)的Hao123、國外的Yahoo 和

3、DMOZ 等。檢索，百度、谷歌等搜索引擎皆屬于此類，人們只要在搜索框中輸入相應(yīng)的關(guān)鍵詞，就可獲取自己想要的信息。但很多時候人們并不知道自己的明確需求，此時，就需要進(jìn)行推薦。推薦，根據(jù)用戶的歷史行為，為用戶建立興趣模型，從而主動地為用戶提供他們想要的信息。
　　隨著Internet 的發(fā)展及國家相關(guān)政策的支持，電子商務(wù)網(wǎng)站如雨后春筍般涌現(xiàn)出來。傳統(tǒng)商店受經(jīng)營場所面積及貨架成本制約，不能將所有的商品展示出來。但電子商務(wù)網(wǎng)站不受這些因素

4、影響，能夠用比較低成本展示并出售更多的商品。如何從海量的同質(zhì)商品中選出自己滿意的商品，這是用戶比較關(guān)注的問題；如何讓用戶從海量的商品中選擇自己的產(chǎn)品，也成為影響電子商務(wù)網(wǎng)站發(fā)展的重要因素。將推薦系統(tǒng)應(yīng)用于電子商務(wù)網(wǎng)站，不僅能提高電子商務(wù)網(wǎng)站的業(yè)績，也能對用戶提供較好的服務(wù)，從而避免用戶流失。因此，電子商務(wù)網(wǎng)站的推薦系統(tǒng)成為了當(dāng)前學(xué)術(shù)界及產(chǎn)業(yè)界的研究熱點(diǎn)。
　　本文首先對當(dāng)前常用推薦算法分類進(jìn)行了介紹，并通過簡單的示例描述了各個推薦

5、算法的原理，接合亞馬遜電子商務(wù)網(wǎng)站說明了推薦系統(tǒng)在實(shí)際環(huán)境中的應(yīng)用。
　　其次，本文針對HTML文檔開發(fā)了一套信息采集抽取系統(tǒng)。系統(tǒng)利用開源的網(wǎng)絡(luò)爬蟲Heritrix 對電子商務(wù)網(wǎng)站的網(wǎng)頁進(jìn)行爬取，然后采用開源的JSoup 進(jìn)行信息抽取。為驗(yàn)證系統(tǒng)的性能，我們對國內(nèi)最大的B2C電子商務(wù)網(wǎng)站天貓商城及國內(nèi)最大的B2B 子商務(wù)網(wǎng)站阿里巴巴的銷售記錄進(jìn)行了采集抽取，并得到了良好的實(shí)驗(yàn)結(jié)果。
　　再次，傳統(tǒng)的基于物品的協(xié)同過濾算法和

6、基于用戶的協(xié)同過濾算法存在矩陣稀疏的問題，一旦將稀疏矩陣補(bǔ)全，則又會出現(xiàn)存儲空間過大及計算時間過長的問題。針對該情況，本文對隱語義模型LFM（Latent Factor Model）進(jìn)行了研究，結(jié)合目前常見的標(biāo)簽系統(tǒng)，提出了基于標(biāo)簽的推薦算法。根據(jù)標(biāo)簽的生成方式，一般分為兩種：一種是由專業(yè)的編輯對物品打有限的標(biāo)簽；另一種是讓用戶根據(jù)自己的感知給物品打上相應(yīng)標(biāo)簽，即UGC（UserGenerated Content，用戶生成的內(nèi)容）。這樣