海量車載信息的存儲(chǔ)和挖掘方法的研究與應(yīng)用.pdf

1、當(dāng)今社會(huì)的信息量飛速增長，迫切需要解決大數(shù)據(jù)相關(guān)問題，通常用于分析企業(yè)數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)庫和一些商業(yè)智能工具難以滿足需求。Hadoop起源于Apache基金會(huì)，隨著逐漸增加的用戶數(shù)量及進(jìn)一步的開發(fā)和完善，Hadoop已成為海量數(shù)據(jù)分析的最佳解決方案之一。Hadoop的應(yīng)用也逐漸拓展到了電信、電子商務(wù)、銀行等行業(yè)，而物流行業(yè)存在著海量的車輛行駛數(shù)據(jù)，Hadoop在儲(chǔ)存并分析這些數(shù)據(jù)時(shí)必定有其用武之地。越來越多的配送車輛安裝了車載設(shè)備，通過GP

2、S定位、內(nèi)嵌計(jì)算模塊等監(jiān)控車輛運(yùn)輸過程，這些數(shù)據(jù)可以給各廠商提供監(jiān)管依據(jù)，同時(shí)能夠挖掘出其中有用的商業(yè)價(jià)值信息。
　　Hadoop平臺(tái)的功能之一是實(shí)現(xiàn)了傳統(tǒng)數(shù)據(jù)庫向分布式存儲(chǔ)方法的轉(zhuǎn)換，可以把現(xiàn)有數(shù)據(jù)或者關(guān)系型數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入HBase。由于HBase產(chǎn)生不久，開源資料缺少高效的導(dǎo)入方式，現(xiàn)有資料多是介紹了HBase shell命令或者簡單API，不能滿足批量快速導(dǎo)入的需求，即使提到了一些有效改進(jìn)方法也沒有給出具體操作和實(shí)現(xiàn)。本文研

3、究了海量數(shù)據(jù)快速導(dǎo)入HBase數(shù)據(jù)庫，根據(jù)集群的各方面性能、HBase運(yùn)行的內(nèi)部機(jī)制并結(jié)合了配置參數(shù)的功能，修改了部分參數(shù)；為了節(jié)省空間、提高索引效率以及提升入庫效率，優(yōu)化了rowkey的設(shè)計(jì)；為均衡HReginSever的負(fù)載，實(shí)現(xiàn)了預(yù)分區(qū)方案并給出了詳細(xì)的實(shí)現(xiàn)方法，通過實(shí)驗(yàn)測試得到了最佳分區(qū)方案；結(jié)合MapReduce模型實(shí)現(xiàn)了批量導(dǎo)入功能，給出了實(shí)現(xiàn)方法及改進(jìn)；另外在程序中直接利用sqoop源碼將shell命令嵌入到程序中，提高了

4、程序控制的靈活性。最后綜合以上方法進(jìn)行測試并分析了實(shí)驗(yàn)結(jié)果。
　　針對某幾個(gè)客戶公司的需求，本文挖掘海量GPS車輛數(shù)據(jù)中的有價(jià)值信息，基于MapReduce框架設(shè)計(jì)并實(shí)現(xiàn)了三個(gè)算法。第一，利用MapReduce模型設(shè)計(jì)并實(shí)現(xiàn)了各區(qū)域中車輛密度的統(tǒng)計(jì)，在定位地理位置時(shí)設(shè)計(jì)了兩種方法，包括在sqlserver生成空間數(shù)據(jù)庫和建立地理信息四叉樹索引。第二，設(shè)計(jì)了各加油站經(jīng)過車流量統(tǒng)計(jì)算法，其中定制了Writable類實(shí)現(xiàn)了value值按