基于Hadoop的空間矢量數(shù)據(jù)的分布式存儲與查詢研究.pdf

1、目前空間數(shù)據(jù)的規(guī)模不斷增長，使得處理和分析空間數(shù)據(jù)技術的難度不斷增加，同時 GIS在各個行業(yè)的廣泛應用，海量空間數(shù)據(jù)進行高效管理和處理的難度不斷加大，多數(shù)領域也對空間數(shù)據(jù)的精度提出了越來越高的要求，迫切需要新的技術和方法來管理和處理海量的空間數(shù)據(jù)。目前的開源的分布式大數(shù)據(jù)處理平臺利用分布式存儲和并行計算的方法能為解決上述問題提供一種新的方法。
　　本文基于Hadoop開源大數(shù)據(jù)處理平臺，利用HBase在空間數(shù)據(jù)并發(fā)訪問和數(shù)據(jù)處理方

2、面的優(yōu)勢來高效、合理存儲和管理空間數(shù)據(jù)，主要在空間數(shù)據(jù)的存儲和查詢兩個方面作了比較深入的研究。首先，研究了空間數(shù)據(jù)存儲與并行處理的國內(nèi)外現(xiàn)狀，分析對比了當前空間數(shù)據(jù)的幾種存儲方式，深入研究了MapReduce并行計算框架的整個原理和運行的機制以及 HBase的存儲模型，并設計了空間數(shù)據(jù)復合行鍵拼接加入分隔符的行鍵存儲模式，取消了過濾列族的設計。接著使用GeoTools工具將Shapefile文件導入HBase表，通過GeoTools工具

3、構建出空間數(shù)據(jù)對象，分析了GeoTools工具整合到 MapReduce并行計算框架下空間數(shù)據(jù)處理的流程。最后，在此基礎上，提出了空間數(shù)據(jù)的窗口查詢、多邊形區(qū)域查詢的MapReduce并行化解決方案以及基于Geohash的空間數(shù)據(jù)的K近鄰查詢算法，并在Hadoop的分布式環(huán)境中進行了空間數(shù)據(jù)導入和多種空間查詢和并行處理實驗，驗證了HBase存儲和處理空間數(shù)據(jù)的優(yōu)勢以及查詢算法有更高的效率和更好的準確性。
　　主要取得了以下研究成果

4、：
　　（1）通過一種在HBase中新的空間數(shù)據(jù)的存儲表模式設計，來獲得HBase在海量空間數(shù)據(jù)分布式存儲方面性能的優(yōu)越性。
　?。?）提出將 GeoTools工具整合到 MapReduce并行計算框架下空間數(shù)據(jù)處理的流程，通過這個方式來完成空間數(shù)據(jù)的導入導出。
　?。?）采用 MapReduce2.0并行程序設計框架來完成空間數(shù)據(jù)的窗口查詢、多邊形區(qū)域查詢，經(jīng)實驗證明，該并行化算法對比與傳統(tǒng)查詢算法有明顯的優(yōu)勢。