壓縮的列存儲數(shù)據(jù)的查詢優(yōu)化研究與實現(xiàn).pdf

1、傳統(tǒng)的寫優(yōu)化數(shù)據(jù)庫管理系統(tǒng)多數(shù)采用按行存儲的方式，而對讀優(yōu)化的數(shù)據(jù)倉庫管理系統(tǒng)而言，列存儲表現(xiàn)出比行存儲更加顯著的性能。這是由于列存儲技術(shù)是將數(shù)據(jù)表以列為單位進(jìn)行存儲，在查詢中能有效避免讀取無關(guān)的列，從而獲得較高的查詢效率。由于數(shù)據(jù)倉庫中存儲的信息量非常龐大，如何對這些龐大的數(shù)據(jù)進(jìn)行有效的管理對數(shù)據(jù)倉庫管理系統(tǒng)來說是一個巨大的挑戰(zhàn)。解決這個問題的一個有效的方式就是采用數(shù)據(jù)壓縮技術(shù)。因此，如何對壓縮的列存儲數(shù)據(jù)進(jìn)行查詢及優(yōu)化的研究變得十分

2、有意義。
　　 本文以東華-達(dá)夢數(shù)據(jù)庫技術(shù)聯(lián)合實驗室“DWMS原型系統(tǒng)設(shè)計與實現(xiàn)”項目為背景，主要工作包括:
　　 1)對目前存在的一個基于字典的保留順序的字符串壓縮方法進(jìn)行研究，在繼續(xù)延用原方法中共用葉子的索引結(jié)構(gòu)的同時，對原壓縮方法進(jìn)行了改進(jìn)，提出了一個新的基于概率的字符串壓縮方法，能快速的將字符串屬性進(jìn)行壓縮和解壓，降低了系統(tǒng)對壓縮數(shù)據(jù)的查詢時間。
　　 2)在列存儲的數(shù)據(jù)經(jīng)過壓縮之后，對壓縮數(shù)據(jù)上的查詢策

3、略進(jìn)行了研究。首先將傳統(tǒng)的代價模型進(jìn)行修改，為了使其是基于壓縮的，新增了數(shù)據(jù)壓縮和解壓的代價。然后針對必須要求解壓的數(shù)據(jù)，研究如何合理的選擇解壓時機(jī)來進(jìn)一步降低CPU消耗。最后給出了在壓縮的數(shù)據(jù)上進(jìn)行查詢操作的一些具體算法，包括壓縮數(shù)據(jù)的選擇、連接和聚集操作。
　　 3)根據(jù)壓縮的列存儲數(shù)據(jù)的特點，并結(jié)合現(xiàn)有的數(shù)據(jù)庫查詢優(yōu)化方法，提出了對壓縮的數(shù)據(jù)進(jìn)行查詢的一些優(yōu)化策略。為了便于對數(shù)據(jù)的快速檢索和提高查詢的速度，研究了索引結(jié)構(gòu)和

4、臨時表的合理選擇。然后對查詢中經(jīng)常存在的謂詞和子查詢進(jìn)行了優(yōu)化重寫策略，最后給出了壓縮數(shù)據(jù)上的選擇和聚集操作的優(yōu)化算法。
　　 4)采用本文提出的基于概率的保留順序的字符串壓縮方法對DWMS中的字符串屬性進(jìn)行壓縮，對字符串的壓縮效率進(jìn)行了實驗比較。然后將本文提出的一些查詢優(yōu)化策略應(yīng)用于DWMS中經(jīng)過壓縮的數(shù)據(jù)，并對經(jīng)過各種優(yōu)化策略優(yōu)化后的查詢的執(zhí)行時間進(jìn)行了一系列實驗測試。
　　 本文提出的基于概率的字符串壓縮方法能快速