對象存儲系統(tǒng)中元數(shù)據(jù)管理研究.pdf

1、對象存儲系統(tǒng)采用了一種新的接口——對象接口，有效綜合了塊接口的快速直接訪問、存儲設備可擴展的交換結(jié)構(gòu)與文件接口的安全性、跨平臺數(shù)據(jù)共享等優(yōu)點，同時對象接口能夠提供比其他任何一種接口更為豐富的語義，其基本單位是對象，對象除了包含用戶數(shù)據(jù)外，還包含能描述對象特征的訪問屬性。
　　 在大規(guī)模對象存儲系統(tǒng)中，元數(shù)據(jù)訪問非常頻繁，是系統(tǒng)性能潛在的瓶頸，需要研究高性能、可擴展的元數(shù)據(jù)管理方法。在對象存儲系統(tǒng)中，數(shù)據(jù)放置策略負責將文件映射為對

2、象、為對象選擇合適的對象存儲設備存放，在需要訪問對象時要快速定位到對象所在的對象存儲設備，它對系統(tǒng)訪問性能有關(guān)鍵性的影響，需要根據(jù)系統(tǒng)的規(guī)模選擇合適的數(shù)據(jù)放置策略。另一方面，元數(shù)據(jù)服務器中的元數(shù)據(jù)記錄了文件和目錄信息與對象之間的關(guān)系，元數(shù)據(jù)的丟失將導致數(shù)據(jù)無法訪問，因此元數(shù)據(jù)的可靠性維護至關(guān)重要。
　　 提出一種分布式元數(shù)據(jù)管理方案，以提供高性能和可擴展的元數(shù)據(jù)訪問。它采用仿層次目錄結(jié)構(gòu)，針對元數(shù)據(jù)的不同訪問特性將元數(shù)據(jù)靈活分布

3、在元數(shù)據(jù)服務器集群中。在深入分析傳統(tǒng)文件系統(tǒng)中與用戶組件部分相關(guān)的元數(shù)據(jù)組成結(jié)構(gòu)的基礎上，結(jié)合數(shù)據(jù)庫能提供高事務吞吐量的特點，提出一種改進的元數(shù)據(jù)存儲和管理方法，提高訪問速度；在系統(tǒng)中不再用持久存儲(如磁盤)來存儲記錄文件名到索引節(jié)點號映射關(guān)系的目錄數(shù)據(jù)，而是采用一種間接的方案來模擬層次目錄結(jié)構(gòu)，避免層次目錄結(jié)構(gòu)自身成為熱點，從而提供高性能、可擴展的元數(shù)據(jù)訪問；引入目錄轉(zhuǎn)換元數(shù)據(jù)以避免子樹分割方案中的目錄遍歷和哈希方案中的重命名目錄導致

4、的大量元數(shù)據(jù)遷移，提高元數(shù)據(jù)總體訪問性能；針對每種元數(shù)據(jù)自身的訪問特性，采用不同的分割方法將其分布在元數(shù)據(jù)服務器集群中，方便系統(tǒng)規(guī)模擴展。實驗結(jié)果表明該方案在提高元數(shù)據(jù)訪問性能和系統(tǒng)可擴展性方面有明顯優(yōu)勢。
　　 由于元數(shù)據(jù)訪問負載隨時間動態(tài)變化，元數(shù)據(jù)在元數(shù)據(jù)服務器集群中的靜態(tài)分配可能會導致某一時刻某個元數(shù)據(jù)服務器成為訪問瓶頸，為了在元數(shù)據(jù)服務器集群中提供高性能、可擴展的元數(shù)據(jù)服務，需要在元數(shù)據(jù)服務器之間均衡負載。提出一種以文

5、件元數(shù)據(jù)請求的響應時間為衡量標準、應用于元數(shù)據(jù)服務器集群的負載均衡算法，使集群中所有元數(shù)據(jù)服務器的響應時間差別較小，達到元數(shù)據(jù)服務器集群的負載均衡，從而提高元數(shù)據(jù)服務器整體性能。
　　 提出一種利用遺傳算法根據(jù)文件的不同特性求解數(shù)據(jù)放置的策略，它用于在系統(tǒng)規(guī)模較小、對象存儲設備總數(shù)固定的應用環(huán)境中尋求系統(tǒng)性能的近似最優(yōu)解。提出基于組的區(qū)分定位策略，它用于在系統(tǒng)規(guī)模較大且對象存儲設備總數(shù)可能發(fā)生變化的應用環(huán)境中解決對象放置問題。它

6、首先根據(jù)對象存儲設備加入系統(tǒng)的不同時期將每個對象存儲設備劃分到不同的存儲子集群，先采用分布式算法將對象映射到系統(tǒng)的某個子集群中，再在子集群內(nèi)部根據(jù)不同類型的對象采用不同的映射方法，對新創(chuàng)建的大對象采用啟發(fā)式方法來選擇負載較輕的對象存儲設備存放，對小對象采用改進哈希算法來決定其所在的對象存儲設備，兼顧了對象分布的靈活性和系統(tǒng)可擴展性。實驗結(jié)果表明該策略具有很好的性能和可擴展性。其中改進哈希算法是基于子集群內(nèi)對象存儲設備規(guī)模的變化規(guī)律提出的