大規(guī)模機(jī)群文件系統(tǒng)的關(guān)鍵技術(shù)研究.pdf

1、機(jī)群結(jié)構(gòu)已成為高性能計(jì)算機(jī)的主流結(jié)構(gòu)。隨著CPU處理能力和通信速度的迅速提高，I／O成為制約機(jī)群應(yīng)用實(shí)際性能的瓶頸。機(jī)群文件系統(tǒng)作為解決機(jī)群I／O瓶頸的核心技術(shù)，其研究具有重要的意義。 機(jī)群文件系統(tǒng)的發(fā)展趨勢為：第一，元數(shù)據(jù)處理與文件I／O分離；第二，利用大規(guī)模網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)來提供多條數(shù)據(jù)I／O通路；第三，利用一組元數(shù)據(jù)服務(wù)器來提供多條元數(shù)據(jù)I／O通路。 針對(duì)這種結(jié)構(gòu)的機(jī)群文件系統(tǒng)，我們研究了其中的幾個(gè)關(guān)鍵問題，包括元數(shù)據(jù)

2、的分布問題，元數(shù)據(jù)的一致性和快速故障恢復(fù)問題，以及PB級(jí)機(jī)群文件系統(tǒng)的相關(guān)問題。本文的主要貢獻(xiàn)在于： (1)提出一種高效的大存儲(chǔ)空間的管理策略——Bitmap-Extent混合策略。針對(duì)PB級(jí)機(jī)群文件系統(tǒng)，打破了傳統(tǒng)文件系統(tǒng)基于一個(gè)塊設(shè)備的限制，提出將機(jī)群文件系統(tǒng)與物理存儲(chǔ)分離的一種邏輯空間策略，從而解決了文件系統(tǒng)容量受限問題和存儲(chǔ)擴(kuò)展問題等；而且針對(duì)PB級(jí)存儲(chǔ)空間管理，提出一種基于位圖與extent鏈表相結(jié)合的大規(guī)模存儲(chǔ)空間管

3、理機(jī)制，以提高存儲(chǔ)空間的管理效率。 (2)提出一種基于粒度的動(dòng)態(tài)元數(shù)據(jù)分布策略。元數(shù)據(jù)分布問題是決定非集中式元數(shù)據(jù)處理性能的關(guān)鍵問題。我們提出的基于粒度的動(dòng)態(tài)元數(shù)據(jù)分布策略以提高元數(shù)據(jù)處理整體性能為目標(biāo)，綜合考慮元數(shù)據(jù)分布均衡度和文件系統(tǒng)層次結(jié)構(gòu)關(guān)系兩個(gè)因素對(duì)元數(shù)據(jù)處理整體性能的影響，按照一定粒度來劃分名字空間和分布元數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明在模擬真實(shí)環(huán)境的負(fù)載下它的性能高于動(dòng)態(tài)隨機(jī)分布策略和動(dòng)態(tài)根子樹分布策略。 (3)提出一

4、種基于簡化的兩階段提交協(xié)議的、故障后可快速恢復(fù)元數(shù)據(jù)一致性的分布式元數(shù)據(jù)處理協(xié)議。元數(shù)據(jù)一致性問題是影響分布式元數(shù)據(jù)管理的可靠性和高可用性的關(guān)鍵問題。為了解決元數(shù)據(jù)服務(wù)器之間的元數(shù)據(jù)一致性問題，我們將兩階段提交協(xié)議與元數(shù)據(jù)的處理協(xié)議結(jié)合起來，提出一種基于簡化的兩階段提交協(xié)議的分布式元數(shù)據(jù)處理協(xié)議，在元數(shù)據(jù)服務(wù)器失效或客戶節(jié)點(diǎn)失效時(shí)，能夠快速恢復(fù)文件系統(tǒng)的元數(shù)據(jù)一致性，保證文件系統(tǒng)的可用性。 (4)設(shè)計(jì)和實(shí)現(xiàn)了面向多用戶多任務(wù)環(huán)境