基于對象存儲的文件系統(tǒng)緩存機(jī)制研究.pdf

1、隨著計算機(jī)信息技術(shù)的迅速發(fā)展，對海量數(shù)據(jù)的存儲及訪問需求都呈幾何級數(shù)爆炸式增長，也對數(shù)據(jù)的存儲及訪問方式提出了更高的要求。基于對象存儲Lustre文件系統(tǒng)結(jié)合了傳統(tǒng)文件系統(tǒng)的優(yōu)點(diǎn)，將對象存儲服務(wù)器與元數(shù)據(jù)服務(wù)器分離，實(shí)現(xiàn)了分布式環(huán)境下文件的并行訪問，使集群系統(tǒng)中文件的I/O性能得到極大的提高。因此，研究Lustre文件系統(tǒng)的關(guān)鍵技術(shù)，尋求更加高效的文件訪問效率，進(jìn)一步提高在不同的復(fù)雜環(huán)境下的適應(yīng)性顯得尤為必要。
　　 論文按照“

2、研究-設(shè)計-實(shí)現(xiàn)-驗(yàn)證”的思路，以開源的Lustre文件系統(tǒng)作為主要研究對象，主要完成了以下工作:首先，結(jié)合Lustre官方的操作手冊，對源代碼進(jìn)行大量的閱讀，分析其體系結(jié)構(gòu)和使用的關(guān)鍵技術(shù);其次，在代碼閱讀的基礎(chǔ)上，重點(diǎn)對Lustre現(xiàn)有的緩存工作機(jī)制進(jìn)行分析，從中得出在大規(guī)模數(shù)據(jù)訪問、特別是針對I/O密集型的共享資源訪問的情況下，為保證數(shù)據(jù)一致性而進(jìn)行的緩存刷新會帶來很大的網(wǎng)絡(luò)吞吐量和更新延遲的問題，進(jìn)而采用了一種協(xié)作式的緩存更新策

3、略對其進(jìn)行改進(jìn)，并通過實(shí)驗(yàn)證明了改進(jìn)的Lusrre客戶端緩存一致性策略進(jìn)一步提高了文件系統(tǒng)的讀性能;最后，Lustre文件系統(tǒng)在設(shè)計之初重點(diǎn)針對大文件采用數(shù)據(jù)分片實(shí)現(xiàn)數(shù)據(jù)并行存取等技術(shù)來提高性能，但在實(shí)際的應(yīng)用中，數(shù)據(jù)訪問并不可能完全是由大塊的數(shù)據(jù)組成，而是混合著大量的小塊文件，此時Lustre的數(shù)據(jù)訪問方式反而可能會造成性能瓶頸，論文采用了在客戶端增加專門針對小文件數(shù)據(jù)的緩存，對小文件進(jìn)行堆積和延遲提交的方式減少網(wǎng)絡(luò)I/O次數(shù)，進(jìn)行寫