基于網(wǎng)絡(luò)編碼的分布式文件系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著電子信息技術(shù)的發(fā)展，新的信息以一種前所未有的速率在產(chǎn)生和處理，同時網(wǎng)絡(luò)也大大加快了信息傳播的速度，這使得對海量信息的處理成為了人們的一種迫切需求。僅僅使用本地存儲應(yīng)對這些信息會需要很多功能和性能的限制，如低可靠性、較差的移動性和不利于文件共享等，人們開始傾向于使用網(wǎng)絡(luò)存儲這種新手段。分布式文件系統(tǒng)是網(wǎng)絡(luò)存儲的基礎(chǔ)組成部分，其研究也受到了學(xué)界和工業(yè)界的廣泛重視。
　　 分布式文件系統(tǒng)通常能夠提供高可靠性的數(shù)據(jù)存儲，并具有良好的

2、擴展性。
　　 為實現(xiàn)這些功能，需要在存儲層面的數(shù)據(jù)放置機制上進行針對性的設(shè)計。已有的手段主要包括復(fù)制機制和糾錯編碼，它們都有其各自的適用范圍和局限性。本文的研究是在數(shù)據(jù)存儲層面使用網(wǎng)絡(luò)編碼方法，對文件進行分段分塊編碼存放，并且在系統(tǒng)功能的設(shè)計實現(xiàn)上給出網(wǎng)絡(luò)編碼的方案。本文的分布式文件系統(tǒng)提供了統(tǒng)一的命名空間，遵守位置無關(guān)性和透明性，能實現(xiàn)基本的文件和目錄操作，并保證了系統(tǒng)內(nèi)部實現(xiàn)對用戶的透明性。系統(tǒng)采用了集中式的體系結(jié)構(gòu)，由索

3、引服務(wù)器、存儲節(jié)點和客戶端組成。借助網(wǎng)絡(luò)編碼的機制，索引服務(wù)器可以維護系統(tǒng)在運行時的負載均衡性，并且在發(fā)現(xiàn)數(shù)據(jù)失效時對節(jié)點和數(shù)據(jù)進行恢復(fù)，在有新節(jié)點加入時，索引服務(wù)器發(fā)起再均衡化過程，保證了系統(tǒng)具有良好的擴展性。
　　 本文首先介紹了分布式文件系統(tǒng)的研究現(xiàn)狀，及其具有的功能和分類，在對存儲層常用的數(shù)據(jù)放置冗余策略進行介紹之后，給出了本文采用的網(wǎng)絡(luò)編碼方式的數(shù)據(jù)放置方案；之后詳細描述了系統(tǒng)的設(shè)計和實現(xiàn)，以及對負載均衡和節(jié)點恢復(fù)問題