云環(huán)境下信息系統(tǒng)可靠性研究.pdf

1、在科技高速發(fā)展的今天，已經(jīng)進(jìn)入了互聯(lián)網(wǎng)+時代。各行各業(yè)的信息處理都跟互聯(lián)網(wǎng)和信息系統(tǒng)聯(lián)系在一起，我們生活的方方面面也跟互聯(lián)網(wǎng)密不可分。數(shù)據(jù)量急劇增加，因此被稱之為大數(shù)據(jù)。在數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜的新環(huán)境下，云計(jì)算應(yīng)運(yùn)而生。云計(jì)算是一種可以方便地按需通過網(wǎng)絡(luò)訪問可配置的共享計(jì)算資源池的模式，具有資源共享、快速彈性、服務(wù)可度量等特征。Hadoop是開源的分布式計(jì)算平臺，可以輕松開發(fā)和運(yùn)行處理大數(shù)據(jù)程序，是當(dāng)今主流的云計(jì)算平臺。在云服務(wù)計(jì)算模

2、式下，服務(wù)規(guī)模大、類型多，增加了信息系統(tǒng)的不可靠因素，可能會導(dǎo)致系統(tǒng)故障增加。云計(jì)算系統(tǒng)規(guī)模龐大，用戶眾多，應(yīng)用越來越廣泛，發(fā)生故障會造成極其嚴(yán)重的損失。因此提高云環(huán)境下信息系統(tǒng)的可靠性刻不容緩，意義重大。
　　本文以Hadoop為平臺，分析云環(huán)境下信息系統(tǒng)的可靠性，改進(jìn)Hadoop分布式文件系統(tǒng)(HDFS)的結(jié)構(gòu)，提出基于可靠性的作業(yè)調(diào)度算法，具體研究內(nèi)容如下：
　　1．詳細(xì)闡述了Hadoop的核心技術(shù)HDFS和MapRe

3、duce，分析MapReduce的執(zhí)行過程和調(diào)度機(jī)制，研究Hadoop系統(tǒng)的調(diào)度算法并比較其優(yōu)缺點(diǎn)
　　2．針對HDFS集群中只有一個NameNode節(jié)點(diǎn)容易造成單點(diǎn)失效的問題，改進(jìn)HDFS結(jié)構(gòu)。根據(jù)Paxos算法提出Master選舉機(jī)制，構(gòu)建NameNode集群提高系統(tǒng)可靠性。
　　3．深入分析集群中計(jì)算節(jié)點(diǎn)和網(wǎng)絡(luò)鏈路的負(fù)載狀況及可靠性，建立調(diào)度模型，提出基于網(wǎng)絡(luò)節(jié)點(diǎn)和網(wǎng)絡(luò)鏈路可靠性的作業(yè)調(diào)度算法(Job Schedule