基于Hadoop的交通物流大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來，大數(shù)據(jù)處理技術(shù)對于各行業(yè)和政府部門的決策分析和運(yùn)營起到日漸重要的作用。本文以某省交通物流云平臺(tái)項(xiàng)目為背景，該項(xiàng)目要求以 MapReduce作業(yè)執(zhí)行框架和Hadoop為技術(shù)基礎(chǔ)，為數(shù)以千計(jì)的交通物流企業(yè)和政府部門的交通物流SaaS應(yīng)用提供大數(shù)據(jù)處理服務(wù)。由于面向交通物流的大數(shù)據(jù)處理應(yīng)用開發(fā)涉及交通物流業(yè)務(wù)專家、數(shù)據(jù)分析專家和應(yīng)用程序開發(fā)人員等多個(gè)角色，因此，如何實(shí)現(xiàn)多角色協(xié)同的大數(shù)據(jù)處理應(yīng)用敏捷開發(fā)是需要解決的關(guān)鍵問題。另外，雖然

2、 MapReduce工作流引擎 Oozie可支持大數(shù)據(jù)處理應(yīng)用的流程化組裝，但是，如何防止 Oozie在執(zhí)行時(shí)由于結(jié)點(diǎn)之間的數(shù)據(jù)依賴而導(dǎo)致執(zhí)行效率低，也是需要解決的實(shí)際問題。針對上述問題，本文在對MapReduce、Hadoop、Oozie等相關(guān)技術(shù)進(jìn)行分析的基礎(chǔ)上，提出并實(shí)現(xiàn)了一種上下游結(jié)點(diǎn)部分并行的MapReduce工作流執(zhí)行優(yōu)化方案，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)支持協(xié)同開發(fā)和工作流組裝的交通物流大數(shù)據(jù)處理系統(tǒng)，測試和應(yīng)用情況表明，該系統(tǒng)是可行

3、及有效的。
　　本研究主要內(nèi)容包括：⑴針對MapReduce工作流執(zhí)行效率低的問題，提出上下游結(jié)點(diǎn)部分并行的MapReduce工作流執(zhí)行優(yōu)化方案。該方案利用MapReduce作業(yè)的Reduce Task完成時(shí)間不同的特點(diǎn)，下游結(jié)點(diǎn)不必等待上游結(jié)點(diǎn)完全結(jié)束即可觸發(fā)執(zhí)行，從而使上下游結(jié)點(diǎn)部分并行執(zhí)行，提高工作流執(zhí)行效率。⑵在Hadoop的基礎(chǔ)上，提出并實(shí)現(xiàn)支持追加輸入的MapReduce作業(yè)執(zhí)行框架。該框架支持正在執(zhí)行的MapRedu

4、ce作業(yè)可追加輸入數(shù)據(jù)，從而為上下游結(jié)點(diǎn)部分并行的MapReduce工作流引擎提供基礎(chǔ)。⑶在Oozie的基礎(chǔ)上，實(shí)現(xiàn)支持上下游結(jié)點(diǎn)部分并行的MapReduce工作流引擎，該引擎具有雙執(zhí)行器，能夠自動(dòng)識別具有MapReduce作業(yè)的工作流并選擇上下游結(jié)點(diǎn)部分并行模式執(zhí)行。對比實(shí)驗(yàn)結(jié)果表明，在Reduce Task數(shù)量大于集群中Reduce Slot數(shù)量時(shí)，采用部分并行執(zhí)行模式的工作流執(zhí)行效率提高19％左右。⑷針對多角色協(xié)同的大數(shù)據(jù)處理應(yīng)用