面向電信數(shù)據(jù)的分布式節(jié)點(diǎn)任務(wù)調(diào)度及負(fù)載均衡設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著電信網(wǎng)絡(luò)的數(shù)據(jù)和語(yǔ)音業(yè)務(wù)量不斷增長(zhǎng)，電信運(yùn)營(yíng)商需要對(duì)海量的網(wǎng)元數(shù)據(jù)進(jìn)行收集處理、計(jì)算分析。數(shù)據(jù)規(guī)模龐大，單臺(tái)服務(wù)器處理能力已經(jīng)遠(yuǎn)遠(yuǎn)滿足不了人們對(duì)計(jì)算速度的要求。針對(duì)電信網(wǎng)元數(shù)據(jù)處理這一應(yīng)用，設(shè)計(jì)實(shí)現(xiàn)了基于分布式計(jì)算的DVCP（Distributed Virtual Computing Platform）系統(tǒng)。本文主要針對(duì)DVCP系統(tǒng)中任務(wù)在分布式計(jì)算節(jié)點(diǎn)CU（Compute Unit）間的調(diào)度及負(fù)載均衡展開研究。該系統(tǒng)將網(wǎng)元數(shù)據(jù)的采

2、集、匯總等計(jì)算處理任務(wù)進(jìn)行拆分，通過(guò)分割任務(wù)，在多個(gè)分布式計(jì)算節(jié)點(diǎn)中并行處理，提高計(jì)算效率。通過(guò)對(duì)任務(wù)的管理調(diào)度及跟蹤，提高系統(tǒng)容錯(cuò)性，故障可恢復(fù)性。設(shè)計(jì)實(shí)現(xiàn)一個(gè)易實(shí)施的負(fù)載均衡策略，解決在海量分布式電信數(shù)據(jù)處理中存在各個(gè)計(jì)算節(jié)點(diǎn)負(fù)載不均衡的問(wèn)題。
　　本文主要做了如下工作：
　　第一，DVCP基礎(chǔ)架構(gòu)設(shè)計(jì)。對(duì)現(xiàn)有的分布式計(jì)算技術(shù)進(jìn)行了前期研究和介紹。通過(guò)參考對(duì)比，提出了中心控制節(jié)點(diǎn)與計(jì)算資源池組成的 DVCP基本架構(gòu)框架，

3、該框架結(jié)構(gòu)即滿足了分布式計(jì)算的要求，又避免純分布式系統(tǒng)所帶來(lái)的不可靠性、可控性不高、一致性等問(wèn)題。
　　第二，系統(tǒng)任務(wù)調(diào)度與其在系統(tǒng)各個(gè)計(jì)算節(jié)點(diǎn)間的負(fù)載均衡策略的設(shè)計(jì)實(shí)現(xiàn)。該系統(tǒng)將每個(gè)大型數(shù)據(jù)處理計(jì)算問(wèn)題，分解為小任務(wù)后，分發(fā)到各個(gè)計(jì)算節(jié)點(diǎn)中并行處理，以提高并行度。而針對(duì)任務(wù)負(fù)載均衡問(wèn)題，傳統(tǒng)負(fù)載均衡，一般讓主控節(jié)點(diǎn)來(lái)進(jìn)行任務(wù)調(diào)度和負(fù)載均衡管理，以決定哪個(gè)計(jì)算節(jié)點(diǎn)應(yīng)執(zhí)行該任務(wù)。而本系統(tǒng)主要依靠計(jì)算節(jié)點(diǎn)CU自身來(lái)實(shí)現(xiàn)。計(jì)算節(jié)點(diǎn)根據(jù)自

4、身情況主動(dòng)獲取任務(wù)，分?jǐn)傊骺毓?jié)點(diǎn)在任務(wù)調(diào)度及負(fù)載均衡控制上的壓力以及減少其造成的瓶頸。
　　第三，DVCP中分布式計(jì)算節(jié)點(diǎn)這一重要子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。計(jì)算節(jié)點(diǎn)在架構(gòu)上采取主控進(jìn)程與工作進(jìn)程結(jié)合的架構(gòu)，分離控制與業(yè)務(wù)。網(wǎng)絡(luò)部分采用基于Epoll的單線程服務(wù)框架，實(shí)現(xiàn)高效的網(wǎng)絡(luò) IO機(jī)制。具體任務(wù)通過(guò)專門的中間任務(wù)調(diào)度模塊異步放入線程池中處理，極大提高了系統(tǒng)處理能力和資源利用率。
　　針對(duì)網(wǎng)元數(shù)據(jù)采集等業(yè)務(wù)的功能測(cè)試，負(fù)載均衡性