基于MAS的多機(jī)器人系統(tǒng)高層協(xié)作機(jī)器學(xué)習(xí)機(jī)制研究.pdf

1、由于多機(jī)器人系統(tǒng)具有更廣泛的任務(wù)領(lǐng)域、更高的效率、容錯(cuò)性、魯棒性、更低的經(jīng)濟(jì)成本等諸多顯著特性,近年來逐漸成為機(jī)器人領(lǐng)域的研究熱點(diǎn)。其中,協(xié)調(diào)協(xié)作的實(shí)現(xiàn)是多機(jī)器人系統(tǒng)研究的核心問題。人工智能領(lǐng)域的智能體和多智能體理論(Multiple Agent System,MAS)對(duì)多機(jī)器人學(xué)的研究產(chǎn)生了深刻影響,利用智能體和MASN論研究多機(jī)器人系統(tǒng)的相關(guān)問題已日益成為趨勢(shì)。多智能體協(xié)作是指多個(gè)智能體通過協(xié)調(diào)各自行為,合作完成共同目標(biāo)。目前實(shí)現(xiàn)多

2、智能體協(xié)作比較先進(jìn)的方法是神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)、遺傳算法等幾種機(jī)器學(xué)習(xí)算法相結(jié)合,使機(jī)器人智能體產(chǎn)生能適應(yīng)環(huán)境并完成目標(biāo)任務(wù)的動(dòng)作行為。 機(jī)器人足球Robocup是一個(gè)典型的多智能體系統(tǒng)問題,是近此年來多機(jī)器人系統(tǒng)研究最吸引人的測(cè)試平臺(tái)。由于機(jī)器人足球提供了比其它平臺(tái)復(fù)雜得多的環(huán)境,因此,一般認(rèn)為能夠在機(jī)器人足球環(huán)境中運(yùn)用的結(jié)構(gòu)和算法,在大部分情況下足以完成其它平臺(tái)提出的任務(wù)。 本文主要研究在機(jī)器人足球仿真平臺(tái)Robocu

3、p仿真組上綜合利用幾種機(jī)器學(xué)習(xí)算法獲取多智能體系統(tǒng)高層協(xié)作策略問題。主要研究工作包括： (1)將結(jié)合CMAC神經(jīng)網(wǎng)絡(luò)泛化的Sarsa(λ)強(qiáng)化學(xué)習(xí)算法應(yīng)用到Robocuo的子任務(wù)Keepaway平臺(tái),得到了較其他非學(xué)習(xí)方法更好的效果； (2)Keepaway平臺(tái)是標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法比較平臺(tái)。在標(biāo)準(zhǔn)平臺(tái)上比較了Sarsa(λ)和Q(λ)算法,實(shí)驗(yàn)結(jié)果表明Sarsa學(xué)習(xí)比Q學(xué)習(xí)更適合大規(guī)模連續(xù)空間的任務(wù)； (3)為了

4、提升強(qiáng)化學(xué)習(xí)算法在多智能體系統(tǒng)中的最終學(xué)習(xí)效果,根據(jù)Keepaway平臺(tái)總是以失敗告終的特點(diǎn),受與之有相同特點(diǎn)的的桿平衡系統(tǒng)所采用強(qiáng)化函數(shù)的啟發(fā),重新設(shè)計(jì)了一種新的懲罰式的強(qiáng)化函數(shù)。仿真結(jié)果表明,新設(shè)計(jì)的強(qiáng)化函數(shù)有效提高了強(qiáng)化學(xué)習(xí)算法在Keepaway平臺(tái)的性能表現(xiàn)； (4)強(qiáng)化學(xué)習(xí)應(yīng)用于多智能體系統(tǒng)有收斂速度很慢的缺點(diǎn)。通過調(diào)整同時(shí)學(xué)習(xí)的智能體個(gè)數(shù)分別進(jìn)行仿真實(shí)驗(yàn),確定了同時(shí)學(xué)習(xí)的智能體數(shù)量相對(duì)于任務(wù)的復(fù)雜度才是影響多智能體系