開放環(huán)境中番茄的雙目立體視覺識別與定位.pdf

1、果蔬識別和定位的準(zhǔn)確性與實時性將直接影響果蔬采摘機器人的采摘成功率和采摘效率。開放環(huán)境中果蔬的識別和定位受非結(jié)構(gòu)環(huán)境因素的影響很大，因此一直以來是采摘機器人研究領(lǐng)域的研究重點之一。
　　本研究以番茄為研究對象，利用雙目立體視覺技術(shù)，詳細探討了開放環(huán)境中番茄圖像分割算法，被枝葉遮擋番茄識別算法，成簇番茄識別算法及番茄3D定位方法，部分解決了當(dāng)前番茄采摘機器人視覺系統(tǒng)研究中存在的問題，所開發(fā)的番茄識別和定位算法將為番茄采摘機器人視覺系

2、統(tǒng)的改善奠定一定理論和方法基礎(chǔ)。主要研究內(nèi)容及研究結(jié)論如下:
　　(1)比較了基于色差、歸一化色差、顏色分量比這三類顏色特征的番茄圖像分割算法的分割性能?；跉w一化色差、顏色分量比的番茄圖像分割算法可實現(xiàn)不同光照強度下的番茄圖像分割;光照較弱時，歸一化色差法的分割效果較好;順光條件下，光照較強時，雙顏色分量比法的分割效果較好。
　　(2)提出了融合番茄光斑識別及分段閾值的番茄圖像分割算法。該算法基于R分量與光照度的相關(guān)性，融

3、合了基于歸一化色差及顏色分量比這兩類番茄圖像分割算法的優(yōu)點，進一步結(jié)合番茄光斑區(qū)域識別方法實現(xiàn)了不同光照強度下的番茄圖像分割。對184幅圖像共計750個含光斑的番茄區(qū)域的試驗表明:基于該方法的圖像分割正確率為93.6％，明顯優(yōu)于基于歸一化色差法的36.3％;平均執(zhí)行時間為71ms;該算法對對順光條件下的番茄圖像具有較好的整體分割性能。
　　(3)對比研究了基于圓回歸及圓Hough變換的被遮擋番茄識別方法。首先兩類方法均進行邊緣曲率

4、分析，去除曲率異常邊緣，然后對曲率正常邊緣分別通過圓回歸及圓Hough變換實現(xiàn)被遮擋番茄的識別。對220幅存在遮擋的番茄圖像的試驗結(jié)果表明:輕微遮擋時，兩類方法的識別正確率分別為90.8％，89.1％;中度遮擋時，兩類方法的識別正確率分別為50.4％，74.8％;嚴(yán)重遮擋時，兩類方法的識別性能均較差;可見存在遮擋時，圓Hough變換法的整體識別性能優(yōu)于圓回歸法;兩類方法的平均執(zhí)行時間均約為100ms。
　　(4)對比研究了基于數(shù)學(xué)

5、形態(tài)學(xué)、圓回歸、圓Hough變換及雙目立體視覺的四類成簇番茄識別方法。數(shù)學(xué)形態(tài)學(xué)法通過條件腐蝕和循環(huán)膨脹實現(xiàn)成簇番茄的識別;圓回歸與圓Hough變換法與被遮擋番茄識別所用方法相似;雙目立體視覺法根據(jù)成簇區(qū)域內(nèi)前后番茄區(qū)域深度差，基于迭代Otsu法將成簇番茄分為兩類:重疊番茄和粘連番茄，然后使用圓回歸法實現(xiàn)粘連番茄的識別，對經(jīng)深度圖像邊緣分割后的彩色圖像邊緣應(yīng)用圓回歸法實現(xiàn)重疊番茄識別。經(jīng)138對存在輕微遮擋的成簇番茄立體圖像的試驗結(jié)果顯

6、示:存在輕微遮擋時，四類方法的識別正確率分別為60.9％，69.0％，71.1％，82.5％;存在較嚴(yán)重遮擋時，四類方法的識別性能均不理想;四類方法的平均執(zhí)行時間分別為3、85、138、500ms。試驗結(jié)果表明:雙目立體視覺法對粘連及重疊番茄的識別性能均較好，其余三類方法對粘連番茄的識別性能較好，而對重疊番茄的識別性能均較差;雙目立體視覺法的整體識別性能要優(yōu)于其余三類方法，特別是對重疊番茄。
　　(5)提出了番茄3D測量誤差校正方

7、法。研究了基于形心特征匹配，區(qū)域匹配及組合匹配的三類立體匹配方法，分析了基于三類立體匹配的3D定位誤差，分析了造成深度測量誤差的要因，提出了相應(yīng)的校正方法，討論了遮擋對3D定位精度的影響，測試分析了三類立體匹配方法的實時性。組合匹配將粗匹配階段通過形心匹配獲得的番茄粗略視差作為精匹配階段區(qū)域匹配的視差范圍中心，從而獲得了一個中心隨圖像采集距離變化而變化的動態(tài)視差范圍，在確保獲得與區(qū)域匹配相近匹配精度的同時，減少了立體匹配計算量，圖像采集

8、距離在300～1000mm范圍內(nèi)時，所需匹配時間為區(qū)域匹配的三分之一。1349對立體圖像的試驗表明:1）基于三類立體匹配得到的x坐標(biāo)測量誤差相對較小，分別為:[0，12.8]，[1.3，13.8]，[1.3，13.8]mm。y坐標(biāo)及深度測量誤差相對較大，且與圖像采集距離間分別呈現(xiàn)近似線性遞減和遞增的關(guān)系。2）經(jīng)二元分段線性回歸y坐標(biāo)預(yù)測模型校正后，基于三類立體匹配的y坐標(biāo)測量誤差范圍分別為:[-7，-0.8]，[-6.1，1.4]，[-

9、6.1，1.8]mm。3）番茄大小是影響深度測量誤差的要因。4）經(jīng)基于深度測量值及番茄大小的二元線性回歸深度預(yù)測模型校正后，基于三類立體匹配的深度測量誤差范圍分別為:[-10.4，28.7]，[-6，12.8]，[-5.6，5.3]mm。5）x、y坐標(biāo)測量結(jié)果比深度測量值更易受遮擋影響。6）三類匹配方法的執(zhí)行時間分別為:[0.4，4]，[24，288.8]，[9.6，98.8]ms。
　　(6)編制了基于C語言的番茄識別和定位軟件