無人機(jī)航拍視頻正射全景拼圖技術(shù)研究.pdf

1、近幾年來，無人機(jī)航拍技術(shù)發(fā)展迅速，已經(jīng)從專業(yè)走向商用，正在跨步走向民用。然而，由于飛行高度和器材限制，無人機(jī)航拍視頻的視野范圍一般較小，主要用于影視片或宣傳片制作。對(duì)于城市規(guī)劃、地貌勘察、交通建設(shè)等需要提供高精度、大視野地面全貌影像的領(lǐng)域，應(yīng)用有限。全景拼圖技術(shù)，為開拓?zé)o人機(jī)航拍視頻應(yīng)用帶來了希望。
　　隨著圖像處理和航空拍攝技術(shù)的不斷進(jìn)步，大范圍地面全景圖正在被大量生產(chǎn)出來。然而，目前商業(yè)化應(yīng)用的地面全景影像一般是由航空拍攝的圖

2、像拼接而得，生成過程需要大量的人工干預(yù)，或者在圖像獲取過程中指定拍攝條件，如事前標(biāo)定、航測(cè)標(biāo)定等，或者在后期合成過程中輔以人工操作，如圖像選擇，配準(zhǔn)校正等。然而，對(duì)于無人機(jī)航拍視頻而言，現(xiàn)有拼圖方法面臨巨大挑戰(zhàn)。這是因?yàn)橄啾扔趫D像，視頻具有下述特點(diǎn)：
　　（1）信息具有高度冗余性。場(chǎng)景中同一點(diǎn)在多幀圖像（通常是十幾幀、幾十幀甚至更多）有成像信息，如果直接運(yùn)用現(xiàn)有的圖像拼接的方法，計(jì)算代價(jià)巨大。
　?。?）拍攝方式和場(chǎng)景具有非

3、限定性。視頻中很容易出現(xiàn)立體信息，無法再用現(xiàn)有的圖像拼接的手段進(jìn)行拼圖。
　　但是，視頻的信息互補(bǔ)性也讓我們看到了希望和機(jī)遇。視頻信息互補(bǔ)性中，潛藏著場(chǎng)景和攝像機(jī)運(yùn)動(dòng)信息，充分挖掘這些信息，將能夠減少拼圖過程中的人工干預(yù)，為自動(dòng)拼接地面全景圖或生成地面虛擬場(chǎng)景帶來可能。
　　本文圍繞無人機(jī)航拍視頻正射全景拼圖這一目標(biāo)，研究如何自動(dòng)生成地面全景拼圖。根據(jù)場(chǎng)景特點(diǎn)，將研究內(nèi)容分為兩類，類平面場(chǎng)景拼圖問題和非平面場(chǎng)景拼圖問題。針對(duì)

4、不同情況，分別給出拼圖策略。
　　本文主要工作及創(chuàng)新點(diǎn)如下：
　　對(duì)于類平面場(chǎng)景的圖像拼圖，目前有很多拼圖策略和算法。如果將視頻簡單地視為是圖像序列，理論上說是能夠?qū)崿F(xiàn)自動(dòng)全景拼圖的。然而，由于視頻具有大量的冗余信息，這種計(jì)算的代價(jià)是巨大的。本文從分析無人機(jī)航拍視頻成像方式和場(chǎng)景特點(diǎn)入手，推導(dǎo)簡化的圖像全局運(yùn)動(dòng)模型，降低運(yùn)動(dòng)建模復(fù)雜性。提出雙向最鄰近的匹配方法，有效降低全局運(yùn)動(dòng)參數(shù)估計(jì)的時(shí)間復(fù)雜性和提高模型精準(zhǔn)度，提高配準(zhǔn)精

5、度，實(shí)現(xiàn)了兩幀圖像間快速有效的配準(zhǔn)。針對(duì)視頻的長序列高相關(guān)特性，提出長序列圖像任意幀間圖像配準(zhǔn)的方法，有效降低了累計(jì)誤差。
　　色彩融合是拼圖中的一個(gè)經(jīng)典問題。目前消除圖像拼接過程中的色彩差異問題，有很多效果很好的方法。然而，對(duì)于航拍視頻而言，由于拍攝過程中，攝像機(jī)的運(yùn)動(dòng)任意性，使得圖像之間的重合區(qū)域具有任意性。而且，多幀（通常是十幾幀、幾十幀甚至更多）圖像之間具有重合區(qū)域且互相交疊，這給色彩融合的計(jì)算帶來了挑戰(zhàn)。本文提出了用于視

6、頻序列多幀圖像同時(shí)融合的Poisson色彩融合方法。通過分析航拍視頻序列特點(diǎn)，定義梯度場(chǎng)和邊界條件，取得了比較理想的融合效果。為實(shí)現(xiàn)視頻拼圖中多幀圖像的同時(shí)融合，本文提出兩種幀選擇策略，減少了需要進(jìn)行融合計(jì)算的圖像區(qū)域，提高了拼圖效率。
　　在視頻序列中出現(xiàn)立體信息1時(shí)，拼圖問題變得復(fù)雜起來，是一個(gè)多解問題，沒有成熟的策略方法可循。將具有不同視點(diǎn)的立體場(chǎng)景，呈現(xiàn)在單一圖像中，涉及到視圖信息的取舍，這取決于拼圖者的主觀意圖。本文以生

7、成正射投影全景圖的為目標(biāo)，提出基于生成模型的正射全景拼圖策略。首先利用三維重構(gòu)方法獲取場(chǎng)景結(jié)構(gòu)信息和攝像機(jī)參數(shù)，利用稠密匹配方法獲取場(chǎng)景的稠密點(diǎn)云，然后基于生成模型，將場(chǎng)景信息向成像平面正射投影，獲取場(chǎng)景的正射全景圖。具體做了兩方面工作：
　　（1）在圖像配準(zhǔn)中，提出了對(duì)極幾何約束的光流方法。該方法在傳統(tǒng)光流方程中，引入了對(duì)極幾何約束，有效減少了立體匹配過程中的搜索空間，實(shí)現(xiàn)了不經(jīng)過校正直接進(jìn)行立體匹配，有效降低計(jì)算復(fù)雜性，提高匹