基于三維重建技術(shù)的多視角視頻編碼的研究.pdf

1、和傳統(tǒng)的單視角視頻相比，多視角視頻能以更全面的角度向人們呈現(xiàn)被攝的景象。多視角視頻中的雙目立體視頻最近已成為業(yè)界的研究熱點(diǎn)并應(yīng)用于多種現(xiàn)實(shí)場(chǎng)景，而真正的多路多視角視頻可在交互式電視系統(tǒng)等領(lǐng)域獲得應(yīng)用。由于多視角視頻需要處理的原始數(shù)據(jù)量成倍增加，如何對(duì)這些數(shù)據(jù)進(jìn)行高效壓縮編碼，是多視角視頻技術(shù)中的核心問(wèn)題。 在廣泛而深入的研究以H.264為代表的現(xiàn)有視頻壓縮標(biāo)準(zhǔn)以及各項(xiàng)關(guān)鍵技術(shù)的基礎(chǔ)上，本文提出了一種新型的基于計(jì)算機(jī)立體視覺(jué)中三維

2、重建技術(shù)的多視角視頻編碼算法――3MVC。3MVC編碼主要針對(duì)一種會(huì)聚型的多視角視頻系統(tǒng)，適用于交互式實(shí)時(shí)多視角電視系統(tǒng)（IRM-TV）一類(lèi)的應(yīng)用場(chǎng)合。IRM-TV系統(tǒng)可以為觀眾帶來(lái)前所未有的交互功能和多視角視覺(jué)感官體驗(yàn)。 3MVC編碼的核心思想是：利用原始圖像序列之間確定的三維幾何位置關(guān)系以及三維重建原理，計(jì)算得到空間元素在待編碼的視頻通道圖像上的成像點(diǎn)，由此實(shí)現(xiàn)在幀間預(yù)測(cè)編碼過(guò)程中減少搜索次數(shù)和降低殘差數(shù)值。3MVC在傳統(tǒng)單

3、通道視頻的混合編碼框架基礎(chǔ)上，增加了對(duì)應(yīng)匹配、三維預(yù)測(cè)、基于視差估計(jì)/補(bǔ)償（DE/DC）的幀間預(yù)測(cè)編碼等關(guān)鍵技術(shù)。 在3MVC所針對(duì)的多視角視頻系統(tǒng)中，有必要在編碼圖像中預(yù)先獲取前景目標(biāo)的信息，以減少后面進(jìn)行對(duì)應(yīng)匹配時(shí)的計(jì)算量和提高三維重建的精度，本文提出了一種計(jì)算復(fù)雜度較低的基于圖像處理中的邊緣檢測(cè)以及紋理塊劃分的前景提取算法。 計(jì)算機(jī)立體視覺(jué)領(lǐng)域中的三維重建技術(shù)本質(zhì)是利用幾何關(guān)系與圖像對(duì)應(yīng)來(lái)計(jì)算空間物體坐標(biāo)，基于三維

4、重建原理，3MVC為幀間預(yù)測(cè)編碼提供了有益于提高DE準(zhǔn)確性的預(yù)測(cè)信息，其中涉及的核心算法和步驟包括基于分級(jí)塊匹配（HBM）的對(duì)應(yīng)尋找、借鑒了H.264中的MVP概念的視差向量預(yù)測(cè)（DVP）以及三維預(yù)測(cè)。通過(guò)對(duì)應(yīng)匹配和三維預(yù)測(cè)得到在編碼幀中前景目標(biāo)上的大量預(yù)測(cè)點(diǎn)，利用這些預(yù)測(cè)點(diǎn)可以明顯的優(yōu)化幀間預(yù)測(cè)過(guò)程中的宏塊模式?jīng)Q策過(guò)程，同時(shí)通過(guò)計(jì)算對(duì)應(yīng)點(diǎn)之間的視差向量（DV），為幀間塊匹配過(guò)程更精確可靠的確定了的起始搜索位置，有效的縮小了搜索范圍且增