個人博客，如需轉(zhuǎn)載，請注明來自DDingDreams的個人博客：http://www./wordpress/。
第一部分：Data Format and System Description
3D視頻采用MVD（Multiview Video Plus Depth）數(shù)據(jù)格式，只將拍攝視點中的一小部分和相應(yīng)深度圖用于編碼，編碼后的比特流進行復(fù)用成3D視頻碼流。在解碼端通過DIBR（Depth-Image-Based Rendering）技術(shù)進行合成中間視點，用于在3D顯示設(shè)備上顯示3D內(nèi)容。為了進行視點合成，那么攝像機參數(shù)也要在比特流中進行傳送。比特流的包中含有頭信息，用于標(biāo)識作用，比如傳送參數(shù)集，比如視點標(biāo)識以及視點指示位用以表示是否包含紋理圖或者深度圖等。其中的子比特流中可以僅僅包含某一些視點部分，通過丟棄其中一些不需要的比特流包可以獲得子比特流，比如視點中的獨立視點或者基視點，獨立于其他視點采用HEVC的傳統(tǒng)編碼，包含獨立視點的子比特流可以采用原始的HEVC解碼器解碼，并且可用于傳統(tǒng)2D顯示器。另外，編碼器可以配置成兩路視點而不包含深度圖編碼方式，其比特流可以提取出來獨立解碼成3D視頻用于傳統(tǒng)立體顯示器顯示。這套編解碼器還可以用于編碼無深度圖的多視點視頻信號，這種情況下，可采用IDW（Image Domain Warping）方式生成多視點信號。當(dāng)配置成多視點加深度圖編碼器，紋理信號可以獨立于深度圖信號解碼。

Figure1: Overview of the system structure and the data format for the transmission of 3D video

Figure1描述了系統(tǒng)的基本概念和數(shù)據(jù)格式，一般來說，編碼器系統(tǒng)輸入為多個視點,其對應(yīng)的深度圖,以及相應(yīng)的攝像機參數(shù)。然而如上圖所示,就算沒有深度圖，這套編解碼器也是可操作的。3D視頻編碼器編碼，是一種HEVC編碼器的擴展，即基視點采用原始的HEVC編碼器編碼，而其他視點采用擴展HEVC編碼，即3D-HEVC編碼。通過3D-HEVC編碼器后以二進制比特流表示編碼后的輸入視頻和深度信號。如果采用3D-HEVC解碼器進行解碼，則可重建輸入的視頻和深度信號，以及攝像機參數(shù)。為了能在3D立體顯示器上顯示該內(nèi)容，則需要利用重建的視頻和深度信號合成額外的中間視點。若是3D視頻解碼器連的是傳統(tǒng)的立體顯示器，如果比特流中沒有一組成對視點，那么視點合成器還是可以生成一組立體視點，這里，可以調(diào)整合成的立體視點，變成適合觀看的立體幾何視頻。解碼出的視點中任意一個或者任意虛擬視點都可以在傳統(tǒng)單視點2D顯示器上顯示。
3D-HEVC的比特流組成中的代表基視點的子比特流，可以通過簡單的方式進行提取。代表基視點的碼流包可以通過傳送參數(shù)集和包頭進行判別和提取。代表基視點的子碼流可以通過丟棄包含深度數(shù)據(jù)或者依賴視點的包進行提取，提取的子碼流可以直接通過傳統(tǒng)的HEVC解碼器解碼并可于傳統(tǒng)2D視頻顯示器進行顯示。
編碼器可以配置只包含兩路立體視頻，其子碼流提取出來可以直接通過立體視頻解碼器解碼。編碼器還可以配置成視點可以獨立于深度數(shù)據(jù)解碼的形式。合成中間視點可以只使用立體序列作為視點合成的輸入序列。
第二部分介紹編碼方案的細節(jié)，第三部分介紹DIBR算法。