Parametryzacja geometrii sceny dla estymacji głębi w dekoderze wizji wszechogarniającej

• Autorzy: Szydełko Błażej , Klóska Dominika , Dziembowski Adrian

Identyfikatory

DOI

10.15199/59.2022.4.64

Warianty tytułu

EN

Parametrization of scene geometry for decoder side depth estimation in immersive video

• Konferencja: Multikonferencja Krajowego Środowiska Tele- i Radiokomunikacyjnego (7-9.09.2022 ; Warszawa, Polska)
• Języki publikacji: PL

Abstrakty

PL

Technika MPEG Immersive Video (MIV) jest rozwijana w celu efektywnego dostarczania wizji w systemie swobodnej nawigacji. W technice tej przewidziano brak przesyłania informacji o geometrii sceny, a rekonstruowanie jej po stronie dekodera w czasochłonnym procesie estymacji map głębi. Sposobem usprawnienia procesu estymacji jest wykorzystanie dodatkowej informacji o geometrii sceny przesyłanej jako sparametryzowane cechy map głębi. W artykule skupiono się na analizie skuteczności istniejącego rozwiązania, rozszerzając je o rekurencyjną ekstrakcję cech.

EN

The MPEG Immersive Video (MIV) technique is being developed for efficient delivery of immersive video. In one scheme, instead of transmitting geometry information, the technique aims to reconstruct it at the decoder side in a time-consuming depth map estimation process. The way to improve the estimation process is to use additional information about the scene geometry transmitted as parametrized features of the depth maps. This paper focuses on the efficiency analysis of an existing solution, extending it with recursive feature extraction.

Słowa kluczowe

PL

estymacja głębi; wizja wszechogarniająca; rzeczywistość wirtualna; system swobodnej nawigacji

EN

depth estimation; immersive video; virtual reality; free-navigation system

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2022
• Tom: nr 4
• Strony: 388--391
• Opis fizyczny: Bibliogr. 21 poz., rys., tab.

Twórcy

autor

Szydełko Błażej

• Instytut Telekomunikacji Multimedialnej, Politechnika Poznańska, Poznań

autor

Klóska Dominika

• Instytut Telekomunikacji Multimedialnej, Politechnika Poznańska, Poznań

autor

Dziembowski Adrian

• Instytut Telekomunikacji Multimedialnej, Politechnika Poznańska, Poznań

Bibliografia

• [1] Boyce J. M. i in.2021.”MPEG lmmersive Video Coding Standard". Proc. IEEE 109 (9): 1521-1536.
• [2] Clare G. i in . 2021. “[MIV] Combinaation of m56626 and m56335 for Geometry Assistance SEI message". IS0/IEC JTC1/SC29/WG4 MPEG2021/M56950.
• [3] Dziembowski A. i in. 2019. “Virtual View Synthesis for 3DoF+ Video". Picture Coding Symposium, 1-5.
• [4] Fachada S. i in. 2018. ,,Depth image based view synnthesis with multiple reference views for virtual reality” 3DTV-Conference.
• [5] Garus P. i in. 2021.,,lmmersive Video Coding: Should Geometry Information be Transmitted as Depth Maps? IEEE T: on Circ. & Sys. for Vid. Technology.
• [6] Garus., P.i in. 2019.,,Bypassing Depth Maps Transmission For lmmersive Video Coding". PCS Conference.
• [7] He X. i in.2020.. ,MV-GNN: Multi-View Graph Neural Network for Compression Artifacts Reduction, IEEET Trans on Image Processing, 29: 6829-6840.
• [8] IS0/IEC 23090-12. Information technology - Coded representation of immersive media - Part 12: MPEG lmmersive video". ISO/IEC JTC 1/SC 29.
• [9] Laga H. i in.2020, “A Survey on Deep Learning Techniques for Stereo-based Depth Estimation", IEEE Trans. on Pat. An & Mach. Intell. 44 (4): 1738-1764.
• [10] Marpe D. i in . 2003. “Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard". IEEE Tronsactions on Circuits and Sysrems for Video Technology. 13 (7); 620-636.
• [11] Mieloch D. i in. 2022. ,,Overview and Efficiency of Decoder-Side Depth Estimation in MPEG lmmersive Video" . IEEE T: on Circ. & Sys. for Vid.Technology.
• [12] Mieloch D. i in. 2021. “Depth Map Refinement for lmmersive Video". IEEE: Access, 9 : 10778-10788.
• [13] Mieloch D. i in. 2021. “Point-to-Block Matching in Depth Estimation". WSCG Conference.
• [14] Mieloch D. i in. 2020. ,,Depth Map Estimation for Free-View point Television and Virtual Navigation", IEEE Acces, 8: 5760-5776.
• [15] Mueller K. i in. 2011. .,3-D Video Representation Using Depth Maps". Proc. of the IEEE, 99: 643-656.
• [16] Stankiewicz O. i in. 2018. ,,A Free-View point Television System for Horizontal Virtual Navigation". IEEE Transactions on Multimedia, 20(8): 2182-2195.
• [17] Stankiewicz O.i in. 2018. ,,Nowe media immersyjne". Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne, 6.
• [18] Szydełko B. i in. 2022. ,.Recursive block splitting in feature-driven decoder-side depth estimation". ETRI Journal, 44.
• [19] Szydełko B. i in. 2021. „Rectangular blocks in encoder-derived features for decoder-side depth estimation". ISO/IEC JTC1/SC29/WG4 MPFG2021/M5635.
• [20] Wien M. i in.2019. “Standardization Status of Immersive Video Coding".IEEE Journal on Emerging & Selected Topics in Circuits & System., 9 (1).
• [21] “Common Test Conditions for MPEG Immersive Video". ISO/IEC JTC1/SC29/WG4 MPEG2021/N005.

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).