Nowe techniki kompresji wizji dla rzeczywistości wirtualnej – MPEG Immersive Video

Dziembowski, Adrian; Mieloch, Dawid

doi:10.15199/59.2022.4.4

Powiadomienia systemowe

Sesja wygasła!
Sesja wygasła!

Artykuł - szczegóły

Tytuł artykułu

Nowe techniki kompresji wizji dla rzeczywistości wirtualnej – MPEG Immersive Video

Autorzy

Dziembowski Adrian , Mieloch Dawid

Identyfikatory

DOI

10.15199/59.2022.4.4

Warianty tytułu

New video compression techniques for virtual reality – MPEG Immersive Video

Konferencja

Multikonferencja Krajowego Środowiska Tele- i Radiokomunikacyjnego (7-9.09.2022 ; Warszawa, Polska)

Języki publikacji

Abstrakty

Artykuł towarzyszy referatowi plenarnemu na temat najnowszej normy kodowania wizji – ISO/IEC 23090 część 12: MPEG Immersive Video (MIV). Zastosowaniem tej normy jest kompresja danych wizyjnych z wielu kamer do wykorzystania w rzeczywistości wirtualnej. Norma kodowania MIV jest niezależna od kodeków wideo, tj. obejmuje przetwarzanie wstępne i końcowe wokół istniejących kodeków, takich jak AVC, HEVC i VVC. Autorzy artykułu – wieloletni członkowie grupy eksperckiej ISO/IEC JTC1/SC29 WG11 MPEG, aktualnie WG04 MPEG Video Coding – wyjaśniają zasadę działania kodera i dekodera MIV, opisując najistotniejsze narzędzia umożliwiające efektywną kompresję wizji zarejestrowanej systemem wielokamerowym. Ponadto autorzy skupiają się na wymaganiach praktycznych systemów rzeczywistości wirtualnej, prezentując zalety i możliwości wykorzystania dwóch podstawowych profili MIV: profilu głównego (MIV Main) oraz profilu zakładającego estymację głębi po stronie odbiorczej (MIV Geometry Absent).

The paper accompanies the plenary lecture which provides an overview of the latest video coding standard – ISO / IEC 23090 Part 12: MPEG Immersive Video (MIV). An application of this standard is the compression of video from multiple cameras for virtual reality applications. The MIV encoding standard is independent of the video codecs, i.e., it consists of pre-processing and post-processing merged with using existing codecs such as AVC, HEVC, and VVC. The authors of the paper – long-term experts of the ISO/IEC JTC1/SC29 WG11 MPEG, currently WG04 MPEG Video Coding – explain the principles of the MIV encoder and decoder, describing the most important tools enabling effective compression of video recorded with a multi-camera system. In addition, the authors focus on the practical requirements of virtual reality systems, presenting the advantages and possibilities of using two basic MIV profiles: the main profile (MIV Main) and the profile assuming estimation of depth on the decoder side (MIV Geometry Absent).

Słowa kluczowe

wizja wszechogarniająca kodowanie wizji rzeczywistość wirtualna wizja wielowidokowa

immersive video video coding virtual reality multiview video

Wydawca

Wydawnictwo SIGMA-NOT

Czasopismo

Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne

Rocznik

2022

Tom

nr 4

Strony

116--123

Opis fizyczny

Bibliogr. 53 poz., rys., tab.

Twórcy

autor

Dziembowski Adrian

adrian.dziembowski@put.poznan.pl

Instytut Telekomunikacji Multimedialnej, Politechnika Poznańska

autor

Mieloch Dawid

dawid.mieloch@put.poznan.pl

Instytut Telekomunikacji Multimedialnej, Politechnika Poznańska

Bibliografia

1. Jeong J. B. I in. 2019, “Towards 3DoF+ 360 video streaming system for immersive media”, IEEE Access 7: 136399-136408.
2. Tanimoto M. i in. 2012, “FTV for 3D Spacial Communication”, Proc. of the IEEE 100(4): 905-917.
3. Stankiewicz O. i in., “A free-viewpoint television system for horizontal virtual navigation”. IEEE Tr. On Multimedia 20(8): 2182-2195.
4. Wien M. i in. 2019, “Standardization status of immersive video coding”, IEEE J. on Emerging and Selected Topics in Circuits and System 9(9).
5. Oyman O. i in. 2019, “Virtual Reality Industry Forum’s View on State of the Immersive Media Industry”, SMPTE Motion Imagining Journal 128(8): 91-96.
6. Hayes C. 2021, “Olympic games broadcasting: immerse yourself in the olympics this summer”, Engineering & Technology 16(6): 2225.
7. Wu F. 2021. Construction of Digital Dynamic Sport System Platform on VR Technology. CIPAE Conference 2021.
8. Alhadad S. A. 2018, “Enhancing Smart Sport Management Based on Information Technology”, IOSR-JSPE (5): 19-26.
9. XU S., C Tang 2021, Application of AI technology in sport competition. AIVRV 2021, Sanya, Chiny.
10. Sullivan G. i in. 2012. “Overview of the High Efficiency Video Coding (HEVC) standard”. IEEE Tr. On Circuits for Systems for Video and Technology 22(12): 1649-1668.
11. ISO/IEC DIS 23090-12, Information technology – Coded Representation of Immersive Media – Part 12: MPEG immersive video.
12. Muller K. I in. 2011. “3D Video Representation Using Depth Maps”. Proc. of the IEEE 99(4): 643-656.
13. ISO/IEC 2021. Standard ISO/IEC 23090-5, Information technology – Coded Representation of Immersive Media – Part 5: Visual volumetric video-based coding (V3C) and video-based point cloud compression (V-PCC).
14. Ang E. S. i in. 2019. “Vide-Based Point-Cloud-Compression Standard in MPEG: From Evidence Collection to Committee Draft [Standard in a Nutshell]’. IEEE Signal Processing Magazine 36(3): 118-123.
15. https://learnopencv.com/camera-calibration-using-opencv/
16. Szeliski R. 2022. Computer Vision: Algorithms and Application. The University of Washington.
17. Dziembowski A., M. Domański 2018. Adaptive color correction in virtual view synthesis. 3DTV-CON, Helsinki, Finlandia.
18. Dziembowski A. i in. “Color correction for immersive video application”, IEEE Access 9: 75626-75640.
19. Laga H. i in. 2022. “Survey on Deep Learning Techniques for Stereo-Based Depth Estimation”. IEEE Transaction on Pattern Analysis and Machine Intelligence 44(4): 1738-1764.
20. Mieloch D. i in. 2021. “Depth Map Refinement for Immersive Video”. IEEE Access 9: 10778-10788.
21. Fachada S. i in. 2018. Depth image based on view synthesis with multiple reference views for virtual reality. 3DTV-CON, Helsinki, Finlandia.
22. ISO/IEC. 2019. Versatile view synthesis (VVS) 2.0 manual. Dok. ISO/IEC JTC 1/SC29/WG11 MPEG N18172.
23. Dziembowski A. i. in. 2019. Virtual view synthesis for 3DoF+ video. PCS 2019, Ningbo, Chiny.
24. Stankowski J., A Dziembowski 2022. Real-time CPU-based view synthesis for omnidirectional video. WSCG 2022, Pilzno, Czechy.
25. Fleureau J. i in. 2022. An Immersive Video Experience with Real-Time View Synthesis Leveraging the Upcoming MIV Distribution Standard. ICMEW 2020.
26. Stankowski J., A Dziembowski 2020. Fast view synthesis for immersive video system. WSCG 20, Pilzno, Czechy.
27. “2021 TV Video Specification”, https://developer.samsung.com/smarttv/develop/specifications/media-specifications/2021-tv-video-specifications.html
28. “H.264/H.265 Video Codec Unit” https://www.xilinx.com/products/intellectual-property/v-vcu.html#overview.
29. Merkle P. i. in. 2006. Efficient Compression of Multi-View Video Exploiting Inter-View Dependencies Based on H.264/MPEG4-AVC. ICME 2006, Toronto, Canada.
30. Tech G. i in. 2016. “Overview of the Multiview and 3D Extensions of High Efficiency Video Coding”. IEEE Tr. On Circuits and Systems for Video Technology 26(1): 35-49.
31. Boyce J. i in. 2021. “MPEG Immersive Video Coding Standard”. Proc. of the IEEE 109(9): 1521-1536.
32. Grzelka A. i in. 2022. The study of the video encoder efficiency in decoder-side depth estimation application. WSCG 2022, Pilzno, Czechy.
33. Bross S. i in. 2022. “Overview of the Versatile Video Coding (VVC) standard and its application”. IEEE Tr. on Circuits and Systems for Video Technology 31(10): 3736-3764.
34. Sulliwan G., T. Wiegand 2005. “Video compression – from concepts to the H.264/AVC standard”. Proc. of the IEEE 93.
35. Szekiełda J. i in. 2021. The influence of coding tools on immersive video coding. WSCG 2021, Pilzno, Czechy.
36. Samelak J. i. in. 2021. Efficient immersive video compressing using Screen Content Coding. WSCG 2021, Pilzno, Czechy.
37. ISO/IEC. 2021. Test Model 11 for MPEG Immersive Video. Dok. ISO/IEC JTC1/SC29/WG04 MPEG VC NO 142, Online.
38. Kaufman L., P. J. Rousseeuw 1990. Partitioning Around Medoids (Program PAM). Wiley Series in Probability and Statistics, Hoboken, USA: 68-125.
39. Mieloch D. i in. 2022. Color-dependent pruning in immersive video coding. WSCG 2022, Pilzno, Czechy.
40. Jylanki J. 2010. A thousand ways to pack the bin – Practical approach to two-dimensional rectangle bin packing. Tech, Rep., Online.
41. Dziembowski A. i in. 2022. Spatiotemporal redundancy removal in immersive video coding. WSCG 2022, Pilzno, Czechy.
42. Garus P. i in. 2022. “Immersive Video Coding: Should Geometry Information Be Transmitted as Depth Maps?”. IEEE Tr. on Circuits and Systems for Video Technology 32(5): 3250-3264.
43. Mieloch D. i in. 2022. “Overview and Efficiency of Decoder-Side Depth Estimation in EMPG Immersive Video”. IEEE Tr. on Circuits and Systems for Video Technology, Early Access.
44. Szydełko B. i in. 2022. “Recursive block splitting in feature-driven decoder-side depth estimation”. ETRI Journal 44(1): 38-50.
45. ISO/IEC. 2021. Manual of IVDE 3.0 Dok. ISO/IEC JTC1/SC29/WG04 MPEG VC NO 058.
46. Mieloch D. i in. 2020. “Depth Map Estimation for Free-Viewpoint Television and Virtual Navigation”. IEEE Access 8: 5760-5776.
47. Mieloch D i in. 2021. Point-to-Block Matching in Depth Estimation. WSCG 2021, Pilzno, Czechy.
48. ISO/IEC. 2022. Common Test Conditions for EMPG Immersive Video. Dok. ISO/IEC JTC1/SC29/WG04 MPEG VC NO 169.
49. Wieckowski A. i in. 2021. VVenC: an open optimized VVC encoder in versatile application scenarios. Proc. SPIE 11842, App. of Digital Image Proc. XLIV.
50. Sun Y. i in. 2017. “Weighted-to-spherically-uniform quality-evaluation for omnidirectional video”. IEEE Signal Processing Letter 24(9): 1408-1412.
51. Dziembowski A. i in. 2022. “IV-PSNR – the objective quality metric for immersive video application”. IEEE Tr. on Circuits and Systems for Video Technology, Early Access.
52. Bjoentegaard G. 2001. Calculation of average PSNR differences between RD-Curves. ITU-T VCEG Meeting, Austin, USA.
53. ISO/IEC. 2022. Use cases and requirements for MIV – edition 2 (final). Dok. ISO/IEC JTC1/SC29/WG04 MPEG VC NO 157.

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).

Typ dokumentu

Bibliografia

Identyfikator YADDA

bwmeta1.element.baztech-7cce9eaf-633e-4763-b9a3-e07570af70b9