Kompresja wizji dla maszyn

• Autorzy: Domański Marek

Identyfikatory

DOI

10.15199/59.2025.4.4

Warianty tytułu

EN

Video compression for machines

• Języki publikacji: PL

Abstrakty

PL

Metody kompresji wizji są opracowywane tak, by przy zadanej małej bitowej szybkości transmisji dawało się w odbiornikach uzyskiwać możliwie dobrą jakość zdekodowanych obrazów. Dotychczas miarą tej jakości była uśredniona ocena grupy widzów. Jednak w ostatniej dekadzie coraz częstsze są zastosowania, w których obraz jest poddawany kompresji przed wykonaniem różnych operacji widzenia maszynowego. Powstaje więc pytanie, czy dotychczasowe metody kompresji zoptymalizowane pod względem subiektywnie ocenianej przez ludzi jakości zdekodowanych obrazów są także optymalne dla kompresji wizji przeznaczanej do wykorzystania w systemach widzenia maszynowego. Odpowiedź na to pytanie okazuje się być negatywna i dlatego w ostatnim dziesięcioleciu prowadzi się intensywne badania nad nowymi metodami kompresji odpowiednimi dla wizji używanej przez systemy widzenia maszynowego, czyli nad metodami kompresji wizji dla maszyn (video compression/coding for machines). Praca skrótowo opisuje rezultaty badań dotyczących metod kompresji wizji dla maszyn. W szczególności podano najważniejsze cechy kodeka MPEG MVC, który został ujęty w projekcie części drugiej normy ISO/IEC MPEG-AI.

EN

Until recently, video coding standards were developed from the perspective of a human observer; that is, the main goal was to achieve a high subjective quality of the decoded video. This quality was measured by mean opinion score. However, over the past decade, the development of semi- and fully autonomous vehicles, AI-based video analysis, intelligent video surveillance, and video-based control in many new areas has led to a sharp increase in the amount of video data shared between computers. In these cases, direct human consumption of the decoded video is not the primary application. These factors have sparked research interest in video coding where the decoded data serves as input for machine vision tasks. This paper briefly summarizes the results of research on video coding for machines. Specifically, it briefly describes the upcoming MPEG standard for machine video coding as part two of the ISO/IEC MPEG-AI standard.

Słowa kluczowe

PL

kompresja wizji; widzenie maszynowe; MPEG; normy

EN

video compression; machine vision; MPEG; standards

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2025
• Tom: nr 4
• Strony: 32--36
• Opis fizyczny: Bibliogr. 31 poz., rys.

Twórcy

autor

Domański Marek

• Politechnika Poznańska, Instytut Telekomunikacji Multimedialnej

Bibliografia

• [1] ISO/IEC 13818-1 | ITU-T Rec. H.262, Generic coding of moving pictures and associated audio information: Video.
• [2] Mitchell J., Pennebaker W., Fogg Ch., LeGall D.: MPEG video compression standard, Kluwer, Dordrecht, 1996.
• [3] ISO/IEC IS 14496-10 | ITU-T Rec. H.264, Advanced video coding.
• [4] Richardson I.: The H.264 advanced video compression standard, 2nd ed., John Wiley & Sons, Chichester, 2010.
• [5] ISO/IEC IS 23008-2 | ITU-T Rec. H.265, High efficiency video coding.
• [6] Wien M.: High Efficiency Video Coding – Coding Tools and Specification, Springer, Berlin, Heidelberg, 2014.
• [7] ISO/IEC IS 23090-3 / ITU-T Recommendation H.266, Versatile video coding.
• [8] Saldanha M,, Sanchez G., Marcon C., Agostini L., Versatile Video Coding (VVC), Springer, Berlin, Heidelberg, 2022.
• [9] ISO/IEC JTC1/SC29/WG2, Doc. N161, Use cases and requirements for Video Coding for Machines, January 2022.
• [10] Wang Zhou, Bovik, A. C., Sheikh, H. R., Simoncelli, E. P., Image quality assessment: from error visibility to structural similarity, in IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600- 612, April 2004.
• [11] Rassool, R., VMAF reproducibility: Validating a perceptual practical video quality metric, in Proc. IEEE Int. Symp. Broadband Multimedia Syst. Broadcast. (BMSB), Cagliari, Italy, Jun. 2017, pp. 1–2.
• [12] ISO/IEC JTC1/SC29/WG2, Doc. N379, Common Test Conditions for Video Coding for Machines, Geneva, July 2023.
• [13] Bernardin, K., Elbs, A., , Stiefelhagen, A., Multiple Object Tracking Performance Metrics and Evaluation in a Smart Room Environment, in Sixth IEEE International Workshop on Visual Surveillance in Conjunction with ECCV, May 2008.
• [14] Wang, Z., Zheng, L. et al., Towards real-time multi-object tracking, in European Conf. Computer Vision (ECCV), 2020, pp. 107-122.
• [15] Wu, Y., Kirillov, A., Massa, F., et al. Detectron2, https://github.com/facebookresearch/detectron2.
• [16] Duan, L., Liu, J. , Yang, W., Huang, T. , Gao, W. , Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics, in IEEE Transactions on Image Processing, vol. 29, pp. 8680-8695, 2020.
• [17] Fischer, K., Brand, F., Herglotz, C., Kaup, A., Video Coding for Machines with Feature-Based Rate-Distortion Optimization, 2020 IEEE 22nd International Workshop on Multimedia Signal Processing (MMSP), 2020.
• [18] Galteri, L., Bertini, M., Seidenari, L., Del Bimbo, A., Video compression for object detection algorithms, in Proc. International Conference on Pattern Recognition (ICPR), Aug. 2018, pp. 3007–3012.
• [19] Choi, H., Bajic, I. V., High efficiency compression for object detection, in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Apr. 2018, pp. 1792–1796.
• [20] Chao, J., Steinbach, E., Keypoint encoding for improved feature extraction from compressed video at low bitrates, in IEEE Trans. Multimedia, vol. 18, no. 1, pp. 25–39, Jan. 2016.
• [21] Ma, S., Zhang, X., Wang, S., Zhang, X., Jia, C., Wang, S., Joint feature and texture coding: Toward smart video representation via frontend intelligence, IEEE Trans. Circuits Syst. Video Technol., vol. 29, no. 10, pp. 3095–3105, Oct. 2019.
• [22] ISO/IEC JTC1/SC29/WG11, Doc. N1850, Conclusions of 127th meeting, Gothenburg, July 2019.
• [23] ISO/IEC JTC1/SC29/WG2, Doc. N191, Call for Proposals on Video Coding for Machines, April 2022.
• [24] ISO/IEC JTC1/SC29/WG2, Doc. N193, Evaluation Framework for Video Coding for Machines, April 2022.
• [25] ISO/IEC JTC1/SC29/WG4, Doc. N662, Text of ISO/IEC CD 23888-2 Video coding for machines, May 2025.
• [26] ISO/IEC JTC1/SC29/WG2, Doc. N282, Call for Proposals on Feature Compression for Video Coding for Machines, April 2023.
• [27] ISO/IEC JTC1/SC29/WG4, Doc. N669, PWD of feature coding for machines, May 2025.
• [28] ISO/IEC JTC1/SC29/WG4, Doc. N664, Algorithm description of tools in VCM reference software, June 2025.
• [29] Różek, S., Stankiewicz, O., Maćkowiak, S., Domański, M., Video coding for machines using object analysis and standard video codecs, in 2023 IEEE International Conference on Visual Communications and Image Processing (VCIP), Jeju, Republic of Korea, December 2023.
• [30] Stankiewicz, O., Grajek, T., Maćkowiak, S., Stankowski, J., Różek, S., Lorkiewicz, M., Wawrzyniak, M., Domański, M., Region-of-interestbased video coding for machines, in 2024 IEEE International Conference on Multimedia and Expo Workshops (ICMEW), Niagara Falls, ON, Canada, 2024.
• [31] Lorkiewicz, M., Różek, S., Stankiewicz, O., Grajek, T., Maćkowiak, S., Domański, M., Video coding for machines with neural-network-based chroma synthesis, in IEEE Access, Early access, 2025.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki (2025).