Subjective quality assessment of video summarisation algorithms a crowdsourcing approach

• Autorzy: Dutta Avrajyoti , Leszczuk Mikołaj , Juszka Dawid , Grega Michał

Identyfikatory

DOI

10.15199/59.2023.4.75

Warianty tytułu

PL

Subiektywna ocean jakości algorytmów: podsumowania wideo podejście oparte crowdsourcingu

• Konferencja: Konferencja Radiokomunikacji i Teleinformatyki (20-22.09.2023 ; Kraków, Polska)
• Języki publikacji: EN

Abstrakty

EN

Video summarization is a technique that extracts the most relevant and informative segments of a video to create a condensed version that is faster to watch. In this paper, we present a crowdsourcing subjective experiment in which summarizations of video clips were assessed. The aim of the experiment was to determine the accuracy of the video summarization algorithm. The results of the evaluation will be used to improve the video summarization algorithm. The experiment also revealed some limitations of the crowdsourcing method.

PL

Streszczanie wideo to sposób selekcji najbardziej istotnych i informatywnych fragmentów nagrań wideo. Jego celem jest utworzenie takiej wersji nagrania, która będzie skondensowana i pozwoli szybko zapoznać się z najważniejszymi treściami. W artykule prezentujemy eksperyment subiektywny przeprowadzony metodą crowdsourcingową. Zadaniem uczestników było ocenienie kilku algorytmów streszczania wideo. Wyniki umożliwią ulepszenie algorytmów. Wskazaliśmy także praktyczne ograniczenia stosowania crowdsourcingu.

Słowa kluczowe

EN

crowdsourcing; subjective experiment; video quality assessment; video summarization

PL

crowdsourcing; eksperyment subiektywny; ocena jakości wideo; streszczenie wideo

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2023
• Tom: nr 4
• Strony: 333--336
• Opis fizyczny: Bibliogr. 11 poz.

Twórcy

autor

Dutta Avrajyoti

• AGH University of Krakow, Kraków

autor

Leszczuk Mikołaj

• AGH University of Krakow, Kraków

autor

Juszka Dawid

• AGH University of Krakow, Kraków

autor

Grega Michał

• AGH University of Krakow, Kraków

Bibliografia

• [1] T. Hoßfeld et al., "Best Practices for QoE Crowdsourcing: QoE Assessment With Crowdsourcing," in IEEE Transactions on Multimedia, vol. 16, no. 2, pp. 541-558, Feb. 2014. https://doi.org/10.1109/TMM. 2013.2291663
• [2] Wei-Tek Tsai, Li Zhang, Shufeng Hu, Zizheng Fan, Qianyu Wang, "Crowdtesting Practices and Models: An Empirical Approach," Information and Software Technology, Volume 154, 2023, 107103, ISSN 0950- 5849. https://doi.org/10.1016/j.infsof.2022.107103
• [3] M. Shahid et al., "Crowdsourcing-based subjective quality assessment of adaptive video streaming," 2014 Sixth International Workshop on Quality of Multimedia Experience (QoMEX), Singapore, 2014, pp. 53-54. https://doi.org/10.1109/QoMEX. 2014.6982289
• [4] https://scenedetect.com/en/latest (Accessed on 19 April 2023)
• [5] Romaniak, Piotr; Janowski, Lucjan; Leszczuk, Mikołaj; Papir, Zdzisław. "Perceptual quality assessment for H.264/AVC compression," In: 2012 IEEE Consumer Communications and Networking Conference (CCNC), pp. 597–602, IEEE, 2012. https://doi.org/ 10.1109/CCNC.2012.6181021
• [6] https://qoe.agh.edu.pl/indicators/#indicators (Accessed on 20 April 2023)
• [7] Leszczuk, Mikołaj; Kobosko, Marek; Nawała, Jakub; Korus, Filip; and Grega, Michał; 2023. "“In the Wild” Video Content as a Special Case of User Generated Content and a System for Its Recognition" Sensors 23, no. 4: 1769. https://doi.org/10.3390/s23041769
• [8] Badiola, Aritz, Amaia Méndez Zorrilla, Begonya Garcia-Zapirain Soto, Michał Grega, Mikołaj Leszczuk, and Kamel Smaïli. “Evaluation of Improved Components of AMIS Project for Speech Recognition, Machine Translation and Video/Audio/Text Summarization.” Multimedia Communications, Services and Security, 2020, 320–31. https://doi.org/ 10.1007/978-3-030-59000-0_24
• [9] Borchert, K., Seufert, A., Gamboa, E. et al. "In vitro vs in vivo: Does the study’s interface design influence crowdsourced video QoE?," Qual User Exp 6, 1 (2021). https://doi.org/10.1007/s41233-020-00041-2
• [10] Leszczuk, Mikołaj; Janowski, Lucjan; Nawała, Jakub; and Boev, Atanas; 2022. "Objective Video Quality Assessment Method for Face Recognition Tasks" Electronics 11, no. 8: 1167. https://doi.org/10.3390/ electronics11081167
• [11] A. Zlatintsi, P. Koutras, N. Efthymiou, P. Maragos, A. Potamianos and K. Pastra, "Quality evaluation of computational models for movie summarization," 2015 Seventh International Workshop on Quality of Multimedia Experience (QoMEX), Pilos, Greece, 2015, pp. 1-6. https://doi.org/10.1109/ QoMEX.2015.7148146

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).