A crowdsourcing study of video quality

• Autorzy: Dutta, Avrajyoti , Konaszyński, Tomasz , Juszka, Dawid , Leszczuk, Mikołaj

Warianty tytułu

PL

Badanie crowdsourcingowe jakości sekwencji wizyjnych

• Konferencja: Konferencja Radiokomunikacji i Teleinformatyki (11-13.09.2024 ; Poznań, Polska)
• Języki publikacji: EN

Abstrakty

EN

This study investigates the evaluation of subjective video quality utilizing short video clips on a crowdsourcing platform. A total of 47 participants provided ratings for 170 short videos using the Absolute Category Rating (ACR) scale. Although all short videos are in full HD, clips of fair quality resulted in lengthier response times (1867.19 ms), exceeding other categories within a 5000 ms limit. The experiment was only conducted on Google Chrome in incognito mode to eliminate extraneous interference. The use of automated sequential playing allowed for efficient data collection, resulting in the completion of the experiment in around 55 minutes. The results indicate that videos of Fair quality regularly received higher timings, suggesting the presence of potential biases in subjective evaluations. The study emphasizes the significance of taking into account contextual variables, such as monitor resolution and experimental design, when evaluating video quality. The findings improve our understanding of how users perceive video quality and provide valuable insights for future research on multimedia technology.

PL

Niniejsze badanie bada ocenę subiektywnej jakości wizyjnej za pomocą krótkich sekwencji wizyjnych na platformie crowdsourcingowej. Łącznie 47 uczestników oceniło 170 krótkich sekwencji wizyjnych, korzystając z skali Absolute Category Rating (ACR). Mimo że wszystkie krótkie sekwencje wizyjne były w pełnej rozdzielczości HD, sekwencje wizyjne o jakości „dostatecznej” skutkowały dłuższym czasem odpowiedzi (1867,19 ms), przekraczającym inne kategorie przy limicie 5000 ms. Eksperyment przeprowadzono wyłącznie w przeglądarce Google Chrome w trybie incognito, aby wyeliminować zewnętrzne zakłócenia. Użycie automatycznego sekwencyjnego odtwarzania umożliwiło efektywne zbieranie danych, co pozwoliło użytkownikowi zakończyć eksperyment w około 55 minut. Wyniki wskazują, że sekwencje wizyjne o jakości „dostatecznej” regularnie otrzymywały oceny po upływie dłuższego czasu, co sugeruje obecność potencjalnych stronniczości w subiektywnych ocenach. Badanie podkreśla znaczenie uwzględniania zmiennych kontekstowych, takich jak rozdzielczość monitora i projekt eksperymentu, podczas oceny jakości sekwencji wizyjnych. Wyniki poprawiają nasze zrozumienie sposobu, w jaki użytkownicy postrzegają jakość sekwencji wizyjnych, i dostarczają cennych wniosków na przyszłe badania nad technologią multimedialną.

Słowa kluczowe

PL

crowdsourcing; PVS; QoE; ocena subiektywna; czas odpowiedzi

EN

crowdsourcing; PVS; QoE; subjective assessment; response time

• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2024
• Tom: nr 4
• Strony: 325--328
• Opis fizyczny: Bibliogr. 12 poz., rys.

Twórcy

autor

Dutta, Avrajyoti

• AGH Akademia Górniczo-Hutnicza, Kraków,

autor

Konaszyński, Tomasz

• AGH Akademia Górniczo-Hutnicza, Kraków,

autor

Juszka, Dawid

• AGH Akademia Górniczo-Hutnicza, Kraków,

autor

Leszczuk, Mikołaj

• AGH Akademia Górniczo-Hutnicza, Kraków,

Bibliografia

• [1] M. Grega, L. Janowski, M. Leszczuk, P. Romaniak, and Z. Papir, 2008, “Quality of experience evaluation for multimedia services,” Przegląd Telekomunikacyjny I Wiadomości Telekomunikacyjne, vol. 81, pp. 142–153, 01 .
• [2] T. Hoßfeld, C. Keimel, M. Hirth, B. Gardlo, J. Habigt, K. Diepold, and P. Tran-Gia, 2014, “Best practices for qoe crowdtesting: Qoe assessment with crowdsourcing,” IEEE Transactions on Multimedia, vol. 16, no. 2, pp. 541–558.
• [3] A. Dutta, M. Leszczuk, D. Juska, M. Grega, 2023, "Subjective Quality Assessment of Video Summarization Algorithms: A Crowdsourcing Approach" vol. 96, no. 4, pp. 333-336, Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne.
• [4] P. Romaniak, M. Muy, A. Mauthe, S. D’Antonio, and M. Leszczuk, 2011, “Framework for the integrated video quality assessment,” Multimedia Tools and Applications, vol. 61, 12.
• [5] M. Leszczuk, M. Grega, A. Kozbiał, J. Gliwski, K. Wasieczko, and K. Smaıli, 2017, “Video summarization framework for newscasts and reports – work in progress,” in Multimedia Communications, Services and Security, A. Dziech and A. Czyzewski, Eds. Cham: Springer International Publishing, pp. 86–97.
• [6] W.-T. Tsai, L. Zhang, S. Hu, Z. Fan, and Q. Wang, 2023, “Crowdtesting practices and models: An empirical approach,” Information and Software Technology, vol. 154, p. 107103.
• [7] M. Shahid, J. Søgaard, J. Pokhrel, K. Brunnstrom, K. Wang, S. Tavakoli, and N. Gracia, 2014, “Crowdsourcing based subjective quality assessment of adaptive video streaming,” in 2014 Sixth International Workshop on Quality of Multimedia Experience (Qo- MEX), pp. 53–54.
• [8] S.-Y. Wu, R. Thawonmas, and K.-T. Chen, 2011, “Video summarization via crowdsourcing,” in CHI ’11 Extended Abstracts on Human Factors in Computing Systems, ser. CHI EA ’11. New York, NY, USA: Association for Computing Machinery, p. 1531–1536.
• [9] M. Leszczuk, L. Janowski, J. Nawała, and M. Grega, 2022, “User-generated content (ugc)/in-the-wild video content recognition,” in Intelligent Information and Database Systems, N. T. Nguyen, T. K. Tran, U. Tukayev, T.-P. Hong, B. Trawinski, and E. Szczerbicki, Eds. Cham: Springer Nature Switzerland, pp. 356–368.
• [10] P. Romaniak, L. Janowski, M. Leszczuk, and Z. Papir, 2012, “Perceptual quality assessment for h.264/avc compression,” in IEEE Consumer Communications and Networking Conference (CCNC), pp. 597–602.
• [11] ITU-T. Recommendations: ITU-T P.910: Methods for the subjective assessment of video quality, audio quality and audio-visual quality of Internet video and distribution quality television in any environment, International Telecommunication Union, 2016.
• [12] K. Borchert, A. Seufert, E. Gamboa, M. Hirth, and T. Hossfeld, 2021, “In vitro vs in vivo: Does the study’s interface design influence crowdsourced video qoe?” Quality and User Experience, vol. 6, 12.

Identyfikatory

DOI

10.15199/59.2024.4.72