Metody oceny wyników testów subiektywnych Quality of Experience

• Autorzy: Janowski L.

Identyfikatory

DOI

10.15199/59.2017.6.5

Warianty tytułu

EN

Methodology of subjective scores analysis for Quality of Experience research

• Konferencja: Krajowa Konferencja Radiokomunikacji, Radiofonii i Telewizji (21-23.06.2017 ; Poznań, Polska)
• Języki publikacji: PL

Abstrakty

PL

Paradygmat jakości postrzeganej przez użytkownika QoE (Quality of Experience) umożliwia optymalizowanie zarządzania zasobami sieci wielousługowej tak, aby średnia postrzegana jakość usług świadczonych przez te sieci była najwyższa z możliwych. W zależności od typu usługi lub nawet szczegółowego sposobu z niej korzystania można zmieniać wolumen dostarczonych danych (na przykład przesyłać strumień wideo o mniejszej rozdzielczości) przy minimalnej zmianie jakości postrzeganej przez użytkownika. Zaoszczędzone zasoby mogą zostać wykorzystane w celu poprawy jakości postrzeganej przez innych użytkowników. Takie podejście umożliwia zarządzanie siecią skierowane na jakość postrzeganą przez użytkowników, a nie na parametry QoS, takie jak przepustowość. Badanie opinii użytkowników rodzi naturalne pytanie, na ile uzyskanie wiarygodnego modelu QoE, umożliwiającego stwierdzenie, że niższa rozdzielczość lub silniejsza kompresja nie zmniejszy istotnie postrzeganej jakości, czyni niezbędnymi testy, a w ich wyniku, co można zrobić, aby odpowiedzi były dokładniejsze. W artykule podsumowano narzędzia analityczne umożliwiające ocenę testów subiektywnych. Daje ona możliwość porównania dwóch testów pod względem precyzji uzyskanych wyników, dokładności odpowiedzi uczestników czy trudności oceny danego zniekształcenia.

EN

Quality of Experience can be used to optimize the network management. The target of QoE driven network management is to obtain maximum quality of experience for all users. The basic concept behind QoE management is just noticeable difference. If a quality is just noticeable different for a service settings requiring less bandwidth, such settings should be used. Using setting requesting higher bandwidth than a user can notice consumes resources which could be spend on improving quality for other service or user. The proposed solution is based on QoE instead of QoS measurement. Nevertheless, the system can work only if QoE can be automatically measured by an objective metric. In order to estimate an objective metric a subjective experiment is needed. In this paper I presented the methodology of analyzing subjective scores obtained in a subjective experiment.

Słowa kluczowe

PL

testy subiektywne; jakość postrzegana przez użytkownika; QoE; analiza danych

EN

QoE; subjective testing; data analysis

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2017
• Tom: nr 6
• Strony: 185--188
• Opis fizyczny: Bibliogr. 21 poz., rys.

Twórcy

autor

Janowski L.

• Katedra Telekomunikacji, Akademia Górniczo-Hutnicza w Krakowie

Bibliografia

• [1] Finley B., E. Boz, K. Kilkki, J. Manner, A. Oulasvirta, H. Hämmäinen, “Does network quality matter? A field study of mobile user satisfaction?", Pervasive and Mobile Computing, Available online 10 September 2016.
• [2] (5 maja 2017). Cisco visual networking index: Global mobile data traffic forecast update, 2016–2021. [Online]. Dostępny: http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/mobile-white-paper-c11-520862.pdf.
• [3] Suznjevic M., L. Skorin-Kapov and M. Matijasevic, “The impact of user, system, and context factors on gaming QoE: A case study involving MMORPGs”, 2013 12th Annual Workshop on Network and Systems Support for Games (NetGames), Denver, CO, USA, 2013, pp. 1-6.
• [4] Qualcomm white paper, Making Immersive Virtual Reality Possible in Mobile, March 2016.
• [5] Sackl A., R. Schatz & A.Raake, (2017). “More than I ever wanted or just good enough? User expectations and subjective quality perception in the context of networked multimedia services”. Quality and User Experience, 2 (1), 3.
• [6] Mościchowska I., B. Rogoś-Turek, Badania jako podstawa projektowania User Experience, Wydawnictwo Naukowe PWN, Warszawa 2015
• [7] Pinson M. H., L. Janowski and Z. Papir, “Video Quality Assessment: Subjective testing of entertainment scenes,” in IEEE Signal Processing Magazine, vol. 32, no. 1, pp. 101-114, Jan. 2015.
• [8] Huynh-Thu Q., M. N. Garcia, F. Speranza, P. Corriveau and A. Raake, “Study of Rating Scales for Subjective Quality Assessment of High- Definition Video,” in IEEE Transactions on Broadcasting, vol. 57, no. 1, pp. 1-14, March 2011.
• [9] Aaron A., Z. Li, M. Manohara, J. De Cock, D. Ronca, “Per-Title Encode Optimization”, The NETFLIX tech blog, 14 Grudnia 2015.
• [10] Maxwell, S. E., H. D. Delaney, Designing Experiment and Analyzing Data: a Model Comparison Perspective (2nd ed.), Mahwah, New Jersey 2003, USA: LawrenceErlbaum Associates, Inc.
• [11] Staelens N., D. Deschrijver, E. Vladislavleva, B. Vermeulen, T. Dhaene, P. Demeester, “Constructing a No-Reference H.264/AVC Bitstreambased Video Quality Metric using Genetic Programming-based Symbolic Regression”, IEEE Transactions on Circuits and Systems for Video Technology, Issue 99, 2013, Early Access Article.
• [12] Keimel C., J. Habigt, M. Klimpke, K. Diepold, “Design of no-reference video quality metrics with multiway partial least squares regression”, International Workshop on Quality of Multimedia Experience (QoMEX), pp.49,54, 7-9 Sept. 2011.
• [13] Singh K.D., G. Rubino, No-reference Quality of Experience monitoring in DVB-H networks, Wireless Telecommunications Symposium (WTS), pp.1-6, 21-23 April 2010.
• [14] Winters B., A very basic tutorial for performing linear mixed effects University of California 2016.
• [15] Janowski L. and Z. Papir, “Modeling subjective tests of quality of experience with a Generalized Linear Model”, International Workshop on Quality of Multimedia Experience (QoMEX), 29-31 Jul. 2009.
• [16] Janowski L., P. Romaniak, Z. Papir, “Content driven QoE assessment for video frame rate and frame resolution reduction” Multimedia tools and applications, Dec 2012.
• [17] Romaniak P., L. Janowski, M. Leszczuk and Z. Papir, “Perceptual quality assessment for H.264/AVC compression,” 2012 IEEE Consumer Communications and Networking Conference (CCNC), Las Vegas, NV, 2012, pp. 597-602.
• [18] Cermak G. et al., “Final report from the video quality experts group on the validation of objective models of multimedia quality assessment, phase I”, Mar. 28 2008. Available: https://www.vqeg.org
• [19] Pinson M. H. et al., “The Influence of Subjects and Environment on Audiovisual Subjective Tests: An International Study” in IEEE Journal of Selected Topics in Signal Processing, vol. 6, no. 6, pp.
• [20] Janowski L., M. Pinson, “The Accuracy of Subjects in a Quality Experiment: A Theoretical Subject Model”, in IEEE Transactions on Multimedia, vol. 17, no. 12, pp. 2210-2224, Dec. 2015.
• [21] Janowski L., M. Pinson, “Subject bias: Introducing a theoretical user model”, 2014 Sixth International Workshop on Quality of Multimedia Experience (QoMEX), Singapore, 2014, pp. 251–256.

Uwagi

PL

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę (zadania 2017)