Proposed solutions to increase the reliability and goodness of fit of the Thurstone method

• Authors: Joanna Dębicka , Edyta Mazurek , Katarzyna Ostasiewicz

Title variants

PL

Propozycja rozwiązań zwiększających wiarygodność i dobroć dopasowania w metodzie Thurstone’a

Abstracts

PL

Metoda Thurstone’a jest metodą agregacji preferencji, pozwalającą na porządko- wanie obiektów na skali interwałowej, w odróżnieniu od innych metod agregacji, za pomocą których otrzymuje się jedynie skalę porządkową. Trudno jednak traktować skalę interwałową uzyskaną przy użyciu metody Thurstone’a jako wiarygodną, ponieważ – jak pokazano w artykule – jest ona bardzo podatna na zależność od nieistotnych alternatyw: względna kolejność dwóch obiektów może zależeć od obecności innego, zupełnie niezależnego obiektu w badanym zbiorze. W artykule poruszono również kwestię wyrażenia, które ma podlegać minimalizacji. Thurstone wskazał wyrażenie, które można łatwo zminimalizować za pomocą stablicowanych wartości rozkładu normalnego. Jednak wobec obecnych mocy obliczeniowych komputerów możliwe jest minimalizowanie innego wyrażenia, które daje lepszą dobroć dopasowania częstości obserwowanych do oczekiwanych oraz pozwala uniknąć problemu dotyczącego częstości empirycznych bliskich 1. Artykuł ma na celu zaproponowanie dwóch ulepszeń metody Thurstone’a. Pierwszym jest stosowanie zgrubnej reguły dotyczącej progowej odległości między obiektami (w wielo- krotnościach odchylenia standardowego), poniżej której uporządkowanie obiektów nie może być uważane za rzetelne, oraz metody empirycznego badania stabilności porządku obiektów. Drugie polega na minimalizowaniu wyrażenia innego niż oryginalne, w szczególności gdy wśród częstości empirycznych występują bardzo wysokie wartości.

EN

The Thurstone method is a method of aggregation of preferences that leads to ordering objects at an interval scale, in contrast to other methods of aggregation, the application of which results in obtaining the ordinal scale only. However, we demonstrate that the interval scale obtained by means of the Thurstone method is not fully reliable, as it is strongly susceptible to the problem of irrelevant alternatives, i.e., the order of two objects might be dependent on whether there is or not a third, completely independent object in the studied collectivity. The other issue examined in the paper is the formula that is to be minimised in the Thurstone method. Thurstone proposed a formula easy to be minimised with tabularised values of normal distribution. However, today’s calculation powers of computers make it possible to minimise another formula, which allows a better fit of observed frequencies to the predicted ones, and makes it possible to avoid the problem with empirical frequencies close to 1. The aim of the paper is to propose two improvements to the Thurstone method. The first one involves the application of the rule of thumb to the minimal spacing (in terms of standard deviations), below which the ordering of objects cannot be regarded as reliable, and the use of the method of empirical examining of the stability of order. The second of the proposed improvements consists in minimising a formula other than the original one, especially in the cases where empirical frequencies reach very high values.

Keywords

EN

the Thurstone method; dependence on irrelevant alternatives; aggregation of preferences; ordering of objects

PL

metoda Thurstone'a; zależność od nieistotnych alternatyw; agregacja preferencji; porządkowanie obiektów

• Publisher: Główny Urząd Statystyczny
• Journal: Wiadomości Statystyczne. The Polish Statistician
• Year: 2024
• Volume: 69
• Issue: 11
• Pages: 1-17

Dates

published

2024

Contributors

author

Joanna Dębicka

• Uniwersytet Ekonomiczny we Wrocławiu, Wydział Ekonomii i Finansów, Polska / Wroclaw University of Economics and Business, Faculty of Economics and Finance, Poland.

• https://orcid.org/0000000289052565

author

Edyta Mazurek

• Uniwersytet Ekonomiczny we Wrocławiu, Wydział Ekonomii i Finansów, Polska / Wroclaw University of Economics and Business, Faculty of Economics and Finance, Poland.

• https://orcid.org/0000000174101638

author

Katarzyna Ostasiewicz

• Uniwersytet Ekonomiczny we Wrocławiu, Wydział Ekonomii i Finansów, Polska / Wroclaw University of Economics and Business, Faculty of Economics and Finance, Poland.

• https://orcid.org/0000000201153696

References

• Arrow, K. J. (1951). Social Choice and Individual Values. Wiley.
• Dębicka, J., Mazurek, E., & Ostasiewicz, K. (2022). Methodological Aspects of Measuring Preferences Using the Rank and Thurstone Scale. Statistika, 102(3), 236–248. https://doi.org/10.54694/stat.2022.5.
• Dębicka, J., Mazurek, E., & Ostasiewicz, K. (2023). Thurstone model – a model or a procedure? [manuscript submitted for publication].
• Dragonetti, R., Ponticorvo, M., Dolce, P., Di Filippo, S., & Mercogliano, F. (2017). Pairwise comparison psychoacoustic test on the noise emitted by DC electrical motors. Applied Acoustics, 119, 108–118. https://doi.org/10.1016/j.apacoust.2016.12.016.
• Handley, J. C. (2001). Comparative Analysis of Bradley-Terry and Thurstone-Mosteller Paired Comparison Models for Image Quality Assessment. PICS: Image Processing, Image Quality, Image Capture, Systems Conference, Montreal. https://www.imaging.org/common/uploaded%20files/pdfs/Papers/2001/PICS-0-251/4604.pdf.
• Heldsinger, S., & Humphry, S. (2010). Using the Method of Pairwise Comparison to Obtain Reliable Teacher Assessments. The Australian Educational Researcher, 37(2), 1–19. https://doi.org/10.1007/BF03216919.
• Kanda, T. (2002). Classification of menus on home dining tables based upon human meal Kansei. Kansei Engineering International, 3(4), 9–14. https://doi.org/10.5057/kei.3.4_9.
• Krabbe, P. F. (2008). Thurstone Scaling as a Measurement Method to Quantify Subjective Health Outcomes. Medical Care, 46(4), 357–365. https://doi.org/10.1097/MLR.0b013e31815ceca9.
• Lipovetsky, S. (2007). Thurstone scaling in order statistics. Mathematical and Computer Modelling, 45(7–8), 917–926. https://doi.org/10.1016/j.m cm.2006.09.009 .
• Lipovetsky, S., & Conklin, W. M. (2004). Thurstone scaling via binary response regression. Statistical Methodology, 1(1–2), 93–104. https://doi.org/10.1016/j.statmet.2004.04.001.
• Mosteller, F. (1951). Remarks on the method of paired comparisons: III. A test of significance for paired comparisons when equal standard deviations and equal correlations are assumed. Psychometrika, 16(2), 207–218. https://doi.org/10.1007/BF02289116.
• Orbán-Mihálykó, É., Mihálykó, C., & Gyarmati, L. (2022). Application of the Generalized Thurstone Method for Evaluations of Sports Tournaments’ Results. Knowledge, 2(1), 157–166. https://doi.org/10.3390/knowledge2010009.
• Temesi, J., Szádoczki, Z., & Bozóki, S. (2023). Incomplete pairwise comparison matrices: Ranking top women tennis players. Journal of the Operational Research Society, 75(1), 145–157. https://doi.org/10.1080/01605682.2023.2180447.
• Thurstone, L. L. (1927). The method of paired comparisons for social values. The Journal of Abnormal and Social Psychology, 21(4), 384–400. https://psycnet.apa.org/doi/10.1037/h0065439.
• Thurstone, L. L., & Chave, E. J. (1929). The measurement of attitude. The University of Chicago Press.
• Thurstone, L. L., & Jones, L. V. (1957). The Rational Origin for Measuring Subjective Values. Journal of the American Statistical Association, 52(280), 458–471. https://psycnet.apa.org/doi /10.2307/2281694.
• Vojnovic, M., & Yun, S.-Y. (2016). Parameter Estimation for Generalized Thurstone Choice Models. In M. F. Balcan & K. Q. Weinberger (Eds.), Proceedings of the 33rd International Conference on Machine Learning (vol. 48, pp. 498–506). JMLR.org.
• van Wijk, A., & Hoogstraten, J. (2004). Paired comparisons of sensory pain adjectives. European Journal of Pain, 8(4), 293–297. https://doi.org/10.1016/j.ejpain.2003.10.002.
• Woods, R. L., Satgunam, P., Bronstad, M., & Peli, E. (2010). Statistical analysis of subjective preferences for video enhancement. In B. E. Rogowitz & T. N. Pappas (Eds.), Human Vision and Electronic Imaging XV (vol. 7527, pp. 98–107). SPIE.
• Yellott, Jr., J. I. (1980). Generalized Thurstone models for ranking: equivalence and reversibility. Journal of Mathematical Psychology, 22(1), 48–69. https://doi.org/10.1016/0022-2496(80)90046-2.

Identifiers

DOI

10.59139/ws.2024.11.1

Biblioteka Nauki

59115121