Revisiting least squares: A discussion on the leading estimation principle in geodesy

• Autorzy: Kotsakis C. , Sideris M. G.

Warianty tytułu

PL

Rozważania dotyczące metody najmniejszych kwadratów: Dyskusja na temat podstawowej zasady estymacji w geodezji

• Języki publikacji: EN

Abstrakty

EN

Least squares (LS) estimation is one of the most important tools in geodetic data analysis, However, its prevailing use is not often complemented by an objective view of its rudiments, Within the standard formalism of LS estimation theory there are actually several paradoxical and curious issues which are seldom explicitly formulated. The aim of this expository paper is to present some of these issues and to discuss their implications for geodetic data analysis and parameter estimation problems, In the first part of the paper, an alternative view of the statistical principles that are traditionally linked to LS estimation is given. Particularly, we show that the property of unbiasedness for the ordinary LS estimators can be replaced with a different, yet equivalent, constraint which implies that the numerical range of the unknown parameters is boundless. In the second part of the paper, the shortcomings of the LS method are exposed from a purely algebraic perspective, without employing any concepts from the probabilistic/statistical framework of estimation theory, In particular, it is explained that what is 'least' in least squares is certainly not the errors in the estimated model parameters, and that in every LS-based inversion of a linear model there exists a critical trade-off between the Euclidean norms of the parameter estimation errors and the adjusted residuals

PL

Estymacja metodą najmniejszych kwadratów (LS) jest jednym z najważniejszych narzędzi w analizowaniu danych geodezyjnych. Jednakże powszechne korzystanie z tej metody nie zawsze idzie w parze z pelnym uświadomieniem sobie jej podstaw. W standardowym formalizmie teorii estymacji LS w rzeczywistości istnieje kilka paradoksalnych i osobliwych zagadnień rzadko formułowanych wprost. Celem niniejszej pracy jest przedstawienie niektórych z tych zagadnień i przedyskutowanie ich konsekwencji w analizie danych geodezyjnych oraz problematyce estymacji parametrów. W pierwszej części pracy przedstawiony jest alternatywny pogląd na podstawy statystyczne, które są tradycyjnie łączone z estymacją LS. W szczególności pokazano, że właściwość nieobciążoności dla zwykłych estymatorów LS może być zastąpiona przez inne, równoważne jej uwarunkowanie, które powoduje, że zakres numeryczny nieznanych parametrów jest nieograniczony. W drugiej części pracy przedstawiono wady metody LS z czysto algebraicznego punktu widzenia, bez uwzględnienia pojęć z zakresu probabilistycznego/statystycznego teorii estymacji. W szczególności wyjaśnione zostało, do czego odnosi się 'najmniejszy' (Ieast) w metodzie najmniej szych kwadratów. Z pewnością nie odnosi się do błędów wyznaczanych parametrów modelu. Ponadto stwierdzono, że w kazdej inwersji modelu liniowego opartej na metodzie LS istnieje krytyczna zamiana pomiędzy normami euklidesowymi blędów wyznaczanych parametrów i wyrównanych residuów.

Słowa kluczowe

EN

least squares; unbiasedness; unboundedness; linear model; ill-posed problems; uncertainty principle; estimation error

PL

geodezja; estymatory LS

• Wydawca: Komitet Geodezji PAN
• Czasopismo: Geodezja i Kartografia
• Rocznik: 2006
• Tom: Vol. 55, no 1
• Strony: 3--22
• Opis fizyczny: Bibliogr. 18 poz., rys., tab., wykr.

Twórcy

autor

Kotsakis C.

autor

Sideris M. G.

• Department of Geodesy and Surveying, Aristotle University of Thessaloniki University Box 440. Thessaloniki, GR-54 I 24, Greece,

Bibliografia

• Barnard G.A., (1963): The logic of least squares, Journal of the Royal Statistical Society, Vol. 25, No I, pp. 124-127.
• Barnett v., (1982): Comparative Statistical Interference, 2"J edition, John Wiley & S0115 Ltd, New York.
• Bjorck A., (1996): Numerical Methods for Least Squares Problems, Society for Industrial and Applied Mathematics (SIAM), Philadelphia.
• Bouman J., Koop R.. (1997): Quality differences between Tikhanov regularization and generalized biased estimation in gradumetric ana/ysis. DEOS Progress Letter, Vol. 97, No l, pp. 42-48.
• Cloud M.J., Drachman B.C., (1998): Inequalities with Applications to Engineering, Springer Verlag, Berlin.
• Dermanis A., Rummel R., (2000): Data analysis methods in geodesy, in: A. Dermanis, A. Grun and F. Sanso (eds.), Geomatic Methods for the Analysis of Data in Earth Sciences, Lecture Notes in Earth Sciences Series, Vol. 95, Springer-Verlag, pp. 17-92.
• Efron B., (1975): Biased versus unbiased estimation, Advances in Mathematics, Vol. 16, pp. 259-277.
• Eisenhart C., (1964): The meaning of 'least" in least squares, Journal of the Washington Academy of Sciences, Vol. 54, No 2, pp. 24-33.
• Hoerl A.E., Kennard R. W.. (1970): Ridge regression: biased estimation for nonorthogonal problems, Technometrics, Vol. 12, No l, pp. 55-67.
• Jaynes E.T., (2003): Probability Theory - The Logic of Science, Cambridge University Press, Cambridge.
• Liebelt P.B., (1967): An Introduction to Optima/ Estimation, Addison-Wesley, New York.
• Moritz H., (1989): Paradoxes and curiosities in least squares, in: Festschrift to Torben Krarup, Meddelelse No 58. Danish Geodetic Institute, Copenhagen, pp. 241-253.
• Rao C.R., Toutenburg H., (1995): Linear Models: - Least squares and alternatives, Springer-Verlag, Berlin.
• Savage L.J., (1972): The Foundations of Statistics, Dover, New York.
• Schwarz K.P., (1979): Geodetic improperly posed problems and their regularization, Bollettino di Geodesia e Scienze Affini, Vol. 38, pp. 389-416.
• Tukey J .w., (1960): Where do we go from here?, Journal of the American Statistical Association, Vol. 55, pp. 80-93.
• Xu P., Rummel R., (1994): Generalized ridge regression with applications in determination of potential fields, Manuscripta Geodaetica, Vol. 20, pp. 8-20.
• Xu P., (1998): Truncated SVD methods for discrete ill-posed problems, Geophysical Journal International, Vol. 135, pp. 505-514.